Automatic Reasoning and Tool-use (ART)
Um framework que combina o prompting de raciocínio passo a passo com o uso de ferramentas externas, para que os LLMs gerem automaticamente etapas intermediárias de raciocínio e chamem ferramentas como um programa.
O que é ART?
Combinar o prompting de raciocínio passo a passo (CoT) com o uso de ferramentas se mostrou confiável em muitas tarefas com LLMs. A desvantagem é que essas abordagens costumam exigir demonstrações feitas à mão para cada tarefa e um roteiro cuidadoso de quando o modelo para para usar uma ferramenta e depois retoma.
O raciocínio automático e uso de ferramentas (ART) propõe um novo framework que usa um LLM congelado para gerar automaticamente etapas intermediárias de raciocínio como um programa. O ART vai além do prompting tradicional porque deixa o modelo decidir quando e como usar ferramentas externas durante o raciocínio.
O ART foi apresentado por Paranjape et al. (2023) e representa um passo importante em direção a um raciocínio de IA mais autônomo. Ele se apoia em trabalhos anteriores sobre prompting de raciocínio passo a passo e modelos de linguagem ampliados com ferramentas.
Como o ART funciona
O ART segue um processo estruturado que combina seleção de tarefas, geração de programas e integração de ferramentas:
Escolher exemplos de uma biblioteca de tarefas
Diante de uma tarefa nova, o ART escolhe demonstrações de raciocínio em várias etapas e de uso de ferramentas em uma biblioteca de tarefas já pronta. Esses exemplos funcionam como modelos que mostram ao modelo como decompor problemas parecidos.
Executar o programa com um LLM congelado
No momento do teste, o modelo gera um programa de raciocínio. Ele pausa a geração sempre que uma ferramenta externa é chamada (um mecanismo de busca, um interpretador de código ou uma calculadora), integra o resultado e depois retoma.
Corrigir erros (opcional)
O ART é extensível. Uma pessoa pode corrigir erros nas etapas de raciocínio ou adicionar novas ferramentas apenas atualizando as bibliotecas de tarefas e de ferramentas. Isso torna a melhoria contínua simples.
Principais vantagens
- Generalização zero-shot: o ART leva o modelo a generalizar a partir das demonstrações para decompor uma tarefa nova e usar ferramentas nos pontos adequados, sem treinamento específico para aquela tarefa.
- Extensível por pessoas: quando o modelo erra, uma pessoa pode corrigir as etapas de raciocínio ou adicionar ferramentas à biblioteca. Assim se cria um ciclo de feedback para melhoria contínua.
- Integração de ferramentas: o ART coloca as chamadas a ferramentas externas (busca, execução de código, cálculos) dentro da cadeia de raciocínio, então as respostas continuam precisas e ancoradas em dados reais.
- LLM congelado: não é preciso fazer fine-tuning. O ART funciona com o modelo como ele é, então pode ser aplicado a qualquer LLM capaz sem retreinar nada.
ART na prática
Este é um exemplo simplificado de como ficaria um prompt no estilo ART para uma tarefa de pesquisa:
TarefaEncontre a população do Canadá e da França e calcule a diferença. Etapa 1: buscar[SEARCH] “População do Canadá em 2025” → Resultado: 40,1 milhões Etapa 2: buscar[SEARCH] “População da França em 2025” → Resultado: 68,2 milhões Etapa 3: calcular[CALC] 68,2 - 40,1 → Resultado: 28,1 milhões RespostaA França tem aproximadamente 28,1 milhões de pessoas mais que o Canadá.
Mesmo que você nunca construa um sistema ART, entender como ele funciona faz você escrever prompts melhores. Divida uma tarefa grande em etapas e defina em que momento o modelo deveria recorrer a uma ferramenta externa em vez de adivinhar. Esse hábito serve para qualquer IA que você usar.
Quando usar o ART
- Tarefas que exigem várias etapas de raciocínio combinadas com consultas a dados concretos
- Fluxos de trabalho em que a precisão importa e o modelo precisa verificar a informação por fora
- Situações em que você precisa de um raciocínio estruturado e reproduzível que uma pessoa possa auditar e corrigir
- Construir sistemas de agentes de IA que precisam decidir por conta própria quando chamar uma ferramenta
Para continuar lendo
Para se aprofundar no ART e em técnicas relacionadas, veja estes recursos:
- Prompt Engineering Guide: ART (referência original)
- Prompting de raciocínio passo a passo (técnica fundamental)
- ReAct: raciocinar e agir (abordagem relacionada)