Automatic Reasoning and Tool-use (ART)
Un framework che combina il prompting chain-of-thought con l'uso di strumenti esterni, consentendo agli LLM di generare automaticamente passaggi di ragionamento intermedi e richiamare strumenti come un programma.
Cos'è ART?
Combinare il prompting Chain-of-Thought (CoT) con l'uso di strumenti si è dimostrato affidabile su molti compiti degli LLM. Lo svantaggio è che questi approcci richiedono di solito dimostrazioni costruite a mano per il singolo compito e di definire con cura quando il modello si ferma per usare uno strumento e quando riprende.
Automatic Reasoning and Tool-use (ART) propone un nuovo framework che usa un LLM congelato per generare automaticamente passaggi di ragionamento intermedi come un programma. ART va oltre il prompting tradizionale lasciando che il modello decida quando e come usare strumenti esterni durante il suo processo di ragionamento.
ART è stato introdotto da Paranjape et al. (2023) e rappresenta un passo importante verso un ragionamento AI più autonomo. Si basa su lavori precedenti sul prompting chain-of-thought e sui modelli linguistici potenziati con strumenti.
Come funziona ART
ART segue un processo strutturato che combina la selezione del compito, la generazione del programma e l'integrazione degli strumenti:
Seleziona esempi da una libreria di compiti
Dato un nuovo compito, ART seleziona da una libreria di compiti precostruita alcune dimostrazioni di ragionamento a più passaggi e di uso degli strumenti. Questi esempi fanno da modello e mostrano come scomporre problemi simili.
Esegui il programma con un LLM congelato
Al momento del test, il modello genera un programma di ragionamento. Mette in pausa la generazione ogni volta che vengono richiamati strumenti esterni (come motori di ricerca, interpreti di codice o calcolatrici), integra il loro output e poi riprende.
Correggi gli errori (opzionale)
ART è estensibile. Le persone possono correggere gli errori nei passaggi di ragionamento o aggiungere nuovi strumenti semplicemente aggiornando le librerie di compiti e di strumenti. Questo rende semplice il miglioramento continuo.
Vantaggi principali
- Generalizzazione zero-shot: ART incoraggia il modello a generalizzare dalle dimostrazioni per scomporre un nuovo compito e usare gli strumenti nei punti appropriati, senza addestramento specifico per quel compito.
- Estensibilità umana: quando il modello sbaglia, le persone possono correggere i passaggi di ragionamento o aggiungere nuovi strumenti alla libreria. Si crea così un ciclo di feedback per il miglioramento continuo.
- Integrazione degli strumenti: ART inserisce le chiamate a strumenti esterni (ricerca, esecuzione di codice, calcoli) nella catena di ragionamento, così le risposte restano accurate e ancorate a dati reali.
- LLM congelato: non serve fine-tuning. ART funziona con il modello così com'è, quindi può essere applicato a qualsiasi LLM capace senza riaddestramento.
ART nella pratica
Ecco un esempio semplificato di come potrebbe essere un prompt in stile ART per un compito di ricerca:
CompitoTrova la popolazione di Canada e Francia, poi calcola la differenza. Passo 1: Ricerca[SEARCH] «Popolazione del Canada 2025» → Risultato: 40.1 milioni Passo 2: Ricerca[SEARCH] «Popolazione della Francia 2025» → Risultato: 68.2 milioni Passo 3: Calcolo[CALC] 68.2 - 40.1 → Risultato: 28.1 milioni RispostaLa Francia ha circa 28.1 milioni di abitanti in più del Canada.
Anche se non costruirai mai un sistema ART, capirlo ti rende più bravo a scrivere prompt. Scomponi un compito grande in passaggi e stabilisci quando il modello dovrebbe ricorrere a uno strumento esterno invece di tirare a indovinare. È un'abitudine che ti resta con qualsiasi AI usi.
Quando usare ART
- Compiti che richiedono più passaggi di ragionamento insieme alla ricerca di dati di fatto
- Flussi di lavoro in cui l'accuratezza conta e il modello deve verificare le informazioni all'esterno
- Situazioni in cui serve un ragionamento strutturato e riproducibile che le persone possano verificare e correggere
- Costruire sistemi di agenti AI che devono decidere in autonomia quando richiamare gli strumenti
Approfondimenti
Per approfondire ART e le tecniche correlate, esplora queste risorse:
- Prompt Engineering Guide: ART (riferimento originale)
- Chain-of-Thought Prompting (tecnica fondamentale)
- ReAct: Reasoning + Acting (approccio correlato)