OctoTools: Stanford's open-source framework optimaliseert LLM-redeneringen door modulaire tool-orkestratie

OctoTools , een nieuw open-source agentisch platform dat is uitgebracht door wetenschappers van Stanford University, kan grote taalmodellen (LLM's) een boost geven voor redeneertaken door taken op te splitsen in subeenheden en de modellen te verbeteren met tools. Hoewel het gebruik van tools al een belangrijke toepassing van LLM's is geworden, maakt OctoTools deze mogelijkheden veel toegankelijker door technische barrières te verwijderen en ontwikkelaars en ondernemingen in staat te stellen een platform uit te breiden met hun eigen tools en workflows.

Experimenten tonen aan dat OctoTools beter presteert dan klassieke promptmethoden en andere LLM-toepassingsframeworks. Hierdoor is het een veelbelovende tool voor het daadwerkelijk gebruiken van AI-modellen.

LLM's worstelen vaak met redeneertaken die meerdere stappen, logische decompositie of gespecialiseerde domeinkennis omvatten. Een oplossing is om specifieke stappen van de oplossing uit te besteden aan externe tools zoals rekenmachines, code-interpreters, zoekmachines of beeldverwerkingstools. In dit scenario richt het model zich op planning op hoger niveau, terwijl de daadwerkelijke berekening en redenering via de tools worden gedaan.

Echter, het gebruik van tools kent zijn eigen uitdagingen. Klassieke LLM's vereisen bijvoorbeeld vaak een substantiële training of een paar-shot-leren met gecureerde data om zich aan te passen aan nieuwe tools, en zodra ze zijn uitgebreid, zullen ze beperkt zijn tot specifieke domeinen en tooltypes.

Toolselectie blijft ook een pijnpunt. LLM's kunnen goed worden in het gebruik van één of een paar tools, maar wanneer een taak het gebruik van meerdere tools vereist, kunnen ze in de war raken en slecht presteren.

OctoTools pakt deze pijnpunten aan via een training-vrij agentisch raamwerk dat meerdere tools kan orkestreren zonder de noodzaak om de modellen te verfijnen of aan te passen. OctoTools gebruikt een modulaire aanpak om plannings- en redeneertaken aan te pakken en kan elke algemene LLM als ruggengraat gebruiken.

Tot de belangrijkste componenten van OctoTools behoren "tool cards", die fungeren als wrappers voor de tools die het systeem kan gebruiken, zoals Python-code-interpreters en web-search API's. Tool cards bevatten metadata zoals input-output-formaten, beperkingen en best practices voor elke tool. Ontwikkelaars kunnen hun eigen tool cards toevoegen aan het framework om ze aan te passen aan hun applicaties.

Wanneer een nieuwe prompt in OctoTools wordt ingevoerd, gebruikt een "planner"-module de backbone LLM om een ​​plan op hoog niveau te genereren dat de doelstelling samenvat, de vereiste vaardigheden analyseert, relevante tools identificeert en aanvullende overwegingen voor de taak bevat. De planner bepaalt een set subdoelen die het systeem moet bereiken om de taak te voltooien en beschrijft deze in een tekstgebaseerd actieplan.

Voor elke stap in het plan verfijnt een 'actievoorspeller'-module het subdoel om het benodigde hulpmiddel te specificeren om het te bereiken en ervoor te zorgen dat het uitvoerbaar en verifieerbaar is.

Zodra het plan klaar is om uitgevoerd te worden, brengt een "command generator" het tekstgebaseerde plan in kaart naar Python-code die de opgegeven tools voor elk subdoel aanroept, en geeft de opdracht vervolgens door aan de "command executor", die de opdracht uitvoert in een Python-omgeving. De resultaten van elke stap worden gevalideerd door een "context verifier"-module en het uiteindelijke resultaat wordt geconsolideerd door een "solution summaryr".

"Door strategische planning te scheiden van het genereren van opdrachten, vermindert OctoTools fouten en verhoogt het de transparantie, waardoor het systeem betrouwbaarder en gemakkelijker te onderhouden wordt", schrijven de onderzoekers.

OctoTools gebruikt ook een optimalisatiealgoritme om de beste subset van tools voor elke taak te selecteren. Dit helpt voorkomen dat het model overspoeld wordt met irrelevante tools.

Er zijn verschillende frameworks voor het creëren van LLM-applicaties en agentsystemen, waaronder Microsoft AutoGen , LangChain en OpenAI API “ function calling ”. Volgens de ontwikkelaars overtreft OctoTools deze platforms bij taken die redenering en het gebruik van tools vereisen.

De onderzoekers testten alle frameworks op verschillende benchmarks voor visueel, wiskundig en wetenschappelijk redeneren, evenals medische kennis en agentische taken. OctoTools behaalde een gemiddelde nauwkeurigheidswinst van 10,6% ten opzichte van AutoGen, 7,5% ten opzichte van GPT-Functions en 7,3% ten opzichte van LangChain bij gebruik van dezelfde tools. Volgens de onderzoekers is de reden voor de betere prestaties van OctoTools de superieure distributie van toolgebruik en de juiste ontleding van de query in subdoelen.

OctoTools biedt ondernemingen een praktische oplossing voor het gebruik van LLM's voor complexe taken. De uitbreidbare toolintegratie zal helpen bestaande barrières te overwinnen voor het creëren van geavanceerde AI-redeneringsapplicaties. De onderzoekers hebben de code voor OctoTools vrijgegeven op GitHub .