Jak funguje AI agent: jazykový model ve smyčce s nástroji

Obecně je agent funkce, která každé dosavadní historii vjemů přiřadí akci (agentní funkce z mapy AI). AI agent v užším smyslu tohoto dílu je tato konkrétní konstrukce. Nechť

1. T je množina všech textů (konečných posloupností tokenů) a ⊕ : T × T → T připojení textu na konec;
2. M : T → T je jazykový model, který z kontextu napíše další krok (model se vzorkováním je ve skutečnosti náhodný; tady bereme jeden pevný průběh);
3. F ⊆ T je množina kroků, které jsou konečnou odpovědí; ostatní kroky v ∈ T ∖ F jsou volání nástroje;
4. N : T ∖ F → T je obslužný program: volání nástroje skutečně provede a vrátí jeho výsledek jako text;
5. c₁ ∈ T je počáteční kontext (systémový prompt, popis nástrojů a úkol) a K_max ∈ ℕ, K_max ≥ 1, rozpočet kroků.

Běh agenta je posloupnost kontextů c₁, c₂, … a kroků v₁, v₂, … daná pro k = 1, 2, …, K_max předpisem

v_k = M(c_k),   c_k+1 = c_k ⊕ v_k ⊕ N(v_k)   (je-li v_k ∉ F).

Běh se zastaví v prvním kroku k, pro který v_k ∈ F — výstupem je odpověď v_k —, nebo po kroku K_max, pokud žádný krok konečnou odpovědí nebyl — výstupem je „došel rozpočet kroků“.

Agent tedy střídá krok modelu a provedení nástroje, dokud model neodpoví nebo nedojde rozpočet. Střídání úvahy a akce popsali Shunyu Yao a kol. (2022) pod jménem ReAct (reason + act); zápis výše je zjednodušená formalizace pro tenhle díl.

Nechť agent má m ≥ 1 nástrojů. Nástroj i ∈ {1, …, m} je dán

1. jménem j_i (jména různých nástrojů jsou různá),
2. slovním popisem, k čemu slouží,
3. schématem parametrů S_i — popisem, jaké parametry a jakých typů nástroj přijímá (typicky jako schéma JSON),
4. procedurou, kterou obslužný program pro platné parametry spustí a která vrátí výsledek jako text.

Jméno, popis a schéma všech nástrojů se vloží do promptu. Volání nástroje je strukturovaný výstup modelu tvaru (j, x) — jméno a parametry, třeba {"nastroj": "hledej", "text": "KL divergence"}. Model je doladěný tak, aby takový výstup místo běžného textu uměl napsat. Obslužný program volání (j, x) zpracuje takto:

1. existuje-li i s j = j_i a parametry x odpovídají schématu S_i, spustí proceduru nástroje i s parametry x a její výsledek připojí do kontextu jako další zprávu;
2. jinak do kontextu připojí chybovou zprávu a nástroj nespustí.

Model sám tedy nic nespouští — jen píše, co se má spustit; spouští (nebo odmítne spustit) obslužný program.

Pro dvě rozdělení ano/ne (déšť s pravděpodobností p, model říká q; p, q ∈ (0, 1)) je D_KL(p ‖ q) = p log₂ p/q + (1 − p) log₂ 1 − p/1 − q bitů (teorie informace).

D_KL(0,7 ‖ 0,5) = 0,7 · log₂ 0,7/0,5 + 0,3 · log₂ 0,3/0,5 = 0,7 · log₂ 1,4 + 0,3 · log₂ 0,6 = 0,340 − 0,221 = 0,119.

D_KL(0,5 ‖ 0,7) = 0,5 · log₂ 5/7 + 0,5 · log₂ 5/3 = −0,243 + 0,368 = 0,126.

Průměruje se pokaždé podle jiného rozdělení (podle toho, co je skutečnost), proto prohození argumentů dá jiné číslo — a vzdálenost (metrika) musí být symetrická. Tohle je odpověď, kterou agent hledá.

Model nemá paměť mezi voláními; při každém volání znovu čte celý kontext — systémový prompt, úkol a všechny dosavadní kroky a výsledky nástrojů. Nechť běh agenta (definice výše) skončil po K ≥ 1 voláních modelu a pro k = 1, …, K je c_k ∈ ℕ délka kontextu (počet tokenů) před k-tým voláním. Cena smyčky je počet tokenů, které model během běhu zpracuje na vstupu:

Z = ∑_k=1^K c_k.

Protože kontext s každým krokem roste, roste Z zhruba s druhou mocninou počtu kroků (věta níže).

Nechť K ∈ ℕ, K ≥ 1, je počet volání modelu, c₁ ≥ 0 délka počátečního kontextu a d ≥ 0 počet tokenů, který přidá každý krok (volání i výsledek nástroje dohromady), takže c_k = c₁ + (k − 1) d pro k = 1, …, K. Pak

Z = K c₁ + d · K(K − 1)/2.

Důkaz: Z = ∑_k=1^K (c₁ + (k − 1) d) = K c₁ + d ∑_k=1^K (k − 1) a ∑_k=1^K (k − 1) = 0 + 1 + … + (K − 1) = K(K − 1)/2. ∎ Pro velké K převáží druhý člen ≈ d K²/2: dvakrát delší sezení stojí zhruba čtyřikrát víc. (Barvy odpovídají členům rozboru výše: d je stálá hodnota v_j + o_j.)

Hledej a čti výřez. Systémový prompt má 157 tokenů, otázka 18, tedy c₁ = 175. Po třech krocích má kontext 209, 414, 560 tokenů. Čtyři volání modelu čtou Z = 175 + 209 + 414 + 560 = 1 358 tokenů (barvy podle vzorce výše).

Čti všechno. K = 11 volání, kontext naroste z 175 na 24 927 tokenů, průměrně o d = 24 927 − 175/10 ≈ 2 475 za krok. Podle věty Z ≈ 11 · 175 + 2 475 · 11 · 10/2 = 138 050; skutečnost je 141 820 (články mají různou délku, takže kroky nepřidávají přesně stejně). Systémový prompt s otázkou je z toho jen 1 925 tokenů — skoro všechno je opakované čtení článků.

Tyto pojmy nejsou matematické; jsou to role částí běhu agenta (definice AI agenta výše, kontexty c₁, c₂, …, nástroje N). Jedno sezení je jeden běh agenta od c₁ po zastavení.

1. Plán je text v kontextu — číslovaný seznam kroků, který agent napíše jako jeden ze svých kroků v_k na začátku sezení a v dalších krocích opakovaně přepisuje (odškrtává hotové, mění zbylé). Model ho čte jako každou jinou část kontextu; nic ho nevynucuje.
2. Pracovní paměť je kontext c_k jednoho sezení. Zaniká se sezením a je omezená délkou kontextu, kterou model zvládne.
3. Dlouhodobá paměť jsou data uložená mimo model i mimo kontext (soubory, databáze), která přetrvají konec sezení. Agent do nich zapisuje a čte z nich jen voláním nástrojů; v dalším sezení se dostanou do kontextu, jen pokud je agent přečte nebo je obslužný program vloží do c₁.
4. Dílčí agent je jiný běh agenta, který hlavní agent spustí jako nástroj: dílčí agent začne s vlastním počátečním kontextem (jen popis dílčího úkolu), pracuje ve vlastní smyčce a do kontextu hlavního agenta se jako výsledek nástroje N(v_k) vrátí jen jeho konečná odpověď. Podrobnosti jeho práce tak hlavní kontext nezaplní.

Nechť p ∈ [0, 1], d ∈ [0, 1], r ∈ ℕ ∪ {0} a n ∈ ℕ, n ≥ 1. Krok s kontrolou (uzavřená smyčka) probíhá takto:

1. agent krok provede; pokus se povede s pravděpodobností p;
2. agent výsledek ověří (spustí testy, přečte výstup příkazu, porovná s očekáváním); povedený pokus kontrola vždy přijme, nepovedený pozná jako chybný s pravděpodobností d;
3. pokus se povedl ⇒ krok skončí úspěchem;
4. pokus se nepovedl, kontrola to poznala a agent zatím opakoval méně než r-krát ⇒ agent krok opakuje od bodu 1;
5. jinak (chyba prošla kontrolou, nebo došla opakování) krok skončí neúspěchem.

Výsledky jednotlivých pokusů a kontrol jsou navzájem nezávislé. Úspěšnost kroku q je pravděpodobnost, že krok skončí úspěchem; úloha je n takových kroků za sebou, nezávislých, a povede se, právě když se povedou všechny. Pak

q = p ∑_k=0^r ((1 − p) d)^k,   P(úloha se povede) = qⁿ.

Sčítanec k je pravděpodobnost, že prvních k pokusů selže a selhání se pozná (každý s pravděpodobností (1 − p) d) a pokus k + 1 se povede; tyto možnosti se navzájem vylučují, proto se sčítají. Bez kontroly (d = 0 nebo r = 0) je q = p.

Úspěšnost kroku (barvy podle vzorce výše): q = 0,9 + 0,9 · 0,1 · 0,9 + 0,9 · (0,1 · 0,9)² = 0,9 + 0,081 + 0,00729 = 0,98829.

Celá úloha: bez kontroly 0,9²⁰ = 0,122, s kontrolou 0,98829²⁰ = 0,790. Krok se zlepšil jen z 90 % na 98,8 %, ale úloha z 12 % na 79 % — mocnina n malé rozdíly v kroku nafukuje.

Nechť q ∈ (0, 1) je úspěšnost kroku a úloha z n nezávislých kroků se povede s pravděpodobností qⁿ (definice výše). Délka úlohy zvládnutelné v polovině případů je reálné číslo n_50 % > 0, pro které q^n_50 % = 1/2, tedy

n_50 % = ln 0,5/ln q = ln 2/−ln q ≈ 0,69/1 − q   pro q blízko 1

(přibližná rovnost plyne z −ln q ≈ 1 − q pro q → 1). Protože qⁿ s rostoucím n klesá, platí qⁿ ≥ 1/2, právě když n ≤ n_50 %; největší celý počet kroků, který agent zvládne aspoň v polovině případů, je tedy ⌊n_50 %⌋.

V našem modelu: p = 0,9 bez kontroly 6,6 kroku, s kontrolou 58,8; p = 0,99 bez kontroly 69,0, s kontrolou 686. Úloha, kterou agent zvládne napůl, se prodlouží zhruba úměrně tomu, kolikrát klesne chybovost kroku 1 − q.

Stejnou veličinu (dobu úlohy, kterou agent zvládne v 50 % případů) měří METR — jen ne v krocích, ale v čase, který by úloha zabrala člověku (Thomas Kwa a kol., Measuring AI Ability to Complete Long Tasks, 2025). Náš vzorec je zjednodušený model s nezávislými kroky, ne jejich metoda.