Ako funguje AI agent: jazykový model v slučke s nástrojmi

Vo všeobecnosti je agent funkcia, ktorá každej doterajšej histórii vnemov priradí akciu (agentová funkcia z mapy AI). AI agent v užšom zmysle tohto dielu je táto konkrétna konštrukcia. Nech

1. T je množina všetkých textov (konečných postupností tokenov) a ⊕ : T × T → T pripojenie textu na koniec;
2. M : T → T je jazykový model, ktorý z kontextu napíše ďalší krok (model so vzorkovaním je v skutočnosti náhodný; tu berieme jeden pevný priebeh);
3. F ⊆ T je množina krokov, ktoré sú konečnou odpoveďou; ostatné kroky v ∈ T ∖ F sú volania nástroja;
4. N : T ∖ F → T je obslužný program: volanie nástroja naozaj vykoná a vráti jeho výsledok ako text;
5. c₁ ∈ T je počiatočný kontext (systémový prompt, popis nástrojov a úloha) a K_max ∈ ℕ, K_max ≥ 1, rozpočet krokov.

Beh agenta je postupnosť kontextov c₁, c₂, … a krokov v₁, v₂, … daná pre k = 1, 2, …, K_max predpisom

v_k = M(c_k),   c_k+1 = c_k ⊕ v_k ⊕ N(v_k)   (ak v_k ∉ F).

Beh sa zastaví v prvom kroku k, pre ktorý v_k ∈ F — výstupom je odpoveď v_k —, alebo po kroku K_max, ak žiadny krok nebol konečnou odpoveďou — výstupom je „došiel rozpočet krokov“.

Agent teda strieda krok modelu a vykonanie nástroja, kým model neodpovie alebo nedôjde rozpočet. Striedanie úvahy a akcie opísali Shunyu Yao a kol. (2022) pod menom ReAct (reason + act); zápis vyššie je zjednodušená formalizácia pre tento diel.

Nech má agent m ≥ 1 nástrojov. Nástroj i ∈ {1, …, m} je daný

1. menom j_i (mená rôznych nástrojov sú rôzne),
2. slovným popisom, na čo slúži,
3. schémou parametrov S_i — popisom, aké parametre a akých typov nástroj prijíma (typicky ako schéma JSON),
4. procedúrou, ktorú obslužný program pre platné parametre spustí a ktorá vráti výsledok ako text.

Meno, popis a schéma všetkých nástrojov sa vložia do promptu. Volanie nástroja je štruktúrovaný výstup modelu tvaru (j, x) — meno a parametre, napríklad {"nastroj": "hledej", "text": "KL divergence"}. Model je doladený tak, aby taký výstup vedel napísať namiesto bežného textu. Obslužný program volanie (j, x) spracuje takto:

1. ak existuje i s j = j_i a parametre x zodpovedajú schéme S_i, spustí procedúru nástroja i s parametrami x a jej výsledok pripojí do kontextu ako ďalšiu správu;
2. inak do kontextu pripojí chybovú správu a nástroj nespustí.

Model sám teda nič nespúšťa — len píše, čo sa má spustiť; spúšťa (alebo odmietne spustiť) obslužný program.

Pre dve rozdelenia áno/nie (dážď s pravdepodobnosťou p, model hovorí q; p, q ∈ (0, 1)) je D_KL(p ‖ q) = p log₂ p/q + (1 − p) log₂ 1 − p/1 − q bitov (teória informácie).

D_KL(0,7 ‖ 0,5) = 0,7 · log₂ 0,7/0,5 + 0,3 · log₂ 0,3/0,5 = 0,7 · log₂ 1,4 + 0,3 · log₂ 0,6 = 0,340 − 0,221 = 0,119.

D_KL(0,5 ‖ 0,7) = 0,5 · log₂ 5/7 + 0,5 · log₂ 5/3 = −0,243 + 0,368 = 0,126.

Priemeruje sa zakaždým podľa iného rozdelenia (podľa toho, čo je skutočnosť), preto prehodenie argumentov dá iné číslo — a vzdialenosť (metrika) musí byť symetrická. Toto je odpoveď, ktorú agent hľadá.

Model nemá pamäť medzi volaniami; pri každom volaní znova číta celý kontext — systémový prompt, úlohu a všetky doterajšie kroky a výsledky nástrojov. Nech beh agenta (definícia vyššie) skončil po K ≥ 1 volaniach modelu a pre k = 1, …, K je c_k ∈ ℕ dĺžka kontextu (počet tokenov) pred k-tým volaním. Cena slučky je počet tokenov, ktoré model počas behu spracuje na vstupe:

Z = ∑_k=1^K c_k.

Keďže kontext s každým krokom rastie, rastie Z zhruba s druhou mocninou počtu krokov (veta nižšie).

Nech K ∈ ℕ, K ≥ 1, je počet volaní modelu, c₁ ≥ 0 dĺžka počiatočného kontextu a d ≥ 0 počet tokenov, ktorý pridá každý krok (volanie aj výsledok nástroja dohromady), takže c_k = c₁ + (k − 1) d pre k = 1, …, K. Potom

Z = K c₁ + d · K(K − 1)/2.

Dôkaz: Z = ∑_k=1^K (c₁ + (k − 1) d) = K c₁ + d ∑_k=1^K (k − 1) a ∑_k=1^K (k − 1) = 0 + 1 + … + (K − 1) = K(K − 1)/2. ∎ Pre veľké K prevládne druhý člen ≈ d K²/2: dvakrát dlhšie sedenie stojí zhruba štyrikrát viac. (Farby zodpovedajú členom rozboru vyššie: d je stála hodnota v_j + o_j.)

Hľadaj a čítaj výrez. Systémový prompt má 157 tokenov, otázka 18, teda c₁ = 175. Po troch krokoch má kontext 209, 414, 560 tokenov. Štyri volania modelu čítajú Z = 175 + 209 + 414 + 560 = 1 358 tokenov (farby podľa vzorca vyššie).

Čítaj všetko. K = 11 volaní, kontext narastie z 175 na 24 927 tokenov, priemerne o d = 24 927 − 175/10 ≈ 2 475 za krok. Podľa vety Z ≈ 11 · 175 + 2 475 · 11 · 10/2 = 138 050; skutočnosť je 141 820 (články majú rôznu dĺžku, takže kroky nepridávajú presne rovnako). Systémový prompt s otázkou je z toho len 1 925 tokenov — skoro všetko je opakované čítanie článkov.

Tieto pojmy nie sú matematické; sú to roly častí behu agenta (definícia AI agenta vyššie, kontexty c₁, c₂, …, nástroje N). Jedno sedenie je jeden beh agenta od c₁ po zastavenie.

1. Plán je text v kontexte — číslovaný zoznam krokov, ktorý agent napíše ako jeden zo svojich krokov v_k na začiatku sedenia a v ďalších krokoch opakovane prepisuje (odškrtáva hotové, mení zvyšné). Model ho číta ako každú inú časť kontextu; nič ho nevynucuje.
2. Pracovná pamäť je kontext c_k jedného sedenia. Zaniká so sedením a je obmedzená dĺžkou kontextu, ktorú model zvládne.
3. Dlhodobá pamäť sú dáta uložené mimo modelu aj mimo kontextu (súbory, databázy), ktoré pretrvajú koniec sedenia. Agent do nich zapisuje a číta z nich len volaním nástrojov; v ďalšom sedení sa dostanú do kontextu, len ak ich agent prečíta alebo ich obslužný program vloží do c₁.
4. Čiastkový agent je iný beh agenta, ktorý hlavný agent spustí ako nástroj: čiastkový agent začne s vlastným počiatočným kontextom (len popis čiastkovej úlohy), pracuje vo vlastnej slučke a do kontextu hlavného agenta sa ako výsledok nástroja N(v_k) vráti len jeho konečná odpoveď. Podrobnosti jeho práce tak hlavný kontext nezaplnia.

Nech p ∈ [0, 1], d ∈ [0, 1], r ∈ ℕ ∪ {0} a n ∈ ℕ, n ≥ 1. Krok s kontrolou (uzavretá slučka) prebieha takto:

1. agent krok vykoná; pokus sa podarí s pravdepodobnosťou p;
2. agent výsledok overí (spustí testy, prečíta výstup príkazu, porovná s očakávaním); podarený pokus kontrola vždy prijme, nepodarený spozná ako chybný s pravdepodobnosťou d;
3. pokus sa podaril ⇒ krok skončí úspechom;
4. pokus sa nepodaril, kontrola to spoznala a agent zatiaľ opakoval menej než r-krát ⇒ agent krok opakuje od bodu 1;
5. inak (chyba prešla kontrolou, alebo došli opakovania) krok skončí neúspechom.

Výsledky jednotlivých pokusov a kontrol sú navzájom nezávislé. Úspešnosť kroku q je pravdepodobnosť, že krok skončí úspechom; úloha je n takých krokov za sebou, nezávislých, a podarí sa práve vtedy, keď sa podaria všetky. Potom

q = p ∑_k=0^r ((1 − p) d)^k,   P(úloha sa podarí) = qⁿ.

Sčítanec k je pravdepodobnosť, že prvých k pokusov zlyhá a zlyhanie sa spozná (každý s pravdepodobnosťou (1 − p) d) a pokus k + 1 sa podarí; tieto možnosti sa navzájom vylučujú, preto sa sčítajú. Bez kontroly (d = 0 alebo r = 0) je q = p.

Úspešnosť kroku (farby podľa vzorca vyššie): q = 0,9 + 0,9 · 0,1 · 0,9 + 0,9 · (0,1 · 0,9)² = 0,9 + 0,081 + 0,00729 = 0,98829.

Celá úloha: bez kontroly 0,9²⁰ = 0,122, s kontrolou 0,98829²⁰ = 0,790. Krok sa zlepšil len z 90 % na 98,8 %, ale úloha z 12 % na 79 % — mocnina n malé rozdiely v kroku nafukuje.

Nech q ∈ (0, 1) je úspešnosť kroku a úloha z n nezávislých krokov sa podarí s pravdepodobnosťou qⁿ (definícia vyššie). Dĺžka úlohy zvládnuteľnej v polovici prípadov je reálne číslo n_50 % > 0, pre ktoré q^n_50 % = 1/2, teda

n_50 % = ln 0,5/ln q = ln 2/−ln q ≈ 0,69/1 − q   pre q blízko 1

(približná rovnosť vyplýva z −ln q ≈ 1 − q pre q → 1). Keďže qⁿ s rastúcim n klesá, platí qⁿ ≥ 1/2 práve vtedy, keď n ≤ n_50 %; najväčší celý počet krokov, ktorý agent zvládne aspoň v polovici prípadov, je teda ⌊n_50 %⌋.

V našom modeli: p = 0,9 bez kontroly 6,6 kroku, s kontrolou 58,8; p = 0,99 bez kontroly 69,0, s kontrolou 686. Úloha, ktorú agent zvládne napoly, sa predĺži zhruba úmerne tomu, koľkokrát klesne chybovosť kroku 1 − q.

Rovnakú veličinu (dĺžku úlohy, ktorú agent zvládne v 50 % prípadov) meria METR — len nie v krokoch, ale v čase, ktorý by úloha zabrala človeku (Thomas Kwa a kol., Measuring AI Ability to Complete Long Tasks, 2025). Náš vzorec je zjednodušený model s nezávislými krokmi, nie ich metóda.