Vyhodnocovanie a bezpečnosť AI systémov: ako merať a ako strážiť

Benchmarky a neistota merania, ako výber podľa testovacej sady nadsadzuje výsledky, kontaminácia dát na pokuse, druhy rizík, filter príkazov agenta ako zákaz oproti povoleniu a obrana do hĺbky.

12 minút Matěj Žalmánek 2026-10-16

Séria Základy AI Diel 52 z 52

1. Mapa umelej inteligencie: čo je čo a ako to do seba zapadá
2. Stručná história umelej inteligencie: od Turinga po jazykové modely
3. Dáta, model, tréning, inferencia: základné pojmy na jednom príklade
4. Ako čítať matematický zápis: symboly, indexy, sumy a kvantifikátory
5. Množiny a relácie: stavebnica, z ktorej sa skladajú definície v AI
6. Funkcie a zobrazenia: prečo je každý model v AI funkcia
7. Logika a dôkazy: pravidlá, podľa ktorých sa v AI uvažuje
8. Grafy a stromy: štruktúra, na ktorej stojí hľadanie aj neurónové siete
9. Lineárna algebra pre strojové učenie: vektory, matice a prečo AI hlavne násobí
10. Derivácie, gradient a reťazové pravidlo: ako model zistí, ktorým smerom sa učiť
11. Gradientný zostup: ako sa model učí
12. Čo je pravdepodobnosť: od hodu kockou ku Kolmogorovovým axiómam
13. Podmienená pravdepodobnosť a Bayesova veta: ako zmeniť odhad, keď sa dozviete niečo nové
14. Náhodná premenná a distribučná funkcia: jedna funkcia, ktorá o rozdelení povie všetko
15. Funkcia hustoty a pravdepodobnostná funkcia: prečo má spojitá premenná v bode pravdepodobnosť nula
16. Stredná hodnota, rozptyl a kovariancia: kde rozdelenie leží, aké je široké a čo s čím súvisí
17. Prehľad pravdepodobnostných rozdelení: Bernoulliho, binomické, Poissonovo, rovnomerné, normálne a exponenciálne
18. Zákon veľkých čísel a centrálna limitná veta: prečo sa priemery správajú tak predvídateľne
19. Štatistika a odhady parametrov: maximálna vierohodnosť, MAP a intervaly spoľahlivosti
20. Teória informácie: entropia, krížová entropia a KL divergencia — odkiaľ sa berú stratové funkcie
21. Prehľadávanie stavového priestoru: BFS, DFS, UCS a A* s animáciami
22. Hry a protivník: minimax, alfa-beta orezávanie a Monte Carlo tree search
23. Splňovanie obmedzujúcich podmienok: backtracking, propagácia obmedzení a AC-3 na sudoku a mape krajov
24. Logika a znalostné systémy: dopredné a spätné reťazenie, rezolúcia a expertné systémy
25. Plánovanie: STRIPS, svet kociek, heuristiky z relaxácie a plánovanie v AI agentoch
26. Lokálne hľadanie a simulované žíhanie: obchodný cestujúci cez krajské mestá
27. Genetické algoritmy: populácia, kríženie, mutácia a výber na batohu na výlet
28. Evolučné stratégie a genetické programovanie: od pravidla jednej pätiny po Keplerov zákon
29. Optimalizácia mravčou kolóniou: ako feromónová stopa nájde krátku cestu
30. Optimalizácia rojom častíc: zotrvačnosť, vlastná skúsenosť a skúsenosť roja
31. Neuroevolúcia: evolúcia váh aj tvaru neurónových sietí a algoritmus NEAT
32. Fuzzy množiny a funkcie príslušnosti: ako zapísať „trochu teplo“
33. Fuzzy logika a pravdepodobnosť: prečo „trochu teplo“ neznamená „pravdepodobne teplo“
34. Fuzzy logika: t-normy, implikácie a pravidlá AK–TAK
35. Fuzzy riadenie: Mamdani a Sugeno od ventilátora po kyvadlo na vozíku
36. Fuzzy zhlukovanie: algoritmus fuzzy c-means a body medzi zhlukmi
37. Neuro-fuzzy systémy (ANFIS): fuzzy pravidlá, ktoré sa učia z dát
38. Markovove reťazce: prechodová matica, stacionárne rozdelenie a PageRank
39. Skryté Markovove modely: Viterbiho algoritmus a nepoctivé kasíno
40. Bayesovské siete: prečo je tráva mokrá a čo z toho vyplýva pre postrekovač
41. Kalmanov filter: ako z nepresných meraní odhadnúť, kde auto je a ako rýchlo ide
42. Druhy strojového učenia: s učiteľom, bez učiteľa, s čiastočným učiteľom a ďalšie
43. Prompty, kontext a RAG: ako modelu dať správne informácie
44. Variačné autoenkodéry (VAE): nové obrázky zo spojitého latentného priestoru
45. Generatívne adversariálne siete (GAN): falšovateľ proti detektívovi
46. Difúzne modely: ako sa z čistého šumu stane obrázok
47. Markovove rozhodovacie procesy: stavy, akcie, odmeny a Bellmanove rovnice
48. Q-learning a DQN: učenie hodnoty akcií od tabuľky po neurónovú sieť
49. Policy gradient a PPO: učenie priamo stratégie
50. Ako funguje AI agent: jazykový model v slučke s nástrojmi
51. Programovanie s AI agentmi: zadanie, testy a kontrola
52. Vyhodnocovanie a bezpečnosť AI systémov: ako merať a ako strážiť

Celá osnova série Hotovo: 52 z 83 tém

„Nový model je o 3 body lepší.“ „Agent je bezpečný, má zákaz nebezpečných príkazov.“ Obe vety znejú upokojujúco a obe môžu byť nepravdivé, hoci nikto neklame. Prvá pre to, ako sa meria, druhá pre to, ako sa zakazuje. V poslednom diele časti o agentoch sa pozrieme na dve otázky, ktoré sa pri AI systémoch kladú najčastejšie: ako zistiť, čo naozaj vedia, a ako zariadiť, aby nerobili, čo nemajú.

Nadväzuje na diely Vyhodnocovanie modelov, Ako funguje AI agent a Programovanie s AI agentmi.

1. Ako sa meria, čo model vie

Definícia — benchmark

Benchmark je pevne daná trojica, na ktorej sa porovnávajú modely:

1. konečná sada úloh u₁, …, u_n, n ≥ 1;
2. ku každej úlohe u_i referenčné riešenie r_i (správna odpoveď, alebo testy, ktorými musí riešenie prejsť);
3. pravidlo hodnotenia h, ktoré odpovedi a na úlohu u_i priradí h(a, r_i) ∈ {0, 1} (1 = správne).

Ak model M odpovie na úlohu u_i odpoveďou M(u_i), je jeho výsledok na benchmarku podiel správne vyriešených úloh

S(M) = 1/n ∑_i=1ⁿ h(M(u_i), r_i) ∈ [0, 1].

Príklady: otázky s výberom odpovede z mnohých odborov (MMLU), slovné úlohy z matematiky (GSM8K), opravy skutočných chýb v open-source projektoch overené testami (SWE-bench). Doplnkom sú porovnania ľuďmi (ľudia hlasujú, ktorá z dvoch anonymných odpovedí je lepšia) a vlastné testy na úlohách, na ktorých záleží vám.

Aj poctivá písomka má však obmedzenú presnosť. Model, ktorý vyrieši 82 % z 200 úloh, má 95 % interval spoľahlivosti 76,1 až 86,7 %; model s 85 % má 79,4 až 89,3 %. Intervaly sa z veľkej časti prekrývajú — z takého merania sa nedá povedať, ktorý je lepší. Na 2 000 úlohách by bol interval pre 82 % už len 80,3 až 83,6 %. Kedykoľvek uvidíte rozdiel pár percentuálnych bodov, pýtajte sa, na koľkých úlohách bol nameraný.

Definícia — 95 % interval spoľahlivosti

Nech p ∈ [0, 1] je neznáma pravdepodobnosť, že model vyrieši úlohu, n ≥ 1 počet úloh a X₁, …, X_n nezávislé náhodné veličiny s P(X_i = 1) = p, P(X_i = 0) = 1 − p (X_i = 1 znamená, že model úlohu i vyriešil; Bernoulliho rozdelenie). Nameraný podiel je

p̂ = 1/n ∑_i=1ⁿ X_i.

Nech T₁ ≤ T₂ sú hranice vypočítané z X₁, …, X_n (v našom prípade z p̂ a n). Náhodný interval (T₁, T₂) je 95 % interval spoľahlivosti pre p práve vtedy, keď

∀ p ∈ [0, 1] :   P_p(T₁ < p < T₂) = 0,95,

kde P_p je pravdepodobnosť pri skutočnej hodnote p. Ak rovnosť platí len približne pre veľké n (v limite n → ∞), ide o približný (asymptotický) interval — taký je aj Wilsonov interval nižšie. Všeobecnú definíciu nájdete v diele o štatistike.

Keby sme teda meranie opakovali na nových sadách, obsahoval by interval skutočné p v 95 % prípadov. Nie je to tvrdenie „p leží v intervale s pravdepodobnosťou 95 %“ — náhodný je interval, nie p.

Intervaly v tomto diele počítame Wilsonovým vzorcom (Edwin B. Wilson, 1927). Na rozdiel od jednoduchého p̂ ± 1,96 · √p̂(1 − p̂)/n nevybehne za 0 a 100 % a funguje aj pre podiely blízko okrajov:

p̂ + z²/2n ± z √p̂(1 − p̂)/n + z²/4n²/1 + z²/n

p̂

nameraný podiel správnych odpovedí — východiskový bod, okolo ktorého interval staviame

z²/2n

posun k stredu: akoby sme k výsledkom pridali z²/2 ≈ 2 správne a 2 nesprávne odpovede. Malá sada tak nemôže tvrdiť „100 %, interval nulovej šírky“

z √…

polovica šírky intervalu; prvý člen pod odmocninou je rozptyl nameraného podielu, ktorý klesá s n — preto štyrikrát viac úloh dá len polovičný interval

1 + z²/n

menovateľ vracia posunutý stred aj šírku do správnej mierky; pre veľké n je takmer 1 a vzorec prejde na jednoduchý p̂ ± z · √p̂(1 − p̂)/n

Príklad — interval pre 82 % z 200 úloh a rozdiel dvoch modelov

Farby podľa Wilsonovho vzorca vyššie; p̂ = 0,82, n = 200. z² = 1,96² = 3,8416. Stred: 0,82 + 3,8416/400 = 0,8296. Polovica šírky: 1,96 · √0,82 · 0,18/200 + 3,8416/160 000 = 1,96 · √0,000738 + 0,000024 = 0,0541. Menovateľ: 1 + 3,8416/200 = 1,0192.

Interval: 0,8296 − 0,0541/1,0192 = 0,7609 až 0,8296 + 0,0541/1,0192 = 0,8671, teda 76,1 až 86,7 %.

Je rozdiel 85 % oproti 82 % skutočný? Smerodajná chyba rozdielu dvoch nezávislých podielov je √0,82 · 0,18/200 + 0,85 · 0,15/200 = 0,0371, takže 95 % interval rozdielu je 3 ± 1,96 · 3,71 = 3 ± 7,3 bodu. Obsahuje nulu — rozdiel sa nedá odlíšiť od náhody. (Keď oba modely riešia tie isté úlohy, dá sa merať citlivejšie párovo, len na úlohách, kde sa líšia.)

Koľko úloh treba, aby polovica šírky bola 1 bod? Pre veľké n stačí jednoduchý vzorec: zo z √p(1 − p)/n ≤ 0,01 vyplýva n ≥ z² p(1 − p)/0,01² = 3,8416 · 0,82 · 0,18/0,0001 ≈ 5 671 úloh.

2. Testovacia sada sa opotrebúva

Definícia — adaptívne preučenie na testovacej sade

Nech úlohy pochádzajú z nejakého rozdelenia 𝒟 a S je testovacia sada n úloh vylosovaných z 𝒟 nezávisle. Nech f₁, …, f_K sú varianty modelu (rôzne nastavenia, prompty…), K ≥ 2. Pre variant f označme

1. acc(f) ∈ [0, 1] skutočnú presnosť — pravdepodobnosť, že f vyrieši úlohu náhodne vylosovanú z 𝒟;
2. acc_S(f) nameranú presnosť — podiel úloh zo S, ktoré f vyrieši.

Ak je variant f zvolený bez ohľadu na S, je nameraná presnosť nestranný odhad: E[acc_S(f)] = acc(f). Ak však vyberieme variant podľa výsledkov na tej istej sade,

k* = argmax_{k ∈ {1, …, K}} acc_S(f_k),

potom nameraná presnosť vybraného variantu prestáva byť nestranným odhadom. Adaptívne preučenie na testovacej sade je situácia, keď

E[acc_S(f_k*) − acc(f_k*)] > 0,

t. j. nameraná presnosť variantu vybraného podľa S je systematicky vyššia než jeho skutočná presnosť. Vždy platí E[max_k acc_S(f_k)] ≥ max_k E[acc_S(f_k)] = max_k acc(f_k) (maximum je aspoň také veľké ako každý z členov, a teda aj jeho stredná hodnota), takže ohlásené číslo v priemere nikdy nepodhodnocuje ani najlepší z variantov a zvyčajne ho nadhodnocuje.

Slovami: keď sa podľa výsledkov na tej istej testovacej sade opakovane vyberá, vybraný variant je sčasti najlepší len preto, že mu náhoda na tejto sade priala, a na nových dátach dopadne horšie. Všeobecnejšie to vystihuje Goodhartov zákon: keď sa z meradla stane cieľ, prestane dobre merať.

Pokus: K variantov modelu, všetky so skutočnou presnosťou 70 %, zmeriame na rovnakej sade a ohlásime výsledok najlepšieho. Priemer z 300 opakovaní:

Na sade so 100 úlohami ohlási výber zo 100 variantov priemerne 81,1 % a z 500 variantov 83,2 % — o 13 bodov viac, než koľko ktorýkoľvek z nich naozaj vie. Väčšia sada pomáha (s 1 000 úlohami 73,6 %), ale problém nezmizne. Varianty v pokuse sa mýlia nezávisle; skutočné varianty jedného modelu sa chybami podobajú, takže efekt býva menší — smer je však rovnaký. Ochrana: vyberať na jednej sade (validačnej) a konečné číslo zmerať raz na inej, nedotknutej sade.

Prečo to tak vychádza, sa dá vypočítať presne. Počet úloh X, ktoré jeden variant vyrieši, má binomické rozdelenie Bin(n; 0,7) (binomické rozdelenie). Najlepší z K variantov dosiahne aspoň t úloh, keď to dokáže aspoň jeden z nich:

P(max ≥ t) = 1 − ( 1 − P(X ≥ t) )^K

P(X ≥ t)

šanca, že jeden variant náhodou vyrieši aspoň t úloh; pre t nad skutočnou úrovňou je malá — a práve z nej žije výber

K

počet skúšaných variantov; v exponente, pretože (1 − P)^K je šanca, že to nedokáže žiadny z nezávislých variantov

P(max ≥ t)

šanca, že ohlásený (najlepší) výsledok dosiahne t; s rastúcim K sa blíži k jednej aj pre vysoké t

Príklad — 80 % zo 100 úloh

Jeden variant: X ~ Bin(100; 0,7) má strednú hodnotu 70 a smerodajnú odchýlku √100 · 0,7 · 0,3 = 4,58 úlohy. Aspoň 80 úloh vyrieši s pravdepodobnosťou P(X ≥ 80) = 0,0165, teda asi v 1,6 % prípadov — o viac než dve smerodajné odchýlky nad priemerom.

Zo 100 variantov (farby podľa vzorca vyššie): P(max ≥ 80) = 1 − (1 − 0,0165)¹⁰⁰ = 0,810. Výsledok „80 % a viac“, ktorý je pri jednom variante vzácnosťou, ohlásime v štyroch pokusoch z piatich.

Strednú hodnotu najlepšieho výsledku možno zo vzorca vypočítať bez simulácie: E[max] = ∑_t=1ⁿ P(max ≥ t). Vyjde 81,1 % pre 100 variantov, 83,2 % pre 500 variantov a 73,6 % pre 100 variantov na sade s 1 000 úlohami — to isté, čo dala simulácia s 300 opakovaniami (81,1, 83,2 a 73,6 %).

3. Kontaminácia: model videl odpovede

Definícia — kontaminácia dát

Nech D sú trénovacie dáta modelu a S = {u₁, …, u_n} testovacia sada.

1. Úloha u ∈ S je kontaminovaná práve vtedy, keď D obsahuje u (zadanie, prípadne aj s riešením) alebo jej blízku kópiu. Čo je „blízka kópia“, nie je pevne dané; v praxi sa volí pravidlo, napríklad že s u zdieľa dostatočne dlhý súvislý úsek textu.
2. Miera kontaminácie sady S je podiel kontaminovaných úloh |{u ∈ S : u je kontaminovaná}|/n.

Kontaminácia teda nastane práve vtedy, keď je miera kontaminácie kladná — testovacie úlohy (alebo ich blízke kópie) sa dostali do trénovacích dát. Pri veľkých jazykových modeloch, učených na veľkej časti internetu, je to vážny problém: benchmarky sú verejné, často aj s riešeniami, a model si ich mohol zapamätať. Nameraný výsledok potom meria pamäť, nie schopnosť.

Pokus na číslicach 8 × 8 z dielu o zhlukovaní: klasifikátor najbližšieho suseda sa učí len z troch príkladov každej cifry, takže na 200 testovacích číslicach má poctivo 60 %. Potom do trénovacích dát „presiakne“ časť testovacích číslic:

ŷ(x) = y_i*,   i* = argmin_{i ∈ tréning} ∑_j=1⁶⁴ (x_j − x_i,j)²

∑ (x_j − x_i,j)²

štvorec euklidovskej vzdialenosti dvoch obrázkov po 64 pixeloch; malý, keď sa obrázky podobajú

argmin_{i ∈ tréning}

ktorý trénovací príklad je najbližšie — hľadá sa len medzi tým, čo model „videl“; preto únik testovacích dát priamo mení odpovede

y_i*

odpoveďou je cifra najbližšieho suseda; žiadne zovšeobecňovanie, len „vyzerá to ako tamto“

S únikom 10 % vyskočí presnosť na 69 %, s 25 % na 79 %, s polovicou na 92 % a s celou testovacou sadou na 100 %. Zaujímavé je, že sa zlepšia aj číslice, ktoré neunikli (pri úniku polovice 86 % namiesto 60 %): uniknuté príklady sa podobajú ostatným testovacím, a pomáhajú teda aj s nimi. Preto nestačí kontrolovať, či model videl presne tú istú otázku — stačí, že videl podobné. Obrana: neverejné testovacie sady, nové úlohy vytvorené až po skončení učenia modelu a kontrola, či model nevie úlohu „dopísať“ spamäti.

4. Čo sa môže pokaziť

Bezpečnosť AI systémov nie je jedna vec. Pomáha rozlišovať, odkiaľ škoda prichádza:

• Chyby — model sa mýli alebo si vymýšľa (halucinácie) a človek mu uverí.
• Zneužitie — niekto model použije na škodu: podvodné e-maily, pomoc s útokom, dezinformácie.
• Útoky na systém — prompt injection v dokumente alebo na webe prevezme kontrolu nad agentom; „jailbreak“ obíde pravidlá modelu.
• Nebezpečné akcie — agent s prístupom k počítaču alebo účtom urobí niečo nezvratné, aj keď to nikto nechcel.
• Nesúlad cieľov — systém optimalizuje presne to, čo sme mu zadali, namiesto toho, čo sme chceli (preoptimalizovanie odmeny). S rastúcou samostatnosťou systémov je toto téma výskumu aj regulácie.

5. Zakazovať, alebo povoľovať

Konkrétny príklad z praxe agentov: agent smie spúšťať príkazy v termináli. Ako zabrániť, aby spustil niečo nebezpečné? Porovnáme dva filtre na 28 príkazoch — 12 bežných (testy, git, výpis súborov) a 16 nebezpečných (mazanie, posielanie dát von, spustenie cudzieho skriptu).

Definícia — zoznam zákazov a zoznam povolení

Nech C je množina všetkých príkazov (textových reťazcov). Filter je funkcia φ : C → {pustiť, zastaviť}; zastavený príkaz agent nevykoná — pri agentovi typicky čaká, kým ho schváli človek.

1. Nech Z je konečná množina zakázaných vzorov. Zoznam zákazov (denylist) je filter, pre ktorý φ_Z(c) = pustiť  ⇔  ¬ ∃ z ∈ Z : c zodpovedá vzoru z.
2. Nech A je konečná množina povolených vzorov. Zoznam povolení (allowlist) je filter, pre ktorý φ_A(c) = pustiť  ⇔  ∃ a ∈ A : c zodpovedá vzoru a.

Čo znamená „zodpovedá vzoru“, určuje konkrétny filter; v našom pokuse je to pri zákazoch „z je podreťazec c“ a pri povoleniach „c začína a a neobsahuje znaky | ; & ` $“ (rozbor nižšie). Zoznam zákazov teda pustí všetko, čo výslovne nezakazuje, zoznam povolení zastaví všetko, čo výslovne nepovoľuje. Bezpečnostná zásada najmenších oprávnení odporúča to druhé.

Zákaz obsahuje vzory „rm -rf“, „curl | sh“, „DROP TABLE“, „--force“, „.ssh“. Povolenie púšťa len výpis a čítanie súborov, git bez zápisu, spustenie testov a vytvorenie priečinka, a to bez rúr a bodkočiarok.

zákaz pustí c ⇔ ¬ ∃ z ∈ Z: z je podreťazec c
povolenie pustí c ⇔ ∃ a ∈ A: c začína a ∧ c neobsahuje | ; & ` $

¬ ∃ z ∈ Z

zákaz: pustí všetko, v čom nenájde žiadny zo zakázaných vzorov. Predvolená odpoveď je „áno“ — každý zápis, na ktorý autor nepomyslel, prejde

∃ a ∈ A: c začína a

povolenie: pustí len príkaz, ktorý začína niektorým povoleným prefixom. Predvolená odpoveď je „nie“ — neznámy príkaz čaká na človeka

bez | ; & ` $

bez tohto by sa povolený začiatok dal „predĺžiť“: git status; rm -rf ~ začína povoleným git status

Zákaz zastavil len 5 z 16 nebezpečných príkazov. Stačí napísať rm -r -f namiesto rm -rf, zmazať súbory cez find -delete alebo cez Python, stiahnuť skript cez wget namiesto curl, alebo príkaz zakódovať do base64. Zoznam zákazov je vždy o krok pozadu za vynaliezavosťou — a jazykový model je vynaliezavý, aj keď nikomu nechce ublížiť; len hľadá inú cestu, ako úlohu splniť. Povolenie zastavilo všetkých 16. Cena: 3 z 12 bežných príkazov (inštalácia knižnice, commit, zmazanie dočasného súboru) musí schváliť človek. To je presne úloha človeka v dohľade nad agentom: rozhodnúť v tých prípadoch, ktoré pravidlá nepokrývajú.

Príklad — filtre ako klasifikátory

Filter je klasifikátor s pozitívnou triedou „nebezpečný“, takže sa dá opísať číslami z dielu o vyhodnocovaní. Úplnosť (TPR, podiel zastavených nebezpečných) a podiel falošných poplachov (FPR, podiel zastavených bežných):

TPR = TP/TP + FN = počet zastavených nebezpečných/počet nebezpečných,   FPR = FP/FP + TN = počet zastavených bežných/počet bežných

Zákaz: TPR = 5/16 = 0,313, FPR = 0/12 = 0,00. Povolenie: TPR = 16/16 = 1,00, FPR = 3/12 = 0,25.

Falošný poplach tu stojí pár sekúnd človeka, ktorý klikne na „schváliť“; prehliadnutý nebezpečný príkaz môže stáť celý projekt. Pri takto nesúmerných cenách sa oplatí filter s vysokou úplnosťou aj za cenu falošných poplachov — teda povolenie.

6. Obrana do hĺbky

Žiadna vrstva sama nestačí — model sa dá prehovoriť, filter obísť, človek sa unaví. Preto sa vrstvy skladajú:

• Model — doladenie, aby odmietal škodlivé požiadavky a priznával neistotu (diel o RLHF).
• Pokyny a oddelenie dát — systémový prompt, texty z webu a dokumentov označené ako dáta, nie príkazy.
• Oprávnenia — nástroje s najmenšími nutnými právami, zoznamy povolení, oddelené účty a kľúče.
• Izolácia — agent beží v kontajneri alebo virtuálnom stroji, bez prístupu k veciam, ktoré nepotrebuje.
• Človek v slučke — schvaľovanie nezvratných a neobvyklých krokov.
• Záznam a kontrola — čo agent urobil, sa dá spätne dohľadať a vrátiť (git, zálohy, logy).

P_škoda = p₁ · p₂ · … · p_m

p₁

pravdepodobnosť, že škodlivú akciu prepustí prvá vrstva (napríklad ju model neodmietne)

p₂

pravdepodobnosť, že ju prepustí druhá vrstva (filter príkazov) — násobí sa, pretože akcia musí prejsť všetkými vrstvami

p_m

posledná vrstva (izolácia, záloha); každá ďalšia vrstva s p < 1 výsledok zmenší, aj keď sama je slabá

P_škoda

šanca, že škodlivá akcia prejde až do konca

Štyri vrstvy, z ktorých každá prepustí 10 % škodlivých akcií, dajú P_škoda = 0,1 · 0,1 · 0,1 · 0,1 = 0,0001 — jednu z desiatich tisíc. Lenže vrstvy nezávislé nebývajú: prompt injection, ktorý presvedčí model, často presvedčí aj človeka, ktorý schvaľuje podľa vysvetlenia modelu. Keby sa druhá až štvrtá vrstva nechali oklamať vždy, keď sa oklame prvá, zostane P_škoda = 0,1. Preto majú vrstvy stáť na rôznych princípoch: model na obsahu, filter na syntaxi príkazu, izolácia na tom, k čomu má proces vôbec prístup.

Definícia — red teaming a hodnotenie nebezpečných schopností

Nejde o matematické pojmy, ale o postupy; presne ich určuje, z akých krokov sa skladajú.

Red teaming je opakovaný postup cieleného hľadania zlyhaní systému:

1. vopred sa stanoví, čo systém robiť nesmie (pravidlá, zakázané výstupy a akcie);
2. útočníci — ľudia a čoraz častejšie iné modely — hľadajú vstupy a situácie, v ktorých systém niektoré pravidlo poruší;
3. každé nájdené porušenie sa zaznamená a slabina sa opraví (doladením modelu, filtrom, zmenou oprávnení);
4. postup sa opakuje na opravenom systéme.

Hodnotenie nebezpečných schopností je meranie schopností pred zverejnením modelu:

1. zostaví sa sada úloh, ktorých zvládnutie by mohlo viesť k vážnej škode (napríklad pomoc s kybernetickým útokom);
2. zmeria sa, ako úspešne ich model rieši;
3. výsledok sa porovná s vopred stanovenými prahmi — ak model prah prekročí, vývojár pred zverejnením sprísni ochrany (alebo model nezverejní).

Veľkí vývojári majú takéto prahy a nadväzujúce ochrany spísané vo svojich verejných bezpečnostných zásadách.

K technickým opatreniam pribúda aj regulácia. Európsky akt o umelej inteligencii (AI Act, platný od roku 2024 a uplatňovaný postupne) rozdeľuje systémy podľa rizika: niektoré praktiky priamo zakazuje a podrobné povinnosti ukladá vysoko rizikovým systémom, ktoré rozhodujú o ľuďoch — pri nábore, úveroch alebo v zdravotníctve.

7. Zhrnutie

• Benchmark je písomka: užitočná na porovnanie, ale s obmedzenou presnosťou. Na 200 úlohách má 82 % interval 76,1 až 86,7 %.
• Vyberanie podľa tej istej testovacej sady nadsadzuje výsledok: výber zo 100 variantov so skutočnou presnosťou 70 % ohlási 81,1 %.
• Kontaminácia meria pamäť namiesto schopnosti; únik polovice testu zvýšil presnosť z 60 % na 92 %.
• Riziká: chyby, zneužitie, útoky na systém, nebezpečné akcie a nesúlad cieľov.
• Zoznam zákazov zastavil 5 z 16 nebezpečných príkazov, zoznam povolení všetkých 16 — za cenu schvaľovania.
• Bezpečnosť stojí na vrstvách: model, oddelenie dát, oprávnenia, izolácia, človek v slučke a záznam.

Chcete si to vyskúšať? Spíšte desať úloh zo svojej práce aj so správnymi výsledkami a nechajte AI agenta, nech na nich porovná dva modely — a nech k výsledku pridá interval spoľahlivosti. Potom skúste vymyslieť tri príkazy, ktoré by obišli zákazový filter vášho agenta.

Máte na to iný názor? Napíšte na support@coden-app.com.