Preskočiť na obsah
coden
Ako to fungujeČo vieBezpečnosťNávody
SK
ČeštinaEnglishSlovenčinaDeutschPolskiУкраїнськаEspañolFrançaisItaliano
Stiahnuť

Zákon veľkých čísel a centrálna limitná veta: prečo sa priemery správajú tak predvídateľne

Výberový priemer, zákon veľkých čísel a centrálna limitná veta s animáciami — prečo je normálne rozdelenie všade, odkiaľ sa berie chyba prieskumov ±3 % a prečo dvakrát presnejší odhad stojí štyrikrát viac dát.

13 minút Matěj Žalmánek 2026-10-15

Séria Základy AI Diel 18 z 52
  1. Mapa umelej inteligencie: čo je čo a ako to do seba zapadá
  2. Stručná história umelej inteligencie: od Turinga po jazykové modely
  3. Dáta, model, tréning, inferencia: základné pojmy na jednom príklade
  4. Ako čítať matematický zápis: symboly, indexy, sumy a kvantifikátory
  5. Množiny a relácie: stavebnica, z ktorej sa skladajú definície v AI
  6. Funkcie a zobrazenia: prečo je každý model v AI funkcia
  7. Logika a dôkazy: pravidlá, podľa ktorých sa v AI uvažuje
  8. Grafy a stromy: štruktúra, na ktorej stojí hľadanie aj neurónové siete
  9. Lineárna algebra pre strojové učenie: vektory, matice a prečo AI hlavne násobí
  10. Derivácie, gradient a reťazové pravidlo: ako model zistí, ktorým smerom sa učiť
  11. Gradientný zostup: ako sa model učí
  12. Čo je pravdepodobnosť: od hodu kockou ku Kolmogorovovým axiómam
  13. Podmienená pravdepodobnosť a Bayesova veta: ako zmeniť odhad, keď sa dozviete niečo nové
  14. Náhodná premenná a distribučná funkcia: jedna funkcia, ktorá o rozdelení povie všetko
  15. Funkcia hustoty a pravdepodobnostná funkcia: prečo má spojitá premenná v bode pravdepodobnosť nula
  16. Stredná hodnota, rozptyl a kovariancia: kde rozdelenie leží, aké je široké a čo s čím súvisí
  17. Prehľad pravdepodobnostných rozdelení: Bernoulliho, binomické, Poissonovo, rovnomerné, normálne a exponenciálne
  18. Zákon veľkých čísel a centrálna limitná veta: prečo sa priemery správajú tak predvídateľne
  19. Štatistika a odhady parametrov: maximálna vierohodnosť, MAP a intervaly spoľahlivosti
  20. Teória informácie: entropia, krížová entropia a KL divergencia — odkiaľ sa berú stratové funkcie
  21. Prehľadávanie stavového priestoru: BFS, DFS, UCS a A* s animáciami
  22. Hry a protivník: minimax, alfa-beta orezávanie a Monte Carlo tree search
  23. Splňovanie obmedzujúcich podmienok: backtracking, propagácia obmedzení a AC-3 na sudoku a mape krajov
  24. Logika a znalostné systémy: dopredné a spätné reťazenie, rezolúcia a expertné systémy
  25. Plánovanie: STRIPS, svet kociek, heuristiky z relaxácie a plánovanie v AI agentoch
  26. Lokálne hľadanie a simulované žíhanie: obchodný cestujúci cez krajské mestá
  27. Genetické algoritmy: populácia, kríženie, mutácia a výber na batohu na výlet
  28. Evolučné stratégie a genetické programovanie: od pravidla jednej pätiny po Keplerov zákon
  29. Optimalizácia mravčou kolóniou: ako feromónová stopa nájde krátku cestu
  30. Optimalizácia rojom častíc: zotrvačnosť, vlastná skúsenosť a skúsenosť roja
  31. Neuroevolúcia: evolúcia váh aj tvaru neurónových sietí a algoritmus NEAT
  32. Fuzzy množiny a funkcie príslušnosti: ako zapísať „trochu teplo“
  33. Fuzzy logika a pravdepodobnosť: prečo „trochu teplo“ neznamená „pravdepodobne teplo“
  34. Fuzzy logika: t-normy, implikácie a pravidlá AK–TAK
  35. Fuzzy riadenie: Mamdani a Sugeno od ventilátora po kyvadlo na vozíku
  36. Fuzzy zhlukovanie: algoritmus fuzzy c-means a body medzi zhlukmi
  37. Neuro-fuzzy systémy (ANFIS): fuzzy pravidlá, ktoré sa učia z dát
  38. Markovove reťazce: prechodová matica, stacionárne rozdelenie a PageRank
  39. Skryté Markovove modely: Viterbiho algoritmus a nepoctivé kasíno
  40. Bayesovské siete: prečo je tráva mokrá a čo z toho vyplýva pre postrekovač
  41. Kalmanov filter: ako z nepresných meraní odhadnúť, kde auto je a ako rýchlo ide
  42. Druhy strojového učenia: s učiteľom, bez učiteľa, s čiastočným učiteľom a ďalšie
  43. Prompty, kontext a RAG: ako modelu dať správne informácie
  44. Variačné autoenkodéry (VAE): nové obrázky zo spojitého latentného priestoru
  45. Generatívne adversariálne siete (GAN): falšovateľ proti detektívovi
  46. Difúzne modely: ako sa z čistého šumu stane obrázok
  47. Markovove rozhodovacie procesy: stavy, akcie, odmeny a Bellmanove rovnice
  48. Q-learning a DQN: učenie hodnoty akcií od tabuľky po neurónovú sieť
  49. Policy gradient a PPO: učenie priamo stratégie
  50. Ako funguje AI agent: jazykový model v slučke s nástrojmi
  51. Programovanie s AI agentmi: zadanie, testy a kontrola
  52. Vyhodnocovanie a bezpečnosť AI systémov: ako merať a ako strážiť

Celá osnova série Hotovo: 52 z 83 tém

Čo si odnesiete
  • Prečo sa výberový priemer blíži k strednej hodnote a prečo jeho kolísanie klesá len s odmocninou počtu dát.
  • Čo hovorí centrálna limitná veta a prečo má priemer mnohých premenných takmer vždy normálne rozdelenie.
  • Ako z toho vypočítať chybu odhadu — v prieskumoch, pri vyhodnotení modelov aj v gradientnom zostupe.

Čo sa hodí vedieť vopred: Prehľad pravdepodobnostných rozdelení: Bernoulliho, binomické, Poissonovo, rovnomerné, normálne a exponenciálne

Jeden hod kockou je čistá náhoda. Priemer desiatich tisíc hodov je však takmer isto 3,5 — a to s presnosťou, ktorú vieme vopred vypočítať. Tento diel je o dvoch vetách, ktoré z chaosu jednotlivých pokusov robia predvídateľnosť: zákon veľkých čísel hovorí, kam sa priemer blíži, a centrálna limitná veta, ako okolo tohto cieľa kolíše. Stoja na nich prieskumy verejnej mienky, kontrola kvality, A/B testy aj trénovanie neurónových sietí.

Nadväzuje na diely Stredná hodnota a rozptyl a Prehľad rozdelení.

1. Výberový priemer

Definícia — nezávislé rovnako rozdelené premenné

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor a X1, X2, … : Ω → ℝ je konečná alebo nekonečná postupnosť náhodných premenných. Pre x ∈ ℝ označme FXi(x) = P(Xi ≤ x) distribučnú funkciu premennej Xi (podrobnejšie v časti o konvergencii nižšie). Premenné sú nezávislé rovnako rozdelené (anglicky i.i.d.) práve vtedy, keď platia obe podmienky:

  1. nezávislosť: pre každé n ≥ 1 (najviac dĺžka postupnosti) a všetky x1, …, xn ∈ ℝ je P(X1 ≤ x1 ∧ … ∧ Xn ≤ xn) = P(X1 ≤ x1) · … · P(Xn ≤ xn);
  2. rovnaké rozdelenie: pre všetky indexy i, j a každé x ∈ ℝ je FXi(x) = FXj(x).

Zápis P(X1 ≤ x1 ∧ … ∧ Xn ≤ xn) je skratka za P({ω ∈ Ω : X1(ω) ≤ x1 ∧ … ∧ Xn(ω) ≤ xn}). Podmienka 1 teda hovorí, že znalosť hodnôt jedných premenných nemení pravdepodobnosti hodnôt ostatných.

Laicky povedané

Opakujete stále ten istý pokus za rovnakých podmienok a jeden výsledok neovplyvní druhý: hody tou istou kockou, odpovede náhodne vybraných ľudí, merania tým istým prístrojom.

Definícia — výberový priemer

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, n ∈ ℕ, n ≥ 1, a X1, …, Xn : Ω → ℝ sú náhodné premenné. Ich výberový priemer je náhodná premenná X̄n : Ω → ℝ,

X̄n(ω) = X1(ω) + … + Xn(ω)/n = 1/n ∑i=1n Xi(ω),   ω ∈ Ω.

Pre každý výsledok ω je to teda obyčajný aritmetický priemer čísel X1(ω), …, Xn(ω).

Laicky povedané

Obyčajný priemer nameraných hodnôt. Pozor na rozdiel: stredná hodnota μ je vlastnosť rozdelenia, jedno pevné číslo. Výberový priemer sa počíta z dát, a keďže dáta sú náhodné, je aj on náhodná premenná — pri každom novom pokuse vyjde trochu inak.

Veta — stredná hodnota a rozptyl priemeru

Nech n ∈ ℕ, n ≥ 1, a X1, …, Xn sú nezávislé rovnako rozdelené náhodné premenné s konečnou strednou hodnotou E[Xi] = μ ∈ ℝ a konečným rozptylom Var(Xi) = σ² (σ ≥ 0). Potom

E[X̄n] = μ,   Var(X̄n) = σ²/n,   a smerodajná odchýlka X̄n je σ/√n.

Laicky povedané

Priemer mieri správne a jeho kolísanie sa s počtom dát zmenšuje — ale len s odmocninou. Jedna kocka má σ ≈ 1,71, priemer 100 kociek už len 0,171. Na dvakrát presnejší odhad potrebujete štyrikrát viac dát. Veta vyplýva priamo z linearity a zo sčítania rozptylov nezávislých premenných z minulých dielov.

Dôkaz a príklad — rozptyl priemeru kociek

E[X̄n] = 1/n · (E[X1] + … + E[Xn]) = 1/n · nμ = μ   (linearita)

Var(X̄n) = (1/n)2 · (Var X1 + … + Var Xn) = nσ2/n2 = σ2/n   (konštanta vychádza z rozptylu na druhú, rozptyly nezávislých premenných sa sčítajú)

Jedna kocka: μ = 1 + 2 + … + 6/6 = 3,5,   E[X2] = 1 + 4 + 9 + 16 + 25 + 36/6 = 91/6

σ2 = 91/6 − 3,52 = 35/12 ≈ 2,917,   σ ≈ 1,708

Priemer 100 kociek: σ/√100 = 1,708/10 ≈ 0,171

Celá veta stojí na tom, že činiteľ 1/n sa v rozptyle umocní na 1/n2, kým súčet rozptylov rastie len ako n. Pri závislých premenných by sa k súčtu pridali kovariancie a kolísanie by klesalo pomalšie.

2. Zákon veľkých čísel

Veta — (slabý) zákon veľkých čísel

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor a X1, X2, … : Ω → ℝ sú nezávislé rovnako rozdelené náhodné premenné so strednou hodnotou E[Xi] = μ ∈ ℝ a konečným rozptylom Var(Xi) = σ² < ∞. Nech X̄n je výberový priemer prvých n z nich. Potom

∀ε > 0 :   limn→∞ P(|X̄n − μ| ≥ ε) = 0.

(Hovoríme, že X̄n konverguje k μ v pravdepodobnosti. Tvrdenie platí aj bez predpokladu konečného rozptylu — Chinčinov zákon veľkých čísel —, dôkaz je však zložitejší.)

Laicky povedané

Nech si zvolíte akokoľvek malú toleranciu ε, pri dostatočne veľkom počte dát bude priemer od skutočnej strednej hodnoty ďalej než ε len s miznúcou pravdepodobnosťou. Priemer dát je dobrý odhad strednej hodnoty — a čím viac dát, tým lepší.

Dôkaz sa zmestí na jeden riadok: podľa Čebyševovej nerovnosti je P(|X̄n − μ| ≥ ε) ≤ σ²/nε² a to s rastúcim n ide k nule. Pre kocku, toleranciu 0,1 a 10 000 hodov vychádza hranica 2,917/10 000 · 0,1² = 2,917/100 ≈ 0,029 (farby podľa vzorca nižšie).

P(|X̄n − μ| ≥ ε) ≤ σ²/n · ε²

|X̄n − μ| ≥ ε
„priemer sa netrafil“ — minul skutočnú strednú hodnotu aspoň o zvolenú toleranciu
σ²
rozptyl jedného pokusu — čím divokejšie sú jednotlivé dáta, tým väčšiu šancu na minutie musíme pripustiť
n
počet dát — rozptyl priemeru je σ²/n, preto hranica s rastúcim n klesá k nule; to je celý zákon veľkých čísel
ε²
tolerancia na druhú — Čebyšev porovnáva rozptyl (veličinu „na druhú“) so štvorcom vzdialenosti; prísnejšia tolerancia stojí kvadraticky viac dát
Čebyševova nerovnosť P(|Y − EY| ≥ ε) ≤ Var(Y)/ε² (pre každú premennú Y s konečným rozptylom a každé ε > 0) použitá na Y = X̄n.

Hranicu možno použiť aj opačne — koľko hodov stačí, aby sa priemer s pravdepodobnosťou aspoň 95 % netrafil o menej než 0,1? Stačí, aby 2,917/n · 0,01 ≤ 0,05, teda n ≥ 2,917/0,0005 ≈ 5833,3 — postačí 5834 hodov. Čebyšev je však opatrný: platí pre každé rozdelenie, a preto býva skutočne potrebný počet výrazne menší. Koľko presne, povie centrálna limitná veta.

233,545 1101001 00010 000 počet hodov n (log. mierka) priebežný priemer (oká)
Priebežný priemer hodov kockou v štyroch nezávislých behochoranžovo μ ± 2σ/√n

Po desiatich hodoch ležia priemery štyroch behov medzi 3,4 a 4,1, po 10 000 hodoch medzi 3,496 a 3,502. Lievik μ ± 2σ/√n sa zužuje presne tak, ako hovorí veta o rozptyle priemeru — a čiary z neho vybočujú len výnimočne. Prečo práve 2σ a prečo „len výnimočne“, prezradí ďalšia veta.

Zákon veľkých čísel nehovorí, že sa náhoda „vyrovnáva“. Keď na minci padne päťkrát po sebe hlava, znak nie je „na rade“ — minca si nič nepamätá. Priemer sa k 0,5 neblíži tým, že by sa prebytok hláv odčítaval, ale tým, že ho ďalších tisíc hodov zriedi.

3. Konvergencia v distribúcii

Definícia — distribučná funkcia

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor a Y : Ω → ℝ náhodná premenná. Distribučná funkcia premennej Y je funkcia FY : ℝ → [0, 1],

FY(x) = P(Y ≤ x) = P({ω ∈ Ω : Y(ω) ≤ x}),   x ∈ ℝ.

Každá distribučná funkcia

  1. je neklesajúca: x ≤ y ⇒ FY(x) ≤ FY(y);
  2. je sprava spojitá: limt→x+ FY(t) = FY(x) pre každé x ∈ ℝ;
  3. spĺňa limx→−∞ FY(x) = 0 a limx→+∞ FY(x) = 1,

a rozdelenie premennej Y určuje úplne. Distribučná funkcia normovaného normálneho rozdelenia N(0, 1) sa označuje Φ.

Príklad: pre jednu kocku je F(3) = 3/6 = 0,5 a F(3,7) tiež 0,5 — medzi celými číslami je F vodorovná a v každom z bodov 1, …, 6 skočí o 1/6.

Definícia — konvergencia v distribúcii

Nech Y, Y1, Y2, … sú náhodné premenné s distribučnými funkciami FY, FY1, FY2, … (nemusia byť definované na tom istom pravdepodobnostnom priestore — záleží len na ich rozdeleniach). Označme

C(FY) = {x ∈ ℝ : FY je spojitá v bode x}.

Postupnosť Y1, Y2, … konverguje v distribúcii k premennej Y, píšeme Yn →d Y, práve vtedy, keď

∀x ∈ C(FY) :   limn→∞ FYn(x) = FY(x).

Ak má Y rozdelenie N(0, 1), píšeme aj Yn →d N(0, 1); keďže Φ je spojitá všade, znamená to limn→∞ FYn(x) = Φ(x) pre každé x ∈ ℝ.

Laicky povedané

Nejde o to, že by sa hodnoty Yn blížili nejakému číslu, ale že sa tvar ich rozdelenia blíži tvaru iného rozdelenia. Takto sa v minulom diele binomické rozdelenie blížilo Poissonovmu.

Príklad — prečo výnimka pre body nespojitosti

Nech Yn sa s istotou rovná 1/n (t. j. Yn(ω) = 1/n pre každé ω ∈ Ω) a Y s istotou 0. Hodnoty sa zjavne blížia k nule, takže by sme chceli, aby Yn konvergovalo k Y. Lenže

FYn(0) = P(1/n ≤ 0) = 0 pre každé n,   ale   FY(0) = P(0 ≤ 0) = 1.

Pre každé x ≠ 0 sa už FYn(x) a FY(x) od istého n zhodujú (obe 0 pre x < 0, obe 1 pre x > 0 a n > 1/x).

Jediný problematický bod je 0 — a práve tam má FY skok. Preto definícia body nespojitosti vynecháva.

4. Centrálna limitná veta

Veta — centrálna limitná veta

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor a X1, X2, … : Ω → ℝ sú nezávislé rovnako rozdelené náhodné premenné so strednou hodnotou E[Xi] = μ ∈ ℝ a rozptylom Var(Xi) = σ², kde 0 < σ² < ∞. Pre n ≥ 1 nech X̄n je výberový priemer prvých n z nich a

Zn = X̄n − μ/σ/√n.

Potom Zn →d N(0, 1), t. j.

∀z ∈ ℝ :   limn→∞ P(Zn ≤ z) = Φ(z).

Laicky povedané

Nech majú jednotlivé pokusy akékoľvek rozdelenie — rovnomerné, zošikmené, s niekoľkými vrcholmi —, priemer mnohých z nich má približne normálne rozdelenie so strednou hodnotou μ a smerodajnou odchýlkou σ/√n. Preto je zvonová krivka všade: kedykoľvek sa sčíta veľa drobných nezávislých vplyvov. Galtonova doska z minulého dielu je presne toto.

X̄n − μ/σ/√n →d N(0, 1)

X̄n − μ
chyba priemeru — posunie rozdelenie tak, aby malo stred v nule; samotný X̄n by sa podľa zákona veľkých čísel zmrštil do bodu μ a žiadny tvar by nezostal
σ/√n
smerodajná odchýlka priemeru — delením chybu „zväčšíme“ presne toľko, koľko ju veľké n zmenšilo, takže rozptyl zostane stále 1 a tvar je vidieť
→d
konvergencia v distribúcii — blíži sa tvar rozdelenia, nie hodnoty
N(0, 1)
cieľ je vždy ten istý, nezávisle od rozdelenia Xi — z pôvodného rozdelenia prežijú len μ a σ, ktoré sme už odčítali a vydelili
Pre veľké n preto P(X̄n ≤ x) ≈ Φ(√n · (x − μ)/σ).

Rozdelenie jednej kocky je ploché — žiadny zvon. Priemer dvoch kociek je trojuholník, priemer piatich už zvon pripomína a priemer tridsiatich od normálneho rozdelenia takmer nerozoznáte. Stĺpce sú presné rozdelenie vypočítané vymenovaním všetkých možností, čiarkovane normálna aproximácia:

123456 n = 1 n = 2 n = 5 n = 30 priemer hodov (oká) hustota pravdepodobnosti (1/oko)
Rozdelenie priemeru n kociek pre n = 1, 2, 5 a 30čiarkovane normálne rozdelenie

Funguje to aj pri silno zošikmenom rozdelení — napríklad pri čakaní na e-mail, ktoré má exponenciálne rozdelenie. Jedno čakanie je veľmi nesúmerné (šikmosť 2), priemer piatich čakaní menej a priemer tridsiatich je už takmer súmerný (šikmosť 0,37):

01234567 n = 1 n = 5 n = 30 priemerné čakanie (min) hustota pravdepodobnosti (1/min)
Rozdelenie priemeru n exponenciálnych čakaní pre n = 1, 5 a 30čiarkovane normálne rozdelenie
Definícia — šikmosť

Nech X je náhodná premenná s konečnou strednou hodnotou E[X] = μ, smerodajnou odchýlkou σ, kde 0 < σ < ∞, a konečným tretím momentom E[|X|3] < ∞. Šikmosť premennej X je číslo

γ = E[(X − μ)3]/σ3.

Tretia mocnina zachová znamienko odchýlky, takže odchýlky nahor a nadol sa pri súmernom rozdelení vyrušia a γ = 0. Dlhý chvost doprava dá γ > 0. Delenie σ3 robí zo šikmosti číslo bez jednotiek — nezáleží na tom, či čakanie meriate v minútach, alebo v sekundách.

Exp(λ): γ = 2 pre každé λ.   Priemer n nezávislých kópií: γn = γ/√n

n = 5: 2/√5 ≈ 0,89,   n = 30: 2/√30 ≈ 2/5,477 ≈ 0,37

Šikmosť teda mizne len s odmocninou n — pri silno zošikmených dátach potrebuje centrálna limitná veta viac pozorovaní než pri súmerných.

Aká dobrá je táto aproximácia, ukáže konkrétna otázka: s akou pravdepodobnosťou bude priemer 30 hodov kockou väčší ako 4? Presný výpočet cez všetky možnosti dáva 0,0488. Centrálna limitná veta hovorí: 4 je 4 − 3,5/1,708/√30 ≈ 1,60 smerodajnej odchýlky nad priemerom (farby podľa rozboru vety vyššie), takže P ≈ 1 − Φ(1,60) ≈ 0,0544. Bez jediného sčítania cez 630 možností, s chybou pod šesť tisícin.

Príklad — priemer 30 kociek nad 4, krok za krokom

σ/√30 = 1,708/5,477 ≈ 0,3118

z = 4 − 3,5/0,3118 ≈ 1,604,   P(X̄30 > 4) ≈ 1 − Φ(1,604) ≈ 1 − 0,9456 = 0,0544

Presne: priemer nad 4 znamená súčet aspoň 121 a sčítanie pravdepodobností súčtov 121 až 180 dá 0,0488.

Väčšinu rozdielu spôsobuje to, že súčet kociek je celé číslo, kým normálne rozdelenie je spojité: hodnotám „nad 120“ a „aspoň 121“ prisudzuje rôzne pravdepodobnosti, hoci ide o ten istý jav. Obvyklá oprava na spojitosť berie hranicu uprostred medzi 120 a 121, teda priemer 120,5/30 ≈ 4,017:

z = 120,5/30 − 3,5/0,3118 = 0,5167/0,3118 ≈ 1,657,   1 − Φ(1,657) ≈ 0,0488

Farby zodpovedajú členom rozboru centrálnej limitnej vety vyššie. S opravou sa aproximácia s presným výsledkom zhoduje na štyri desatinné miesta.

5. Na čo to je: chyba odhadu

Centrálna limitná veta hovorí, že odhad priemerom leží v 95 % prípadov do 1,96 · σ/√n od skutočnej hodnoty. Z toho vyplýva najpoužívanejší vzorec štatistiky:

m = 1,96 · √p(1 − p)/n

1,96
koľko smerodajných odchýlok zahrnúť, aby vnútri bolo 95 %: Φ(1,96) ≈ 0,975, takže nad aj pod zostane po 2,5 %; pre 99 % by to bolo 2,58
p(1 − p)
rozptyl jednej odpovede áno/nie — Bernoulliho rozptyl z minulého dielu; najväčší, 0,25, je pre p = 0,5
n
počet respondentov alebo testovacích príkladov — pod odmocninou, preto dvakrát menšia chyba stojí štyrikrát viac dát
Polovica šírky 95 % intervalu pre podiel: σ/√n s Bernoulliho σ = √p(1 − p), krát 1,96.
  • Prieskum verejnej mienky s 1 000 respondentmi a podporou okolo 50 % má chybu 1,96 · √0,25/1 000 ≈ ±3,1 percentuálneho bodu (farby podľa vzorca vyššie). Preto sa prieskumy robia zhruba na tisícke ľudí — na polovičnú chybu by ich potrebovali štyri tisíce.
  • Presnosť modelu nameraná na 1 000 testovacích príkladoch ako 90 % je v skutočnosti 90 % ± 1,9 percentuálneho bodu. Model s 91 % na rovnako veľkej sade preto ešte nemusí byť lepší.
Príklad — chyba prieskumu, potrebný počet ľudí a porovnanie dvoch modelov

Prieskum: 1,96 · √0,5 · 0,5/1 000 = 1,96 · √0,00025 = 1,96 · 0,01581 ≈ 0,031

Model: 1,96 · √0,9 · 0,1/1 000 = 1,96 · 0,00949 ≈ 0,019

Obrátený vzorec n = 1,962 · p(1 − p)/m2: pre m = 0,03 vyjde 3,8416 · 0,25/0,0009 ≈ 1067,1, teda 1068 ľudí

Rozdiel dvoch modelov (90 % a 91 %, každý na iných 1 000 príkladoch): rozptyly nezávislých odhadov sa sčítajú, 1,96 · √0,09/1 000 + 0,0819/1 000 ≈ 0,026

Farby zodpovedajú členom vzorca pre m vyššie. Nameraný rozdiel 1 percentuálny bod je menší než 2,6 bodu, ktoré môže spôsobiť samotná náhoda — preto „ešte nemusí byť lepší“. Na tej istej testovacej sade sú chyby oboch modelov závislé a počíta sa inak (párovým testom), záver však býva podobný.

Odkiaľ berie štatistika σ, keď ho nepozná, a čo presne ten interval znamená, je téma budúceho dielu o štatistike a odhadoch.

6. Kedy vety neplatia

  • Nekonečný rozptyl alebo žiadna stredná hodnota. Cauchyho rozdelenie má také ťažké chvosty, že strednú hodnotu vôbec nemá — a priemer n Cauchyho premenných má presne rovnaké rozdelenie ako jedna jediná. Viac dát vôbec nepomôže. Podobne divoké bývajú veľkosti miest, majetky či prepady na burze. (Cauchyho rozdelenie má hustotu f(x) = 1/π(1 + x2), x ∈ ℝ; integrál ∫−∞∞ |x| f(x) dx diverguje, pretože |x|/π(1 + x2) klesá len ako 1/π|x| — a tak E[X] neexistuje.)
  • Závislé dáta. Tisíc odpovedí od ľudí z jednej ulice alebo tisíc snímok toho istého videa nie je tisíc nezávislých pozorovaní a σ/√n chybu silno podhodnotí.
  • Málo dát a zošikmené rozdelenie. Veta je limitná — pri exponenciálnom čakaní je po piatich pozorovaniach rozdelenie priemeru stále citeľne nesúmerné.

7. Limitné vety v umelej inteligencii

  • Stochastický gradientný zostup. Gradient vypočítaný z dávky (minibatch) B príkladov je výberový priemer. Mieri rovnako ako gradient z celých dát (zákon veľkých čísel), ale kolíše so smerodajnou odchýlkou ∝ 1/√B. Štyrikrát väčšia dávka znamená len dvakrát menší šum — preto sa neoplatí dávky donekonečna zväčšovať.
  • Metódy Monte Carlo. Keď sa niečo nedá vypočítať presne — očakávaná odmena v posilňovanom učení, integrál vo vysokej dimenzii —, spriemeruje sa veľa náhodných vzoriek. Zákon veľkých čísel zaručí správny výsledok, centrálna limitná veta povie, aký je presný.
  • Vyhodnotenie modelov a A/B testy stoja na chybe 1,96 · σ/√n: bez nej nespoznáte, či je nový model naozaj lepší, alebo mal len šťastie.
  • Inicializácia sietí. Vstup neurónu je súčet mnohých váh krát aktivácií — podľa centrálnej limitnej vety má približne normálne rozdelenie. Na tom stoja inicializačné schémy Xavier a He, ktoré volia rozptyl váh tak, aby sa signál pri prechode sieťou ani nezosilňoval, ani nestrácal.

gB = 1/B ∑i ∈ dávka ∇ℓi(w),   smerodajná odchýlka gB = σ∇/√B

gB
gradient z dávky — odhad, podľa ktorého sa urobí krok; počítať presný gradient cez milióny príkladov by bolo pre každý krok príliš drahé
1/B ∑, B
výberový priemer cez B náhodne vybraných príkladov — vďaka nemu mieri odhad v priemere presne (E[gB] = skutočný gradient) a kolíše len ako 1/√B
∇ℓi(w)
gradient straty na jednom príklade — náhodná premenná, pretože príklad je vybraný náhodne
σ∇
ako veľmi sa gradienty jednotlivých príkladov líšia — vlastnosť dát a modelu, veľkosťou dávky ju nezmeníme
Veta o rozptyle priemeru, len namiesto hodov kockou sú to gradienty (pri vektoroch pre každú zložku zvlášť).

Dávka 32 príkladov má šum σ∇/√32 ≈ 0,177 σ∇, dávka 128 príkladov σ∇/√128 ≈ 0,088 σ∇ — štyrikrát viac výpočtu za polovicu šumu (farby podľa vzorca vyššie).

Algoritmus — odhad metódou Monte Carlo aj s chybou

Vstup: funkcia h : ℝ → ℝ, procedúra vzorek(), ktorá pri každom volaní vráti novú hodnotu náhodnej premennej X nezávislú od predchádzajúcich, a počet vzoriek n ∈ ℕ, n ≥ 2. Predpokladáme E[h(X)2] < ∞ (konečný rozptyl h(X)).

Výstup: odhad ȳ ∈ ℝ strednej hodnoty E[h(X)] a približný 95 % interval ȳ ± 1,96 · s/√n.

Kroky:

  1. Pre i = 1, …, n: vygeneruj nezávislú vzorku xi premennej X a spočítaj yi = h(xi).
  2. Odhad: ȳ = 1/n ∑i=1n yi (zákon veľkých čísel: ȳ → E[h(X)]).
  3. Výberová smerodajná odchýlka: s = √1/n − 1 ∑i=1n (yi − ȳ)2 (odhad σ).
  4. Vráť ȳ a interval ȳ ± 1,96 · s/√n (centrálna limitná veta).

Zastavenie: po pevnom počte n vzoriek; ak chceme danú presnosť, volí sa n vopred (alebo sa vzorkuje, kým 1,96 · s/√n neklesne pod požadovanú hranicu).

monte_carlo(h, vzorek, n):           # odhad E[h(X)]
    pre i = 1 … n:
        x ← vzorek()                      # nezávislá vzorka X
        y[i] ← h(x)
    odhad ← priemer(y)                    # zákon veľkých čísel: → E[h(X)]
    s ← výberová smerodajná odchýlka(y)   # odhad σ
    vráť odhad ± 1,96 · s / √n            # centrálna limitná veta: 95 % interval

Chyba klesá ako 1/√n bez ohľadu na dimenziu úlohy — preto býva Monte Carlo jediná schodná cesta pri integráloch cez stovky premenných, kde by mriežka bodov mala astronomický počet uzlov.

Príklad — rozptyl váh pri inicializácii siete

Zjednodušene: neurón sčíta z = ∑j=1n wj xj, váhy aj vstupy sú nezávislé, váhy majú strednú hodnotu 0. Rozptyly nezávislých sčítancov sa sčítajú:

Var(z) = n · Var(w) · E[x2]

Aby signál neslabol ani nesilnel, chceme Var(z) ≈ E[x2] ⇒ Var(w) = 1/n

Pre n = 256 vstupov: Var(w) = 1/256 ≈ 0,0039, smerodajná odchýlka váh √1/256 = 1/16 = 0,0625

ReLU vynuluje zhruba polovicu vstupov ďalšieho neurónu, preto He a kol. (2015) volia Var(w) = 2/n (pre n = 256 smerodajná odchýlka ≈ 0,088). Glorot a Bengio (2010, „Xavier“) berú kompromis medzi dopredným a spätným prechodom, Var(w) = 2/nvst + nvýst. Centrálna limitná veta k tomu dodáva, že z je približne normálne, takže stačí strážiť rozptyl.

8. Zhrnutie

  • Výberový priemer je náhodná premenná so strednou hodnotou μ a smerodajnou odchýlkou σ/√n.
  • Zákon veľkých čísel: s rastúcim n sa priemer takmer isto blíži k μ.
  • Centrálna limitná veta: priemer mnohých nezávislých premenných má približne normálne rozdelenie — nech sú jednotlivé premenné rozdelené akokoľvek.
  • Chyba odhadu priemerom je zhruba ±1,96 · σ/√n; dvakrát presnejší odhad stojí štyrikrát viac dát.
  • Bez konečného rozptylu alebo bez nezávislosti vety neplatia.

Máte na to iný názor? Napíšte na support@coden-app.com.

Agent na vašom počítači, ovládaný z telefónu

Stiahnuť coden Späť na články