Zákon velkých čísel a centrální limitní věta: proč se průměry chovají tak předvídatelně

Výběrový průměr, zákon velkých čísel a centrální limitní věta s animacemi — proč je normální rozdělení všude, odkud se bere chyba průzkumů ±3 % a proč dvakrát přesnější odhad stojí čtyřikrát víc dat.

13 minut Matěj Žalmánek 2026-10-15

Série Základy AI Díl 18 z 83

Celá osnova série 83 z 83 témat hotovo

Co si odnesete

Proč se výběrový průměr blíží střední hodnotě a proč jeho kolísání klesá jen s odmocninou počtu dat.
Co říká centrální limitní věta a proč má průměr mnoha veličin skoro vždy normální rozdělení.
Jak z toho spočítat chybu odhadu — v průzkumech, při vyhodnocení modelů i v gradientním sestupu.

Co se hodí znát předem: Přehled pravděpodobnostních rozdělení: Bernoulli, binomické, Poisson, rovnoměrné, normální a exponenciální

Jeden hod kostkou je čistá náhoda. Průměr deseti tisíc hodů je ale skoro jistě 3,5 — a to s přesností, kterou umíme předem spočítat. Tenhle díl je o dvou větách, které z chaosu jednotlivých pokusů dělají předvídatelnost: zákon velkých čísel říká, kam se průměr blíží, a centrální limitní věta, jak kolem toho cíle kolísá. Na nich stojí průzkumy veřejného mínění, kontrola kvality, A/B testy i trénování neuronových sítí.

Navazuje na díly Střední hodnota a rozptyl a Přehled rozdělení.

1. Výběrový průměr

Definice — nezávislé stejně rozdělené veličiny

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor a X₁, X₂, … : Ω → ℝ je konečná nebo nekonečná posloupnost náhodných veličin. Pro x ∈ ℝ označme F_{X_i}(x) = P(X_i ≤ x) distribuční funkci veličiny X_i (podrobněji v části o konvergenci níže). Veličiny jsou nezávislé stejně rozdělené (anglicky i.i.d.), právě když platí obě podmínky:

nezávislost: pro každé n ≥ 1 (nejvýše délka posloupnosti) a všechna x₁, …, x_n ∈ ℝ je P(X₁ ≤ x₁ ∧ … ∧ X_n ≤ x_n) = P(X₁ ≤ x₁) · … · P(X_n ≤ x_n);
stejné rozdělení: pro všechny indexy i, j a každé x ∈ ℝ je F_{X_i}(x) = F_{X_j}(x).

Zápis P(X₁ ≤ x₁ ∧ … ∧ X_n ≤ x_n) je zkratka za P({ω ∈ Ω : X₁(ω) ≤ x₁ ∧ … ∧ X_n(ω) ≤ x_n}). Podmínka 1 tedy říká, že znalost hodnot jedněch veličin nemění pravděpodobnosti hodnot ostatních.

Laicky řečeno

Opakujete pořád tentýž pokus za stejných podmínek a jeden výsledek neovlivní druhý: hody stejnou kostkou, odpovědi náhodně vybraných lidí, měření stejným přístrojem.

Definice — výběrový průměr

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, n ∈ ℕ, n ≥ 1, a X₁, …, X_n : Ω → ℝ jsou náhodné veličiny. Jejich výběrový průměr je náhodná veličina X̄_n : Ω → ℝ,

X̄_n(ω) = X₁(ω) + … + X_n(ω)/n = 1/n ∑_i=1ⁿ X_i(ω), ω ∈ Ω.

Pro každý výsledek ω je to tedy obyčejný aritmetický průměr čísel X₁(ω), …, X_n(ω).

Laicky řečeno

Obyčejný průměr naměřených hodnot. Pozor na rozdíl: střední hodnota μ je vlastnost rozdělení, jedno pevné číslo. Výběrový průměr se počítá z dat, a protože data jsou náhodná, je i on náhodná veličina — při každém novém pokusu vyjde trochu jinak.

Věta — střední hodnota a rozptyl průměru

Nechť n ∈ ℕ, n ≥ 1, a X₁, …, X_n jsou nezávislé stejně rozdělené náhodné veličiny s konečnou střední hodnotou E[X_i] = μ ∈ ℝ a konečným rozptylem Var(X_i) = σ² (σ ≥ 0). Pak

E[X̄_n] = μ, Var(X̄_n) = σ²/n, a směrodatná odchylka X̄_n je σ/√n.

Laicky řečeno

Průměr míří správně a jeho kolísání se s počtem dat zmenšuje — ale jen s odmocninou. Jedna kostka má σ ≈ 1,71, průměr 100 kostek už jen 0,171. Pro dvakrát přesnější odhad potřebujete čtyřikrát víc dat. Věta plyne přímo z linearity a ze sčítání rozptylů nezávislých veličin z minulých dílů.

Důkaz a příklad — rozptyl průměru kostek

E[X̄_n] = 1/n · (E[X₁] + … + E[X_n]) = 1/n · nμ = μ (linearita)

Var(X̄_n) = (1/n)² · (Var X₁ + … + Var X_n) = nσ²/n² = σ²/n (konstanta vychází ze rozptylu na druhou, rozptyly nezávislých veličin se sčítají)

Jedna kostka: μ = 1 + 2 + … + 6/6 = 3,5, E[X²] = 1 + 4 + 9 + 16 + 25 + 36/6 = 91/6

σ² = 91/6 − 3,5² = 35/12 ≈ 2,917, σ ≈ 1,708

Průměr 100 kostek: σ/√100 = 1,708/10 ≈ 0,171

Celá věta stojí na tom, že činitel 1/n se v rozptylu umocní na 1/n², kdežto součet rozptylů roste jen jako n. U závislých veličin by se k součtu přidaly kovariance a kolísání by klesalo pomaleji.

2. Zákon velkých čísel

Věta — (slabý) zákon velkých čísel

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor a X₁, X₂, … : Ω → ℝ jsou nezávislé stejně rozdělené náhodné veličiny se střední hodnotou E[X_i] = μ ∈ ℝ a konečným rozptylem Var(X_i) = σ² < ∞. Nechť X̄_n je výběrový průměr prvních n z nich. Pak

∀ε > 0 : lim_n→∞ P(|X̄_n − μ| ≥ ε) = 0.

(Říkáme, že X̄_n konverguje k μ v pravděpodobnosti. Tvrzení platí i bez předpokladu konečného rozptylu — Chinčinův zákon velkých čísel —, důkaz je ale složitější.)

Laicky řečeno

Ať si zvolíte jakkoli malou toleranci ε, s dost velkým počtem dat bude průměr od skutečné střední hodnoty dál než ε jen s mizivou pravděpodobností. Průměr dat je dobrý odhad střední hodnoty — a čím víc dat, tím lepší.

Důkaz je na jeden řádek: podle Čebyševovy nerovnosti je P(|X̄_n − μ| ≥ ε) ≤ σ²/nε² a to jde s rostoucím n k nule. Pro kostku, toleranci 0,1 a 10 000 hodů vychází mez 2,917/10 000 · 0,1² = 2,917/100 ≈ 0,029 (barvy podle vzorce níže).

P(|X̄_n − μ| ≥ ε) ≤ σ²/n · ε²

|X̄_n − μ| ≥ ε: „průměr se netrefil“ — minul skutečnou střední hodnotu aspoň o zvolenou toleranci
σ²: rozptyl jednoho pokusu — čím divočejší jsou jednotlivá data, tím větší šanci na minutí musíme připustit
n: počet dat — rozptyl průměru je σ²/n, proto mez s rostoucím n klesá k nule; to je celý zákon velkých čísel
ε²: tolerance na druhou — Čebyšev porovnává rozptyl (veličinu „na druhou“) s čtvercem vzdálenosti; přísnější tolerance stojí kvadraticky víc dat

Čebyševova nerovnost P(|Y − EY| ≥ ε) ≤ Var(Y)/ε² (pro každou veličinu Y s konečným rozptylem a každé ε > 0) použitá na Y = X̄_n.

Mez jde použít i obráceně — kolik hodů stačí, aby se průměr s pravděpodobností aspoň 95 % netrefil o méně než 0,1? Stačí, aby 2,917/n · 0,01 ≤ 0,05, tedy n ≥ 2,917/0,0005 ≈ 5833,3 — postačí 5834 hodů. Čebyšev je ale opatrný: platí pro každé rozdělení, a proto bývá skutečně potřebný počet výrazně menší. Kolik přesně, řekne centrální limitní věta.

Průběžný průměr hodů kostkou ve čtyřech nezávislých bězíchoranžově μ ± 2σ/√n

Po deseti hodech leží průměry čtyř běhů mezi 3,4 a 4,1, po 10 000 hodech mezi 3,496 a 3,502. Trychtýř μ ± 2σ/√n se zužuje přesně tak, jak říká věta o rozptylu průměru — a čáry z něj vybočují jen výjimečně. Proč zrovna 2σ a proč „jen výjimečně“, řekne další věta.

Zákon velkých čísel neříká, že se náhoda „vyrovnává“. Když na minci padne pětkrát po sobě líc, rub není „na řadě“ — mince si nic nepamatuje. Průměr se k 0,5 neblíží tím, že by se přebytek líců odčítal, ale tím, že ho dalších tisíc hodů rozředí.

3. Konvergence v distribuci

Definice — distribuční funkce

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor a Y : Ω → ℝ náhodná veličina. Distribuční funkce veličiny Y je funkce F_Y : ℝ → [0, 1],

F_Y(x) = P(Y ≤ x) = P({ω ∈ Ω : Y(ω) ≤ x}), x ∈ ℝ.

Každá distribuční funkce

je neklesající: x ≤ y ⇒ F_Y(x) ≤ F_Y(y);
je zprava spojitá: lim_t→x⁺ F_Y(t) = F_Y(x) pro každé x ∈ ℝ;
splňuje lim_x→−∞ F_Y(x) = 0 a lim_x→+∞ F_Y(x) = 1,

a rozdělení veličiny Y určuje úplně. Distribuční funkce normovaného normálního rozdělení N(0, 1) se značí Φ.

Příklad: pro jednu kostku je F(3) = 3/6 = 0,5 a F(3,7) také 0,5 — mezi celými čísly je F vodorovná a v každém z bodů 1, …, 6 skočí o 1/6.

Definice — konvergence v distribuci

Nechť Y, Y₁, Y₂, … jsou náhodné veličiny s distribučními funkcemi F_Y, F_Y₁, F_Y₂, … (nemusí být definované na témže pravděpodobnostním prostoru — záleží jen na jejich rozděleních). Označme

C(F_Y) = {x ∈ ℝ : F_Y je spojitá v bodě x}.

Posloupnost Y₁, Y₂, … konverguje v distribuci k veličině Y, píšeme Y_n →^d Y, právě když

∀x ∈ C(F_Y) : lim_n→∞ F_{Y_n}(x) = F_Y(x).

Má-li Y rozdělení N(0, 1), píšeme také Y_n →^d N(0, 1); protože Φ je spojitá všude, znamená to lim_n→∞ F_{Y_n}(x) = Φ(x) pro každé x ∈ ℝ.

Laicky řečeno

Nejde o to, že by se hodnoty Y_n blížily nějakému číslu, ale že se tvar jejich rozdělení blíží tvaru jiného rozdělení. Binomické rozdělení se takhle v minulém dílu blížilo Poissonovu.

Příklad — proč výjimka pro body nespojitosti

Nechť Y_n je s jistotou rovno 1/n (tj. Y_n(ω) = 1/n pro každé ω ∈ Ω) a Y s jistotou 0. Hodnoty se zjevně blíží nule, takže bychom chtěli, aby Y_n konvergovalo k Y. Jenže

F_{Y_n}(0) = P(1/n ≤ 0) = 0 pro každé n, ale F_Y(0) = P(0 ≤ 0) = 1.

Pro každé x ≠ 0 se už F_{Y_n}(x) a F_Y(x) od jistého n shodují (obě 0 pro x < 0, obě 1 pro x > 0 a n > 1/x).

Jediný problematický bod je 0 — a právě tam má F_Y skok. Proto definice body nespojitosti vynechává.

4. Centrální limitní věta

Věta — centrální limitní věta

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor a X₁, X₂, … : Ω → ℝ jsou nezávislé stejně rozdělené náhodné veličiny se střední hodnotou E[X_i] = μ ∈ ℝ a rozptylem Var(X_i) = σ², kde 0 < σ² < ∞. Pro n ≥ 1 nechť X̄_n je výběrový průměr prvních n z nich a

Z_n = X̄_n − μ/σ/√n.

Pak Z_n →^d N(0, 1), tj.

∀z ∈ ℝ : lim_n→∞ P(Z_n ≤ z) = Φ(z).

Laicky řečeno

Ať mají jednotlivé pokusy rozdělení jakékoli — rovnoměrné, zešikmené, s několika vrcholy —, průměr mnoha z nich má přibližně normální rozdělení se střední hodnotou μ a směrodatnou odchylkou σ/√n. Proto je zvonová křivka všude: kdykoli se sčítá hodně drobných nezávislých vlivů. Galtonova deska z minulého dílu je přesně tohle.

X̄_n − μ/σ/√n →^d N(0, 1)

X̄_n − μ: chyba průměru — posune rozdělení tak, aby měl střed v nule; samotný X̄_n by se podle zákona velkých čísel smrskl do bodu μ a žádný tvar by nezbyl
σ/√n: směrodatná odchylka průměru — dělením chybu „zvětšíme“ přesně tolik, kolik ji velké n zmenšilo, takže rozptyl zůstane pořád 1 a tvar je vidět
→^d: konvergence v distribuci — blíží se tvar rozdělení, ne hodnoty
N(0, 1): cíl je vždy týž, nezávisle na rozdělení X_i — z původního rozdělení přežijí jen μ a σ, které jsme už odečetli a vydělili

Pro velké n proto P(X̄_n ≤ x) ≈ Φ(√n · (x − μ)/σ).

Rozdělení jedné kostky je ploché — žádný zvon. Průměr dvou kostek je trojúhelník, průměr pěti už zvon připomíná a průměr třiceti od normálního rozdělení skoro neodlišíte. Sloupce jsou přesné rozdělení spočítané výčtem všech možností, čárkovaně normální aproximace:

Rozdělení průměru n kostek pro n = 1, 2, 5 a 30čárkovaně normální rozdělení

Funguje to i pro silně zešikmené rozdělení — třeba čekání na e-mail s exponenciálním rozdělením. Jedno čekání je hodně nesouměrné (šikmost 2), průměr pěti čekání méně a průměr třiceti už je skoro souměrný (šikmost 0,37):

Rozdělení průměru n exponenciálních čekání pro n = 1, 5 a 30čárkovaně normální rozdělení

Definice — šikmost

Nechť X je náhodná veličina s konečnou střední hodnotou E[X] = μ, směrodatnou odchylkou σ, kde 0 < σ < ∞, a konečným třetím momentem E[|X|³] < ∞. Šikmost veličiny X je číslo

γ = E[(X − μ)³]/σ³.

Třetí mocnina zachová znaménko odchylky, takže odchylky nahoru a dolů se u souměrného rozdělení vyruší a γ = 0. Dlouhý chvost doprava dá γ > 0. Dělení σ³ dělá z šikmosti číslo bez jednotek — nezáleží na tom, jestli čekání měříte v minutách, nebo v sekundách.

Exp(λ): γ = 2 pro každé λ. Průměr n nezávislých kopií: γ_n = γ/√n

n = 5: 2/√5 ≈ 0,89, n = 30: 2/√30 ≈ 2/5,477 ≈ 0,37

Šikmost tedy mizí jen s odmocninou n — u silně zešikmených dat potřebuje centrální limitní věta víc pozorování než u souměrných.

Jak dobrá aproximace je, ukáže konkrétní otázka: s jakou pravděpodobností bude průměr 30 hodů kostkou větší než 4? Přesný výpočet přes všechny možnosti dává 0,0488. Centrální limitní věta říká: 4 je 4 − 3,5/1,708/√30 ≈ 1,60 směrodatné odchylky nad průměrem (barvy podle rozboru věty výše), takže P ≈ 1 − Φ(1,60) ≈ 0,0544. Bez jediného sčítání přes 6³⁰ možností, s chybou pod šest tisícin.

Příklad — průměr 30 kostek nad 4, krok za krokem

σ/√30 = 1,708/5,477 ≈ 0,3118

z = 4 − 3,5/0,3118 ≈ 1,604, P(X̄₃₀ > 4) ≈ 1 − Φ(1,604) ≈ 1 − 0,9456 = 0,0544

Přesně: průměr nad 4 znamená součet aspoň 121 a sečtení pravděpodobností součtů 121 až 180 dá 0,0488.

Většinu rozdílu způsobuje to, že součet kostek je celé číslo, kdežto normální rozdělení je spojité: hodnotám „nad 120“ a „aspoň 121“ přisuzuje různé pravděpodobnosti, i když jde o tentýž jev. Obvyklá oprava na spojitost bere hranici uprostřed mezi 120 a 121, tedy průměr 120,5/30 ≈ 4,017:

z = 120,5/30 − 3,5/0,3118 = 0,5167/0,3118 ≈ 1,657, 1 − Φ(1,657) ≈ 0,0488

Barvy odpovídají členům rozboru centrální limitní věty výše. S opravou se aproximace s přesným výsledkem shoduje na čtyři desetinná místa.

5. K čemu to je: chyba odhadu

Centrální limitní věta říká, že odhad průměrem leží v 95 % případů do 1,96 · σ/√n od skutečné hodnoty. Z toho plyne nejpoužívanější vzorec statistiky:

m = 1,96 · √p(1 − p)/n

1,96: kolik směrodatných odchylek zahrnout, aby uvnitř bylo 95 %: Φ(1,96) ≈ 0,975, takže nad i pod zbude po 2,5 %; pro 99 % by to bylo 2,58
p(1 − p): rozptyl jedné odpovědi ano/ne — Bernoulliho rozptyl z minulého dílu; největší, 0,25, je pro p = 0,5
n: počet respondentů nebo testovacích příkladů — pod odmocninou, proto dvakrát menší chyba stojí čtyřikrát víc dat

Polovina šířky 95% intervalu pro podíl: σ/√n s Bernoulliho σ = √p(1 − p), krát 1,96.

Průzkum veřejného mínění s 1 000 respondenty a podporou kolem 50 % má chybu 1,96 · √0,25/1 000 ≈ ±3,1 procentního bodu (barvy podle vzorce výše). Proto mají průzkumy kolem tisíce lidí — pro poloviční chybu by jich potřebovaly čtyři tisíce.
Přesnost modelu naměřená na 1 000 testovacích příkladech jako 90 % je ve skutečnosti 90 % ± 1,9 procentního bodu. Model s 91 % na stejně velké sadě proto ještě nemusí být lepší.

Příklad — chyba průzkumu, potřebný počet lidí a srovnání dvou modelů

Průzkum: 1,96 · √0,5 · 0,5/1 000 = 1,96 · √0,00025 = 1,96 · 0,01581 ≈ 0,031

Model: 1,96 · √0,9 · 0,1/1 000 = 1,96 · 0,00949 ≈ 0,019

Obrácený vzorec n = 1,96² · p(1 − p)/m²: pro m = 0,03 vyjde 3,8416 · 0,25/0,0009 ≈ 1067,1, tedy 1068 lidí

Rozdíl dvou modelů (90 % a 91 %, každý na jiných 1 000 příkladech): rozptyly nezávislých odhadů se sčítají, 1,96 · √0,09/1 000 + 0,0819/1 000 ≈ 0,026

Barvy odpovídají členům vzorce pro m výše. Naměřený rozdíl 1 procentní bod je menší než 2,6 bodu, které může způsobit samotná náhoda — proto „ještě nemusí být lepší“. Na téže testovací sadě jsou chyby obou modelů závislé a počítá se jinak (párovým testem), závěr ale bývá podobný.

Odkud bere statistika σ, když ho nezná, a co přesně ten interval znamená, je téma příštího dílu o statistice a odhadech.

6. Kdy věty neplatí

Nekonečný rozptyl nebo žádná střední hodnota. Cauchyho rozdělení má tak těžké chvosty, že střední hodnotu vůbec nemá — a průměr n Cauchyho veličin má přesně stejné rozdělení jako jedna jediná. Víc dat nepomůže vůbec. Podobně divoké bývají velikosti měst, majetky nebo propady na burze. (Cauchyho rozdělení má hustotu f(x) = 1/π(1 + x²), x ∈ ℝ; integrál ∫_−∞^∞ |x| f(x) dx diverguje, protože |x|/π(1 + x²) klesá jen jako 1/π|x| — a tak E[X] neexistuje.)
Závislá data. Tisíc odpovědí od lidí z jedné ulice nebo tisíc snímků téhož videa nejsou tisíc nezávislých pozorování a σ/√n chybu silně podhodnotí.
Málo dat a zešikmené rozdělení. Věta je limitní — u exponenciálního čekání je po pěti pozorováních rozdělení průměru pořád znatelně nesouměrné.

7. Limitní věty v umělé inteligenci

Stochastický gradientní sestup. Gradient spočítaný z dávky (minibatch) B příkladů je výběrový průměr. Míří stejně jako gradient z celých dat (zákon velkých čísel), ale kolísá se směrodatnou odchylkou ∝ 1/√B. Čtyřikrát větší dávka znamená jen dvakrát menší šum — proto se nevyplatí dávky donekonečna zvětšovat.
Metody Monte Carlo. Když se něco nedá spočítat přesně — očekávaná odměna v posilovaném učení, integrál ve vysoké dimenzi —, zprůměruje se hodně náhodných vzorků. Zákon velkých čísel zaručí správný výsledek, centrální limitní věta řekne, jak přesný.
Vyhodnocení modelů a A/B testy stojí na chybě 1,96 · σ/√n: bez ní nepoznáte, jestli je nový model opravdu lepší, nebo měl jen štěstí.
Inicializace sítí. Vstup neuronu je součet mnoha vah krát aktivací — podle centrální limitní věty má přibližně normální rozdělení. Na tom stojí inicializační schémata Xavier a He, která volí rozptyl vah tak, aby signál sítí ani nezesiloval, ani nezanikal.

g_B = 1/B ∑_{i ∈ dávka} ∇ℓ_i(w), směrodatná odchylka g_B = σ_∇/√B

g_B: gradient z dávky — odhad, podle kterého se udělá krok; počítat přesný gradient přes miliony příkladů by bylo pro každý krok příliš drahé
1/B ∑, B: výběrový průměr přes B náhodně vybraných příkladů — díky němu míří odhad v průměru přesně (E[g_B] = skutečný gradient) a kolísá jen jako 1/√B
∇ℓ_i(w): gradient ztráty na jednom příkladu — náhodná veličina, protože příklad je vybraný náhodně
σ_∇: jak moc se gradienty jednotlivých příkladů liší — vlastnost dat a modelu, velikostí dávky ji nezměníme

Věta o rozptylu průměru, jen místo hodů kostkou jsou to gradienty (u vektorů pro každou složku zvlášť).

Dávka 32 příkladů má šum σ_∇/√32 ≈ 0,177 σ_∇, dávka 128 příkladů σ_∇/√128 ≈ 0,088 σ_∇ — čtyřikrát víc výpočtu za polovinu šumu (barvy podle vzorce výše).

Algoritmus — odhad metodou Monte Carlo i s chybou

Vstup: funkce h : ℝ → ℝ, procedura vzorek(), která při každém volání vrátí novou hodnotu náhodné veličiny X nezávislou na předchozích, a počet vzorků n ∈ ℕ, n ≥ 2. Předpokládáme E[h(X)²] < ∞ (konečný rozptyl h(X)).

Výstup: odhad ȳ ∈ ℝ střední hodnoty E[h(X)] a přibližný 95% interval ȳ ± 1,96 · s/√n.

Kroky:

Pro i = 1, …, n: vygeneruj nezávislý vzorek x_i veličiny X a spočítej y_i = h(x_i).
Odhad: ȳ = 1/n ∑_i=1ⁿ y_i (zákon velkých čísel: ȳ → E[h(X)]).
Výběrová směrodatná odchylka: s = √1/n − 1 ∑_i=1ⁿ (y_i − ȳ)² (odhad σ).
Vrať ȳ a interval ȳ ± 1,96 · s/√n (centrální limitní věta).

Zastavení: po pevném počtu n vzorků; chceme-li danou přesnost, volí se n předem (nebo se vzorkuje, dokud 1,96 · s/√n neklesne pod požadovanou mez).

monte_carlo(h, vzorek, n):           # odhad E[h(X)]
    pro i = 1 … n:
        x ← vzorek()                      # nezávislý vzorek X
        y[i] ← h(x)
    odhad ← průměr(y)                     # zákon velkých čísel: → E[h(X)]
    s ← výběrová směrodatná odchylka(y)   # odhad σ
    vrať odhad ± 1,96 · s / √n            # centrální limitní věta: 95% interval

Chyba klesá jako 1/√n bez ohledu na dimenzi úlohy — proto bývá Monte Carlo jediná schůdná cesta u integrálů přes stovky proměnných, kde by mřížka bodů měla astronomický počet uzlů.

Příklad — rozptyl vah při inicializaci sítě

Zjednodušeně: neuron sčítá z = ∑_j=1ⁿ w_j x_j, váhy i vstupy jsou nezávislé, váhy mají střední hodnotu 0. Rozptyly nezávislých sčítanců se sčítají:

Var(z) = n · Var(w) · E[x²]

Aby signál neslábl ani nesílil, chceme Var(z) ≈ E[x²] ⇒ Var(w) = 1/n

Pro n = 256 vstupů: Var(w) = 1/256 ≈ 0,0039, směrodatná odchylka vah √1/256 = 1/16 = 0,0625

ReLU vynuluje zhruba polovinu vstupů dalšího neuronu, proto He a kol. (2015) volí Var(w) = 2/n (pro n = 256 směrodatná odchylka ≈ 0,088). Glorot a Bengio (2010, „Xavier“) berou kompromis mezi dopředným a zpětným průchodem, Var(w) = 2/n_vst + n_výst. Centrální limitní věta k tomu dodává, že z je přibližně normální, takže stačí hlídat rozptyl.

8. Shrnutí

Výběrový průměr je náhodná veličina se střední hodnotou μ a směrodatnou odchylkou σ/√n.
Zákon velkých čísel: s rostoucím n se průměr skoro jistě blíží μ.
Centrální limitní věta: průměr mnoha nezávislých veličin má přibližně normální rozdělení — ať jsou jednotlivé veličiny rozdělené jakkoli.
Chyba odhadu průměrem je zhruba ±1,96 · σ/√n; dvakrát přesnější odhad stojí čtyřikrát víc dat.
Bez konečného rozptylu nebo bez nezávislosti věty neplatí.

Máte na to jiný názor? Napište na support@coden-app.com.

Zákon velkých čísel a centrální limitní věta: proč se průměry chovají tak předvídatelně

1. Výběrový průměr

2. Zákon velkých čísel

3. Konvergence v distribuci

4. Centrální limitní věta

5. K čemu to je: chyba odhadu

6. Kdy věty neplatí

7. Limitní věty v umělé inteligenci

8. Shrnutí

Agent na vašem počítači, ovládaný z telefonu