Přehled pravděpodobnostních rozdělení: Bernoulli, binomické, Poisson, rovnoměrné, normální a exponenciální
Šest nejdůležitějších rozdělení s definicemi, středními hodnotami a rozptyly — Galtonova deska, Poissonova limitní věta, pravidlo 68–95–99,7 a kdy které rozdělení použít.
Série Základy AI Díl 17 z 83
- Mapa umělé inteligence: co je co a jak to do sebe zapadá
- Stručná historie umělé inteligence: od Turinga po jazykové modely
- Data, model, trénink, inference: základní pojmy na jednom příkladu
- Jak číst matematický zápis: symboly, indexy, sumy a kvantifikátory
- Množiny a relace: stavebnice, ze které se skládají definice v AI
- Funkce a zobrazení: proč je každý model v AI funkce
- Logika a důkazy: pravidla, podle kterých se v AI uvažuje
- Grafy a stromy: struktura, na které stojí hledání i neuronové sítě
- Lineární algebra pro strojové učení: vektory, matice a proč AI hlavně násobí
- Derivace, gradient a řetízkové pravidlo: jak model zjistí, kterým směrem se učit
- Gradientní sestup: jak se model učí
- Co je pravděpodobnost: od hodu kostkou ke Kolmogorovovým axiomům
- Podmíněná pravděpodobnost a Bayesova věta: jak změnit odhad, když se dozvíte něco nového
- Náhodná veličina a distribuční funkce: jedna funkce, která o rozdělení řekne všechno
- Funkce hustoty a pravděpodobnostní funkce: proč má spojitá veličina v bodě pravděpodobnost nula
- Střední hodnota, rozptyl a kovariance: kde rozdělení leží, jak je široké a co s čím souvisí
- Přehled pravděpodobnostních rozdělení: Bernoulli, binomické, Poisson, rovnoměrné, normální a exponenciální
- Zákon velkých čísel a centrální limitní věta: proč se průměry chovají tak předvídatelně
- Statistika a odhady parametrů: maximální věrohodnost, MAP a intervaly spolehlivosti
- Teorie informace: entropie, křížová entropie a KL divergence — odkud se berou ztrátové funkce
- Prohledávání stavového prostoru: BFS, DFS, UCS a A* s animacemi
- Hry a protivník: minimax, alfa-beta ořezávání a Monte Carlo tree search
- Splňování omezujících podmínek: backtracking, propagace omezení a AC-3 na sudoku a mapě krajů
- Logika a znalostní systémy: dopředné a zpětné řetězení, rezoluce a expertní systémy
- Plánování: STRIPS, svět kostek, heuristiky z relaxace a plánování v AI agentech
- Lokální hledání a simulované žíhání: obchodní cestující přes krajská města
- Genetické algoritmy: populace, křížení, mutace a výběr na batohu na výlet
- Evoluční strategie a genetické programování: od pravidla jedné pětiny po Keplerův zákon
- Optimalizace mravenčí kolonií: jak feromonová stopa najde krátkou cestu
- Optimalizace hejnem částic: setrvačnost, vlastní zkušenost a zkušenost hejna
- Neuroevoluce: evoluce vah i tvaru neuronových sítí a algoritmus NEAT
- Fuzzy množiny a funkce příslušnosti: jak zapsat „trochu teplo“
- Fuzzy logika a pravděpodobnost: proč „trochu teplo“ neznamená „pravděpodobně teplo“
- Fuzzy logika: t-normy, implikace a pravidla KDYŽ–PAK
- Fuzzy řízení: Mamdani a Sugeno od ventilátoru po kyvadlo na vozíku
- Fuzzy shlukování: algoritmus fuzzy c-means a body mezi shluky
- Neuro-fuzzy systémy (ANFIS): fuzzy pravidla, která se učí z dat
- Markovovy řetězce: přechodová matice, stacionární rozdělení a PageRank
- Skryté Markovovy modely: Viterbiho algoritmus a nepoctivé kasino
- Bayesovské sítě: proč je tráva mokrá a co z toho plyne pro postřikovač
- Kalmanův filtr: jak z nepřesných měření odhadnout, kde auto je a jak rychle jede
- Druhy strojového učení: s učitelem, bez učitele, s částečným učitelem a další
- Přeučení a regularizace: proč model, který zná data nazpaměť, selže
- Vyhodnocení modelu: křížová validace, F1 a křivka ROC
- Shlukování a snížení dimenze: k-means, PCA a t-SNE
- Klasifikace a regrese: dvě úlohy učení s učitelem
- Lineární regrese: nejmenší čtverce geometricky i maticově
- Polynomiální a nelineární regrese: jak přímku ohnout
- Logistická regrese: sigmoida, šance a křížová entropie
- Vícetřídní klasifikace a softmax: od dvou tříd k mnoha
- Naivní Bayesův klasifikátor: spamový filtr, který funguje lépe, než by měl
- Ztrátové funkce: co přesně model minimalizuje
- Rozhodovací stromy a k nejbližších sousedů: modely bez vzorců
- Ansámbly: náhodný les a gradient boosting
- SVM a jádrový trik: nejširší hranice a jak ji ohnout
- Signál a vzorkování: proč platí Nyquistův teorém
- Fourierova transformace: rozklad signálu na frekvence
- Filtry a konvoluce: vyhlazení, hrany a odstranění šumu
- Zvuk a řeč: spektrogram, melová škála a MFCC
- Obraz jako signál: pixely, barvy, konvoluce a hrany
- Perceptron a umělý neuron: nejjednodušší neuronová síť a co neumí
- Neuronová síť od nuly: zpětné šíření chyby krok za krokem
- Aktivace, inicializace a normalizace: drobnosti, na kterých hluboká síť stojí
- Konvoluční sítě: jak síť poznává obrázky
- Rekurentní sítě: paměť pro posloupnosti a mizející gradient
- LSTM a GRU: brány, které rozhodují, co si síť zapamatuje
- Autoenkodéry: síť, která se učí data stlačit a zase rozbalit
- Embeddingy a word2vec: jak se slovo stane vektorem
- Mechanismus pozornosti: jak se model naučí, kam se dívat
- Transformery a velké jazykové modely: architektura krok za krokem
- Tokenizace: jak se text rozseká na kousky pro model
- Předtrénování a škálování: proč větší model a víc dat funguje
- Doladění a RLHF: jak se z doplňovače textu stane asistent
- Prompty, kontext a RAG: jak modelu dát správné informace
- Variační autoenkodéry (VAE): nové obrázky ze spojitého latentního prostoru
- Generativní adversariální sítě (GAN): padělatel proti detektivovi
- Difúzní modely: jak se z čistého šumu stane obrázek
- Markovovy rozhodovací procesy: stavy, akce, odměny a Bellmanovy rovnice
- Q-learning a DQN: učení hodnoty akcí od tabulky po neuronovou síť
- Policy gradient a PPO: učení přímo strategie
- Jak funguje AI agent: jazykový model ve smyčce s nástroji
- Programování s AI agenty: zadání, testy a kontrola
- Vyhodnocení a bezpečnost AI systémů: jak měřit a jak hlídat
Celá osnova série 83 z 83 témat hotovo
- Co popisuje Bernoulliho, binomické a Poissonovo rozdělení a jak spolu souvisejí.
- Kdy použít rovnoměrné, normální a exponenciální rozdělení a co říká pravidlo 68–95–99,7.
- Která rozdělení stojí za klasifikací, ztrátovými funkcemi a generativními modely v AI.
Co se hodí znát předem: Střední hodnota, rozptyl a kovariance: kde rozdělení leží, jak je široké a co s čím souvisí
Rozdělení si můžete pokaždé vymyslet od nuly — ale nemusíte. Pár situací se v praxi opakuje pořád dokola: ano/ne, počet úspěchů, počet událostí za hodinu, čekání, měření s chybou. Pro každou z nich existuje hotové rozdělení s pár parametry, spočítanou střední hodnotou i rozptylem. Tenhle díl je přehled šesti nejdůležitějších — a hlavně toho, kdy které použít.
Navazuje na díly Funkce hustoty a Střední hodnota a rozptyl.
1. Bernoulliho rozdělení
Definice — Bernoulliho rozdělení
Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ je náhodná veličina a p ∈ [0, 1]. Pro x ∈ ℝ píšeme P(X = x) jako zkratku za P({ω ∈ Ω : X(ω) = x}). Veličina X má Bernoulliho rozdělení s parametrem p, píšeme X ~ Be(p), právě když
P(X = 1) = p ∧ P(X = 0) = 1 − p.
Protože p + (1 − p) = 1, nabývá X s pravděpodobností 1 jen hodnot 0 a 1: hodnotu 1 („úspěch“) s pravděpodobností p, hodnotu 0 („neúspěch“) s pravděpodobností 1 − p.
Jeden pokus, dva výsledky: povedlo se (1), nepovedlo se (0). Hod mincí, klik na reklamu, spam/ne spam. Jediný parametr p je šance na úspěch.
Obě možnosti jdou zapsat jedním vzorcem, který se hodí později u ztrátových funkcí:
P(X = k) = pk · (1 − p)1 − k, k ∈ {0, 1}
- pk
- šance na úspěch; exponent k ji „zapne“ jen pro k = 1, pro k = 0 dá p0 = 1
- (1 − p)1 − k
- šance na neúspěch; exponent 1 − k ji naopak zapne jen pro k = 0
- k ∈ {0, 1}
- jiné hodnoty veličina nemá — mimo ně je pravděpodobnost 0
Střední hodnota je p a rozptyl p(1 − p) — největší pro p = 0,5, kdy je výsledek nejméně předvídatelný.
Příklad — střední hodnota a rozptyl Be(0,3)
E[X] = 0 · (1 − p) + 1 · p = p = 0,3
E[X2] = 02 · (1 − p) + 12 · p = p = 0,3 (protože 02 = 0 a 12 = 1)
Var(X) = E[X2] − (E[X])2 = p − p2 = p(1 − p) = 0,3 · 0,7 = 0,21
Pro p = 0,5 by vyšlo 0,25 — víc to u veličiny s hodnotami 0 a 1 nejde, protože p(1 − p) je parabola s vrcholem v 0,5.
2. Binomické rozdělení
Definice — binomické rozdělení
Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ náhodná veličina, n ∈ ℕ, n ≥ 1, a p ∈ [0, 1]. Pro k ∈ {0, 1, …, n} označme
(n nad k) = n!/k! · (n − k)!
kombinační číslo (počet k-prvkových podmnožin n-prvkové množiny; m! = 1 · 2 · … · m a 0! = 1). Veličina X má binomické rozdělení s parametry n a p, píšeme X ~ Bi(n, p), právě když
∀k ∈ {0, 1, …, n} : P(X = k) = (n nad k) · pk · (1 − p)n−k.
Podle binomické věty se tyto pravděpodobnosti sečtou na (p + 1 − p)n = 1, takže X s pravděpodobností 1 nabývá jen hodnot 0, 1, …, n. Bi(1, p) je totéž co Be(p).
Počet úspěchů v n nezávislých pokusech se stejnou šancí p. Kombinační číslo počítá, kolika způsoby lze k úspěchů rozmístit mezi n pokusů. Z deseti hodů mincí padne přesně pět líců s pravděpodobností 252/1024 ≈ 0,246 — tedy ani ne v každém čtvrtém pokusu. Osm a více líců jen s pravděpodobností 56/1024 ≈ 0,055.
P(X = k) = (n nad k) · pk · (1 − p)n−k
- (n nad k)
- kolika pořadími se dá dojít ke stejnému počtu úspěchů — každé má stejnou pravděpodobnost, takže ji stačí vynásobit jejich počtem
- pk
- k úspěchů, každý se šancí p; pokusy jsou nezávislé, proto se pravděpodobnosti násobí
- (1 − p)n−k
- zbylých n − k pokusů musí skončit neúspěchem — jinak by úspěchů bylo víc než k
Příklad — pět a osm líců z deseti hodů
(10 nad 5) = 10!/5! · 5! = 10 · 9 · 8 · 7 · 6/5 · 4 · 3 · 2 · 1 = 30 240/120 = 252
p5 · (1 − p)5 = 0,55 · 0,55 = 0,510 = 1/1024 ⇒ P(X = 5) = 252 · 1/1024 = 252/1024 ≈ 0,246
(10 nad 8) + (10 nad 9) + (10 nad 10) = 45 + 10 + 1 = 56 ⇒ P(X ≥ 8) = 56 · 1/1024 = 56/1024 ≈ 0,055
Barvy odpovídají členům vzorce výše. U mince je p = 1 − p = 0,5, takže druhý a třetí člen dají pro každé k stejné 1/1024 a o všem rozhoduje kombinační číslo.
Binomická veličina je součet n nezávislých Bernoulliho veličin, takže z linearity je střední hodnota np a rozptyl np(1 − p). Hezky je to vidět na Galtonově desce: kulička se na každém z deseti kolíčků odrazí vlevo, nebo vpravo, každý odraz je jeden Bernoulliho pokus a přihrádka, kam dopadne, je počet odrazů doprava — Bi(10; 0,5).
Kuličky se nahromadí uprostřed do zvonu — a ten tvar není náhoda. Jak uvidíme u normálního rozdělení a v příštím dílu, součet mnoha malých náhodných vlivů dá vždycky zvon.
Čárkované počty jsou 120 · P(X = k): do prostřední přihrádky čekáme 120 · 0,246 ≈ 29,5 kuličky, do krajních 120/1024 ≈ 0,1. Střední hodnota je np = 10 · 0,5 = 5, rozptyl np(1 − p) = 2,5 a směrodatná odchylka √2,5 ≈ 1,58 přihrádky. Simulace se 120 kuličkami dala do prostřední přihrádky 26 — od očekávání se náhodně liší, jak má.
3. Poissonovo rozdělení
Definice — Poissonovo rozdělení
Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ náhodná veličina a λ ∈ ℝ, λ > 0. Označme ℕ0 = {0, 1, 2, …}. Veličina X má Poissonovo rozdělení s parametrem λ, píšeme X ~ Po(λ), právě když
∀k ∈ ℕ0 : P(X = k) = e−λ · λk/k!.
Protože ∑k=0∞ λk/k! = eλ, sečtou se tyto pravděpodobnosti na 1 a X s pravděpodobností 1 nabývá jen hodnot z ℕ0.
Počet událostí za daný čas, když chodí nezávisle a v průměru λ za tu dobu: e-maily za hodinu, požadavky na server za sekundu, překlepy na stránce. Když e-mail chodí v průměru jednou za 2 minuty, za 4 minuty jich čekáme λ = 2. Žádný nepřijde s pravděpodobností e−2 ≈ 0,135, právě dva s pravděpodobností 0,271.
P(X = k) = e−λ · λk/k!
- e−λ
- pravděpodobnost, že nepřijde nic; zároveň normuje — součet λk/k! přes všechna k je eλ, takže e−λ zajistí, že pravděpodobnosti dají dohromady 1
- λk
- každá z k událostí „přispěje“ průměrnou intenzitou λ — čím je λ větší, tím víc váhy dostanou velká k
- k!
- na pořadí událostí nezáleží — λk by každou skupinu k událostí započítalo k!-krát, jednou za každé pořadí; v důkazu níže je to k! z kombinačního čísla
Příklad — počet e-mailů za 4 minuty
P(X = 0) = e−2 · 20/0! = e−2 ≈ 0,135
P(X = 1) = e−2 · 2/1 ≈ 0,271
P(X = 2) = e−2 · 4/2 ≈ 0,271
P(X = 3) = e−2 · 8/6 ≈ 0,180, P(X = 4) = e−2 · 16/24 ≈ 0,090
Barvy odpovídají členům vzorce výše. Každá další pravděpodobnost je předchozí krát λ/k. Dokud je k < λ, roste, pak klesá — pro celé λ jsou proto dvě nejpravděpodobnější hodnoty λ − 1 a λ.
Zvláštnost Poissonova rozdělení: střední hodnota i rozptyl jsou obě rovny λ.
Věta — Poissonova limitní věta
Nechť λ ∈ ℝ, λ > 0, a k ∈ ℕ0 jsou pevná. Pro každé n ∈ ℕ, n > λ, nechť Xn ~ Bi(n, λ/n) (podmínka n > λ zaručí λ/n ∈ [0, 1]). Pak
limn→∞ P(Xn = k) = e−λ · λk/k!.
Důkaz. Pro n ≥ k rozložíme binomickou pravděpodobnost s p = λ/n na čtyři činitele:
(n nad k) · (λ/n)k · (1 − λ/n)n−k = n(n − 1)⋯(n − k + 1)/nk · λk/k! · (1 − λ/n)n · (1 − λ/n)−k
Pro n → ∞: první činitel je součin k zlomků n − i/n → 1 (i = 0, …, k − 1), třetí → e−λ (protože limn→∞ (1 + x/n)n = ex pro každé x ∈ ℝ) a čtvrtý → 1−k = 1.
Zbude λk/k! · e−λ. ∎
Poissonovo rozdělení je binomické s obrovským počtem pokusů a malou šancí v každém. Rozdělte 4 minuty na n krátkých úseků; v každém přijde e-mail se šancí 2/n. Čím jemněji dělíte, tím víc se binomické rozdělení blíží Poissonovu: celková odchylka je 0,125 pro 5 úseků, 0,024 pro 20 a 0,005 pro 100.
Definice — celková odchylka dvou rozdělení
Nechť P, Q : ℤ → [0, 1] jsou dvě rozdělení pravděpodobnosti na množině celých čísel ℤ, tj. ∑k ∈ ℤ P(k) = ∑k ∈ ℤ Q(k) = 1, a pro A ⊆ ℤ označme P(A) = ∑k ∈ A P(k) a Q(A) = ∑k ∈ A Q(k). Celková odchylka (total variation distance) rozdělení P a Q je číslo
d(P, Q) = 1/2 · ∑k ∈ ℤ |P(k) − Q(k)| ∈ [0, 1].
Platí d(P, Q) = maxA ⊆ ℤ |P(A) − Q(A)| a maxima se nabývá pro A = {k ∈ ℤ : P(k) > Q(k)}. Celková odchylka je tedy největší rozdíl, jaký mohou obě rozdělení dát pravděpodobnosti téže události. Polovina je tam proto, že co jednomu rozdělení u některých k přebývá, to mu jinde chybí — bez ní bychom každý rozdíl počítali dvakrát.
4. Rovnoměrné rozdělení
Definice — spojité rovnoměrné rozdělení
Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ náhodná veličina a a, b ∈ ℝ, a < b. Veličina X má rovnoměrné rozdělení na intervalu [a, b], píšeme X ~ R(a, b), právě když má hustotu f : ℝ → [0, ∞),
f(x) = 1/b − a pro x ∈ [a, b], f(x) = 0 pro x ∉ [a, b].
Tj. pro každé x ∈ ℝ je P(X ≤ x) = ∫−∞x f(t) dt; pravděpodobnost každého podintervalu [c, d] ⊆ [a, b] je pak d − c/b − a a závisí jen na jeho délce.
Každý kousek intervalu je stejně pravděpodobný — model „nevím nic, kromě hranic“. Čekání na autobus, který jezdí každých 10 minut, je R(0, 10). Generátor náhodných čísel v počítači vrací R(0, 1) a ze všech ostatních rozdělení se vzorky vyrábějí právě z něj.
Střední hodnota je střed intervalu a + b/2, rozptyl (b − a)²/12. U autobusu tedy čekáte v průměru 5 minut se směrodatnou odchylkou √100/12 ≈ 2,89 minuty.
Příklad — střední hodnota a rozptyl rovnoměrného rozdělení
E[X] = ∫ab x/b − a dx = b2 − a2/2(b − a) = a + b/2
E[X2] = ∫ab x2/b − a dx = b3 − a3/3(b − a) = a2 + ab + b2/3
Var(X) = a2 + ab + b2/3 − (a + b)2/4 = a2 − 2ab + b2/12 = (b − a)2/12
Autobus R(0, 10): E[X] = 0 + 10/2 = 5, Var(X) = (10 − 0)2/12 = 100/12 ≈ 8,33, σ ≈ 2,89 minuty
Pravděpodobnost úseku je jeho délka krát výška 1/b − a: že budete čekat déle než 7 minut, je 10 − 7/10 = 0,3.
Jak se z R(0, 1) vyrobí vzorek jiného rozdělení? Nejjednodušší postup je metoda inverzní transformace: náhodné číslo u z R(0, 1) se dosadí do inverzní distribuční funkce hledaného rozdělení. Distribuční funkce F(x) = P(X ≤ x) roste od 0 do 1, takže každé u „ukáže“ na jednu hodnotu x — a hodnoty, kde F roste prudce (tam je velká hustota), dostanou víc u.
vzorek_bernoulli(p):
u ← náhodné číslo z R(0, 1)
vrať 1, pokud u < p, jinak 0 # P(u < p) = p
vzorek_exponencialni(λ):
u ← náhodné číslo z R(0, 1)
vrať −ln(1 − u) / λ # inverze F(x) = 1 − e^(−λx)
Pro λ = 0,5 dá u = 0,5 čekání −ln 0,5/0,5 ≈ 1,39 minuty (medián) a u = 0,9 čekání −ln 0,1/0,5 ≈ 4,61 minuty.
5. Normální rozdělení
Definice — normální rozdělení
Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ náhodná veličina, μ ∈ ℝ a σ ∈ ℝ, σ > 0. Pro y ∈ ℝ píšeme exp(y) = ey. Veličina X má normální (Gaussovo) rozdělení s parametry μ a σ², píšeme X ~ N(μ, σ²), právě když má hustotu f : ℝ → (0, ∞),
f(x) = 1/σ√2π · exp(−(x − μ)²/2σ²), x ∈ ℝ.
Parametr μ je pak střední hodnota a σ² rozptyl veličiny X (σ je její směrodatná odchylka).
Slavná zvonová křivka: nejvíc hodnot kolem průměru μ, symetricky na obě strany a čím dál, tím rychleji ubývá. Tak vypadá výška lidí, chyby měření, šum v senzorech — všechno, co vzniká sečtením mnoha drobných nezávislých vlivů.
f(x) = 1/σ√2π · exp(−(x − μ)²/2σ²)
- 1/σ√2π
- normovací konstanta — plocha pod samotným exp(−z²/2) je √2π, natažená o σ je σ√2π; dělením vyjde celková plocha 1, jak má hustota mít
- exp(−…)
- exponenciála záporného čísla leží mezi 0 a 1 a s rostoucí vzdáleností od středu klesá velmi rychle — proto mají „chvosty“ zvonu tak málo hodnot
- (x − μ)²
- vzdálenost od průměru na druhou — druhá mocnina dělá křivku souměrnou (odchylka −3 i +3 dá totéž) a nejvyšší v x = μ
- 2σ²
- měřítko — vzdálenost se měří v násobcích σ, takže větší σ zvon roztáhne do šířky; dvojka zajistí, že rozptyl vyjde přesně σ²
Příklad — hustota výšky N(175, 7²)
V průměru: (175 − 175)² = 0, takže exp(0) = 1 a f(175) = 1/7 · √2π = 1/7 · 2,5066 ≈ 0,0570 na centimetr
Ve 189 cm: (189 − 175)²/2 · 49 = 196/98 = 2, f(189) = 0,0570 · e−2 ≈ 0,0077
Barvy odpovídají členům vzorce výše.
O dvě σ dál je hustota e−2 ≈ 7,4krát nižší. Hustota není pravděpodobnost: mezi 175 a 176 cm měří přibližně 0,057 · 1 cm ≈ 5,7 % mužů.
Definice — normované normální rozdělení
Normální rozdělení N(0, 1), tj. s parametry μ = 0 a σ = 1, se nazývá normované normální rozdělení. Jeho hustotu značíme φ : ℝ → (0, ∞),
φ(z) = 1/√2π · exp(−z²/2), z ∈ ℝ.
Standardizace. Nechť μ ∈ ℝ, σ > 0 a X ~ N(μ, σ²). Pak náhodná veličina
Z = X − μ/σ splňuje Z ~ N(0, 1).
Všechna normální rozdělení jsou jedno a totéž, jen posunuté a natažené. Když od hodnoty odečtete průměr a vydělíte σ, dostanete „kolik směrodatných odchylek od průměru“ — a na to stačí jedna tabulka pro všechny.
Pro normální rozdělení platí pravidlo 68–95–99,7: do vzdálenosti σ od průměru padne 68,27 % hodnot, do 2σ 95,45 % a do 3σ 99,73 %. Má-li výška dospělých mužů průměr 175 cm a σ = 7 cm, měří 95 % z nich mezi 161 a 189 cm. Čebyševova nerovnost z minulého dílu zaručovala pro 2σ jen 75 % — normální rozdělení je mnohem „sevřenější“.
Hustota normálního rozdělení nemá primitivní funkci ve tvaru vzorce, takže procenta výše se počítají numericky — tady Simpsonovou metodou, tedy sčítáním velmi úzkých plošek.
Definice — distribuční funkce Φ normovaného normálního rozdělení
Nechť Z ~ N(0, 1) a φ je hustota normovaného normálního rozdělení. Distribuční funkce normovaného normálního rozdělení je funkce Φ : ℝ → (0, 1),
Φ(z) = P(Z ≤ z) = ∫−∞z φ(t) dt = ∫−∞z 1/√2π · exp(−t²/2) dt, z ∈ ℝ.
Nechť μ ∈ ℝ, σ > 0 a X ~ N(μ, σ²). Ze standardizace a ze symetrie φ(−t) = φ(t) pak pro každé x ∈ ℝ a každé k > 0 platí
P(X ≤ x) = Φ(x − μ/σ), P(|X − μ| < kσ) = Φ(k) − Φ(−k) = 2Φ(k) − 1.
Φ(z) je plocha pod zvonem nalevo od z. Výška 189 cm leží 189 − 175/7 = 2 směrodatné odchylky nad průměrem, 161 cm dvě pod ním, a mezi nimi je 2Φ(2) − 1 ≈ 0,9545 — odtud 95 % z pravidla výše.
Algoritmus — Simpsonova metoda
Vstup: funkce f : [a, b] → ℝ (v každém bodě vyčíslitelná), meze a, b ∈ ℝ, a < b, a sudé číslo n ∈ ℕ, n ≥ 2 (počet dílků).
Výstup: číslo Sn ∈ ℝ, přibližná hodnota integrálu ∫ab f(x) dx.
Kroky:
- Šířka dílku: h = b − a/n.
- Body dělení: xi = a + ih pro i = 0, 1, …, n (takže x0 = a, xn = b).
- Na každé dvojici sousedních dílků [x2j, x2j+2], j = 0, …, n/2 − 1, nahradíme f parabolou procházející třemi body (x2j, f(x2j)), (x2j+1, f(x2j+1)), (x2j+2, f(x2j+2)) a sečteme plochy pod parabolami; vyjde Sn = h/3 · [f(x0) + 4f(x1) + 2f(x2) + 4f(x3) + … + 4f(xn−1) + f(xn)], tj. vnitřní body s lichým indexem mají váhu 4, se sudým indexem váhu 2 a krajní body váhu 1.
- Vrátíme Sn.
Zastavení: algoritmus skončí vždy, po vyčíslení f v n + 1 bodech. Přesnost se volí předem počtem dílků n; pro f se spojitou čtvrtou derivací klesá chyba úměrně h4.
simpson(f, a, b, n): # n sudé
h ← (b − a) / n
s ← f(a) + f(b)
pro i = 1 … n − 1:
s ← s + (4, je-li i liché, jinak 2) · f(a + i·h)
vrať s · h / 3
P(|Z| < 1) pro n = 2, h = 1: 1/3 · [φ(−1) + 4φ(0) + φ(1)] = 1/3 · [0,2420 + 1,5958 + 0,2420] ≈ 0,6932
n = 4: 0,6831, n = 10: 0,6827, n = 2000 (tento web): 0,682689
φ je hustota N(0, 1). Už se dvěma dílky je chyba jen asi 1 procentní bod a dál klesá se čtvrtou mocninou šířky dílku h — dvakrát víc dílků ji zmenší zhruba šestnáctkrát.
6. Exponenciální rozdělení
Definice — exponenciální rozdělení
Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ náhodná veličina a λ ∈ ℝ, λ > 0. Veličina X má exponenciální rozdělení s parametrem (intenzitou) λ, píšeme X ~ Exp(λ), právě když má hustotu f : ℝ → [0, ∞),
f(x) = λ e−λx pro x ≥ 0, f(x) = 0 pro x < 0.
Ekvivalentně má X distribuční funkci F(x) = 1 − e−λx pro x ≥ 0 a F(x) = 0 pro x < 0.
Doba čekání na další událost, když události chodí nezávisle v průměru λ za jednotku času. Je to čekání na e-mail z dílu o hustotě: λ = 0,5 za minutu, střední hodnota 1/λ = 2 minuty, rozptyl 1/λ² = 4.
Exponenciální a Poissonovo rozdělení popisují tentýž proces z dvou stran. Že za 4 minuty nepřijde žádný e-mail, je podle Poissona e−2 ≈ 0,135 — a podle exponenciálního rozdělení P(X > 4) = e−0,5 · 4, totéž číslo.
Věta — bezpaměťovost exponenciálního rozdělení
Nechť λ > 0, X ~ Exp(λ) a s, t ∈ ℝ, s, t ≥ 0. Pak P(X > s) > 0, podmíněná pravděpodobnost níže je tedy definovaná, a platí
P(X > s + t | X > s) = P(X > t).
Důkaz. P(X > x) = ∫x∞ λe−λu du = e−λx. Jev „X > s + t“ je částí jevu „X > s“, takže podle definice podmíněné pravděpodobnosti
P(X > s + t | X > s) = P(X > s + t)/P(X > s) = e−λ(s + t)/e−λs = e−λt = P(X > t). ∎
Pro λ = 0,5, s = 3, t = 2: e−2,5/e−1,5 =e−1 ≈ 0,368
Čekání si nepamatuje, jak dlouho už trvá. Čekáte na e-mail 3 minuty a nic — šance, že počkáte ještě aspoň 2 minuty, je pořád e−1 ≈ 0,368, stejně jako kdybyste začínali znovu. Autobus podle jízdního řádu takový není; radioaktivní rozpad a příchody nezávislých požadavků ano.
7. Tahák: které rozdělení kdy
| Rozdělení | Co popisuje | E[X] | Var(X) |
|---|---|---|---|
| Be(p) | jeden pokus ano/ne | p | p(1 − p) |
| Bi(n, p) | počet úspěchů z n pokusů | np | np(1 − p) |
| Po(λ) | počet událostí za čas | λ | λ |
| R(a, b) | „cokoli mezi a a b“ | a + b/2 | (b − a)²/12 |
| N(μ, σ²) | součet mnoha drobných vlivů | μ | σ² |
| Exp(λ) | čekání na další událost | 1/λ | 1/λ² |
8. Rozdělení v umělé inteligenci
- Bernoulli a binární klasifikace. Logistická regrese i síť s jedním výstupem předpovídají parametr p Bernoulliho rozdělení — „s jakou pravděpodobností je to spam“. Ztrátová funkce (binární křížová entropie) je záporný logaritmus jeho pravděpodobnosti.
L(y, p) = −ln [ py · (1 − p)1 − y ] = −y ln p − (1 − y) ln(1 − p)
- −ln
- logaritmus převádí součin přes mnoho příkladů na součet a minus z „co nejpravděpodobnější“ dělá „co nejmenší ztráta“ — pravděpodobnost blízko 1 dá ztrátu blízko 0
- py
- pravděpodobnost, kterou model dal třídě 1 — počítá se, jen když opravdu nastala (y = 1)
- (1 − p)1 − y
- pravděpodobnost třídy 0 — počítá se, jen když nastala ta (y = 0)
- y ∈ {0, 1}
- skutečná třída; funguje jako vypínač z rozebraného Bernoulliho vzorce výše
Model, který spamu přisoudí p = 0,9, má při y = 1 ztrátu −ln 0,9 ≈ 0,105, ale když zpráva spam nebyla (y = 0), ztrátu −ln (1 − 0,9) = −ln 0,1 ≈ 2,303 (barvy podle vzorce výše) — sebejistý omyl stojí 22krát víc. Stejnou úvahou z normálního rozdělení vyjde střední kvadratická chyba: −ln f(y) = (y − μ)²/2σ² + ln(σ√2π), a protože druhý člen na μ nezávisí, minimalizovat −ln f je totéž jako minimalizovat (y − μ)².
- Kategorické rozdělení je Bernoulli pro víc než dvě možnosti. Softmax na konci jazykového modelu vrací právě jeho parametry — pravděpodobnost každého slova ve slovníku.
- Normální rozdělení je všude: počáteční váhy sítí se losují z N(0, σ²), střední kvadratická chyba odpovídá předpokladu normálního šumu a difuzní modely generují obrázky postupným odšumováním z čistého N(0, 1).
- Dropout při trénování vypíná každý neuron s Bernoulliho pravděpodobností; rovnoměrné rozdělení je zdrojem všech náhodných čísel.
- Poisson a exponenciální modelují provoz: kolik požadavků přijde na server, kdy přijde další, kolik GPU je potřeba.
9. Shrnutí
- Bernoulli je jeden pokus ano/ne, binomické počet úspěchů z n nezávislých pokusů.
- Poissonovo počítá události za čas a je limitou binomického pro mnoho pokusů s malou šancí.
- Rovnoměrné dává stejnou hustotu celému intervalu; exponenciální měří čekání a nemá paměť.
- Normální rozdělení je zvon určený μ a σ; v ±σ, ±2σ a ±3σ leží 68,27 %, 95,45 % a 99,73 % hodnot.
- Volba rozdělení je volba modelu: co popisuje data, to určí i ztrátovou funkci modelu.
Máte na to jiný názor? Napište na support@coden-app.com.