Přeskočit na obsah
coden

Přehled pravděpodobnostních rozdělení: Bernoulli, binomické, Poisson, rovnoměrné, normální a exponenciální

Šest nejdůležitějších rozdělení s definicemi, středními hodnotami a rozptyly — Galtonova deska, Poissonova limitní věta, pravidlo 68–95–99,7 a kdy které rozdělení použít.

14 minut Matěj Žalmánek 2026-10-15

Série Základy AI Díl 17 z 83
  1. Mapa umělé inteligence: co je co a jak to do sebe zapadá
  2. Stručná historie umělé inteligence: od Turinga po jazykové modely
  3. Data, model, trénink, inference: základní pojmy na jednom příkladu
  4. Jak číst matematický zápis: symboly, indexy, sumy a kvantifikátory
  5. Množiny a relace: stavebnice, ze které se skládají definice v AI
  6. Funkce a zobrazení: proč je každý model v AI funkce
  7. Logika a důkazy: pravidla, podle kterých se v AI uvažuje
  8. Grafy a stromy: struktura, na které stojí hledání i neuronové sítě
  9. Lineární algebra pro strojové učení: vektory, matice a proč AI hlavně násobí
  10. Derivace, gradient a řetízkové pravidlo: jak model zjistí, kterým směrem se učit
  11. Gradientní sestup: jak se model učí
  12. Co je pravděpodobnost: od hodu kostkou ke Kolmogorovovým axiomům
  13. Podmíněná pravděpodobnost a Bayesova věta: jak změnit odhad, když se dozvíte něco nového
  14. Náhodná veličina a distribuční funkce: jedna funkce, která o rozdělení řekne všechno
  15. Funkce hustoty a pravděpodobnostní funkce: proč má spojitá veličina v bodě pravděpodobnost nula
  16. Střední hodnota, rozptyl a kovariance: kde rozdělení leží, jak je široké a co s čím souvisí
  17. Přehled pravděpodobnostních rozdělení: Bernoulli, binomické, Poisson, rovnoměrné, normální a exponenciální
  18. Zákon velkých čísel a centrální limitní věta: proč se průměry chovají tak předvídatelně
  19. Statistika a odhady parametrů: maximální věrohodnost, MAP a intervaly spolehlivosti
  20. Teorie informace: entropie, křížová entropie a KL divergence — odkud se berou ztrátové funkce
  21. Prohledávání stavového prostoru: BFS, DFS, UCS a A* s animacemi
  22. Hry a protivník: minimax, alfa-beta ořezávání a Monte Carlo tree search
  23. Splňování omezujících podmínek: backtracking, propagace omezení a AC-3 na sudoku a mapě krajů
  24. Logika a znalostní systémy: dopředné a zpětné řetězení, rezoluce a expertní systémy
  25. Plánování: STRIPS, svět kostek, heuristiky z relaxace a plánování v AI agentech
  26. Lokální hledání a simulované žíhání: obchodní cestující přes krajská města
  27. Genetické algoritmy: populace, křížení, mutace a výběr na batohu na výlet
  28. Evoluční strategie a genetické programování: od pravidla jedné pětiny po Keplerův zákon
  29. Optimalizace mravenčí kolonií: jak feromonová stopa najde krátkou cestu
  30. Optimalizace hejnem částic: setrvačnost, vlastní zkušenost a zkušenost hejna
  31. Neuroevoluce: evoluce vah i tvaru neuronových sítí a algoritmus NEAT
  32. Fuzzy množiny a funkce příslušnosti: jak zapsat „trochu teplo“
  33. Fuzzy logika a pravděpodobnost: proč „trochu teplo“ neznamená „pravděpodobně teplo“
  34. Fuzzy logika: t-normy, implikace a pravidla KDYŽ–PAK
  35. Fuzzy řízení: Mamdani a Sugeno od ventilátoru po kyvadlo na vozíku
  36. Fuzzy shlukování: algoritmus fuzzy c-means a body mezi shluky
  37. Neuro-fuzzy systémy (ANFIS): fuzzy pravidla, která se učí z dat
  38. Markovovy řetězce: přechodová matice, stacionární rozdělení a PageRank
  39. Skryté Markovovy modely: Viterbiho algoritmus a nepoctivé kasino
  40. Bayesovské sítě: proč je tráva mokrá a co z toho plyne pro postřikovač
  41. Kalmanův filtr: jak z nepřesných měření odhadnout, kde auto je a jak rychle jede
  42. Druhy strojového učení: s učitelem, bez učitele, s částečným učitelem a další
  43. Přeučení a regularizace: proč model, který zná data nazpaměť, selže
  44. Vyhodnocení modelu: křížová validace, F1 a křivka ROC
  45. Shlukování a snížení dimenze: k-means, PCA a t-SNE
  46. Klasifikace a regrese: dvě úlohy učení s učitelem
  47. Lineární regrese: nejmenší čtverce geometricky i maticově
  48. Polynomiální a nelineární regrese: jak přímku ohnout
  49. Logistická regrese: sigmoida, šance a křížová entropie
  50. Vícetřídní klasifikace a softmax: od dvou tříd k mnoha
  51. Naivní Bayesův klasifikátor: spamový filtr, který funguje lépe, než by měl
  52. Ztrátové funkce: co přesně model minimalizuje
  53. Rozhodovací stromy a k nejbližších sousedů: modely bez vzorců
  54. Ansámbly: náhodný les a gradient boosting
  55. SVM a jádrový trik: nejširší hranice a jak ji ohnout
  56. Signál a vzorkování: proč platí Nyquistův teorém
  57. Fourierova transformace: rozklad signálu na frekvence
  58. Filtry a konvoluce: vyhlazení, hrany a odstranění šumu
  59. Zvuk a řeč: spektrogram, melová škála a MFCC
  60. Obraz jako signál: pixely, barvy, konvoluce a hrany
  61. Perceptron a umělý neuron: nejjednodušší neuronová síť a co neumí
  62. Neuronová síť od nuly: zpětné šíření chyby krok za krokem
  63. Aktivace, inicializace a normalizace: drobnosti, na kterých hluboká síť stojí
  64. Konvoluční sítě: jak síť poznává obrázky
  65. Rekurentní sítě: paměť pro posloupnosti a mizející gradient
  66. LSTM a GRU: brány, které rozhodují, co si síť zapamatuje
  67. Autoenkodéry: síť, která se učí data stlačit a zase rozbalit
  68. Embeddingy a word2vec: jak se slovo stane vektorem
  69. Mechanismus pozornosti: jak se model naučí, kam se dívat
  70. Transformery a velké jazykové modely: architektura krok za krokem
  71. Tokenizace: jak se text rozseká na kousky pro model
  72. Předtrénování a škálování: proč větší model a víc dat funguje
  73. Doladění a RLHF: jak se z doplňovače textu stane asistent
  74. Prompty, kontext a RAG: jak modelu dát správné informace
  75. Variační autoenkodéry (VAE): nové obrázky ze spojitého latentního prostoru
  76. Generativní adversariální sítě (GAN): padělatel proti detektivovi
  77. Difúzní modely: jak se z čistého šumu stane obrázek
  78. Markovovy rozhodovací procesy: stavy, akce, odměny a Bellmanovy rovnice
  79. Q-learning a DQN: učení hodnoty akcí od tabulky po neuronovou síť
  80. Policy gradient a PPO: učení přímo strategie
  81. Jak funguje AI agent: jazykový model ve smyčce s nástroji
  82. Programování s AI agenty: zadání, testy a kontrola
  83. Vyhodnocení a bezpečnost AI systémů: jak měřit a jak hlídat

Celá osnova série 83 z 83 témat hotovo

Co si odnesete
  • Co popisuje Bernoulliho, binomické a Poissonovo rozdělení a jak spolu souvisejí.
  • Kdy použít rovnoměrné, normální a exponenciální rozdělení a co říká pravidlo 68–95–99,7.
  • Která rozdělení stojí za klasifikací, ztrátovými funkcemi a generativními modely v AI.

Co se hodí znát předem: Střední hodnota, rozptyl a kovariance: kde rozdělení leží, jak je široké a co s čím souvisí

Rozdělení si můžete pokaždé vymyslet od nuly — ale nemusíte. Pár situací se v praxi opakuje pořád dokola: ano/ne, počet úspěchů, počet událostí za hodinu, čekání, měření s chybou. Pro každou z nich existuje hotové rozdělení s pár parametry, spočítanou střední hodnotou i rozptylem. Tenhle díl je přehled šesti nejdůležitějších — a hlavně toho, kdy které použít.

Navazuje na díly Funkce hustoty a Střední hodnota a rozptyl.

1. Bernoulliho rozdělení

Definice — Bernoulliho rozdělení

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ je náhodná veličina a p ∈ [0, 1]. Pro x ∈ ℝ píšeme P(X = x) jako zkratku za P({ω ∈ Ω : X(ω) = x}). Veličina X má Bernoulliho rozdělení s parametrem p, píšeme X ~ Be(p), právě když

P(X = 1) = p   ∧   P(X = 0) = 1 − p.

Protože p + (1 − p) = 1, nabývá X s pravděpodobností 1 jen hodnot 0 a 1: hodnotu 1 („úspěch“) s pravděpodobností p, hodnotu 0 („neúspěch“) s pravděpodobností 1 − p.

Laicky řečeno

Jeden pokus, dva výsledky: povedlo se (1), nepovedlo se (0). Hod mincí, klik na reklamu, spam/ne spam. Jediný parametr p je šance na úspěch.

Obě možnosti jdou zapsat jedním vzorcem, který se hodí později u ztrátových funkcí:

P(X = k) = pk · (1 − p)1 − k,   k ∈ {0, 1}

pk
šance na úspěch; exponent k ji „zapne“ jen pro k = 1, pro k = 0 dá p0 = 1
(1 − p)1 − k
šance na neúspěch; exponent 1 − k ji naopak zapne jen pro k = 0
k ∈ {0, 1}
jiné hodnoty veličina nemá — mimo ně je pravděpodobnost 0
Exponenty fungují jako vypínač: z obou činitelů vždy zbude jen ten, který k výsledku patří.

Střední hodnota je p a rozptyl p(1 − p) — největší pro p = 0,5, kdy je výsledek nejméně předvídatelný.

Příklad — střední hodnota a rozptyl Be(0,3)

E[X] = 0 · (1 − p) + 1 · p = p = 0,3

E[X2] = 02 · (1 − p) + 12 · p = p = 0,3   (protože 02 = 0 a 12 = 1)

Var(X) = E[X2] − (E[X])2 = p − p2 = p(1 − p) = 0,3 · 0,7 = 0,21

Pro p = 0,5 by vyšlo 0,25 — víc to u veličiny s hodnotami 0 a 1 nejde, protože p(1 − p) je parabola s vrcholem v 0,5.

2. Binomické rozdělení

Definice — binomické rozdělení

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ náhodná veličina, n ∈ ℕ, n ≥ 1, a p ∈ [0, 1]. Pro k ∈ {0, 1, …, n} označme

(n nad k) = n!/k! · (n − k)!

kombinační číslo (počet k-prvkových podmnožin n-prvkové množiny; m! = 1 · 2 · … · m a 0! = 1). Veličina X má binomické rozdělení s parametry n a p, píšeme X ~ Bi(n, p), právě když

∀k ∈ {0, 1, …, n} :   P(X = k) = (n nad k) · pk · (1 − p)n−k.

Podle binomické věty se tyto pravděpodobnosti sečtou na (p + 1 − p)n = 1, takže X s pravděpodobností 1 nabývá jen hodnot 0, 1, …, n. Bi(1, p) je totéž co Be(p).

Laicky řečeno

Počet úspěchů v n nezávislých pokusech se stejnou šancí p. Kombinační číslo počítá, kolika způsoby lze k úspěchů rozmístit mezi n pokusů. Z deseti hodů mincí padne přesně pět líců s pravděpodobností 252/1024 ≈ 0,246 — tedy ani ne v každém čtvrtém pokusu. Osm a více líců jen s pravděpodobností 56/1024 ≈ 0,055.

P(X = k) = (n nad k) · pk · (1 − p)n−k

(n nad k)
kolika pořadími se dá dojít ke stejnému počtu úspěchů — každé má stejnou pravděpodobnost, takže ji stačí vynásobit jejich počtem
pk
k úspěchů, každý se šancí p; pokusy jsou nezávislé, proto se pravděpodobnosti násobí
(1 − p)n−k
zbylých n − k pokusů musí skončit neúspěchem — jinak by úspěchů bylo víc než k
Pravděpodobnost jednoho konkrétního pořadí krát počet pořadí.
Příklad — pět a osm líců z deseti hodů

(10 nad 5) = 10!/5! · 5! = 10 · 9 · 8 · 7 · 6/5 · 4 · 3 · 2 · 1 = 30 240/120 = 252

p5 · (1 − p)5 = 0,55 · 0,55 = 0,510 = 1/1024   ⇒   P(X = 5) = 252 · 1/1024 = 252/1024 ≈ 0,246

(10 nad 8) + (10 nad 9) + (10 nad 10) = 45 + 10 + 1 = 56   ⇒   P(X ≥ 8) = 56 · 1/1024 = 56/1024 ≈ 0,055

Barvy odpovídají členům vzorce výše. U mince je p = 1 − p = 0,5, takže druhý a třetí člen dají pro každé k stejné 1/1024 a o všem rozhoduje kombinační číslo.

Binomická veličina je součet n nezávislých Bernoulliho veličin, takže z linearity je střední hodnota np a rozptyl np(1 − p). Hezky je to vidět na Galtonově desce: kulička se na každém z deseti kolíčků odrazí vlevo, nebo vpravo, každý odraz je jeden Bernoulliho pokus a přihrádka, kam dopadne, je počet odrazů doprava — Bi(10; 0,5).

0 1 5 13 21 26 25 16 8 4 1 přihrádka (počet odrazů doprava) počet kuliček (ks)
Galtonova deska: 120 kuliček, 10 řad kolíčkůčárkovaně počty podle Bi(10; 0,5)

Kuličky se nahromadí uprostřed do zvonu — a ten tvar není náhoda. Jak uvidíme u normálního rozdělení a v příštím dílu, součet mnoha malých náhodných vlivů dá vždycky zvon.

Čárkované počty jsou 120 · P(X = k): do prostřední přihrádky čekáme 120 · 0,246 ≈ 29,5 kuličky, do krajních 120/1024 ≈ 0,1. Střední hodnota je np = 10 · 0,5 = 5, rozptyl np(1 − p) = 2,5 a směrodatná odchylka √2,5 ≈ 1,58 přihrádky. Simulace se 120 kuličkami dala do prostřední přihrádky 26 — od očekávání se náhodně liší, jak má.

3. Poissonovo rozdělení

Definice — Poissonovo rozdělení

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ náhodná veličina a λ ∈ ℝ, λ > 0. Označme ℕ0 = {0, 1, 2, …}. Veličina X má Poissonovo rozdělení s parametrem λ, píšeme X ~ Po(λ), právě když

∀k ∈ ℕ0 :   P(X = k) = e−λ · λk/k!.

Protože ∑k=0∞ λk/k! = eλ, sečtou se tyto pravděpodobnosti na 1 a X s pravděpodobností 1 nabývá jen hodnot z ℕ0.

Laicky řečeno

Počet událostí za daný čas, když chodí nezávisle a v průměru λ za tu dobu: e-maily za hodinu, požadavky na server za sekundu, překlepy na stránce. Když e-mail chodí v průměru jednou za 2 minuty, za 4 minuty jich čekáme λ = 2. Žádný nepřijde s pravděpodobností e−2 ≈ 0,135, právě dva s pravděpodobností 0,271.

P(X = k) = e−λ · λk/k!

e−λ
pravděpodobnost, že nepřijde nic; zároveň normuje — součet λk/k! přes všechna k je eλ, takže e−λ zajistí, že pravděpodobnosti dají dohromady 1
λk
každá z k událostí „přispěje“ průměrnou intenzitou λ — čím je λ větší, tím víc váhy dostanou velká k
k!
na pořadí událostí nezáleží — λk by každou skupinu k událostí započítalo k!-krát, jednou za každé pořadí; v důkazu níže je to k! z kombinačního čísla
Příklad — počet e-mailů za 4 minuty

P(X = 0) = e−2 · 20/0! = e−2 ≈ 0,135

P(X = 1) = e−2 · 2/1 ≈ 0,271

P(X = 2) = e−2 · 4/2 ≈ 0,271

P(X = 3) = e−2 · 8/6 ≈ 0,180,   P(X = 4) = e−2 · 16/24 ≈ 0,090

Barvy odpovídají členům vzorce výše. Každá další pravděpodobnost je předchozí krát λ/k. Dokud je k < λ, roste, pak klesá — pro celé λ jsou proto dvě nejpravděpodobnější hodnoty λ − 1 a λ.

Zvláštnost Poissonova rozdělení: střední hodnota i rozptyl jsou obě rovny λ.

Věta — Poissonova limitní věta

Nechť λ ∈ ℝ, λ > 0, a k ∈ ℕ0 jsou pevná. Pro každé n ∈ ℕ, n > λ, nechť Xn ~ Bi(n, λ/n) (podmínka n > λ zaručí λ/n ∈ [0, 1]). Pak

limn→∞ P(Xn = k) = e−λ · λk/k!.

Důkaz. Pro n ≥ k rozložíme binomickou pravděpodobnost s p = λ/n na čtyři činitele:

(n nad k) · (λ/n)k · (1 − λ/n)n−k = n(n − 1)⋯(n − k + 1)/nk · λk/k! · (1 − λ/n)n · (1 − λ/n)−k

Pro n → ∞: první činitel je součin k zlomků n − i/n → 1 (i = 0, …, k − 1), třetí → e−λ (protože limn→∞ (1 + x/n)n = ex pro každé x ∈ ℝ) a čtvrtý → 1−k = 1.

Zbude λk/k! · e−λ. ∎

Laicky řečeno

Poissonovo rozdělení je binomické s obrovským počtem pokusů a malou šancí v každém. Rozdělte 4 minuty na n krátkých úseků; v každém přijde e-mail se šancí 2/n. Čím jemněji dělíte, tím víc se binomické rozdělení blíží Poissonovu: celková odchylka je 0,125 pro 5 úseků, 0,024 pro 20 a 0,005 pro 100.

Definice — celková odchylka dvou rozdělení

Nechť P, Q : ℤ → [0, 1] jsou dvě rozdělení pravděpodobnosti na množině celých čísel ℤ, tj. ∑k ∈ ℤ P(k) = ∑k ∈ ℤ Q(k) = 1, a pro A ⊆ ℤ označme P(A) = ∑k ∈ A P(k) a Q(A) = ∑k ∈ A Q(k). Celková odchylka (total variation distance) rozdělení P a Q je číslo

d(P, Q) = 1/2 · ∑k ∈ ℤ |P(k) − Q(k)| ∈ [0, 1].

Platí d(P, Q) = maxA ⊆ ℤ |P(A) − Q(A)| a maxima se nabývá pro A = {k ∈ ℤ : P(k) > Q(k)}. Celková odchylka je tedy největší rozdíl, jaký mohou obě rozdělení dát pravděpodobnosti téže události. Polovina je tam proto, že co jednomu rozdělení u některých k přebývá, to mu jinde chybí — bez ní bychom každý rozdíl počítali dvakrát.

00,20,4 012345678 n = 5 n = 20 n = 100 počet událostí k (ks) pravděpodobnost P(X = k) (0–1)
Bi(n, 2/n) se s rostoucím n blíží Po(2) — tečky n = 5, odchylka: 0,125 n = 20, odchylka: 0,024 n = 100, odchylka: 0,005

4. Rovnoměrné rozdělení

Definice — spojité rovnoměrné rozdělení

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ náhodná veličina a a, b ∈ ℝ, a < b. Veličina X má rovnoměrné rozdělení na intervalu [a, b], píšeme X ~ R(a, b), právě když má hustotu f : ℝ → [0, ∞),

f(x) = 1/b − a pro x ∈ [a, b],   f(x) = 0 pro x ∉ [a, b].

Tj. pro každé x ∈ ℝ je P(X ≤ x) = ∫−∞x f(t) dt; pravděpodobnost každého podintervalu [c, d] ⊆ [a, b] je pak d − c/b − a a závisí jen na jeho délce.

Laicky řečeno

Každý kousek intervalu je stejně pravděpodobný — model „nevím nic, kromě hranic“. Čekání na autobus, který jezdí každých 10 minut, je R(0, 10). Generátor náhodných čísel v počítači vrací R(0, 1) a ze všech ostatních rozdělení se vzorky vyrábějí právě z něj.

Střední hodnota je střed intervalu a + b/2, rozptyl (b − a)²/12. U autobusu tedy čekáte v průměru 5 minut se směrodatnou odchylkou √100/12 ≈ 2,89 minuty.

Příklad — střední hodnota a rozptyl rovnoměrného rozdělení

E[X] = ∫ab x/b − a dx = b2 − a2/2(b − a) = a + b/2

E[X2] = ∫ab x2/b − a dx = b3 − a3/3(b − a) = a2 + ab + b2/3

Var(X) = a2 + ab + b2/3 − (a + b)2/4 = a2 − 2ab + b2/12 = (b − a)2/12

Autobus R(0, 10): E[X] = 0 + 10/2 = 5, Var(X) = (10 − 0)2/12 = 100/12 ≈ 8,33, σ ≈ 2,89 minuty

Pravděpodobnost úseku je jeho délka krát výška 1/b − a: že budete čekat déle než 7 minut, je 10 − 7/10 = 0,3.

Jak se z R(0, 1) vyrobí vzorek jiného rozdělení? Nejjednodušší postup je metoda inverzní transformace: náhodné číslo u z R(0, 1) se dosadí do inverzní distribuční funkce hledaného rozdělení. Distribuční funkce F(x) = P(X ≤ x) roste od 0 do 1, takže každé u „ukáže“ na jednu hodnotu x — a hodnoty, kde F roste prudce (tam je velká hustota), dostanou víc u.

vzorek_bernoulli(p):
    u ← náhodné číslo z R(0, 1)
    vrať 1, pokud u < p, jinak 0          # P(u < p) = p

vzorek_exponencialni(λ):
    u ← náhodné číslo z R(0, 1)
    vrať −ln(1 − u) / λ                    # inverze F(x) = 1 − e^(−λx)

Pro λ = 0,5 dá u = 0,5 čekání −ln 0,5/0,5 ≈ 1,39 minuty (medián) a u = 0,9 čekání −ln 0,1/0,5 ≈ 4,61 minuty.

5. Normální rozdělení

Definice — normální rozdělení

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ náhodná veličina, μ ∈ ℝ a σ ∈ ℝ, σ > 0. Pro y ∈ ℝ píšeme exp(y) = ey. Veličina X má normální (Gaussovo) rozdělení s parametry μ a σ², píšeme X ~ N(μ, σ²), právě když má hustotu f : ℝ → (0, ∞),

f(x) = 1/σ√2π · exp(−(x − μ)²/2σ²),   x ∈ ℝ.

Parametr μ je pak střední hodnota a σ² rozptyl veličiny X (σ je její směrodatná odchylka).

Laicky řečeno

Slavná zvonová křivka: nejvíc hodnot kolem průměru μ, symetricky na obě strany a čím dál, tím rychleji ubývá. Tak vypadá výška lidí, chyby měření, šum v senzorech — všechno, co vzniká sečtením mnoha drobných nezávislých vlivů.

f(x) = 1/σ√2π · exp(−(x − μ)²/2σ²)

1/σ√2π
normovací konstanta — plocha pod samotným exp(−z²/2) je √2π, natažená o σ je σ√2π; dělením vyjde celková plocha 1, jak má hustota mít
exp(−…)
exponenciála záporného čísla leží mezi 0 a 1 a s rostoucí vzdáleností od středu klesá velmi rychle — proto mají „chvosty“ zvonu tak málo hodnot
(x − μ)²
vzdálenost od průměru na druhou — druhá mocnina dělá křivku souměrnou (odchylka −3 i +3 dá totéž) a nejvyšší v x = μ
2σ²
měřítko — vzdálenost se měří v násobcích σ, takže větší σ zvon roztáhne do šířky; dvojka zajistí, že rozptyl vyjde přesně σ²
Hustota klesá s druhou mocninou vzdálenosti od průměru, měřené v jednotkách σ.
Příklad — hustota výšky N(175, 7²)

V průměru: (175 − 175)² = 0, takže exp(0) = 1 a f(175) = 1/7 · √2π = 1/7 · 2,5066 ≈ 0,0570 na centimetr

Ve 189 cm: (189 − 175)²/2 · 49 = 196/98 = 2,   f(189) = 0,0570 · e−2 ≈ 0,0077

Barvy odpovídají členům vzorce výše.

O dvě σ dál je hustota e−2 ≈ 7,4krát nižší. Hustota není pravděpodobnost: mezi 175 a 176 cm měří přibližně 0,057 · 1 cm ≈ 5,7 % mužů.

Definice — normované normální rozdělení

Normální rozdělení N(0, 1), tj. s parametry μ = 0 a σ = 1, se nazývá normované normální rozdělení. Jeho hustotu značíme φ : ℝ → (0, ∞),

φ(z) = 1/√2π · exp(−z²/2),   z ∈ ℝ.

Standardizace. Nechť μ ∈ ℝ, σ > 0 a X ~ N(μ, σ²). Pak náhodná veličina

Z = X − μ/σ   splňuje   Z ~ N(0, 1).

Laicky řečeno

Všechna normální rozdělení jsou jedno a totéž, jen posunuté a natažené. Když od hodnoty odečtete průměr a vydělíte σ, dostanete „kolik směrodatných odchylek od průměru“ — a na to stačí jedna tabulka pro všechny.

Pro normální rozdělení platí pravidlo 68–95–99,7: do vzdálenosti σ od průměru padne 68,27 % hodnot, do 2σ 95,45 % a do 3σ 99,73 %. Má-li výška dospělých mužů průměr 175 cm a σ = 7 cm, měří 95 % z nich mezi 161 a 189 cm. Čebyševova nerovnost z minulého dílu zaručovala pro 2σ jen 75 % — normální rozdělení je mnohem „sevřenější“.

−3σ−2σ−σμ+σ+2σ+3σ ±σ: 68,27 % ±2σ: 95,45 % ±3σ: 99,73 % hodnota x (násobky σ od μ) hustota f(x) (1/jednotka x)
Pravidlo 68–95–99,7 pro normální rozdělení

Hustota normálního rozdělení nemá primitivní funkci ve tvaru vzorce, takže procenta výše se počítají numericky — tady Simpsonovou metodou, tedy sčítáním velmi úzkých plošek.

Definice — distribuční funkce Φ normovaného normálního rozdělení

Nechť Z ~ N(0, 1) a φ je hustota normovaného normálního rozdělení. Distribuční funkce normovaného normálního rozdělení je funkce Φ : ℝ → (0, 1),

Φ(z) = P(Z ≤ z) = ∫−∞z φ(t) dt = ∫−∞z 1/√2π · exp(−t²/2) dt,   z ∈ ℝ.

Nechť μ ∈ ℝ, σ > 0 a X ~ N(μ, σ²). Ze standardizace a ze symetrie φ(−t) = φ(t) pak pro každé x ∈ ℝ a každé k > 0 platí

P(X ≤ x) = Φ(x − μ/σ),   P(|X − μ| < kσ) = Φ(k) − Φ(−k) = 2Φ(k) − 1.

Laicky řečeno

Φ(z) je plocha pod zvonem nalevo od z. Výška 189 cm leží 189 − 175/7 = 2 směrodatné odchylky nad průměrem, 161 cm dvě pod ním, a mezi nimi je 2Φ(2) − 1 ≈ 0,9545 — odtud 95 % z pravidla výše.

Algoritmus — Simpsonova metoda

Vstup: funkce f : [a, b] → ℝ (v každém bodě vyčíslitelná), meze a, b ∈ ℝ, a < b, a sudé číslo n ∈ ℕ, n ≥ 2 (počet dílků).

Výstup: číslo Sn ∈ ℝ, přibližná hodnota integrálu ∫ab f(x) dx.

Kroky:

  1. Šířka dílku: h = b − a/n.
  2. Body dělení: xi = a + ih pro i = 0, 1, …, n (takže x0 = a, xn = b).
  3. Na každé dvojici sousedních dílků [x2j, x2j+2], j = 0, …, n/2 − 1, nahradíme f parabolou procházející třemi body (x2j, f(x2j)), (x2j+1, f(x2j+1)), (x2j+2, f(x2j+2)) a sečteme plochy pod parabolami; vyjde Sn = h/3 · [f(x0) + 4f(x1) + 2f(x2) + 4f(x3) + … + 4f(xn−1) + f(xn)], tj. vnitřní body s lichým indexem mají váhu 4, se sudým indexem váhu 2 a krajní body váhu 1.
  4. Vrátíme Sn.

Zastavení: algoritmus skončí vždy, po vyčíslení f v n + 1 bodech. Přesnost se volí předem počtem dílků n; pro f se spojitou čtvrtou derivací klesá chyba úměrně h4.

simpson(f, a, b, n):                     # n sudé
    h ← (b − a) / n
    s ← f(a) + f(b)
    pro i = 1 … n − 1:
        s ← s + (4, je-li i liché, jinak 2) · f(a + i·h)
    vrať s · h / 3

P(|Z| < 1) pro n = 2, h = 1: 1/3 · [φ(−1) + 4φ(0) + φ(1)] = 1/3 · [0,2420 + 1,5958 + 0,2420] ≈ 0,6932

n = 4: 0,6831,   n = 10: 0,6827,   n = 2000 (tento web): 0,682689

φ je hustota N(0, 1). Už se dvěma dílky je chyba jen asi 1 procentní bod a dál klesá se čtvrtou mocninou šířky dílku h — dvakrát víc dílků ji zmenší zhruba šestnáctkrát.

6. Exponenciální rozdělení

Definice — exponenciální rozdělení

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X : Ω → ℝ náhodná veličina a λ ∈ ℝ, λ > 0. Veličina X má exponenciální rozdělení s parametrem (intenzitou) λ, píšeme X ~ Exp(λ), právě když má hustotu f : ℝ → [0, ∞),

f(x) = λ e−λx pro x ≥ 0,   f(x) = 0 pro x < 0.

Ekvivalentně má X distribuční funkci F(x) = 1 − e−λx pro x ≥ 0 a F(x) = 0 pro x < 0.

Laicky řečeno

Doba čekání na další událost, když události chodí nezávisle v průměru λ za jednotku času. Je to čekání na e-mail z dílu o hustotě: λ = 0,5 za minutu, střední hodnota 1/λ = 2 minuty, rozptyl 1/λ² = 4.

Exponenciální a Poissonovo rozdělení popisují tentýž proces z dvou stran. Že za 4 minuty nepřijde žádný e-mail, je podle Poissona e−2 ≈ 0,135 — a podle exponenciálního rozdělení P(X > 4) = e−0,5 · 4, totéž číslo.

Věta — bezpaměťovost exponenciálního rozdělení

Nechť λ > 0, X ~ Exp(λ) a s, t ∈ ℝ, s, t ≥ 0. Pak P(X > s) > 0, podmíněná pravděpodobnost níže je tedy definovaná, a platí

P(X > s + t | X > s) = P(X > t).

Důkaz. P(X > x) = ∫x∞ λe−λu du = e−λx. Jev „X > s + t“ je částí jevu „X > s“, takže podle definice podmíněné pravděpodobnosti

P(X > s + t | X > s) = P(X > s + t)/P(X > s) = e−λ(s + t)/e−λs = e−λt = P(X > t). ∎

Pro λ = 0,5, s = 3, t = 2: e−2,5/e−1,5 =e−1 ≈ 0,368

Laicky řečeno

Čekání si nepamatuje, jak dlouho už trvá. Čekáte na e-mail 3 minuty a nic — šance, že počkáte ještě aspoň 2 minuty, je pořád e−1 ≈ 0,368, stejně jako kdybyste začínali znovu. Autobus podle jízdního řádu takový není; radioaktivní rozpad a příchody nezávislých požadavků ano.

7. Tahák: které rozdělení kdy

Bernoulli Be(0,3) hodnota k (počet) P(X = k) (0–1) binomické Bi(10; 0,5) hodnota k (počet) P(X = k) (0–1) Poissonovo Po(2) hodnota k (počet) P(X = k) (0–1) rovnoměrné R(0, 10) hodnota x (jednotky X) hustota (1/jedn. X) normální N(0, 1) hodnota x (jednotky X) hustota (1/jedn. X) exponenciální Exp(0,5) hodnota x (jednotky X) hustota (1/jedn. X)
Šest základních rozdělení
RozděleníCo popisujeE[X]Var(X)
Be(p)jeden pokus ano/nepp(1 − p)
Bi(n, p)počet úspěchů z n pokusůnpnp(1 − p)
Po(λ)počet událostí za časλλ
R(a, b)„cokoli mezi a a b“a + b/2(b − a)²/12
N(μ, σ²)součet mnoha drobných vlivůμσ²
Exp(λ)čekání na další událost1/λ1/λ²

8. Rozdělení v umělé inteligenci

  • Bernoulli a binární klasifikace. Logistická regrese i síť s jedním výstupem předpovídají parametr p Bernoulliho rozdělení — „s jakou pravděpodobností je to spam“. Ztrátová funkce (binární křížová entropie) je záporný logaritmus jeho pravděpodobnosti.

L(y, p) = −ln [ py · (1 − p)1 − y ] = −y ln p − (1 − y) ln(1 − p)

−ln
logaritmus převádí součin přes mnoho příkladů na součet a minus z „co nejpravděpodobnější“ dělá „co nejmenší ztráta“ — pravděpodobnost blízko 1 dá ztrátu blízko 0
py
pravděpodobnost, kterou model dal třídě 1 — počítá se, jen když opravdu nastala (y = 1)
(1 − p)1 − y
pravděpodobnost třídy 0 — počítá se, jen když nastala ta (y = 0)
y ∈ {0, 1}
skutečná třída; funguje jako vypínač z rozebraného Bernoulliho vzorce výše
Binární křížová entropie je záporný logaritmus Bernoulliho pravděpodobnosti správné odpovědi.

Model, který spamu přisoudí p = 0,9, má při y = 1 ztrátu −ln 0,9 ≈ 0,105, ale když zpráva spam nebyla (y = 0), ztrátu −ln (1 − 0,9) = −ln 0,1 ≈ 2,303 (barvy podle vzorce výše) — sebejistý omyl stojí 22krát víc. Stejnou úvahou z normálního rozdělení vyjde střední kvadratická chyba: −ln f(y) = (y − μ)²/2σ² + ln(σ√2π), a protože druhý člen na μ nezávisí, minimalizovat −ln f je totéž jako minimalizovat (y − μ)².

  • Kategorické rozdělení je Bernoulli pro víc než dvě možnosti. Softmax na konci jazykového modelu vrací právě jeho parametry — pravděpodobnost každého slova ve slovníku.
  • Normální rozdělení je všude: počáteční váhy sítí se losují z N(0, σ²), střední kvadratická chyba odpovídá předpokladu normálního šumu a difuzní modely generují obrázky postupným odšumováním z čistého N(0, 1).
  • Dropout při trénování vypíná každý neuron s Bernoulliho pravděpodobností; rovnoměrné rozdělení je zdrojem všech náhodných čísel.
  • Poisson a exponenciální modelují provoz: kolik požadavků přijde na server, kdy přijde další, kolik GPU je potřeba.

9. Shrnutí

  • Bernoulli je jeden pokus ano/ne, binomické počet úspěchů z n nezávislých pokusů.
  • Poissonovo počítá události za čas a je limitou binomického pro mnoho pokusů s malou šancí.
  • Rovnoměrné dává stejnou hustotu celému intervalu; exponenciální měří čekání a nemá paměť.
  • Normální rozdělení je zvon určený μ a σ; v ±σ, ±2σ a ±3σ leží 68,27 %, 95,45 % a 99,73 % hodnot.
  • Volba rozdělení je volba modelu: co popisuje data, to určí i ztrátovou funkci modelu.

Máte na to jiný názor? Napište na support@coden-app.com.

Agent na vašem počítači, ovládaný z telefonu