Preskočiť na obsah
coden

Prehľad pravdepodobnostných rozdelení: Bernoulliho, binomické, Poissonovo, rovnomerné, normálne a exponenciálne

Šesť najdôležitejších rozdelení s definíciami, strednými hodnotami a rozptylmi — Galtonova doska, Poissonova limitná veta, pravidlo 68–95–99,7 a kedy ktoré rozdelenie použiť.

14 minút Matěj Žalmánek 2026-10-15

Séria Základy AI Diel 17 z 52
  1. Mapa umelej inteligencie: čo je čo a ako to do seba zapadá
  2. Stručná história umelej inteligencie: od Turinga po jazykové modely
  3. Dáta, model, tréning, inferencia: základné pojmy na jednom príklade
  4. Ako čítať matematický zápis: symboly, indexy, sumy a kvantifikátory
  5. Množiny a relácie: stavebnica, z ktorej sa skladajú definície v AI
  6. Funkcie a zobrazenia: prečo je každý model v AI funkcia
  7. Logika a dôkazy: pravidlá, podľa ktorých sa v AI uvažuje
  8. Grafy a stromy: štruktúra, na ktorej stojí hľadanie aj neurónové siete
  9. Lineárna algebra pre strojové učenie: vektory, matice a prečo AI hlavne násobí
  10. Derivácie, gradient a reťazové pravidlo: ako model zistí, ktorým smerom sa učiť
  11. Gradientný zostup: ako sa model učí
  12. Čo je pravdepodobnosť: od hodu kockou ku Kolmogorovovým axiómam
  13. Podmienená pravdepodobnosť a Bayesova veta: ako zmeniť odhad, keď sa dozviete niečo nové
  14. Náhodná premenná a distribučná funkcia: jedna funkcia, ktorá o rozdelení povie všetko
  15. Funkcia hustoty a pravdepodobnostná funkcia: prečo má spojitá premenná v bode pravdepodobnosť nula
  16. Stredná hodnota, rozptyl a kovariancia: kde rozdelenie leží, aké je široké a čo s čím súvisí
  17. Prehľad pravdepodobnostných rozdelení: Bernoulliho, binomické, Poissonovo, rovnomerné, normálne a exponenciálne
  18. Zákon veľkých čísel a centrálna limitná veta: prečo sa priemery správajú tak predvídateľne
  19. Štatistika a odhady parametrov: maximálna vierohodnosť, MAP a intervaly spoľahlivosti
  20. Teória informácie: entropia, krížová entropia a KL divergencia — odkiaľ sa berú stratové funkcie
  21. Prehľadávanie stavového priestoru: BFS, DFS, UCS a A* s animáciami
  22. Hry a protivník: minimax, alfa-beta orezávanie a Monte Carlo tree search
  23. Splňovanie obmedzujúcich podmienok: backtracking, propagácia obmedzení a AC-3 na sudoku a mape krajov
  24. Logika a znalostné systémy: dopredné a spätné reťazenie, rezolúcia a expertné systémy
  25. Plánovanie: STRIPS, svet kociek, heuristiky z relaxácie a plánovanie v AI agentoch
  26. Lokálne hľadanie a simulované žíhanie: obchodný cestujúci cez krajské mestá
  27. Genetické algoritmy: populácia, kríženie, mutácia a výber na batohu na výlet
  28. Evolučné stratégie a genetické programovanie: od pravidla jednej pätiny po Keplerov zákon
  29. Optimalizácia mravčou kolóniou: ako feromónová stopa nájde krátku cestu
  30. Optimalizácia rojom častíc: zotrvačnosť, vlastná skúsenosť a skúsenosť roja
  31. Neuroevolúcia: evolúcia váh aj tvaru neurónových sietí a algoritmus NEAT
  32. Fuzzy množiny a funkcie príslušnosti: ako zapísať „trochu teplo“
  33. Fuzzy logika a pravdepodobnosť: prečo „trochu teplo“ neznamená „pravdepodobne teplo“
  34. Fuzzy logika: t-normy, implikácie a pravidlá AK–TAK
  35. Fuzzy riadenie: Mamdani a Sugeno od ventilátora po kyvadlo na vozíku
  36. Fuzzy zhlukovanie: algoritmus fuzzy c-means a body medzi zhlukmi
  37. Neuro-fuzzy systémy (ANFIS): fuzzy pravidlá, ktoré sa učia z dát
  38. Markovove reťazce: prechodová matica, stacionárne rozdelenie a PageRank
  39. Skryté Markovove modely: Viterbiho algoritmus a nepoctivé kasíno
  40. Bayesovské siete: prečo je tráva mokrá a čo z toho vyplýva pre postrekovač
  41. Kalmanov filter: ako z nepresných meraní odhadnúť, kde auto je a ako rýchlo ide
  42. Druhy strojového učenia: s učiteľom, bez učiteľa, s čiastočným učiteľom a ďalšie
  43. Prompty, kontext a RAG: ako modelu dať správne informácie
  44. Variačné autoenkodéry (VAE): nové obrázky zo spojitého latentného priestoru
  45. Generatívne adversariálne siete (GAN): falšovateľ proti detektívovi
  46. Difúzne modely: ako sa z čistého šumu stane obrázok
  47. Markovove rozhodovacie procesy: stavy, akcie, odmeny a Bellmanove rovnice
  48. Q-learning a DQN: učenie hodnoty akcií od tabuľky po neurónovú sieť
  49. Policy gradient a PPO: učenie priamo stratégie
  50. Ako funguje AI agent: jazykový model v slučke s nástrojmi
  51. Programovanie s AI agentmi: zadanie, testy a kontrola
  52. Vyhodnocovanie a bezpečnosť AI systémov: ako merať a ako strážiť

Celá osnova série Hotovo: 52 z 83 tém

Čo si odnesiete
  • Čo opisuje Bernoulliho, binomické a Poissonovo rozdelenie a ako spolu súvisia.
  • Kedy použiť rovnomerné, normálne a exponenciálne rozdelenie a čo hovorí pravidlo 68–95–99,7.
  • Ktoré rozdelenia stoja za klasifikáciou, stratovými funkciami a generatívnymi modelmi v AI.

Čo sa hodí vedieť vopred: Stredná hodnota, rozptyl a kovariancia: kde rozdelenie leží, aké je široké a čo s čím súvisí

Rozdelenie si môžete zakaždým vymyslieť od nuly — ale nemusíte. Niekoľko situácií sa v praxi opakuje stále dookola: áno/nie, počet úspechov, počet udalostí za hodinu, čakanie, meranie s chybou. Pre každú z nich existuje hotové rozdelenie s pár parametrami, vypočítanou strednou hodnotou aj rozptylom. Tento diel je prehľadom šiestich najdôležitejších — a hlavne toho, kedy ktoré použiť.

Nadväzuje na diely Funkcia hustoty a Stredná hodnota a rozptyl.

1. Bernoulliho rozdelenie

Definícia — Bernoulliho rozdelenie

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ je náhodná premenná a p ∈ [0, 1]. Pre x ∈ ℝ píšeme P(X = x) ako skratku za P({ω ∈ Ω : X(ω) = x}). Premenná X má Bernoulliho rozdelenie s parametrom p, píšeme X ~ Be(p), práve vtedy, keď

P(X = 1) = p   ∧   P(X = 0) = 1 − p.

Keďže p + (1 − p) = 1, nadobúda X s pravdepodobnosťou 1 len hodnoty 0 a 1: hodnotu 1 („úspech“) s pravdepodobnosťou p, hodnotu 0 („neúspech“) s pravdepodobnosťou 1 − p.

Laicky povedané

Jeden pokus, dva výsledky: podarilo sa (1), nepodarilo sa (0). Hod mincou, klik na reklamu, spam/nie spam. Jediný parameter p je šanca na úspech.

Obe možnosti sa dajú zapísať jedným vzorcom, ktorý sa zíde neskôr pri stratových funkciách:

P(X = k) = pk · (1 − p)1 − k,   k ∈ {0, 1}

pk
šanca na úspech; exponent k ju „zapne“ len pre k = 1, pre k = 0 dá p0 = 1
(1 − p)1 − k
šanca na neúspech; exponent 1 − k ju naopak zapne len pre k = 0
k ∈ {0, 1}
iné hodnoty premenná nemá — mimo nich je pravdepodobnosť 0
Exponenty fungujú ako vypínač: z oboch činiteľov vždy zostane len ten, ktorý k výsledku patrí.

Stredná hodnota je p a rozptyl p(1 − p) — najväčší pre p = 0,5, keď je výsledok najmenej predvídateľný.

Príklad — stredná hodnota a rozptyl Be(0,3)

E[X] = 0 · (1 − p) + 1 · p = p = 0,3

E[X2] = 02 · (1 − p) + 12 · p = p = 0,3   (pretože 02 = 0 a 12 = 1)

Var(X) = E[X2] − (E[X])2 = p − p2 = p(1 − p) = 0,3 · 0,7 = 0,21

Pre p = 0,5 by vyšlo 0,25 — viac to pri premennej s hodnotami 0 a 1 nejde, pretože p(1 − p) je parabola s vrcholom v 0,5.

2. Binomické rozdelenie

Definícia — binomické rozdelenie

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ náhodná premenná, n ∈ ℕ, n ≥ 1, a p ∈ [0, 1]. Pre k ∈ {0, 1, …, n} označme

(n nad k) = n!/k! · (n − k)!

kombinačné číslo (počet k-prvkových podmnožín n-prvkovej množiny; m! = 1 · 2 · … · m a 0! = 1). Premenná X má binomické rozdelenie s parametrami n a p, píšeme X ~ Bi(n, p), práve vtedy, keď

∀k ∈ {0, 1, …, n} :   P(X = k) = (n nad k) · pk · (1 − p)n−k.

Podľa binomickej vety sa tieto pravdepodobnosti sčítajú na (p + 1 − p)n = 1, takže X s pravdepodobnosťou 1 nadobúda len hodnoty 0, 1, …, n. Bi(1, p) je to isté ako Be(p).

Laicky povedané

Počet úspechov v n nezávislých pokusoch s rovnakou šancou p. Kombinačné číslo počíta, koľkými spôsobmi sa dá k úspechov rozmiestniť medzi n pokusov. Z desiatich hodov mincou padne presne päť hláv s pravdepodobnosťou 252/1024 ≈ 0,246 — teda ani nie v každom štvrtom pokuse. Osem a viac hláv len s pravdepodobnosťou 56/1024 ≈ 0,055.

P(X = k) = (n nad k) · pk · (1 − p)n−k

(n nad k)
koľkými poradiami sa dá dôjsť k rovnakému počtu úspechov — každé má rovnakú pravdepodobnosť, takže ju stačí vynásobiť ich počtom
pk
k úspechov, každý so šancou p; pokusy sú nezávislé, preto sa pravdepodobnosti násobia
(1 − p)n−k
zvyšných n − k pokusov musí skončiť neúspechom — inak by úspechov bolo viac než k
Pravdepodobnosť jedného konkrétneho poradia krát počet poradí.
Príklad — päť a osem hláv z desiatich hodov

(10 nad 5) = 10!/5! · 5! = 10 · 9 · 8 · 7 · 6/5 · 4 · 3 · 2 · 1 = 30 240/120 = 252

p5 · (1 − p)5 = 0,55 · 0,55 = 0,510 = 1/1024   ⇒   P(X = 5) = 252 · 1/1024 = 252/1024 ≈ 0,246

(10 nad 8) + (10 nad 9) + (10 nad 10) = 45 + 10 + 1 = 56   ⇒   P(X ≥ 8) = 56 · 1/1024 = 56/1024 ≈ 0,055

Farby zodpovedajú členom vzorca vyššie. Pri minci je p = 1 − p = 0,5, takže druhý a tretí člen dajú pre každé k rovnaké 1/1024 a o všetkom rozhoduje kombinačné číslo.

Binomická premenná je súčet n nezávislých Bernoulliho premenných, takže z linearity je stredná hodnota np a rozptyl np(1 − p). Pekne to vidno na Galtonovej doske: guľôčka sa na každom z desiatich kolíkov odrazí doľava alebo doprava, každý odraz je jeden Bernoulliho pokus a priehradka, do ktorej dopadne, je počet odrazov doprava — Bi(10; 0,5).

0 1 5 13 21 26 25 16 8 4 1 priehradka (počet odrazov doprava) počet guľôčok (ks)
Galtonova doska: 120 guľôčok, 10 radov kolíkovčiarkovane počty podľa Bi(10; 0,5)

Guľôčky sa nahromadia v strede do zvona — a ten tvar nie je náhoda. Ako uvidíme pri normálnom rozdelení a v ďalšom diele, súčet mnohých malých náhodných vplyvov dá vždy zvon.

Čiarkované počty sú 120 · P(X = k): do prostrednej priehradky čakáme 120 · 0,246 ≈ 29,5 guľôčky, do krajných 120/1024 ≈ 0,1. Stredná hodnota je np = 10 · 0,5 = 5, rozptyl np(1 − p) = 2,5 a smerodajná odchýlka √2,5 ≈ 1,58 priehradky. Simulácia so 120 guľôčkami dala do prostrednej priehradky 26 — od očakávania sa náhodne líši, ako má.

3. Poissonovo rozdelenie

Definícia — Poissonovo rozdelenie

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ náhodná premenná a λ ∈ ℝ, λ > 0. Označme ℕ0 = {0, 1, 2, …}. Premenná X má Poissonovo rozdelenie s parametrom λ, píšeme X ~ Po(λ), práve vtedy, keď

∀k ∈ ℕ0 :   P(X = k) = e−λ · λk/k!.

Keďže ∑k=0∞ λk/k! = eλ, sčítajú sa tieto pravdepodobnosti na 1 a X s pravdepodobnosťou 1 nadobúda len hodnoty z ℕ0.

Laicky povedané

Počet udalostí za daný čas, keď prichádzajú nezávisle a v priemere λ za ten čas: e-maily za hodinu, požiadavky na server za sekundu, preklepy na stránke. Keď e-mail chodí v priemere raz za 2 minúty, za 4 minúty ich čakáme λ = 2. Žiadny nepríde s pravdepodobnosťou e−2 ≈ 0,135, práve dva s pravdepodobnosťou 0,271.

P(X = k) = e−λ · λk/k!

e−λ
pravdepodobnosť, že nepríde nič; zároveň normuje — súčet λk/k! cez všetky k je eλ, takže e−λ zaistí, že pravdepodobnosti dajú spolu 1
λk
každá z k udalostí „prispeje“ priemernou intenzitou λ — čím je λ väčšie, tým viac váhy dostanú veľké k
k!
na poradí udalostí nezáleží — λk by každú skupinu k udalostí započítalo k!-krát, raz za každé poradie; v dôkaze nižšie je to k! z kombinačného čísla
Príklad — počet e-mailov za 4 minúty

P(X = 0) = e−2 · 20/0! = e−2 ≈ 0,135

P(X = 1) = e−2 · 2/1 ≈ 0,271

P(X = 2) = e−2 · 4/2 ≈ 0,271

P(X = 3) = e−2 · 8/6 ≈ 0,180,   P(X = 4) = e−2 · 16/24 ≈ 0,090

Farby zodpovedajú členom vzorca vyššie. Každá ďalšia pravdepodobnosť je predchádzajúca krát λ/k. Kým je k < λ, rastie, potom klesá — pre celé λ sú preto dve najpravdepodobnejšie hodnoty λ − 1 a λ.

Zvláštnosť Poissonovho rozdelenia: stredná hodnota aj rozptyl sa obe rovnajú λ.

Veta — Poissonova limitná veta

Nech λ ∈ ℝ, λ > 0, a k ∈ ℕ0 sú pevné. Pre každé n ∈ ℕ, n > λ, nech Xn ~ Bi(n, λ/n) (podmienka n > λ zaručí λ/n ∈ [0, 1]). Potom

limn→∞ P(Xn = k) = e−λ · λk/k!.

Dôkaz. Pre n ≥ k rozložíme binomickú pravdepodobnosť s p = λ/n na štyri činitele:

(n nad k) · (λ/n)k · (1 − λ/n)n−k = n(n − 1)⋯(n − k + 1)/nk · λk/k! · (1 − λ/n)n · (1 − λ/n)−k

Pre n → ∞: prvý činiteľ je súčin k zlomkov n − i/n → 1 (i = 0, …, k − 1), tretí → e−λ (pretože limn→∞ (1 + x/n)n = ex pre každé x ∈ ℝ) a štvrtý → 1−k = 1.

Zostane λk/k! · e−λ. ∎

Laicky povedané

Poissonovo rozdelenie je binomické s obrovským počtom pokusov a malou šancou v každom. Rozdeľte 4 minúty na n krátkych úsekov; v každom príde e-mail so šancou 2/n. Čím jemnejšie delíte, tým viac sa binomické rozdelenie blíži Poissonovmu: celková odchýlka je 0,125 pre 5 úsekov, 0,024 pre 20 a 0,005 pre 100.

Definícia — celková odchýlka dvoch rozdelení

Nech P, Q : ℤ → [0, 1] sú dve rozdelenia pravdepodobnosti na množine celých čísel ℤ, t. j. ∑k ∈ ℤ P(k) = ∑k ∈ ℤ Q(k) = 1, a pre A ⊆ ℤ označme P(A) = ∑k ∈ A P(k) a Q(A) = ∑k ∈ A Q(k). Celková odchýlka (total variation distance) rozdelení P a Q je číslo

d(P, Q) = 1/2 · ∑k ∈ ℤ |P(k) − Q(k)| ∈ [0, 1].

Platí d(P, Q) = maxA ⊆ ℤ |P(A) − Q(A)| a maximum sa nadobúda pre A = {k ∈ ℤ : P(k) > Q(k)}. Celková odchýlka je teda najväčší rozdiel, aký môžu obe rozdelenia dať pravdepodobnostiam tej istej udalosti. Polovica je tam preto, že čo jednému rozdeleniu pri niektorých k prebýva, to mu inde chýba — bez nej by sme každý rozdiel počítali dvakrát.

00,20,4 012345678 n = 5 n = 20 n = 100 počet udalostí k (ks) pravdepodobnosť P(X = k) (0–1)
Bi(n, 2/n) sa s rastúcim n blíži k Po(2) — bodky n = 5, odchýlka: 0,125 n = 20, odchýlka: 0,024 n = 100, odchýlka: 0,005

4. Rovnomerné rozdelenie

Definícia — spojité rovnomerné rozdelenie

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ náhodná premenná a a, b ∈ ℝ, a < b. Premenná X má rovnomerné rozdelenie na intervale [a, b], píšeme X ~ R(a, b), práve vtedy, keď má hustotu f : ℝ → [0, ∞),

f(x) = 1/b − a pre x ∈ [a, b],   f(x) = 0 pre x ∉ [a, b].

T. j. pre každé x ∈ ℝ je P(X ≤ x) = ∫−∞x f(t) dt; pravdepodobnosť každého podintervalu [c, d] ⊆ [a, b] je potom d − c/b − a a závisí len od jeho dĺžky.

Laicky povedané

Každý kúsok intervalu je rovnako pravdepodobný — model „neviem nič okrem hraníc“. Čakanie na autobus, ktorý chodí každých 10 minút, je R(0, 10). Generátor náhodných čísel v počítači vracia R(0, 1) a vzorky zo všetkých ostatných rozdelení sa vyrábajú práve z neho.

Stredná hodnota je stred intervalu a + b/2, rozptyl (b − a)²/12. Na autobus teda čakáte v priemere 5 minút so smerodajnou odchýlkou √100/12 ≈ 2,89 minúty.

Príklad — stredná hodnota a rozptyl rovnomerného rozdelenia

E[X] = ∫ab x/b − a dx = b2 − a2/2(b − a) = a + b/2

E[X2] = ∫ab x2/b − a dx = b3 − a3/3(b − a) = a2 + ab + b2/3

Var(X) = a2 + ab + b2/3 − (a + b)2/4 = a2 − 2ab + b2/12 = (b − a)2/12

Autobus R(0, 10): E[X] = 0 + 10/2 = 5, Var(X) = (10 − 0)2/12 = 100/12 ≈ 8,33, σ ≈ 2,89 minúty

Pravdepodobnosť úseku je jeho dĺžka krát výška 1/b − a: že budete čakať dlhšie než 7 minút, je 10 − 7/10 = 0,3.

Ako sa z R(0, 1) vyrobí vzorka iného rozdelenia? Najjednoduchší postup je metóda inverznej transformácie: náhodné číslo u z R(0, 1) sa dosadí do inverznej distribučnej funkcie hľadaného rozdelenia. Distribučná funkcia F(x) = P(X ≤ x) rastie od 0 do 1, takže každé u „ukáže“ na jednu hodnotu x — a hodnoty, kde F rastie prudko (tam je veľká hustota), dostanú viac u.

vzorek_bernoulli(p):
    u ← náhodné číslo z R(0, 1)
    vráť 1, ak u < p, inak 0              # P(u < p) = p

vzorek_exponencialni(λ):
    u ← náhodné číslo z R(0, 1)
    vráť −ln(1 − u) / λ                    # inverzia F(x) = 1 − e^(−λx)

Pre λ = 0,5 dá u = 0,5 čakanie −ln 0,5/0,5 ≈ 1,39 minúty (medián) a u = 0,9 čakanie −ln 0,1/0,5 ≈ 4,61 minúty.

5. Normálne rozdelenie

Definícia — normálne rozdelenie

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ náhodná premenná, μ ∈ ℝ a σ ∈ ℝ, σ > 0. Pre y ∈ ℝ píšeme exp(y) = ey. Premenná X má normálne (Gaussovo) rozdelenie s parametrami μ a σ², píšeme X ~ N(μ, σ²), práve vtedy, keď má hustotu f : ℝ → (0, ∞),

f(x) = 1/σ√2π · exp(−(x − μ)²/2σ²),   x ∈ ℝ.

Parameter μ je potom stredná hodnota a σ² rozptyl premennej X (σ je jej smerodajná odchýlka).

Laicky povedané

Slávna zvonová krivka: najviac hodnôt okolo priemeru μ, symetricky na obe strany a čím ďalej, tým rýchlejšie ubúda. Tak vyzerá výška ľudí, chyby merania, šum v senzoroch — všetko, čo vzniká sčítaním mnohých drobných nezávislých vplyvov.

f(x) = 1/σ√2π · exp(−(x − μ)²/2σ²)

1/σ√2π
normovacia konštanta — plocha pod samotným exp(−z²/2) je √2π, natiahnutá o σ je σ√2π; delením vyjde celková plocha 1, ako má hustota mať
exp(−…)
exponenciála záporného čísla leží medzi 0 a 1 a s rastúcou vzdialenosťou od stredu klesá veľmi rýchlo — preto majú „chvosty“ zvona tak málo hodnôt
(x − μ)²
vzdialenosť od priemeru na druhú — druhá mocnina robí krivku súmernou (odchýlka −3 aj +3 dá to isté) a najvyššou v x = μ
2σ²
mierka — vzdialenosť sa meria v násobkoch σ, takže väčšie σ zvon roztiahne do šírky; dvojka zaistí, že rozptyl vyjde presne σ²
Hustota klesá s druhou mocninou vzdialenosti od priemeru, meranej v jednotkách σ.
Príklad — hustota výšky N(175, 7²)

V priemere: (175 − 175)² = 0, takže exp(0) = 1 a f(175) = 1/7 · √2π = 1/7 · 2,5066 ≈ 0,0570 na centimeter

Pri 189 cm: (189 − 175)²/2 · 49 = 196/98 = 2,   f(189) = 0,0570 · e−2 ≈ 0,0077

Farby zodpovedajú členom vzorca vyššie.

O dve σ ďalej je hustota e−2 ≈ 7,4-krát nižšia. Hustota nie je pravdepodobnosť: medzi 175 a 176 cm meria približne 0,057 · 1 cm ≈ 5,7 % mužov.

Definícia — normované normálne rozdelenie

Normálne rozdelenie N(0, 1), t. j. s parametrami μ = 0 a σ = 1, sa nazýva normované normálne rozdelenie. Jeho hustotu označujeme φ : ℝ → (0, ∞),

φ(z) = 1/√2π · exp(−z²/2),   z ∈ ℝ.

Štandardizácia. Nech μ ∈ ℝ, σ > 0 a X ~ N(μ, σ²). Potom náhodná premenná

Z = X − μ/σ   spĺňa   Z ~ N(0, 1).

Laicky povedané

Všetky normálne rozdelenia sú jedno a to isté, len posunuté a natiahnuté. Keď od hodnoty odčítate priemer a vydelíte σ, dostanete „koľko smerodajných odchýlok od priemeru“ — a na to stačí jedna tabuľka pre všetky.

Pre normálne rozdelenie platí pravidlo 68–95–99,7: do vzdialenosti σ od priemeru padne 68,27 % hodnôt, do 2σ 95,45 % a do 3σ 99,73 %. Ak má výška dospelých mužov priemer 175 cm a σ = 7 cm, meria 95 % z nich medzi 161 a 189 cm. Čebyševova nerovnosť z minulého dielu zaručovala pre 2σ len 75 % — normálne rozdelenie je oveľa „zovretejšie“.

−3σ−2σ−σμ+σ+2σ+3σ ±σ: 68,27 % ±2σ: 95,45 % ±3σ: 99,73 % hodnota x (násobky σ od μ) hustota f(x) (1/jednotka x)
Pravidlo 68–95–99,7 pre normálne rozdelenie

Hustota normálneho rozdelenia nemá primitívnu funkciu v tvare vzorca, takže percentá vyššie sa počítajú numericky — tu Simpsonovou metódou, teda sčítaním veľmi úzkych plôšok.

Definícia — distribučná funkcia Φ normovaného normálneho rozdelenia

Nech Z ~ N(0, 1) a φ je hustota normovaného normálneho rozdelenia. Distribučná funkcia normovaného normálneho rozdelenia je funkcia Φ : ℝ → (0, 1),

Φ(z) = P(Z ≤ z) = ∫−∞z φ(t) dt = ∫−∞z 1/√2π · exp(−t²/2) dt,   z ∈ ℝ.

Nech μ ∈ ℝ, σ > 0 a X ~ N(μ, σ²). Zo štandardizácie a zo symetrie φ(−t) = φ(t) potom pre každé x ∈ ℝ a každé k > 0 platí

P(X ≤ x) = Φ(x − μ/σ),   P(|X − μ| < kσ) = Φ(k) − Φ(−k) = 2Φ(k) − 1.

Laicky povedané

Φ(z) je plocha pod zvonom naľavo od z. Výška 189 cm leží 189 − 175/7 = 2 smerodajné odchýlky nad priemerom, 161 cm dve pod ním, a medzi nimi je 2Φ(2) − 1 ≈ 0,9545 — odtiaľ 95 % z pravidla vyššie.

Algoritmus — Simpsonova metóda

Vstup: funkcia f : [a, b] → ℝ (v každom bode vyčísliteľná), hranice a, b ∈ ℝ, a < b, a párne číslo n ∈ ℕ, n ≥ 2 (počet dielikov).

Výstup: číslo Sn ∈ ℝ, približná hodnota integrálu ∫ab f(x) dx.

Kroky:

  1. Šírka dielika: h = b − a/n.
  2. Deliace body: xi = a + ih pre i = 0, 1, …, n (takže x0 = a, xn = b).
  3. Na každej dvojici susedných dielikov [x2j, x2j+2], j = 0, …, n/2 − 1, nahradíme f parabolou prechádzajúcou tromi bodmi (x2j, f(x2j)), (x2j+1, f(x2j+1)), (x2j+2, f(x2j+2)) a sčítame plochy pod parabolami; vyjde Sn = h/3 · [f(x0) + 4f(x1) + 2f(x2) + 4f(x3) + … + 4f(xn−1) + f(xn)], t. j. vnútorné body s nepárnym indexom majú váhu 4, s párnym indexom váhu 2 a krajné body váhu 1.
  4. Vrátime Sn.

Zastavenie: algoritmus skončí vždy, po vyčíslení f v n + 1 bodoch. Presnosť sa volí vopred počtom dielikov n; pre f so spojitou štvrtou deriváciou klesá chyba úmerne h4.

simpson(f, a, b, n):                     # n párne
    h ← (b − a) / n
    s ← f(a) + f(b)
    pre i = 1 … n − 1:
        s ← s + (4, ak je i nepárne, inak 2) · f(a + i·h)
    vráť s · h / 3

P(|Z| < 1) pre n = 2, h = 1: 1/3 · [φ(−1) + 4φ(0) + φ(1)] = 1/3 · [0,2420 + 1,5958 + 0,2420] ≈ 0,6932

n = 4: 0,6831,   n = 10: 0,6827,   n = 2000 (tento web): 0,682689

φ je hustota N(0, 1). Už s dvoma dielikmi je chyba len asi 1 percentuálny bod a ďalej klesá so štvrtou mocninou šírky dielika h — dvakrát viac dielikov ju zmenší zhruba šestnásťkrát.

6. Exponenciálne rozdelenie

Definícia — exponenciálne rozdelenie

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ náhodná premenná a λ ∈ ℝ, λ > 0. Premenná X má exponenciálne rozdelenie s parametrom (intenzitou) λ, píšeme X ~ Exp(λ), práve vtedy, keď má hustotu f : ℝ → [0, ∞),

f(x) = λ e−λx pre x ≥ 0,   f(x) = 0 pre x < 0.

Ekvivalentne má X distribučnú funkciu F(x) = 1 − e−λx pre x ≥ 0 a F(x) = 0 pre x < 0.

Laicky povedané

Čas čakania na ďalšiu udalosť, keď udalosti prichádzajú nezávisle v priemere λ za jednotku času. Je to čakanie na e-mail z dielu o hustote: λ = 0,5 za minútu, stredná hodnota 1/λ = 2 minúty, rozptyl 1/λ² = 4.

Exponenciálne a Poissonovo rozdelenie opisujú ten istý proces z dvoch strán. To, že za 4 minúty nepríde žiadny e-mail, má podľa Poissona pravdepodobnosť e−2 ≈ 0,135 — a podľa exponenciálneho rozdelenia P(X > 4) = e−0,5 · 4, to isté číslo.

Veta — bezpamäťovosť exponenciálneho rozdelenia

Nech λ > 0, X ~ Exp(λ) a s, t ∈ ℝ, s, t ≥ 0. Potom P(X > s) > 0, podmienená pravdepodobnosť nižšie je teda definovaná, a platí

P(X > s + t | X > s) = P(X > t).

Dôkaz. P(X > x) = ∫x∞ λe−λu du = e−λx. Jav „X > s + t“ je časťou javu „X > s“, takže podľa definície podmienenej pravdepodobnosti

P(X > s + t | X > s) = P(X > s + t)/P(X > s) = e−λ(s + t)/e−λs = e−λt = P(X > t). ∎

Pre λ = 0,5, s = 3, t = 2: e−2,5/e−1,5 = e−1 ≈ 0,368

Laicky povedané

Čakanie si nepamätá, ako dlho už trvá. Čakáte na e-mail 3 minúty a nič — šanca, že počkáte ešte aspoň 2 minúty, je stále e−1 ≈ 0,368, rovnako ako keby ste začínali odznova. Autobus podľa cestovného poriadku taký nie je; rádioaktívny rozpad a príchody nezávislých požiadaviek áno.

7. Ťahák: ktoré rozdelenie kedy

Bernoulliho Be(0,3) hodnota k (počet) P(X = k) (0–1) binomické Bi(10; 0,5) hodnota k (počet) P(X = k) (0–1) Poissonovo Po(2) hodnota k (počet) P(X = k) (0–1) rovnomerné R(0, 10) hodnota x (jednotky X) hustota (1/jedn. X) normálne N(0, 1) hodnota x (jednotky X) hustota (1/jedn. X) exponenciálne Exp(0,5) hodnota x (jednotky X) hustota (1/jedn. X)
Šesť základných rozdelení
RozdelenieČo opisujeE[X]Var(X)
Be(p)jeden pokus áno/niepp(1 − p)
Bi(n, p)počet úspechov z n pokusovnpnp(1 − p)
Po(λ)počet udalostí za časλλ
R(a, b)„čokoľvek medzi a a b“a + b/2(b − a)²/12
N(μ, σ²)súčet mnohých drobných vplyvovμσ²
Exp(λ)čakanie na ďalšiu udalosť1/λ1/λ²

8. Rozdelenia v umelej inteligencii

  • Bernoulli a binárna klasifikácia. Logistická regresia aj sieť s jedným výstupom predpovedajú parameter p Bernoulliho rozdelenia — „s akou pravdepodobnosťou je to spam“. Stratová funkcia (binárna krížová entropia) je záporný logaritmus jeho pravdepodobnosti.

L(y, p) = −ln [ py · (1 − p)1 − y ] = −y ln p − (1 − y) ln(1 − p)

−ln
logaritmus prevádza súčin cez mnoho príkladov na súčet a mínus z „čo najpravdepodobnejšie“ robí „čo najmenšia strata“ — pravdepodobnosť blízko 1 dá stratu blízko 0
py
pravdepodobnosť, ktorú model dal triede 1 — počíta sa, len keď naozaj nastala (y = 1)
(1 − p)1 − y
pravdepodobnosť triedy 0 — počíta sa, len keď nastala tá (y = 0)
y ∈ {0, 1}
skutočná trieda; funguje ako vypínač z rozobraného Bernoulliho vzorca vyššie
Binárna krížová entropia je záporný logaritmus Bernoulliho pravdepodobnosti správnej odpovede.

Model, ktorý spamu prisúdi p = 0,9, má pri y = 1 stratu −ln 0,9 ≈ 0,105, ale keď správa spam nebola (y = 0), stratu −ln (1 − 0,9) = −ln 0,1 ≈ 2,303 (farby podľa vzorca vyššie) — sebaistý omyl stojí 22-krát viac. Rovnakou úvahou z normálneho rozdelenia vyjde stredná kvadratická chyba: −ln f(y) = (y − μ)²/2σ² + ln(σ√2π), a keďže druhý člen od μ nezávisí, minimalizovať −ln f je to isté ako minimalizovať (y − μ)².

  • Kategorické rozdelenie je Bernoulli pre viac ako dve možnosti. Softmax na konci jazykového modelu vracia práve jeho parametre — pravdepodobnosť každého slova v slovníku.
  • Normálne rozdelenie je všade: počiatočné váhy sietí sa losujú z N(0, σ²), stredná kvadratická chyba zodpovedá predpokladu normálneho šumu a difúzne modely generujú obrázky postupným odšumovaním z čistého N(0, 1).
  • Dropout pri trénovaní vypína každý neurón s Bernoulliho pravdepodobnosťou; rovnomerné rozdelenie je zdrojom všetkých náhodných čísel.
  • Poisson a exponenciálne modelujú prevádzku: koľko požiadaviek príde na server, kedy príde ďalšia, koľko GPU treba.

9. Zhrnutie

  • Bernoulli je jeden pokus áno/nie, binomické je počet úspechov z n nezávislých pokusov.
  • Poissonovo počíta udalosti za čas a je limitou binomického pre veľa pokusov s malou šancou.
  • Rovnomerné dáva rovnakú hustotu celému intervalu; exponenciálne meria čakanie a nemá pamäť.
  • Normálne rozdelenie je zvon určený μ a σ; v ±σ, ±2σ a ±3σ leží 68,27 %, 95,45 % a 99,73 % hodnôt.
  • Voľba rozdelenia je voľba modelu: čo opisuje dáta, to určí aj stratovú funkciu modelu.

Máte na to iný názor? Napíšte na support@coden-app.com.

Agent na vašom počítači, ovládaný z telefónu