Prehľad pravdepodobnostných rozdelení: Bernoulliho, binomické, Poissonovo, rovnomerné, normálne a exponenciálne
Šesť najdôležitejších rozdelení s definíciami, strednými hodnotami a rozptylmi — Galtonova doska, Poissonova limitná veta, pravidlo 68–95–99,7 a kedy ktoré rozdelenie použiť.
Séria Základy AI Diel 17 z 52
- Mapa umelej inteligencie: čo je čo a ako to do seba zapadá
- Stručná história umelej inteligencie: od Turinga po jazykové modely
- Dáta, model, tréning, inferencia: základné pojmy na jednom príklade
- Ako čítať matematický zápis: symboly, indexy, sumy a kvantifikátory
- Množiny a relácie: stavebnica, z ktorej sa skladajú definície v AI
- Funkcie a zobrazenia: prečo je každý model v AI funkcia
- Logika a dôkazy: pravidlá, podľa ktorých sa v AI uvažuje
- Grafy a stromy: štruktúra, na ktorej stojí hľadanie aj neurónové siete
- Lineárna algebra pre strojové učenie: vektory, matice a prečo AI hlavne násobí
- Derivácie, gradient a reťazové pravidlo: ako model zistí, ktorým smerom sa učiť
- Gradientný zostup: ako sa model učí
- Čo je pravdepodobnosť: od hodu kockou ku Kolmogorovovým axiómam
- Podmienená pravdepodobnosť a Bayesova veta: ako zmeniť odhad, keď sa dozviete niečo nové
- Náhodná premenná a distribučná funkcia: jedna funkcia, ktorá o rozdelení povie všetko
- Funkcia hustoty a pravdepodobnostná funkcia: prečo má spojitá premenná v bode pravdepodobnosť nula
- Stredná hodnota, rozptyl a kovariancia: kde rozdelenie leží, aké je široké a čo s čím súvisí
- Prehľad pravdepodobnostných rozdelení: Bernoulliho, binomické, Poissonovo, rovnomerné, normálne a exponenciálne
- Zákon veľkých čísel a centrálna limitná veta: prečo sa priemery správajú tak predvídateľne
- Štatistika a odhady parametrov: maximálna vierohodnosť, MAP a intervaly spoľahlivosti
- Teória informácie: entropia, krížová entropia a KL divergencia — odkiaľ sa berú stratové funkcie
- Prehľadávanie stavového priestoru: BFS, DFS, UCS a A* s animáciami
- Hry a protivník: minimax, alfa-beta orezávanie a Monte Carlo tree search
- Splňovanie obmedzujúcich podmienok: backtracking, propagácia obmedzení a AC-3 na sudoku a mape krajov
- Logika a znalostné systémy: dopredné a spätné reťazenie, rezolúcia a expertné systémy
- Plánovanie: STRIPS, svet kociek, heuristiky z relaxácie a plánovanie v AI agentoch
- Lokálne hľadanie a simulované žíhanie: obchodný cestujúci cez krajské mestá
- Genetické algoritmy: populácia, kríženie, mutácia a výber na batohu na výlet
- Evolučné stratégie a genetické programovanie: od pravidla jednej pätiny po Keplerov zákon
- Optimalizácia mravčou kolóniou: ako feromónová stopa nájde krátku cestu
- Optimalizácia rojom častíc: zotrvačnosť, vlastná skúsenosť a skúsenosť roja
- Neuroevolúcia: evolúcia váh aj tvaru neurónových sietí a algoritmus NEAT
- Fuzzy množiny a funkcie príslušnosti: ako zapísať „trochu teplo“
- Fuzzy logika a pravdepodobnosť: prečo „trochu teplo“ neznamená „pravdepodobne teplo“
- Fuzzy logika: t-normy, implikácie a pravidlá AK–TAK
- Fuzzy riadenie: Mamdani a Sugeno od ventilátora po kyvadlo na vozíku
- Fuzzy zhlukovanie: algoritmus fuzzy c-means a body medzi zhlukmi
- Neuro-fuzzy systémy (ANFIS): fuzzy pravidlá, ktoré sa učia z dát
- Markovove reťazce: prechodová matica, stacionárne rozdelenie a PageRank
- Skryté Markovove modely: Viterbiho algoritmus a nepoctivé kasíno
- Bayesovské siete: prečo je tráva mokrá a čo z toho vyplýva pre postrekovač
- Kalmanov filter: ako z nepresných meraní odhadnúť, kde auto je a ako rýchlo ide
- Druhy strojového učenia: s učiteľom, bez učiteľa, s čiastočným učiteľom a ďalšie
- Prompty, kontext a RAG: ako modelu dať správne informácie
- Variačné autoenkodéry (VAE): nové obrázky zo spojitého latentného priestoru
- Generatívne adversariálne siete (GAN): falšovateľ proti detektívovi
- Difúzne modely: ako sa z čistého šumu stane obrázok
- Markovove rozhodovacie procesy: stavy, akcie, odmeny a Bellmanove rovnice
- Q-learning a DQN: učenie hodnoty akcií od tabuľky po neurónovú sieť
- Policy gradient a PPO: učenie priamo stratégie
- Ako funguje AI agent: jazykový model v slučke s nástrojmi
- Programovanie s AI agentmi: zadanie, testy a kontrola
- Vyhodnocovanie a bezpečnosť AI systémov: ako merať a ako strážiť
Celá osnova série Hotovo: 52 z 83 tém
- Čo opisuje Bernoulliho, binomické a Poissonovo rozdelenie a ako spolu súvisia.
- Kedy použiť rovnomerné, normálne a exponenciálne rozdelenie a čo hovorí pravidlo 68–95–99,7.
- Ktoré rozdelenia stoja za klasifikáciou, stratovými funkciami a generatívnymi modelmi v AI.
Čo sa hodí vedieť vopred: Stredná hodnota, rozptyl a kovariancia: kde rozdelenie leží, aké je široké a čo s čím súvisí
Rozdelenie si môžete zakaždým vymyslieť od nuly — ale nemusíte. Niekoľko situácií sa v praxi opakuje stále dookola: áno/nie, počet úspechov, počet udalostí za hodinu, čakanie, meranie s chybou. Pre každú z nich existuje hotové rozdelenie s pár parametrami, vypočítanou strednou hodnotou aj rozptylom. Tento diel je prehľadom šiestich najdôležitejších — a hlavne toho, kedy ktoré použiť.
Nadväzuje na diely Funkcia hustoty a Stredná hodnota a rozptyl.
1. Bernoulliho rozdelenie
Definícia — Bernoulliho rozdelenie
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ je náhodná premenná a p ∈ [0, 1]. Pre x ∈ ℝ píšeme P(X = x) ako skratku za P({ω ∈ Ω : X(ω) = x}). Premenná X má Bernoulliho rozdelenie s parametrom p, píšeme X ~ Be(p), práve vtedy, keď
P(X = 1) = p ∧ P(X = 0) = 1 − p.
Keďže p + (1 − p) = 1, nadobúda X s pravdepodobnosťou 1 len hodnoty 0 a 1: hodnotu 1 („úspech“) s pravdepodobnosťou p, hodnotu 0 („neúspech“) s pravdepodobnosťou 1 − p.
Jeden pokus, dva výsledky: podarilo sa (1), nepodarilo sa (0). Hod mincou, klik na reklamu, spam/nie spam. Jediný parameter p je šanca na úspech.
Obe možnosti sa dajú zapísať jedným vzorcom, ktorý sa zíde neskôr pri stratových funkciách:
P(X = k) = pk · (1 − p)1 − k, k ∈ {0, 1}
- pk
- šanca na úspech; exponent k ju „zapne“ len pre k = 1, pre k = 0 dá p0 = 1
- (1 − p)1 − k
- šanca na neúspech; exponent 1 − k ju naopak zapne len pre k = 0
- k ∈ {0, 1}
- iné hodnoty premenná nemá — mimo nich je pravdepodobnosť 0
Stredná hodnota je p a rozptyl p(1 − p) — najväčší pre p = 0,5, keď je výsledok najmenej predvídateľný.
Príklad — stredná hodnota a rozptyl Be(0,3)
E[X] = 0 · (1 − p) + 1 · p = p = 0,3
E[X2] = 02 · (1 − p) + 12 · p = p = 0,3 (pretože 02 = 0 a 12 = 1)
Var(X) = E[X2] − (E[X])2 = p − p2 = p(1 − p) = 0,3 · 0,7 = 0,21
Pre p = 0,5 by vyšlo 0,25 — viac to pri premennej s hodnotami 0 a 1 nejde, pretože p(1 − p) je parabola s vrcholom v 0,5.
2. Binomické rozdelenie
Definícia — binomické rozdelenie
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ náhodná premenná, n ∈ ℕ, n ≥ 1, a p ∈ [0, 1]. Pre k ∈ {0, 1, …, n} označme
(n nad k) = n!/k! · (n − k)!
kombinačné číslo (počet k-prvkových podmnožín n-prvkovej množiny; m! = 1 · 2 · … · m a 0! = 1). Premenná X má binomické rozdelenie s parametrami n a p, píšeme X ~ Bi(n, p), práve vtedy, keď
∀k ∈ {0, 1, …, n} : P(X = k) = (n nad k) · pk · (1 − p)n−k.
Podľa binomickej vety sa tieto pravdepodobnosti sčítajú na (p + 1 − p)n = 1, takže X s pravdepodobnosťou 1 nadobúda len hodnoty 0, 1, …, n. Bi(1, p) je to isté ako Be(p).
Počet úspechov v n nezávislých pokusoch s rovnakou šancou p. Kombinačné číslo počíta, koľkými spôsobmi sa dá k úspechov rozmiestniť medzi n pokusov. Z desiatich hodov mincou padne presne päť hláv s pravdepodobnosťou 252/1024 ≈ 0,246 — teda ani nie v každom štvrtom pokuse. Osem a viac hláv len s pravdepodobnosťou 56/1024 ≈ 0,055.
P(X = k) = (n nad k) · pk · (1 − p)n−k
- (n nad k)
- koľkými poradiami sa dá dôjsť k rovnakému počtu úspechov — každé má rovnakú pravdepodobnosť, takže ju stačí vynásobiť ich počtom
- pk
- k úspechov, každý so šancou p; pokusy sú nezávislé, preto sa pravdepodobnosti násobia
- (1 − p)n−k
- zvyšných n − k pokusov musí skončiť neúspechom — inak by úspechov bolo viac než k
Príklad — päť a osem hláv z desiatich hodov
(10 nad 5) = 10!/5! · 5! = 10 · 9 · 8 · 7 · 6/5 · 4 · 3 · 2 · 1 = 30 240/120 = 252
p5 · (1 − p)5 = 0,55 · 0,55 = 0,510 = 1/1024 ⇒ P(X = 5) = 252 · 1/1024 = 252/1024 ≈ 0,246
(10 nad 8) + (10 nad 9) + (10 nad 10) = 45 + 10 + 1 = 56 ⇒ P(X ≥ 8) = 56 · 1/1024 = 56/1024 ≈ 0,055
Farby zodpovedajú členom vzorca vyššie. Pri minci je p = 1 − p = 0,5, takže druhý a tretí člen dajú pre každé k rovnaké 1/1024 a o všetkom rozhoduje kombinačné číslo.
Binomická premenná je súčet n nezávislých Bernoulliho premenných, takže z linearity je stredná hodnota np a rozptyl np(1 − p). Pekne to vidno na Galtonovej doske: guľôčka sa na každom z desiatich kolíkov odrazí doľava alebo doprava, každý odraz je jeden Bernoulliho pokus a priehradka, do ktorej dopadne, je počet odrazov doprava — Bi(10; 0,5).
Guľôčky sa nahromadia v strede do zvona — a ten tvar nie je náhoda. Ako uvidíme pri normálnom rozdelení a v ďalšom diele, súčet mnohých malých náhodných vplyvov dá vždy zvon.
Čiarkované počty sú 120 · P(X = k): do prostrednej priehradky čakáme 120 · 0,246 ≈ 29,5 guľôčky, do krajných 120/1024 ≈ 0,1. Stredná hodnota je np = 10 · 0,5 = 5, rozptyl np(1 − p) = 2,5 a smerodajná odchýlka √2,5 ≈ 1,58 priehradky. Simulácia so 120 guľôčkami dala do prostrednej priehradky 26 — od očakávania sa náhodne líši, ako má.
3. Poissonovo rozdelenie
Definícia — Poissonovo rozdelenie
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ náhodná premenná a λ ∈ ℝ, λ > 0. Označme ℕ0 = {0, 1, 2, …}. Premenná X má Poissonovo rozdelenie s parametrom λ, píšeme X ~ Po(λ), práve vtedy, keď
∀k ∈ ℕ0 : P(X = k) = e−λ · λk/k!.
Keďže ∑k=0∞ λk/k! = eλ, sčítajú sa tieto pravdepodobnosti na 1 a X s pravdepodobnosťou 1 nadobúda len hodnoty z ℕ0.
Počet udalostí za daný čas, keď prichádzajú nezávisle a v priemere λ za ten čas: e-maily za hodinu, požiadavky na server za sekundu, preklepy na stránke. Keď e-mail chodí v priemere raz za 2 minúty, za 4 minúty ich čakáme λ = 2. Žiadny nepríde s pravdepodobnosťou e−2 ≈ 0,135, práve dva s pravdepodobnosťou 0,271.
P(X = k) = e−λ · λk/k!
- e−λ
- pravdepodobnosť, že nepríde nič; zároveň normuje — súčet λk/k! cez všetky k je eλ, takže e−λ zaistí, že pravdepodobnosti dajú spolu 1
- λk
- každá z k udalostí „prispeje“ priemernou intenzitou λ — čím je λ väčšie, tým viac váhy dostanú veľké k
- k!
- na poradí udalostí nezáleží — λk by každú skupinu k udalostí započítalo k!-krát, raz za každé poradie; v dôkaze nižšie je to k! z kombinačného čísla
Príklad — počet e-mailov za 4 minúty
P(X = 0) = e−2 · 20/0! = e−2 ≈ 0,135
P(X = 1) = e−2 · 2/1 ≈ 0,271
P(X = 2) = e−2 · 4/2 ≈ 0,271
P(X = 3) = e−2 · 8/6 ≈ 0,180, P(X = 4) = e−2 · 16/24 ≈ 0,090
Farby zodpovedajú členom vzorca vyššie. Každá ďalšia pravdepodobnosť je predchádzajúca krát λ/k. Kým je k < λ, rastie, potom klesá — pre celé λ sú preto dve najpravdepodobnejšie hodnoty λ − 1 a λ.
Zvláštnosť Poissonovho rozdelenia: stredná hodnota aj rozptyl sa obe rovnajú λ.
Veta — Poissonova limitná veta
Nech λ ∈ ℝ, λ > 0, a k ∈ ℕ0 sú pevné. Pre každé n ∈ ℕ, n > λ, nech Xn ~ Bi(n, λ/n) (podmienka n > λ zaručí λ/n ∈ [0, 1]). Potom
limn→∞ P(Xn = k) = e−λ · λk/k!.
Dôkaz. Pre n ≥ k rozložíme binomickú pravdepodobnosť s p = λ/n na štyri činitele:
(n nad k) · (λ/n)k · (1 − λ/n)n−k = n(n − 1)⋯(n − k + 1)/nk · λk/k! · (1 − λ/n)n · (1 − λ/n)−k
Pre n → ∞: prvý činiteľ je súčin k zlomkov n − i/n → 1 (i = 0, …, k − 1), tretí → e−λ (pretože limn→∞ (1 + x/n)n = ex pre každé x ∈ ℝ) a štvrtý → 1−k = 1.
Zostane λk/k! · e−λ. ∎
Poissonovo rozdelenie je binomické s obrovským počtom pokusov a malou šancou v každom. Rozdeľte 4 minúty na n krátkych úsekov; v každom príde e-mail so šancou 2/n. Čím jemnejšie delíte, tým viac sa binomické rozdelenie blíži Poissonovmu: celková odchýlka je 0,125 pre 5 úsekov, 0,024 pre 20 a 0,005 pre 100.
Definícia — celková odchýlka dvoch rozdelení
Nech P, Q : ℤ → [0, 1] sú dve rozdelenia pravdepodobnosti na množine celých čísel ℤ, t. j. ∑k ∈ ℤ P(k) = ∑k ∈ ℤ Q(k) = 1, a pre A ⊆ ℤ označme P(A) = ∑k ∈ A P(k) a Q(A) = ∑k ∈ A Q(k). Celková odchýlka (total variation distance) rozdelení P a Q je číslo
d(P, Q) = 1/2 · ∑k ∈ ℤ |P(k) − Q(k)| ∈ [0, 1].
Platí d(P, Q) = maxA ⊆ ℤ |P(A) − Q(A)| a maximum sa nadobúda pre A = {k ∈ ℤ : P(k) > Q(k)}. Celková odchýlka je teda najväčší rozdiel, aký môžu obe rozdelenia dať pravdepodobnostiam tej istej udalosti. Polovica je tam preto, že čo jednému rozdeleniu pri niektorých k prebýva, to mu inde chýba — bez nej by sme každý rozdiel počítali dvakrát.
4. Rovnomerné rozdelenie
Definícia — spojité rovnomerné rozdelenie
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ náhodná premenná a a, b ∈ ℝ, a < b. Premenná X má rovnomerné rozdelenie na intervale [a, b], píšeme X ~ R(a, b), práve vtedy, keď má hustotu f : ℝ → [0, ∞),
f(x) = 1/b − a pre x ∈ [a, b], f(x) = 0 pre x ∉ [a, b].
T. j. pre každé x ∈ ℝ je P(X ≤ x) = ∫−∞x f(t) dt; pravdepodobnosť každého podintervalu [c, d] ⊆ [a, b] je potom d − c/b − a a závisí len od jeho dĺžky.
Každý kúsok intervalu je rovnako pravdepodobný — model „neviem nič okrem hraníc“. Čakanie na autobus, ktorý chodí každých 10 minút, je R(0, 10). Generátor náhodných čísel v počítači vracia R(0, 1) a vzorky zo všetkých ostatných rozdelení sa vyrábajú práve z neho.
Stredná hodnota je stred intervalu a + b/2, rozptyl (b − a)²/12. Na autobus teda čakáte v priemere 5 minút so smerodajnou odchýlkou √100/12 ≈ 2,89 minúty.
Príklad — stredná hodnota a rozptyl rovnomerného rozdelenia
E[X] = ∫ab x/b − a dx = b2 − a2/2(b − a) = a + b/2
E[X2] = ∫ab x2/b − a dx = b3 − a3/3(b − a) = a2 + ab + b2/3
Var(X) = a2 + ab + b2/3 − (a + b)2/4 = a2 − 2ab + b2/12 = (b − a)2/12
Autobus R(0, 10): E[X] = 0 + 10/2 = 5, Var(X) = (10 − 0)2/12 = 100/12 ≈ 8,33, σ ≈ 2,89 minúty
Pravdepodobnosť úseku je jeho dĺžka krát výška 1/b − a: že budete čakať dlhšie než 7 minút, je 10 − 7/10 = 0,3.
Ako sa z R(0, 1) vyrobí vzorka iného rozdelenia? Najjednoduchší postup je metóda inverznej transformácie: náhodné číslo u z R(0, 1) sa dosadí do inverznej distribučnej funkcie hľadaného rozdelenia. Distribučná funkcia F(x) = P(X ≤ x) rastie od 0 do 1, takže každé u „ukáže“ na jednu hodnotu x — a hodnoty, kde F rastie prudko (tam je veľká hustota), dostanú viac u.
vzorek_bernoulli(p):
u ← náhodné číslo z R(0, 1)
vráť 1, ak u < p, inak 0 # P(u < p) = p
vzorek_exponencialni(λ):
u ← náhodné číslo z R(0, 1)
vráť −ln(1 − u) / λ # inverzia F(x) = 1 − e^(−λx)
Pre λ = 0,5 dá u = 0,5 čakanie −ln 0,5/0,5 ≈ 1,39 minúty (medián) a u = 0,9 čakanie −ln 0,1/0,5 ≈ 4,61 minúty.
5. Normálne rozdelenie
Definícia — normálne rozdelenie
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ náhodná premenná, μ ∈ ℝ a σ ∈ ℝ, σ > 0. Pre y ∈ ℝ píšeme exp(y) = ey. Premenná X má normálne (Gaussovo) rozdelenie s parametrami μ a σ², píšeme X ~ N(μ, σ²), práve vtedy, keď má hustotu f : ℝ → (0, ∞),
f(x) = 1/σ√2π · exp(−(x − μ)²/2σ²), x ∈ ℝ.
Parameter μ je potom stredná hodnota a σ² rozptyl premennej X (σ je jej smerodajná odchýlka).
Slávna zvonová krivka: najviac hodnôt okolo priemeru μ, symetricky na obe strany a čím ďalej, tým rýchlejšie ubúda. Tak vyzerá výška ľudí, chyby merania, šum v senzoroch — všetko, čo vzniká sčítaním mnohých drobných nezávislých vplyvov.
f(x) = 1/σ√2π · exp(−(x − μ)²/2σ²)
- 1/σ√2π
- normovacia konštanta — plocha pod samotným exp(−z²/2) je √2π, natiahnutá o σ je σ√2π; delením vyjde celková plocha 1, ako má hustota mať
- exp(−…)
- exponenciála záporného čísla leží medzi 0 a 1 a s rastúcou vzdialenosťou od stredu klesá veľmi rýchlo — preto majú „chvosty“ zvona tak málo hodnôt
- (x − μ)²
- vzdialenosť od priemeru na druhú — druhá mocnina robí krivku súmernou (odchýlka −3 aj +3 dá to isté) a najvyššou v x = μ
- 2σ²
- mierka — vzdialenosť sa meria v násobkoch σ, takže väčšie σ zvon roztiahne do šírky; dvojka zaistí, že rozptyl vyjde presne σ²
Príklad — hustota výšky N(175, 7²)
V priemere: (175 − 175)² = 0, takže exp(0) = 1 a f(175) = 1/7 · √2π = 1/7 · 2,5066 ≈ 0,0570 na centimeter
Pri 189 cm: (189 − 175)²/2 · 49 = 196/98 = 2, f(189) = 0,0570 · e−2 ≈ 0,0077
Farby zodpovedajú členom vzorca vyššie.
O dve σ ďalej je hustota e−2 ≈ 7,4-krát nižšia. Hustota nie je pravdepodobnosť: medzi 175 a 176 cm meria približne 0,057 · 1 cm ≈ 5,7 % mužov.
Definícia — normované normálne rozdelenie
Normálne rozdelenie N(0, 1), t. j. s parametrami μ = 0 a σ = 1, sa nazýva normované normálne rozdelenie. Jeho hustotu označujeme φ : ℝ → (0, ∞),
φ(z) = 1/√2π · exp(−z²/2), z ∈ ℝ.
Štandardizácia. Nech μ ∈ ℝ, σ > 0 a X ~ N(μ, σ²). Potom náhodná premenná
Z = X − μ/σ spĺňa Z ~ N(0, 1).
Všetky normálne rozdelenia sú jedno a to isté, len posunuté a natiahnuté. Keď od hodnoty odčítate priemer a vydelíte σ, dostanete „koľko smerodajných odchýlok od priemeru“ — a na to stačí jedna tabuľka pre všetky.
Pre normálne rozdelenie platí pravidlo 68–95–99,7: do vzdialenosti σ od priemeru padne 68,27 % hodnôt, do 2σ 95,45 % a do 3σ 99,73 %. Ak má výška dospelých mužov priemer 175 cm a σ = 7 cm, meria 95 % z nich medzi 161 a 189 cm. Čebyševova nerovnosť z minulého dielu zaručovala pre 2σ len 75 % — normálne rozdelenie je oveľa „zovretejšie“.
Hustota normálneho rozdelenia nemá primitívnu funkciu v tvare vzorca, takže percentá vyššie sa počítajú numericky — tu Simpsonovou metódou, teda sčítaním veľmi úzkych plôšok.
Definícia — distribučná funkcia Φ normovaného normálneho rozdelenia
Nech Z ~ N(0, 1) a φ je hustota normovaného normálneho rozdelenia. Distribučná funkcia normovaného normálneho rozdelenia je funkcia Φ : ℝ → (0, 1),
Φ(z) = P(Z ≤ z) = ∫−∞z φ(t) dt = ∫−∞z 1/√2π · exp(−t²/2) dt, z ∈ ℝ.
Nech μ ∈ ℝ, σ > 0 a X ~ N(μ, σ²). Zo štandardizácie a zo symetrie φ(−t) = φ(t) potom pre každé x ∈ ℝ a každé k > 0 platí
P(X ≤ x) = Φ(x − μ/σ), P(|X − μ| < kσ) = Φ(k) − Φ(−k) = 2Φ(k) − 1.
Φ(z) je plocha pod zvonom naľavo od z. Výška 189 cm leží 189 − 175/7 = 2 smerodajné odchýlky nad priemerom, 161 cm dve pod ním, a medzi nimi je 2Φ(2) − 1 ≈ 0,9545 — odtiaľ 95 % z pravidla vyššie.
Algoritmus — Simpsonova metóda
Vstup: funkcia f : [a, b] → ℝ (v každom bode vyčísliteľná), hranice a, b ∈ ℝ, a < b, a párne číslo n ∈ ℕ, n ≥ 2 (počet dielikov).
Výstup: číslo Sn ∈ ℝ, približná hodnota integrálu ∫ab f(x) dx.
Kroky:
- Šírka dielika: h = b − a/n.
- Deliace body: xi = a + ih pre i = 0, 1, …, n (takže x0 = a, xn = b).
- Na každej dvojici susedných dielikov [x2j, x2j+2], j = 0, …, n/2 − 1, nahradíme f parabolou prechádzajúcou tromi bodmi (x2j, f(x2j)), (x2j+1, f(x2j+1)), (x2j+2, f(x2j+2)) a sčítame plochy pod parabolami; vyjde Sn = h/3 · [f(x0) + 4f(x1) + 2f(x2) + 4f(x3) + … + 4f(xn−1) + f(xn)], t. j. vnútorné body s nepárnym indexom majú váhu 4, s párnym indexom váhu 2 a krajné body váhu 1.
- Vrátime Sn.
Zastavenie: algoritmus skončí vždy, po vyčíslení f v n + 1 bodoch. Presnosť sa volí vopred počtom dielikov n; pre f so spojitou štvrtou deriváciou klesá chyba úmerne h4.
simpson(f, a, b, n): # n párne
h ← (b − a) / n
s ← f(a) + f(b)
pre i = 1 … n − 1:
s ← s + (4, ak je i nepárne, inak 2) · f(a + i·h)
vráť s · h / 3
P(|Z| < 1) pre n = 2, h = 1: 1/3 · [φ(−1) + 4φ(0) + φ(1)] = 1/3 · [0,2420 + 1,5958 + 0,2420] ≈ 0,6932
n = 4: 0,6831, n = 10: 0,6827, n = 2000 (tento web): 0,682689
φ je hustota N(0, 1). Už s dvoma dielikmi je chyba len asi 1 percentuálny bod a ďalej klesá so štvrtou mocninou šírky dielika h — dvakrát viac dielikov ju zmenší zhruba šestnásťkrát.
6. Exponenciálne rozdelenie
Definícia — exponenciálne rozdelenie
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X : Ω → ℝ náhodná premenná a λ ∈ ℝ, λ > 0. Premenná X má exponenciálne rozdelenie s parametrom (intenzitou) λ, píšeme X ~ Exp(λ), práve vtedy, keď má hustotu f : ℝ → [0, ∞),
f(x) = λ e−λx pre x ≥ 0, f(x) = 0 pre x < 0.
Ekvivalentne má X distribučnú funkciu F(x) = 1 − e−λx pre x ≥ 0 a F(x) = 0 pre x < 0.
Čas čakania na ďalšiu udalosť, keď udalosti prichádzajú nezávisle v priemere λ za jednotku času. Je to čakanie na e-mail z dielu o hustote: λ = 0,5 za minútu, stredná hodnota 1/λ = 2 minúty, rozptyl 1/λ² = 4.
Exponenciálne a Poissonovo rozdelenie opisujú ten istý proces z dvoch strán. To, že za 4 minúty nepríde žiadny e-mail, má podľa Poissona pravdepodobnosť e−2 ≈ 0,135 — a podľa exponenciálneho rozdelenia P(X > 4) = e−0,5 · 4, to isté číslo.
Veta — bezpamäťovosť exponenciálneho rozdelenia
Nech λ > 0, X ~ Exp(λ) a s, t ∈ ℝ, s, t ≥ 0. Potom P(X > s) > 0, podmienená pravdepodobnosť nižšie je teda definovaná, a platí
P(X > s + t | X > s) = P(X > t).
Dôkaz. P(X > x) = ∫x∞ λe−λu du = e−λx. Jav „X > s + t“ je časťou javu „X > s“, takže podľa definície podmienenej pravdepodobnosti
P(X > s + t | X > s) = P(X > s + t)/P(X > s) = e−λ(s + t)/e−λs = e−λt = P(X > t). ∎
Pre λ = 0,5, s = 3, t = 2: e−2,5/e−1,5 = e−1 ≈ 0,368
Čakanie si nepamätá, ako dlho už trvá. Čakáte na e-mail 3 minúty a nič — šanca, že počkáte ešte aspoň 2 minúty, je stále e−1 ≈ 0,368, rovnako ako keby ste začínali odznova. Autobus podľa cestovného poriadku taký nie je; rádioaktívny rozpad a príchody nezávislých požiadaviek áno.
7. Ťahák: ktoré rozdelenie kedy
| Rozdelenie | Čo opisuje | E[X] | Var(X) |
|---|---|---|---|
| Be(p) | jeden pokus áno/nie | p | p(1 − p) |
| Bi(n, p) | počet úspechov z n pokusov | np | np(1 − p) |
| Po(λ) | počet udalostí za čas | λ | λ |
| R(a, b) | „čokoľvek medzi a a b“ | a + b/2 | (b − a)²/12 |
| N(μ, σ²) | súčet mnohých drobných vplyvov | μ | σ² |
| Exp(λ) | čakanie na ďalšiu udalosť | 1/λ | 1/λ² |
8. Rozdelenia v umelej inteligencii
- Bernoulli a binárna klasifikácia. Logistická regresia aj sieť s jedným výstupom predpovedajú parameter p Bernoulliho rozdelenia — „s akou pravdepodobnosťou je to spam“. Stratová funkcia (binárna krížová entropia) je záporný logaritmus jeho pravdepodobnosti.
L(y, p) = −ln [ py · (1 − p)1 − y ] = −y ln p − (1 − y) ln(1 − p)
- −ln
- logaritmus prevádza súčin cez mnoho príkladov na súčet a mínus z „čo najpravdepodobnejšie“ robí „čo najmenšia strata“ — pravdepodobnosť blízko 1 dá stratu blízko 0
- py
- pravdepodobnosť, ktorú model dal triede 1 — počíta sa, len keď naozaj nastala (y = 1)
- (1 − p)1 − y
- pravdepodobnosť triedy 0 — počíta sa, len keď nastala tá (y = 0)
- y ∈ {0, 1}
- skutočná trieda; funguje ako vypínač z rozobraného Bernoulliho vzorca vyššie
Model, ktorý spamu prisúdi p = 0,9, má pri y = 1 stratu −ln 0,9 ≈ 0,105, ale keď správa spam nebola (y = 0), stratu −ln (1 − 0,9) = −ln 0,1 ≈ 2,303 (farby podľa vzorca vyššie) — sebaistý omyl stojí 22-krát viac. Rovnakou úvahou z normálneho rozdelenia vyjde stredná kvadratická chyba: −ln f(y) = (y − μ)²/2σ² + ln(σ√2π), a keďže druhý člen od μ nezávisí, minimalizovať −ln f je to isté ako minimalizovať (y − μ)².
- Kategorické rozdelenie je Bernoulli pre viac ako dve možnosti. Softmax na konci jazykového modelu vracia práve jeho parametre — pravdepodobnosť každého slova v slovníku.
- Normálne rozdelenie je všade: počiatočné váhy sietí sa losujú z N(0, σ²), stredná kvadratická chyba zodpovedá predpokladu normálneho šumu a difúzne modely generujú obrázky postupným odšumovaním z čistého N(0, 1).
- Dropout pri trénovaní vypína každý neurón s Bernoulliho pravdepodobnosťou; rovnomerné rozdelenie je zdrojom všetkých náhodných čísel.
- Poisson a exponenciálne modelujú prevádzku: koľko požiadaviek príde na server, kedy príde ďalšia, koľko GPU treba.
9. Zhrnutie
- Bernoulli je jeden pokus áno/nie, binomické je počet úspechov z n nezávislých pokusov.
- Poissonovo počíta udalosti za čas a je limitou binomického pre veľa pokusov s malou šancou.
- Rovnomerné dáva rovnakú hustotu celému intervalu; exponenciálne meria čakanie a nemá pamäť.
- Normálne rozdelenie je zvon určený μ a σ; v ±σ, ±2σ a ±3σ leží 68,27 %, 95,45 % a 99,73 % hodnôt.
- Voľba rozdelenia je voľba modelu: čo opisuje dáta, to určí aj stratovú funkciu modelu.
Máte na to iný názor? Napíšte na support@coden-app.com.