Co je pravděpodobnost: od hodu kostkou ke Kolmogorovovým axiomům
Náhodný pokus, prostor výsledků, jevy a operace s nimi, klasická a četnostní pravděpodobnost a axiomy, na kterých stojí všechno další — na příkladu dvou kostek.
Série Základy AI Díl 12 z 83
- Mapa umělé inteligence: co je co a jak to do sebe zapadá
- Stručná historie umělé inteligence: od Turinga po jazykové modely
- Data, model, trénink, inference: základní pojmy na jednom příkladu
- Jak číst matematický zápis: symboly, indexy, sumy a kvantifikátory
- Množiny a relace: stavebnice, ze které se skládají definice v AI
- Funkce a zobrazení: proč je každý model v AI funkce
- Logika a důkazy: pravidla, podle kterých se v AI uvažuje
- Grafy a stromy: struktura, na které stojí hledání i neuronové sítě
- Lineární algebra pro strojové učení: vektory, matice a proč AI hlavně násobí
- Derivace, gradient a řetízkové pravidlo: jak model zjistí, kterým směrem se učit
- Gradientní sestup: jak se model učí
- Co je pravděpodobnost: od hodu kostkou ke Kolmogorovovým axiomům
- Podmíněná pravděpodobnost a Bayesova věta: jak změnit odhad, když se dozvíte něco nového
- Náhodná veličina a distribuční funkce: jedna funkce, která o rozdělení řekne všechno
- Funkce hustoty a pravděpodobnostní funkce: proč má spojitá veličina v bodě pravděpodobnost nula
- Střední hodnota, rozptyl a kovariance: kde rozdělení leží, jak je široké a co s čím souvisí
- Přehled pravděpodobnostních rozdělení: Bernoulli, binomické, Poisson, rovnoměrné, normální a exponenciální
- Zákon velkých čísel a centrální limitní věta: proč se průměry chovají tak předvídatelně
- Statistika a odhady parametrů: maximální věrohodnost, MAP a intervaly spolehlivosti
- Teorie informace: entropie, křížová entropie a KL divergence — odkud se berou ztrátové funkce
- Prohledávání stavového prostoru: BFS, DFS, UCS a A* s animacemi
- Hry a protivník: minimax, alfa-beta ořezávání a Monte Carlo tree search
- Splňování omezujících podmínek: backtracking, propagace omezení a AC-3 na sudoku a mapě krajů
- Logika a znalostní systémy: dopředné a zpětné řetězení, rezoluce a expertní systémy
- Plánování: STRIPS, svět kostek, heuristiky z relaxace a plánování v AI agentech
- Lokální hledání a simulované žíhání: obchodní cestující přes krajská města
- Genetické algoritmy: populace, křížení, mutace a výběr na batohu na výlet
- Evoluční strategie a genetické programování: od pravidla jedné pětiny po Keplerův zákon
- Optimalizace mravenčí kolonií: jak feromonová stopa najde krátkou cestu
- Optimalizace hejnem částic: setrvačnost, vlastní zkušenost a zkušenost hejna
- Neuroevoluce: evoluce vah i tvaru neuronových sítí a algoritmus NEAT
- Fuzzy množiny a funkce příslušnosti: jak zapsat „trochu teplo“
- Fuzzy logika a pravděpodobnost: proč „trochu teplo“ neznamená „pravděpodobně teplo“
- Fuzzy logika: t-normy, implikace a pravidla KDYŽ–PAK
- Fuzzy řízení: Mamdani a Sugeno od ventilátoru po kyvadlo na vozíku
- Fuzzy shlukování: algoritmus fuzzy c-means a body mezi shluky
- Neuro-fuzzy systémy (ANFIS): fuzzy pravidla, která se učí z dat
- Markovovy řetězce: přechodová matice, stacionární rozdělení a PageRank
- Skryté Markovovy modely: Viterbiho algoritmus a nepoctivé kasino
- Bayesovské sítě: proč je tráva mokrá a co z toho plyne pro postřikovač
- Kalmanův filtr: jak z nepřesných měření odhadnout, kde auto je a jak rychle jede
- Druhy strojového učení: s učitelem, bez učitele, s částečným učitelem a další
- Přeučení a regularizace: proč model, který zná data nazpaměť, selže
- Vyhodnocení modelu: křížová validace, F1 a křivka ROC
- Shlukování a snížení dimenze: k-means, PCA a t-SNE
- Klasifikace a regrese: dvě úlohy učení s učitelem
- Lineární regrese: nejmenší čtverce geometricky i maticově
- Polynomiální a nelineární regrese: jak přímku ohnout
- Logistická regrese: sigmoida, šance a křížová entropie
- Vícetřídní klasifikace a softmax: od dvou tříd k mnoha
- Naivní Bayesův klasifikátor: spamový filtr, který funguje lépe, než by měl
- Ztrátové funkce: co přesně model minimalizuje
- Rozhodovací stromy a k nejbližších sousedů: modely bez vzorců
- Ansámbly: náhodný les a gradient boosting
- SVM a jádrový trik: nejširší hranice a jak ji ohnout
- Signál a vzorkování: proč platí Nyquistův teorém
- Fourierova transformace: rozklad signálu na frekvence
- Filtry a konvoluce: vyhlazení, hrany a odstranění šumu
- Zvuk a řeč: spektrogram, melová škála a MFCC
- Obraz jako signál: pixely, barvy, konvoluce a hrany
- Perceptron a umělý neuron: nejjednodušší neuronová síť a co neumí
- Neuronová síť od nuly: zpětné šíření chyby krok za krokem
- Aktivace, inicializace a normalizace: drobnosti, na kterých hluboká síť stojí
- Konvoluční sítě: jak síť poznává obrázky
- Rekurentní sítě: paměť pro posloupnosti a mizející gradient
- LSTM a GRU: brány, které rozhodují, co si síť zapamatuje
- Autoenkodéry: síť, která se učí data stlačit a zase rozbalit
- Embeddingy a word2vec: jak se slovo stane vektorem
- Mechanismus pozornosti: jak se model naučí, kam se dívat
- Transformery a velké jazykové modely: architektura krok za krokem
- Tokenizace: jak se text rozseká na kousky pro model
- Předtrénování a škálování: proč větší model a víc dat funguje
- Doladění a RLHF: jak se z doplňovače textu stane asistent
- Prompty, kontext a RAG: jak modelu dát správné informace
- Variační autoenkodéry (VAE): nové obrázky ze spojitého latentního prostoru
- Generativní adversariální sítě (GAN): padělatel proti detektivovi
- Difúzní modely: jak se z čistého šumu stane obrázek
- Markovovy rozhodovací procesy: stavy, akce, odměny a Bellmanovy rovnice
- Q-learning a DQN: učení hodnoty akcí od tabulky po neuronovou síť
- Policy gradient a PPO: učení přímo strategie
- Jak funguje AI agent: jazykový model ve smyčce s nástroji
- Programování s AI agenty: zadání, testy a kontrola
- Vyhodnocení a bezpečnost AI systémů: jak měřit a jak hlídat
Celá osnova série 83 z 83 témat hotovo
- Co je náhodný pokus, prostor výsledků a jev — a proč jsou jevy množiny.
- Jak počítá klasická pravděpodobnost a proč se relativní četnost s počtem pokusů ustálí.
- Tři Kolmogorovovy axiomy a pravidla, která z nich plynou: opačný jev a sjednocení.
Co se hodí znát předem: Množiny a relace: stavebnice, ze které se skládají definice v AI
Jazykový model nevybírá další slovo, ale pravděpodobnosti všech slov. Klasifikátor neříká „je to kočka“, ale „s pravděpodobností 0,93 je to kočka“. Celé strojové učení je postavené na počítání s nejistotou — a pravděpodobnost je jazyk, ve kterém se o nejistotě mluví přesně.
Ve škole se pravděpodobnost většinou definuje jako „počet příznivých případů lomeno počtem všech“. To je dobrý začátek, ale nestačí. V tomhle díle půjdeme od náhodného pokusu přes jevy až k přesné definici, na které stojí všechno další. Všechny příklady jsou na dvou kostkách. Pomůže vám znát díl o množinách — jevy jsou totiž množiny.
1. Náhodný pokus a prostor výsledků
Definice — náhodný pokus
Náhodný pokus je děj, který splňuje tři podmínky:
- jeho výsledek není předem jednoznačně určen — z podmínek pokusu ho neumíme spočítat;
- množina všech výsledků, které mohou nastat, je předem známá;
- dá se (aspoň v myšlenkách) libovolně krát opakovat za stejných podmínek a jednotlivá opakování se navzájem neovlivňují.
Je to výchozí pojem, který matematika dál nerozkládá: v teorii ho zastupuje jeho prostor výsledků (další definice) a vše ostatní se definuje pomocí něj.
Hod kostkou, hod mincí, vytažení karty, ale také „který e-mail přijde jako další“ nebo „jaké slovo napíše člověk“. Nevíme, co padne, ale víme, co padnout může.
Definice — prostor výsledků
Nechť je dán náhodný pokus. Jeho prostor výsledků je neprázdná množina Ω, jejíž prvky odpovídají možným výsledkům pokusu tak, že
- každý možný výsledek pokusu odpovídá nějakému prvku ω ∈ Ω (výčet je úplný),
- každý výsledek odpovídá právě jednomu prvku Ω — dva různé prvky nemohou nastat zároveň (výsledky se navzájem vylučují).
Prvky ω ∈ Ω nazýváme elementární výsledky.
Prostor výsledků je úplný seznam všeho, co se může stát. U jedné kostky je to Ω = {1, 2, 3, 4, 5, 6}. U dvou kostek, které rozlišíme (první a druhá), jsou to všechny dvojice (první, druhá), tedy Ω = {1, …, 6} × {1, …, 6} = {(a, b) : a, b ∈ {1, …, 6}} — 6 · 6 = 36 výsledků.
2. Jevy
Definice — jev
Nechť Ω je prostor výsledků náhodného pokusu. Jev je libovolná množina A taková, že A ⊆ Ω.
Nechť pokus skončil výsledkem ω ∈ Ω. Říkáme, že jev A nastal, právě když ω ∈ A, a že nenastal, právě když ω ∉ A.
Jev je otázka, na kterou se dá po pokusu odpovědět ano, nebo ne: „padl součet 7?“ Jako množinu ho zapíšeme výčtem výsledků, při kterých je odpověď ano: {(1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)}.
Definice — jistý a nemožný jev
Nechť Ω je prostor výsledků. Jistý jev je jev Ω (celý prostor výsledků). Nemožný jev je jev ∅ (prázdná množina).
Pro každý výsledek ω ∈ Ω platí ω ∈ Ω a ω ∉ ∅ — jistý jev tedy nastane při každém výsledku pokusu a nemožný jev při žádném.
„Součet je mezi 2 a 12“ je jistý jev — jinak to dopadnout nemůže. „Součet je 13“ je nemožný jev.
Na mřížce je všech 36 výsledků dvou kostek; řádek je první kostka, sloupec druhá a číslo v políčku je součet. Vybarvené jsou dva jevy: A = „součet je 7“ = {(a, b) ∈ Ω : a + b = 7} a B = „aspoň na jedné kostce padla šestka“ = {(a, b) ∈ Ω : a = 6 ∨ b = 6}:
Jev A má 6 výsledků, jev B 11. Dva výsledky, (1, 6) a (6, 1), patří do obou — v mřížce jsou fialové.
3. Operace s jevy
Protože jevy jsou množiny, skládají se stejnými operacemi jako množiny. Každá operace má ale i přirozený význam ve slovech. Ve všech definicích této části je Ω prostor výsledků a ∨ znamená „nebo“ (aspoň jedno z tvrzení platí), ∧ „a zároveň“:
Definice — sjednocení jevů
Nechť Ω je prostor výsledků a A, B ⊆ Ω jsou jevy. Sjednocení jevů A a B je jev
A ∪ B = {ω ∈ Ω : ω ∈ A ∨ ω ∈ B}.
Jev A ∪ B tedy nastane, právě když nastane A, nebo nastane B, nebo nastanou oba.
„Padl součet 7, nebo aspoň jedna šestka“ — v mřížce všechna vybarvená políčka dohromady, je jich 15.
Definice — průnik jevů
Nechť Ω je prostor výsledků a A, B ⊆ Ω jsou jevy. Průnik jevů A a B je jev
A ∩ B = {ω ∈ Ω : ω ∈ A ∧ ω ∈ B}.
Jev A ∩ B tedy nastane, právě když nastanou A i B zároveň.
„Součet je 7 a zároveň padla šestka“ — to jde jen jako (1, 6) nebo (6, 1), v mřížce dvě fialová políčka.
Definice — opačný jev
Nechť Ω je prostor výsledků a A ⊆ Ω je jev. Opačný jev (doplněk) k jevu A je jev
Ac = Ω ∖ A = {ω ∈ Ω : ω ∉ A}.
Jev Ac tedy nastane, právě když A nenastane.
Opačný jev k „aspoň jedna šestka“ je „žádná šestka“ — v mřížce všechna políčka mimo poslední řádek a sloupec, 5 · 5 = 25.
Definice — neslučitelné jevy
Nechť Ω je prostor výsledků a A, B ⊆ Ω jsou jevy. Jevy A a B jsou neslučitelné (disjunktní), právě když
A ∩ B = ∅,
tj. neexistuje výsledek ω ∈ Ω, při kterém by nastaly oba. Jevy A1, A2, … ⊆ Ω (konečně či spočetně mnoho) jsou navzájem neslučitelné, právě když Ai ∩ Aj = ∅ pro všechna i ≠ j.
„Součet je 7“ a „padl dublet“ (obě kostky stejně) nastat zároveň nemohou — součet dvou stejných čísel je vždy sudý.
4. Klasická pravděpodobnost
Definice — klasická pravděpodobnost (Laplace)
Nechť Ω je konečná neprázdná množina elementárních výsledků, které jsou stejně možné (žádný nemá důvod nastávat častěji než jiný). Pro konečnou množinu M označme |M| počet jejích prvků. Klasická pravděpodobnost jevu A ⊆ Ω je číslo
P(A) = |A|/|Ω|.
Když má každý výsledek stejnou šanci, stačí spočítat, kolik výsledků je „pro“, a vydělit počtem všech. Součet 7 má 6 příznivých výsledků z 36, takže P(A) = 6/36 = 1/6 ≈ 0,167 (barvy odpovídají členům vzorce níže).
P(A) = |A|/|Ω|
- P(A)
- pravděpodobnost jevu — číslo mezi 0 a 1, kterým měříme, jak velkou část možností jev zabírá
- |A|
- počet příznivých výsledků (prvků množiny A) — počítáme výsledky, ne „druhy“ výsledků; proto je u kostek potřeba rozlišit první a druhou
- |Ω|
- počet všech výsledků — dělením z počtu uděláme podíl, takže jistý jev dostane 1 a výsledek nezávisí na tom, jak velký prostor je
Háček je ve slovech „stejně možné“. U součtu dvou kostek nejsou stejně možné součty — součet 2 padne jen jako (1, 1), součet 7 šesti způsoby. Proto počítáme dvojice, ne součty. A u spousty skutečných jevů stejně možné výsledky vůbec nemáme: jaká je pravděpodobnost, že zítra prší, nebo že e-mail je spam? Tam klasická definice nepomůže.
Příklad — pravděpodobnosti všech součtů dvou kostek
Součet s padne těmi dvojicemi (a, b), pro které b = s − a a obě čísla jsou od 1 do 6, tedy max(1, s − 6) ≤ a ≤ min(6, s − 1). Takových a je 6 − |s − 7| — rozdělení je souměrné kolem 7, takže součty s a 14 − s mají stejně výsledků:
| součet s | 2, 12 | 3, 11 | 4, 10 | 5, 9 | 6, 8 | 7 |
|---|---|---|---|---|---|---|
| |As| | 1 | 2 | 3 | 4 | 5 | 6 |
| P(As) | 0,028 | 0,056 | 0,083 | 0,111 | 0,139 | 0,167 |
Kontrola: 1 + 2 + 3 + 4 + 5 + 6 + 5 + 4 + 3 + 2 + 1 = 36 — každý výsledek má právě jeden součet, takže jevy „součet s“ rozdělí Ω na neslučitelné části. Kdybychom za stejně možné brali součty, dostal by každý 1/11 ≈ 0,091 — součet 2 by pak padal 36/11 ≈ 3,3krát častěji, než ve skutečnosti padá, a součet 7 skoro o polovinu méně často (0,091 místo 0,167).
5. Pravděpodobnost jako dlouhodobá četnost
Definice — relativní četnost
Nechť Ω je prostor výsledků náhodného pokusu, A ⊆ Ω jev a n ∈ ℕ, n ≥ 1. Pokus opakujme nkrát za stejných podmínek a nechť ω1, …, ωn ∈ Ω jsou výsledky jednotlivých opakování. Označme
nA = |{i ∈ {1, …, n} : ωi ∈ A}|
počet opakování, ve kterých jev A nastal (zřejmě 0 ≤ nA ≤ n). Relativní četnost jevu A v těchto n opakováních je číslo
fn(A) = nA/n ∈ [0, 1].
Relativní četnost je to, co skutečně vyšlo: hodili jste mincí desetkrát, sedmkrát padl líc — relativní četnost je 7/10 = 0,7.
Při malém počtu pokusů skáče relativní četnost sem a tam. Když ale pokusů přibývá, ustálí se. Tady jsou čtyři nezávislé simulace hodů mincí:
První simulace měla po 10 hodech 70 % líců, po 100 hodech 40 %, po 1000 hodech 49,4 % a po 10 000 hodech 49,92 %. Pravděpodobnost se dá chápat jako číslo, ke kterému se relativní četnost blíží — přesně to později zformuluje zákon velkých čísel. Takhle se odhadují pravděpodobnosti ze skutečných dat: kolik e-mailů s daným slovem bylo spam, kolikrát po slově „dobrý“ následovalo „den“.
Simulace v obrázku je jednoduchý algoritmus — opakovat pokus a průběžně počítat relativní četnost:
def relativni_cetnost(pokus, jev, n):
n_A = 0
for _ in range(n):
vysledek = pokus() # např. náhodně líc, nebo rub
if jev(vysledek): # nastal jev A?
n_A += 1
return n_A / n # odhad P(A)
Příklad — jak velké kolísání je normální
Bez důkazu (odvodíme ho v dílu o rozptylu a o limitních větách): relativní četnost jevu s pravděpodobností p se po n nezávislých pokusech typicky liší od p zhruba o
σn = √p(1 − p)/n
- σn
- směrodatná odchylka relativní četnosti — „typická“ vzdálenost od p; asi ve dvou třetinách opakování je odchylka menší
- p(1 − p)
- rozptyl jednoho pokusu — největší pro p = ½ (mince), nulový pro jistý nebo nemožný jev, kde nemá co kolísat
- n
- počet pokusů — náhodné odchylky jednotlivých pokusů se v průměru částečně vyruší, proto kolísání klesá; pod odmocninou, takže desetkrát přesnější odhad stojí stokrát víc pokusů
mince, p = 1/2: σn = √0,5 · 0,5/n = 0,5/√n
n = 10: 0,158, n = 100: 0,05, n = 1000: 0,016, n = 10 000: 0,005
první simulace se od 0,5 lišila o 0,2; 0,1; 0,006; 0,0008 (tytéž n)
Odchylky simulace jsou stejného řádu jako σn; po 100 hodech je to s 0,1 dvojnásobek — neobvyklé, ale nijak výjimečné.
6. Kolmogorovovy axiomy
Klasická definice potřebuje stejně možné výsledky, četnostní nekonečně mnoho pokusů. Andrej Kolmogorov v roce 1933 pravděpodobnost definoval jinak: neříká, jak ji spočítat, jen jaká pravidla musí splňovat. Každý z předchozích pohledů je pak jen jedním ze způsobů, jak pravidla naplnit.
Definice — pravděpodobnost (Kolmogorovovy axiomy)
Nechť Ω je prostor výsledků a 𝓕 systém jevů, kterým chceme přiřadit pravděpodobnost (𝓕 je množina podmnožin Ω s vlastnostmi σ-algebry, viz definice pravděpodobnostního prostoru níže). Pravděpodobnost je funkce P : 𝓕 → ℝ, která splňuje tyto tři axiomy:
- nezápornost: pro každé A ∈ 𝓕 platí P(A) ≥ 0;
- normovanost: P(Ω) = 1;
- (spočetná) aditivita: pro každou posloupnost jevů A1, A2, … ∈ 𝓕, které jsou navzájem neslučitelné (Ai ∩ Aj = ∅ pro i ≠ j), platí P(⋃i=1∞ Ai) = ∑i=1∞ P(Ai).
Pro konečně mnoho jevů A1, …, Am plyne aditivita z axiomu 3 volbou Am+1 = Am+2 = … = ∅ (k tomu je potřeba P(∅) = 0, odvozené níže).
Tři rozumná pravidla. Pravděpodobnost není nikdy záporná. Něco se stát musí, takže celý prostor má pravděpodobnost 1. A když se dvě věci navzájem vylučují, šance, že nastane jedna nebo druhá, je součet jejich šancí. Všechno ostatní z toho už plyne.
Definice — pravděpodobnostní prostor
Nechť Ω je neprázdná množina. Systém 𝓕 podmnožin Ω (tj. 𝓕 ⊆ 2Ω, kde 2Ω je množina všech podmnožin Ω) je σ-algebra, právě když
- Ω ∈ 𝓕;
- je-li A ∈ 𝓕, pak Ac = Ω ∖ A ∈ 𝓕;
- jsou-li A1, A2, … ∈ 𝓕, pak ⋃i=1∞ Ai ∈ 𝓕.
Pravděpodobnostní prostor je trojice (Ω, 𝓕, P), kde Ω je prostor výsledků, 𝓕 ⊆ 2Ω je σ-algebra (její prvky jsou jevy) a P : 𝓕 → ℝ je pravděpodobnost, tj. splňuje Kolmogorovovy axiomy. Z axiomů a vět níže plyne, že P nabývá jen hodnot z [0, 1].
Je-li Ω konečný, bere se obvykle 𝓕 = 2Ω (každá podmnožina je jev) — u dvou kostek je jevů 236 ≈ 6,9 · 1010. U nespočetných Ω (třeba „náhodné číslo z intervalu [0, 1]“) to nejde: všem podmnožinám intervalu nelze přiřadit pravděpodobnost v souladu s axiomy, a 𝓕 proto musí být menší σ-algebra.
Definice — rozdělení pravděpodobnosti na konečném prostoru
Nechť Ω je konečná neprázdná množina. Rozdělení pravděpodobnosti na Ω je funkce p : Ω → ℝ, která splňuje
- p(ω) ≥ 0 pro každé ω ∈ Ω,
- ∑ω ∈ Ω p(ω) = 1.
Pravděpodobnost jevu A ⊆ Ω je pak definována jako součet přes výsledky, které do něj patří (pro A = ∅ je součet prázdný a rovná se 0):
P(A) = ∑ω ∈ A p(ω)
- P(A)
- pravděpodobnost jevu — množiny výsledků
- ∑ω ∈ A
- součet jen přes výsledky, při kterých jev nastane — jev je sjednocení svých jednoprvkových jevů {ω}, ty jsou neslučitelné, a aditivita tedy dovoluje sčítat
- p(ω)
- pravděpodobnost jednoho výsledku — nemusí být pro všechny stejná; tím se definice zbavuje požadavku „stejně možných“ výsledků
Takto definované P splňuje všechny tři axiomy: součet nezáporných čísel je nezáporný, součet přes celé Ω je 1 a součet přes sjednocení disjunktních množin je součet dílčích součtů.
Věta — klasická pravděpodobnost je speciální případ
Nechť Ω je konečná neprázdná množina a p(ω) = 1/|Ω| pro všechna ω ∈ Ω. Pak p je rozdělení pravděpodobnosti a pro každý jev A ⊆ Ω platí P(A) = |A|/|Ω|.
Důkaz. p(ω) = 1/|Ω| > 0 a ∑ω ∈ Ω 1/|Ω| = |Ω| · 1/|Ω| = 1, takže p je rozdělení. Dále P(A) = ∑ω ∈ A 1/|Ω| = |A| · 1/|Ω| = |A|/|Ω| — přesně Laplaceův vzorec. Klasická pravděpodobnost tedy axiomy splňuje. ∎
Falešná kostka, na které šestka padá s pravděpodobností 0,25 a ostatní čísla každé s 0,15, je taky rozdělení (5 · 0,15 + 0,25 = 1) — jen už ne klasické: P(sudé číslo) = 0,15 + 0,15 + 0,25 = 0,55, ne 3/6.
Rozdělení pravděpodobnosti je tabulka „výsledek → šance“, ve které jsou čísla nezáporná a dají dohromady 1. Šance jevu je součet řádků, při kterých nastane. Přesně takovou tabulku vrací jazykový model pro další slovo — jen má desítky tisíc řádků.
7. Pravidla, která z axiomů plynou
Věta — pravděpodobnost opačného jevu
Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor a A ∈ 𝓕. Pak P(Ac) = 1 − P(A). Speciálně P(∅) = 0 a 0 ≤ P(A) ≤ 1.
Důkaz. A a Ac jsou neslučitelné a A ∪ Ac = Ω. Z aditivity a normovanosti P(A) + P(Ac) = P(Ω) = 1. Pro A = Ω je Ac = ∅, takže P(∅) = 1 − 1 = 0. A protože P(Ac) ≥ 0 (nezápornost), je P(A) = 1 − P(Ac) ≤ 1. ∎
Často je snazší spočítat opak. „Aspoň jedna šestka“ má opak „žádná šestka“, který má 25 výsledků z 36. Takže P(aspoň jedna šestka) = 1 − 25/36 = 11/36 ≈ 0,306.
Věta — pravděpodobnost sjednocení
Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor a A, B ∈ 𝓕 libovolné jevy. Pak P(A ∪ B) = P(A) + P(B) − P(A ∩ B).
Důkaz. Rozdělíme na neslučitelné části: A ∪ B = A ∪ (B ∖ A) a B = (B ∖ A) ∪ (A ∩ B). Z aditivity P(A ∪ B) = P(A) + P(B ∖ A) a P(B ∖ A) = P(B) − P(A ∩ B). Dosazením dostaneme vzorec. ∎
Když sečtete jevy, které se překrývají, započítáte společnou část dvakrát — a jednou ji musíte odečíst. Pro součet 7 nebo šestku: 6/36 + 11/36 − 2/36 = 15/36 (barvy podle vzorce níže). Přesně tolik vybarvených políček je v mřížce.
P(A ∪ B) = P(A) + P(B) − P(A ∩ B)
- P(A ∪ B)
- šance, že nastane aspoň jeden z jevů — v příkladu 15/36 (součet 7 nebo šestka)
- P(A)
- všechny výsledky z A, včetně společných — 6/36
- P(B)
- všechny výsledky z B, opět včetně společných — 11/36; společné výsledky jsou teď započítané podruhé
- P(A ∩ B)
- oprava dvojího započtení — společné výsledky (1, 6) a (6, 1) odečteme jednou, 2/36. U neslučitelných jevů je nula a zbude prostá aditivita
8. Pravděpodobnost v umělé inteligenci
- Klasifikátory vracejí pravděpodobnosti tříd; softmax z dílu o klasifikaci zajistí, že jsou nezáporné a dají součet 1 — přesně podle axiomů.
- Jazykové modely jsou rozdělení pravděpodobnosti nad dalším slovem. Při psaní textu z něj losují.
- Odhad z dat je relativní četnost: model se učí pravděpodobnosti, které „vyšly“ v trénovacích datech.
- Nejistota — dobrý model ví, když si není jistý. Pravděpodobnost 0,51 a 0,99 dávají stejnou třídu, ale úplně jinou míru důvěry.
Jak softmax z libovolných skóre z1, …, zK (mohou být i záporná) udělá rozdělení pravděpodobnosti na K třídách:
pi = ezi/∑k=1K ezk
- pi
- pravděpodobnost třídy i — jeden řádek tabulky rozdělení
- ezi
- exponenciála skóre — je vždy kladná, tím je splněna nezápornost; a zachová pořadí, takže vyšší skóre dá vyšší pravděpodobnost
- ∑ ezk
- součet přes všechny třídy — dělením se čísla „přeškálují“ tak, aby dala dohromady 1; tím je splněna normovanost
skóre z = (2; 1; 0,1): e2 ≈ 7,389, e1 ≈ 2,718, e0,1 ≈ 1,105, součet ≈ 11,213
p ≈ (7,389/11,213; 2,718/11,213; 1,105/11,213) ≈ (0,659; 0,242; 0,099), 0,659 + 0,242 + 0,099 = 1
Další díl ukáže, jak pravděpodobnost změnit, když se dozvíme něco nového — podmíněnou pravděpodobnost a Bayesovu větu.
9. Shrnutí
- Náhodný pokus má prostor výsledků Ω; jev je podmnožina Ω.
- Jevy se skládají jako množiny: sjednocení je „nebo“, průnik „a zároveň“, opačný jev „ne“.
- Klasická pravděpodobnost je |A|/|Ω|, příznivé lomeno možné — jen pro stejně možné výsledky.
- Relativní četnost se s počtem pokusů ustálí; pravděpodobnost je číslo, ke kterému se blíží.
- Kolmogorovovy axiomy: nezápornost, P(Ω) = 1 a sčítání pro neslučitelné jevy. Z nich plyne doplněk i vzorec pro sjednocení.
Máte na to jiný názor? Napište na support@coden-app.com.