Přeskočit na obsah
coden

Co je pravděpodobnost: od hodu kostkou ke Kolmogorovovým axiomům

Náhodný pokus, prostor výsledků, jevy a operace s nimi, klasická a četnostní pravděpodobnost a axiomy, na kterých stojí všechno další — na příkladu dvou kostek.

12 minut Matěj Žalmánek 2026-10-15

Série Základy AI Díl 12 z 83
  1. Mapa umělé inteligence: co je co a jak to do sebe zapadá
  2. Stručná historie umělé inteligence: od Turinga po jazykové modely
  3. Data, model, trénink, inference: základní pojmy na jednom příkladu
  4. Jak číst matematický zápis: symboly, indexy, sumy a kvantifikátory
  5. Množiny a relace: stavebnice, ze které se skládají definice v AI
  6. Funkce a zobrazení: proč je každý model v AI funkce
  7. Logika a důkazy: pravidla, podle kterých se v AI uvažuje
  8. Grafy a stromy: struktura, na které stojí hledání i neuronové sítě
  9. Lineární algebra pro strojové učení: vektory, matice a proč AI hlavně násobí
  10. Derivace, gradient a řetízkové pravidlo: jak model zjistí, kterým směrem se učit
  11. Gradientní sestup: jak se model učí
  12. Co je pravděpodobnost: od hodu kostkou ke Kolmogorovovým axiomům
  13. Podmíněná pravděpodobnost a Bayesova věta: jak změnit odhad, když se dozvíte něco nového
  14. Náhodná veličina a distribuční funkce: jedna funkce, která o rozdělení řekne všechno
  15. Funkce hustoty a pravděpodobnostní funkce: proč má spojitá veličina v bodě pravděpodobnost nula
  16. Střední hodnota, rozptyl a kovariance: kde rozdělení leží, jak je široké a co s čím souvisí
  17. Přehled pravděpodobnostních rozdělení: Bernoulli, binomické, Poisson, rovnoměrné, normální a exponenciální
  18. Zákon velkých čísel a centrální limitní věta: proč se průměry chovají tak předvídatelně
  19. Statistika a odhady parametrů: maximální věrohodnost, MAP a intervaly spolehlivosti
  20. Teorie informace: entropie, křížová entropie a KL divergence — odkud se berou ztrátové funkce
  21. Prohledávání stavového prostoru: BFS, DFS, UCS a A* s animacemi
  22. Hry a protivník: minimax, alfa-beta ořezávání a Monte Carlo tree search
  23. Splňování omezujících podmínek: backtracking, propagace omezení a AC-3 na sudoku a mapě krajů
  24. Logika a znalostní systémy: dopředné a zpětné řetězení, rezoluce a expertní systémy
  25. Plánování: STRIPS, svět kostek, heuristiky z relaxace a plánování v AI agentech
  26. Lokální hledání a simulované žíhání: obchodní cestující přes krajská města
  27. Genetické algoritmy: populace, křížení, mutace a výběr na batohu na výlet
  28. Evoluční strategie a genetické programování: od pravidla jedné pětiny po Keplerův zákon
  29. Optimalizace mravenčí kolonií: jak feromonová stopa najde krátkou cestu
  30. Optimalizace hejnem částic: setrvačnost, vlastní zkušenost a zkušenost hejna
  31. Neuroevoluce: evoluce vah i tvaru neuronových sítí a algoritmus NEAT
  32. Fuzzy množiny a funkce příslušnosti: jak zapsat „trochu teplo“
  33. Fuzzy logika a pravděpodobnost: proč „trochu teplo“ neznamená „pravděpodobně teplo“
  34. Fuzzy logika: t-normy, implikace a pravidla KDYŽ–PAK
  35. Fuzzy řízení: Mamdani a Sugeno od ventilátoru po kyvadlo na vozíku
  36. Fuzzy shlukování: algoritmus fuzzy c-means a body mezi shluky
  37. Neuro-fuzzy systémy (ANFIS): fuzzy pravidla, která se učí z dat
  38. Markovovy řetězce: přechodová matice, stacionární rozdělení a PageRank
  39. Skryté Markovovy modely: Viterbiho algoritmus a nepoctivé kasino
  40. Bayesovské sítě: proč je tráva mokrá a co z toho plyne pro postřikovač
  41. Kalmanův filtr: jak z nepřesných měření odhadnout, kde auto je a jak rychle jede
  42. Druhy strojového učení: s učitelem, bez učitele, s částečným učitelem a další
  43. Přeučení a regularizace: proč model, který zná data nazpaměť, selže
  44. Vyhodnocení modelu: křížová validace, F1 a křivka ROC
  45. Shlukování a snížení dimenze: k-means, PCA a t-SNE
  46. Klasifikace a regrese: dvě úlohy učení s učitelem
  47. Lineární regrese: nejmenší čtverce geometricky i maticově
  48. Polynomiální a nelineární regrese: jak přímku ohnout
  49. Logistická regrese: sigmoida, šance a křížová entropie
  50. Vícetřídní klasifikace a softmax: od dvou tříd k mnoha
  51. Naivní Bayesův klasifikátor: spamový filtr, který funguje lépe, než by měl
  52. Ztrátové funkce: co přesně model minimalizuje
  53. Rozhodovací stromy a k nejbližších sousedů: modely bez vzorců
  54. Ansámbly: náhodný les a gradient boosting
  55. SVM a jádrový trik: nejširší hranice a jak ji ohnout
  56. Signál a vzorkování: proč platí Nyquistův teorém
  57. Fourierova transformace: rozklad signálu na frekvence
  58. Filtry a konvoluce: vyhlazení, hrany a odstranění šumu
  59. Zvuk a řeč: spektrogram, melová škála a MFCC
  60. Obraz jako signál: pixely, barvy, konvoluce a hrany
  61. Perceptron a umělý neuron: nejjednodušší neuronová síť a co neumí
  62. Neuronová síť od nuly: zpětné šíření chyby krok za krokem
  63. Aktivace, inicializace a normalizace: drobnosti, na kterých hluboká síť stojí
  64. Konvoluční sítě: jak síť poznává obrázky
  65. Rekurentní sítě: paměť pro posloupnosti a mizející gradient
  66. LSTM a GRU: brány, které rozhodují, co si síť zapamatuje
  67. Autoenkodéry: síť, která se učí data stlačit a zase rozbalit
  68. Embeddingy a word2vec: jak se slovo stane vektorem
  69. Mechanismus pozornosti: jak se model naučí, kam se dívat
  70. Transformery a velké jazykové modely: architektura krok za krokem
  71. Tokenizace: jak se text rozseká na kousky pro model
  72. Předtrénování a škálování: proč větší model a víc dat funguje
  73. Doladění a RLHF: jak se z doplňovače textu stane asistent
  74. Prompty, kontext a RAG: jak modelu dát správné informace
  75. Variační autoenkodéry (VAE): nové obrázky ze spojitého latentního prostoru
  76. Generativní adversariální sítě (GAN): padělatel proti detektivovi
  77. Difúzní modely: jak se z čistého šumu stane obrázek
  78. Markovovy rozhodovací procesy: stavy, akce, odměny a Bellmanovy rovnice
  79. Q-learning a DQN: učení hodnoty akcí od tabulky po neuronovou síť
  80. Policy gradient a PPO: učení přímo strategie
  81. Jak funguje AI agent: jazykový model ve smyčce s nástroji
  82. Programování s AI agenty: zadání, testy a kontrola
  83. Vyhodnocení a bezpečnost AI systémů: jak měřit a jak hlídat

Celá osnova série 83 z 83 témat hotovo

Co si odnesete
  • Co je náhodný pokus, prostor výsledků a jev — a proč jsou jevy množiny.
  • Jak počítá klasická pravděpodobnost a proč se relativní četnost s počtem pokusů ustálí.
  • Tři Kolmogorovovy axiomy a pravidla, která z nich plynou: opačný jev a sjednocení.

Co se hodí znát předem: Množiny a relace: stavebnice, ze které se skládají definice v AI

Jazykový model nevybírá další slovo, ale pravděpodobnosti všech slov. Klasifikátor neříká „je to kočka“, ale „s pravděpodobností 0,93 je to kočka“. Celé strojové učení je postavené na počítání s nejistotou — a pravděpodobnost je jazyk, ve kterém se o nejistotě mluví přesně.

Ve škole se pravděpodobnost většinou definuje jako „počet příznivých případů lomeno počtem všech“. To je dobrý začátek, ale nestačí. V tomhle díle půjdeme od náhodného pokusu přes jevy až k přesné definici, na které stojí všechno další. Všechny příklady jsou na dvou kostkách. Pomůže vám znát díl o množinách — jevy jsou totiž množiny.

1. Náhodný pokus a prostor výsledků

Definice — náhodný pokus

Náhodný pokus je děj, který splňuje tři podmínky:

  1. jeho výsledek není předem jednoznačně určen — z podmínek pokusu ho neumíme spočítat;
  2. množina všech výsledků, které mohou nastat, je předem známá;
  3. dá se (aspoň v myšlenkách) libovolně krát opakovat za stejných podmínek a jednotlivá opakování se navzájem neovlivňují.

Je to výchozí pojem, který matematika dál nerozkládá: v teorii ho zastupuje jeho prostor výsledků (další definice) a vše ostatní se definuje pomocí něj.

Laicky řečeno

Hod kostkou, hod mincí, vytažení karty, ale také „který e-mail přijde jako další“ nebo „jaké slovo napíše člověk“. Nevíme, co padne, ale víme, co padnout může.

Definice — prostor výsledků

Nechť je dán náhodný pokus. Jeho prostor výsledků je neprázdná množina Ω, jejíž prvky odpovídají možným výsledkům pokusu tak, že

  1. každý možný výsledek pokusu odpovídá nějakému prvku ω ∈ Ω (výčet je úplný),
  2. každý výsledek odpovídá právě jednomu prvku Ω — dva různé prvky nemohou nastat zároveň (výsledky se navzájem vylučují).

Prvky ω ∈ Ω nazýváme elementární výsledky.

Laicky řečeno

Prostor výsledků je úplný seznam všeho, co se může stát. U jedné kostky je to Ω = {1, 2, 3, 4, 5, 6}. U dvou kostek, které rozlišíme (první a druhá), jsou to všechny dvojice (první, druhá), tedy Ω = {1, …, 6} × {1, …, 6} = {(a, b) : a, b ∈ {1, …, 6}} — 6 · 6 = 36 výsledků.

2. Jevy

Definice — jev

Nechť Ω je prostor výsledků náhodného pokusu. Jev je libovolná množina A taková, že A ⊆ Ω.

Nechť pokus skončil výsledkem ω ∈ Ω. Říkáme, že jev A nastal, právě když ω ∈ A, a že nenastal, právě když ω ∉ A.

Laicky řečeno

Jev je otázka, na kterou se dá po pokusu odpovědět ano, nebo ne: „padl součet 7?“ Jako množinu ho zapíšeme výčtem výsledků, při kterých je odpověď ano: {(1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)}.

Definice — jistý a nemožný jev

Nechť Ω je prostor výsledků. Jistý jev je jev Ω (celý prostor výsledků). Nemožný jev je jev ∅ (prázdná množina).

Pro každý výsledek ω ∈ Ω platí ω ∈ Ω a ω ∉ ∅ — jistý jev tedy nastane při každém výsledku pokusu a nemožný jev při žádném.

Laicky řečeno

„Součet je mezi 2 a 12“ je jistý jev — jinak to dopadnout nemůže. „Součet je 13“ je nemožný jev.

Na mřížce je všech 36 výsledků dvou kostek; řádek je první kostka, sloupec druhá a číslo v políčku je součet. Vybarvené jsou dva jevy: A = „součet je 7“ = {(a, b) ∈ Ω : a + b = 7} a B = „aspoň na jedné kostce padla šestka“ = {(a, b) ∈ Ω : a = 6 ∨ b = 6}:

1 1 2 2 3 3 4 4 5 5 6 6 2 3 4 5 6 7 3 4 5 6 7 8 4 5 6 7 8 9 5 6 7 8 9 10 6 7 8 9 10 11 7 8 9 10 11 12 druhá kostka (oka) první kostka (oka)
36 výsledků hodu dvěma kostkami jen A (součet 7): 6 jen B (aspoň jedna šestka): 11 A i B zároveň: 2

Jev A má 6 výsledků, jev B 11. Dva výsledky, (1, 6) a (6, 1), patří do obou — v mřížce jsou fialové.

3. Operace s jevy

Protože jevy jsou množiny, skládají se stejnými operacemi jako množiny. Každá operace má ale i přirozený význam ve slovech. Ve všech definicích této části je Ω prostor výsledků a ∨ znamená „nebo“ (aspoň jedno z tvrzení platí), ∧ „a zároveň“:

Definice — sjednocení jevů

Nechť Ω je prostor výsledků a A, B ⊆ Ω jsou jevy. Sjednocení jevů A a B je jev

A ∪ B = {ω ∈ Ω : ω ∈ A ∨ ω ∈ B}.

Jev A ∪ B tedy nastane, právě když nastane A, nebo nastane B, nebo nastanou oba.

Laicky řečeno

„Padl součet 7, nebo aspoň jedna šestka“ — v mřížce všechna vybarvená políčka dohromady, je jich 15.

Definice — průnik jevů

Nechť Ω je prostor výsledků a A, B ⊆ Ω jsou jevy. Průnik jevů A a B je jev

A ∩ B = {ω ∈ Ω : ω ∈ A ∧ ω ∈ B}.

Jev A ∩ B tedy nastane, právě když nastanou A i B zároveň.

Laicky řečeno

„Součet je 7 a zároveň padla šestka“ — to jde jen jako (1, 6) nebo (6, 1), v mřížce dvě fialová políčka.

Definice — opačný jev

Nechť Ω je prostor výsledků a A ⊆ Ω je jev. Opačný jev (doplněk) k jevu A je jev

Ac = Ω ∖ A = {ω ∈ Ω : ω ∉ A}.

Jev Ac tedy nastane, právě když A nenastane.

Laicky řečeno

Opačný jev k „aspoň jedna šestka“ je „žádná šestka“ — v mřížce všechna políčka mimo poslední řádek a sloupec, 5 · 5 = 25.

Definice — neslučitelné jevy

Nechť Ω je prostor výsledků a A, B ⊆ Ω jsou jevy. Jevy A a B jsou neslučitelné (disjunktní), právě když

A ∩ B = ∅,

tj. neexistuje výsledek ω ∈ Ω, při kterém by nastaly oba. Jevy A1, A2, … ⊆ Ω (konečně či spočetně mnoho) jsou navzájem neslučitelné, právě když Ai ∩ Aj = ∅ pro všechna i ≠ j.

Laicky řečeno

„Součet je 7“ a „padl dublet“ (obě kostky stejně) nastat zároveň nemohou — součet dvou stejných čísel je vždy sudý.

4. Klasická pravděpodobnost

Definice — klasická pravděpodobnost (Laplace)

Nechť Ω je konečná neprázdná množina elementárních výsledků, které jsou stejně možné (žádný nemá důvod nastávat častěji než jiný). Pro konečnou množinu M označme |M| počet jejích prvků. Klasická pravděpodobnost jevu A ⊆ Ω je číslo

P(A) = |A|/|Ω|.

Laicky řečeno

Když má každý výsledek stejnou šanci, stačí spočítat, kolik výsledků je „pro“, a vydělit počtem všech. Součet 7 má 6 příznivých výsledků z 36, takže P(A) = 6/36 = 1/6 ≈ 0,167 (barvy odpovídají členům vzorce níže).

P(A) = |A|/|Ω|

P(A)
pravděpodobnost jevu — číslo mezi 0 a 1, kterým měříme, jak velkou část možností jev zabírá
|A|
počet příznivých výsledků (prvků množiny A) — počítáme výsledky, ne „druhy“ výsledků; proto je u kostek potřeba rozlišit první a druhou
|Ω|
počet všech výsledků — dělením z počtu uděláme podíl, takže jistý jev dostane 1 a výsledek nezávisí na tom, jak velký prostor je
Platí jen tehdy, když jsou všechny výsledky v Ω stejně možné — jinak by se každý započítal stejnou vahou neprávem.

Háček je ve slovech „stejně možné“. U součtu dvou kostek nejsou stejně možné součty — součet 2 padne jen jako (1, 1), součet 7 šesti způsoby. Proto počítáme dvojice, ne součty. A u spousty skutečných jevů stejně možné výsledky vůbec nemáme: jaká je pravděpodobnost, že zítra prší, nebo že e-mail je spam? Tam klasická definice nepomůže.

Příklad — pravděpodobnosti všech součtů dvou kostek

Součet s padne těmi dvojicemi (a, b), pro které b = s − a a obě čísla jsou od 1 do 6, tedy max(1, s − 6) ≤ a ≤ min(6, s − 1). Takových a je 6 − |s − 7| — rozdělení je souměrné kolem 7, takže součty s a 14 − s mají stejně výsledků:

součet s2, 123, 114, 105, 96, 87
|As|123456
P(As)0,0280,0560,0830,1110,1390,167

Kontrola: 1 + 2 + 3 + 4 + 5 + 6 + 5 + 4 + 3 + 2 + 1 = 36 — každý výsledek má právě jeden součet, takže jevy „součet s“ rozdělí Ω na neslučitelné části. Kdybychom za stejně možné brali součty, dostal by každý 1/11 ≈ 0,091 — součet 2 by pak padal 36/11 ≈ 3,3krát častěji, než ve skutečnosti padá, a součet 7 skoro o polovinu méně často (0,091 místo 0,167).

5. Pravděpodobnost jako dlouhodobá četnost

Definice — relativní četnost

Nechť Ω je prostor výsledků náhodného pokusu, A ⊆ Ω jev a n ∈ ℕ, n ≥ 1. Pokus opakujme nkrát za stejných podmínek a nechť ω1, …, ωn ∈ Ω jsou výsledky jednotlivých opakování. Označme

nA = |{i ∈ {1, …, n} : ωi ∈ A}|

počet opakování, ve kterých jev A nastal (zřejmě 0 ≤ nA ≤ n). Relativní četnost jevu A v těchto n opakováních je číslo

fn(A) = nA/n ∈ [0, 1].

Laicky řečeno

Relativní četnost je to, co skutečně vyšlo: hodili jste mincí desetkrát, sedmkrát padl líc — relativní četnost je 7/10 = 0,7.

Při malém počtu pokusů skáče relativní četnost sem a tam. Když ale pokusů přibývá, ustálí se. Tady jsou čtyři nezávislé simulace hodů mincí:

00,51 1101001 00010 000 počet hodů n (log. měřítko) relativní četnost líců (0–1)
Relativní četnost líců se s počtem hodů ustálí kolem 0,5

První simulace měla po 10 hodech 70 % líců, po 100 hodech 40 %, po 1000 hodech 49,4 % a po 10 000 hodech 49,92 %. Pravděpodobnost se dá chápat jako číslo, ke kterému se relativní četnost blíží — přesně to později zformuluje zákon velkých čísel. Takhle se odhadují pravděpodobnosti ze skutečných dat: kolik e-mailů s daným slovem bylo spam, kolikrát po slově „dobrý“ následovalo „den“.

Simulace v obrázku je jednoduchý algoritmus — opakovat pokus a průběžně počítat relativní četnost:

def relativni_cetnost(pokus, jev, n):
    n_A = 0
    for _ in range(n):
        vysledek = pokus()          # např. náhodně líc, nebo rub
        if jev(vysledek):           # nastal jev A?
            n_A += 1
    return n_A / n                  # odhad P(A)
Příklad — jak velké kolísání je normální

Bez důkazu (odvodíme ho v dílu o rozptylu a o limitních větách): relativní četnost jevu s pravděpodobností p se po n nezávislých pokusech typicky liší od p zhruba o

σn = √p(1 − p)/n

σn
směrodatná odchylka relativní četnosti — „typická“ vzdálenost od p; asi ve dvou třetinách opakování je odchylka menší
p(1 − p)
rozptyl jednoho pokusu — největší pro p = ½ (mince), nulový pro jistý nebo nemožný jev, kde nemá co kolísat
n
počet pokusů — náhodné odchylky jednotlivých pokusů se v průměru částečně vyruší, proto kolísání klesá; pod odmocninou, takže desetkrát přesnější odhad stojí stokrát víc pokusů

mince, p = 1/2:   σn = √0,5 · 0,5/n = 0,5/√n

n = 10: 0,158,   n = 100: 0,05,   n = 1000: 0,016,   n = 10 000: 0,005

první simulace se od 0,5 lišila o 0,2;   0,1;   0,006;   0,0008 (tytéž n)

Odchylky simulace jsou stejného řádu jako σn; po 100 hodech je to s 0,1 dvojnásobek — neobvyklé, ale nijak výjimečné.

6. Kolmogorovovy axiomy

Klasická definice potřebuje stejně možné výsledky, četnostní nekonečně mnoho pokusů. Andrej Kolmogorov v roce 1933 pravděpodobnost definoval jinak: neříká, jak ji spočítat, jen jaká pravidla musí splňovat. Každý z předchozích pohledů je pak jen jedním ze způsobů, jak pravidla naplnit.

Definice — pravděpodobnost (Kolmogorovovy axiomy)

Nechť Ω je prostor výsledků a 𝓕 systém jevů, kterým chceme přiřadit pravděpodobnost (𝓕 je množina podmnožin Ω s vlastnostmi σ-algebry, viz definice pravděpodobnostního prostoru níže). Pravděpodobnost je funkce P : 𝓕 → ℝ, která splňuje tyto tři axiomy:

  1. nezápornost: pro každé A ∈ 𝓕 platí P(A) ≥ 0;
  2. normovanost: P(Ω) = 1;
  3. (spočetná) aditivita: pro každou posloupnost jevů A1, A2, … ∈ 𝓕, které jsou navzájem neslučitelné (Ai ∩ Aj = ∅ pro i ≠ j), platí P(⋃i=1∞ Ai) = ∑i=1∞ P(Ai).

Pro konečně mnoho jevů A1, …, Am plyne aditivita z axiomu 3 volbou Am+1 = Am+2 = … = ∅ (k tomu je potřeba P(∅) = 0, odvozené níže).

Laicky řečeno

Tři rozumná pravidla. Pravděpodobnost není nikdy záporná. Něco se stát musí, takže celý prostor má pravděpodobnost 1. A když se dvě věci navzájem vylučují, šance, že nastane jedna nebo druhá, je součet jejich šancí. Všechno ostatní z toho už plyne.

Definice — pravděpodobnostní prostor

Nechť Ω je neprázdná množina. Systém 𝓕 podmnožin Ω (tj. 𝓕 ⊆ 2Ω, kde 2Ω je množina všech podmnožin Ω) je σ-algebra, právě když

  1. Ω ∈ 𝓕;
  2. je-li A ∈ 𝓕, pak Ac = Ω ∖ A ∈ 𝓕;
  3. jsou-li A1, A2, … ∈ 𝓕, pak ⋃i=1∞ Ai ∈ 𝓕.

Pravděpodobnostní prostor je trojice (Ω, 𝓕, P), kde Ω je prostor výsledků, 𝓕 ⊆ 2Ω je σ-algebra (její prvky jsou jevy) a P : 𝓕 → ℝ je pravděpodobnost, tj. splňuje Kolmogorovovy axiomy. Z axiomů a vět níže plyne, že P nabývá jen hodnot z [0, 1].

Je-li Ω konečný, bere se obvykle 𝓕 = 2Ω (každá podmnožina je jev) — u dvou kostek je jevů 236 ≈ 6,9 · 1010. U nespočetných Ω (třeba „náhodné číslo z intervalu [0, 1]“) to nejde: všem podmnožinám intervalu nelze přiřadit pravděpodobnost v souladu s axiomy, a 𝓕 proto musí být menší σ-algebra.

Definice — rozdělení pravděpodobnosti na konečném prostoru

Nechť Ω je konečná neprázdná množina. Rozdělení pravděpodobnosti na Ω je funkce p : Ω → ℝ, která splňuje

  1. p(ω) ≥ 0 pro každé ω ∈ Ω,
  2. ∑ω ∈ Ω p(ω) = 1.

Pravděpodobnost jevu A ⊆ Ω je pak definována jako součet přes výsledky, které do něj patří (pro A = ∅ je součet prázdný a rovná se 0):

P(A) = ∑ω ∈ A p(ω)

P(A)
pravděpodobnost jevu — množiny výsledků
∑ω ∈ A
součet jen přes výsledky, při kterých jev nastane — jev je sjednocení svých jednoprvkových jevů {ω}, ty jsou neslučitelné, a aditivita tedy dovoluje sčítat
p(ω)
pravděpodobnost jednoho výsledku — nemusí být pro všechny stejná; tím se definice zbavuje požadavku „stejně možných“ výsledků

Takto definované P splňuje všechny tři axiomy: součet nezáporných čísel je nezáporný, součet přes celé Ω je 1 a součet přes sjednocení disjunktních množin je součet dílčích součtů.

Věta — klasická pravděpodobnost je speciální případ

Nechť Ω je konečná neprázdná množina a p(ω) = 1/|Ω| pro všechna ω ∈ Ω. Pak p je rozdělení pravděpodobnosti a pro každý jev A ⊆ Ω platí P(A) = |A|/|Ω|.

Důkaz. p(ω) = 1/|Ω| > 0 a ∑ω ∈ Ω 1/|Ω| = |Ω| · 1/|Ω| = 1, takže p je rozdělení. Dále P(A) = ∑ω ∈ A 1/|Ω| = |A| · 1/|Ω| = |A|/|Ω| — přesně Laplaceův vzorec. Klasická pravděpodobnost tedy axiomy splňuje. ∎

Falešná kostka, na které šestka padá s pravděpodobností 0,25 a ostatní čísla každé s 0,15, je taky rozdělení (5 · 0,15 + 0,25 = 1) — jen už ne klasické: P(sudé číslo) = 0,15 + 0,15 + 0,25 = 0,55, ne 3/6.

Laicky řečeno

Rozdělení pravděpodobnosti je tabulka „výsledek → šance“, ve které jsou čísla nezáporná a dají dohromady 1. Šance jevu je součet řádků, při kterých nastane. Přesně takovou tabulku vrací jazykový model pro další slovo — jen má desítky tisíc řádků.

7. Pravidla, která z axiomů plynou

Věta — pravděpodobnost opačného jevu

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor a A ∈ 𝓕. Pak P(Ac) = 1 − P(A). Speciálně P(∅) = 0 a 0 ≤ P(A) ≤ 1.

Důkaz. A a Ac jsou neslučitelné a A ∪ Ac = Ω. Z aditivity a normovanosti P(A) + P(Ac) = P(Ω) = 1. Pro A = Ω je Ac = ∅, takže P(∅) = 1 − 1 = 0. A protože P(Ac) ≥ 0 (nezápornost), je P(A) = 1 − P(Ac) ≤ 1. ∎

Laicky řečeno

Často je snazší spočítat opak. „Aspoň jedna šestka“ má opak „žádná šestka“, který má 25 výsledků z 36. Takže P(aspoň jedna šestka) = 1 − 25/36 = 11/36 ≈ 0,306.

Věta — pravděpodobnost sjednocení

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor a A, B ∈ 𝓕 libovolné jevy. Pak P(A ∪ B) = P(A) + P(B) − P(A ∩ B).

Důkaz. Rozdělíme na neslučitelné části: A ∪ B = A ∪ (B ∖ A) a B = (B ∖ A) ∪ (A ∩ B). Z aditivity P(A ∪ B) = P(A) + P(B ∖ A) a P(B ∖ A) = P(B) − P(A ∩ B). Dosazením dostaneme vzorec. ∎

Laicky řečeno

Když sečtete jevy, které se překrývají, započítáte společnou část dvakrát — a jednou ji musíte odečíst. Pro součet 7 nebo šestku: 6/36 + 11/36 − 2/36 = 15/36 (barvy podle vzorce níže). Přesně tolik vybarvených políček je v mřížce.

P(A ∪ B) = P(A) + P(B) − P(A ∩ B)

P(A ∪ B)
šance, že nastane aspoň jeden z jevů — v příkladu 15/36 (součet 7 nebo šestka)
P(A)
všechny výsledky z A, včetně společných — 6/36
P(B)
všechny výsledky z B, opět včetně společných — 11/36; společné výsledky jsou teď započítané podruhé
P(A ∩ B)
oprava dvojího započtení — společné výsledky (1, 6) a (6, 1) odečteme jednou, 2/36. U neslučitelných jevů je nula a zbude prostá aditivita
6/36 + 11/36 − 2/36 = 15/36 ≈ 0,417.

8. Pravděpodobnost v umělé inteligenci

  • Klasifikátory vracejí pravděpodobnosti tříd; softmax z dílu o klasifikaci zajistí, že jsou nezáporné a dají součet 1 — přesně podle axiomů.
  • Jazykové modely jsou rozdělení pravděpodobnosti nad dalším slovem. Při psaní textu z něj losují.
  • Odhad z dat je relativní četnost: model se učí pravděpodobnosti, které „vyšly“ v trénovacích datech.
  • Nejistota — dobrý model ví, když si není jistý. Pravděpodobnost 0,51 a 0,99 dávají stejnou třídu, ale úplně jinou míru důvěry.

Jak softmax z libovolných skóre z1, …, zK (mohou být i záporná) udělá rozdělení pravděpodobnosti na K třídách:

pi = ezi/∑k=1K ezk

pi
pravděpodobnost třídy i — jeden řádek tabulky rozdělení
ezi
exponenciála skóre — je vždy kladná, tím je splněna nezápornost; a zachová pořadí, takže vyšší skóre dá vyšší pravděpodobnost
∑ ezk
součet přes všechny třídy — dělením se čísla „přeškálují“ tak, aby dala dohromady 1; tím je splněna normovanost
Aditivitu není třeba řešit zvlášť: pravděpodobnost skupiny tříd se spočítá součtem, jako u každého rozdělení na konečném prostoru.

skóre z = (2; 1; 0,1):   e2 ≈ 7,389,   e1 ≈ 2,718,   e0,1 ≈ 1,105,   součet ≈ 11,213

p ≈ (7,389/11,213; 2,718/11,213; 1,105/11,213) ≈ (0,659; 0,242; 0,099),   0,659 + 0,242 + 0,099 = 1

Další díl ukáže, jak pravděpodobnost změnit, když se dozvíme něco nového — podmíněnou pravděpodobnost a Bayesovu větu.

9. Shrnutí

  • Náhodný pokus má prostor výsledků Ω; jev je podmnožina Ω.
  • Jevy se skládají jako množiny: sjednocení je „nebo“, průnik „a zároveň“, opačný jev „ne“.
  • Klasická pravděpodobnost je |A|/|Ω|, příznivé lomeno možné — jen pro stejně možné výsledky.
  • Relativní četnost se s počtem pokusů ustálí; pravděpodobnost je číslo, ke kterému se blíží.
  • Kolmogorovovy axiomy: nezápornost, P(Ω) = 1 a sčítání pro neslučitelné jevy. Z nich plyne doplněk i vzorec pro sjednocení.

Máte na to jiný názor? Napište na support@coden-app.com.

Agent na vašem počítači, ovládaný z telefonu