Čo je pravdepodobnosť: od hodu kockou ku Kolmogorovovým axiómam
Náhodný pokus, priestor výsledkov, javy a operácie s nimi, klasická a početnostná pravdepodobnosť a axiómy, na ktorých stojí všetko ďalšie — na príklade dvoch kociek.
Séria Základy AI Diel 12 z 52
- Mapa umelej inteligencie: čo je čo a ako to do seba zapadá
- Stručná história umelej inteligencie: od Turinga po jazykové modely
- Dáta, model, tréning, inferencia: základné pojmy na jednom príklade
- Ako čítať matematický zápis: symboly, indexy, sumy a kvantifikátory
- Množiny a relácie: stavebnica, z ktorej sa skladajú definície v AI
- Funkcie a zobrazenia: prečo je každý model v AI funkcia
- Logika a dôkazy: pravidlá, podľa ktorých sa v AI uvažuje
- Grafy a stromy: štruktúra, na ktorej stojí hľadanie aj neurónové siete
- Lineárna algebra pre strojové učenie: vektory, matice a prečo AI hlavne násobí
- Derivácie, gradient a reťazové pravidlo: ako model zistí, ktorým smerom sa učiť
- Gradientný zostup: ako sa model učí
- Čo je pravdepodobnosť: od hodu kockou ku Kolmogorovovým axiómam
- Podmienená pravdepodobnosť a Bayesova veta: ako zmeniť odhad, keď sa dozviete niečo nové
- Náhodná premenná a distribučná funkcia: jedna funkcia, ktorá o rozdelení povie všetko
- Funkcia hustoty a pravdepodobnostná funkcia: prečo má spojitá premenná v bode pravdepodobnosť nula
- Stredná hodnota, rozptyl a kovariancia: kde rozdelenie leží, aké je široké a čo s čím súvisí
- Prehľad pravdepodobnostných rozdelení: Bernoulliho, binomické, Poissonovo, rovnomerné, normálne a exponenciálne
- Zákon veľkých čísel a centrálna limitná veta: prečo sa priemery správajú tak predvídateľne
- Štatistika a odhady parametrov: maximálna vierohodnosť, MAP a intervaly spoľahlivosti
- Teória informácie: entropia, krížová entropia a KL divergencia — odkiaľ sa berú stratové funkcie
- Prehľadávanie stavového priestoru: BFS, DFS, UCS a A* s animáciami
- Hry a protivník: minimax, alfa-beta orezávanie a Monte Carlo tree search
- Splňovanie obmedzujúcich podmienok: backtracking, propagácia obmedzení a AC-3 na sudoku a mape krajov
- Logika a znalostné systémy: dopredné a spätné reťazenie, rezolúcia a expertné systémy
- Plánovanie: STRIPS, svet kociek, heuristiky z relaxácie a plánovanie v AI agentoch
- Lokálne hľadanie a simulované žíhanie: obchodný cestujúci cez krajské mestá
- Genetické algoritmy: populácia, kríženie, mutácia a výber na batohu na výlet
- Evolučné stratégie a genetické programovanie: od pravidla jednej pätiny po Keplerov zákon
- Optimalizácia mravčou kolóniou: ako feromónová stopa nájde krátku cestu
- Optimalizácia rojom častíc: zotrvačnosť, vlastná skúsenosť a skúsenosť roja
- Neuroevolúcia: evolúcia váh aj tvaru neurónových sietí a algoritmus NEAT
- Fuzzy množiny a funkcie príslušnosti: ako zapísať „trochu teplo“
- Fuzzy logika a pravdepodobnosť: prečo „trochu teplo“ neznamená „pravdepodobne teplo“
- Fuzzy logika: t-normy, implikácie a pravidlá AK–TAK
- Fuzzy riadenie: Mamdani a Sugeno od ventilátora po kyvadlo na vozíku
- Fuzzy zhlukovanie: algoritmus fuzzy c-means a body medzi zhlukmi
- Neuro-fuzzy systémy (ANFIS): fuzzy pravidlá, ktoré sa učia z dát
- Markovove reťazce: prechodová matica, stacionárne rozdelenie a PageRank
- Skryté Markovove modely: Viterbiho algoritmus a nepoctivé kasíno
- Bayesovské siete: prečo je tráva mokrá a čo z toho vyplýva pre postrekovač
- Kalmanov filter: ako z nepresných meraní odhadnúť, kde auto je a ako rýchlo ide
- Druhy strojového učenia: s učiteľom, bez učiteľa, s čiastočným učiteľom a ďalšie
- Prompty, kontext a RAG: ako modelu dať správne informácie
- Variačné autoenkodéry (VAE): nové obrázky zo spojitého latentného priestoru
- Generatívne adversariálne siete (GAN): falšovateľ proti detektívovi
- Difúzne modely: ako sa z čistého šumu stane obrázok
- Markovove rozhodovacie procesy: stavy, akcie, odmeny a Bellmanove rovnice
- Q-learning a DQN: učenie hodnoty akcií od tabuľky po neurónovú sieť
- Policy gradient a PPO: učenie priamo stratégie
- Ako funguje AI agent: jazykový model v slučke s nástrojmi
- Programovanie s AI agentmi: zadanie, testy a kontrola
- Vyhodnocovanie a bezpečnosť AI systémov: ako merať a ako strážiť
Celá osnova série Hotovo: 52 z 83 tém
- Čo je náhodný pokus, priestor výsledkov a jav — a prečo sú javy množiny.
- Ako počíta klasická pravdepodobnosť a prečo sa relatívna početnosť s počtom pokusov ustáli.
- Tri Kolmogorovove axiómy a pravidlá, ktoré z nich vyplývajú: opačný jav a zjednotenie.
Čo sa hodí vedieť vopred: Množiny a relácie: stavebnica, z ktorej sa skladajú definície v AI
Jazykový model nevyberá ďalšie slovo, ale pravdepodobnosti všetkých slov. Klasifikátor nehovorí „je to mačka“, ale „s pravdepodobnosťou 0,93 je to mačka“. Celé strojové učenie je postavené na počítaní s neistotou — a pravdepodobnosť je jazyk, ktorým sa o neistote hovorí presne.
V škole sa pravdepodobnosť väčšinou definuje ako „počet priaznivých prípadov delený počtom všetkých“. To je dobrý začiatok, ale nestačí. V tomto diele pôjdeme od náhodného pokusu cez javy až k presnej definícii, na ktorej stojí všetko ďalšie. Všetky príklady sú na dvoch kockách. Pomôže vám poznať diel o množinách — javy sú totiž množiny.
1. Náhodný pokus a priestor výsledkov
Definícia — náhodný pokus
Náhodný pokus je dej, ktorý spĺňa tri podmienky:
- jeho výsledok nie je vopred jednoznačne určený — z podmienok pokusu ho nevieme vypočítať;
- množina všetkých výsledkov, ktoré môžu nastať, je vopred známa;
- dá sa (aspoň v myšlienkach) ľubovoľne veľakrát opakovať za rovnakých podmienok a jednotlivé opakovania sa navzájom neovplyvňujú.
Je to východiskový pojem, ktorý matematika ďalej nerozkladá: v teórii ho zastupuje jeho priestor výsledkov (ďalšia definícia) a všetko ostatné sa definuje pomocou neho.
Hod kockou, hod mincou, vytiahnutie karty, ale aj „ktorý e-mail príde ako ďalší“ alebo „aké slovo napíše človek“. Nevieme, čo padne, ale vieme, čo padnúť môže.
Definícia — priestor výsledkov
Nech je daný náhodný pokus. Jeho priestor výsledkov je neprázdna množina Ω, ktorej prvky zodpovedajú možným výsledkom pokusu tak, že
- každý možný výsledok pokusu zodpovedá nejakému prvku ω ∈ Ω (zoznam je úplný),
- každý výsledok zodpovedá práve jednému prvku Ω — dva rôzne prvky nemôžu nastať zároveň (výsledky sa navzájom vylučujú).
Prvky ω ∈ Ω nazývame elementárne výsledky.
Priestor výsledkov je úplný zoznam všetkého, čo sa môže stať. Pri jednej kocke je to Ω = {1, 2, 3, 4, 5, 6}. Pri dvoch kockách, ktoré rozlíšime (prvá a druhá), sú to všetky dvojice (prvá, druhá), teda Ω = {1, …, 6} × {1, …, 6} = {(a, b) : a, b ∈ {1, …, 6}} — 6 · 6 = 36 výsledkov.
2. Javy
Definícia — jav
Nech Ω je priestor výsledkov náhodného pokusu. Jav je ľubovoľná množina A taká, že A ⊆ Ω.
Nech pokus skončil výsledkom ω ∈ Ω. Hovoríme, že jav A nastal práve vtedy, keď ω ∈ A, a že nenastal práve vtedy, keď ω ∉ A.
Jav je otázka, na ktorú sa dá po pokuse odpovedať áno, alebo nie: „padol súčet 7?“ Ako množinu ho zapíšeme vymenovaním výsledkov, pri ktorých je odpoveď áno: {(1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)}.
Definícia — istý a nemožný jav
Nech Ω je priestor výsledkov. Istý jav je jav Ω (celý priestor výsledkov). Nemožný jav je jav ∅ (prázdna množina).
Pre každý výsledok ω ∈ Ω platí ω ∈ Ω a ω ∉ ∅ — istý jav teda nastane pri každom výsledku pokusu a nemožný jav pri žiadnom.
„Súčet je medzi 2 a 12“ je istý jav — inak to dopadnúť nemôže. „Súčet je 13“ je nemožný jav.
Na mriežke je všetkých 36 výsledkov dvoch kociek; riadok je prvá kocka, stĺpec druhá a číslo v políčku je súčet. Vyfarbené sú dva javy: A = „súčet je 7“ = {(a, b) ∈ Ω : a + b = 7} a B = „aspoň na jednej kocke padla šestka“ = {(a, b) ∈ Ω : a = 6 ∨ b = 6}:
Jav A má 6 výsledkov, jav B 11. Dva výsledky, (1, 6) a (6, 1), patria do oboch — v mriežke sú fialové.
3. Operácie s javmi
Keďže javy sú množiny, skladajú sa rovnakými operáciami ako množiny. Každá operácia má ale aj prirodzený význam v slovách. Vo všetkých definíciách tejto časti je Ω priestor výsledkov a ∨ znamená „alebo“ (aspoň jedno z tvrdení platí), ∧ „a zároveň“:
Definícia — zjednotenie javov
Nech Ω je priestor výsledkov a A, B ⊆ Ω sú javy. Zjednotenie javov A a B je jav
A ∪ B = {ω ∈ Ω : ω ∈ A ∨ ω ∈ B}.
Jav A ∪ B teda nastane práve vtedy, keď nastane A, alebo nastane B, alebo nastanú oba.
„Padol súčet 7, alebo aspoň jedna šestka“ — v mriežke všetky vyfarbené políčka dohromady, je ich 15.
Definícia — prienik javov
Nech Ω je priestor výsledkov a A, B ⊆ Ω sú javy. Prienik javov A a B je jav
A ∩ B = {ω ∈ Ω : ω ∈ A ∧ ω ∈ B}.
Jav A ∩ B teda nastane práve vtedy, keď nastanú A aj B zároveň.
„Súčet je 7 a zároveň padla šestka“ — to ide len ako (1, 6) alebo (6, 1), v mriežke dve fialové políčka.
Definícia — opačný jav
Nech Ω je priestor výsledkov a A ⊆ Ω je jav. Opačný jav (doplnok) k javu A je jav
Ac = Ω ∖ A = {ω ∈ Ω : ω ∉ A}.
Jav Ac teda nastane práve vtedy, keď A nenastane.
Opačný jav k „aspoň jedna šestka“ je „žiadna šestka“ — v mriežke všetky políčka mimo posledného riadka a stĺpca, 5 · 5 = 25.
Definícia — nezlučiteľné javy
Nech Ω je priestor výsledkov a A, B ⊆ Ω sú javy. Javy A a B sú nezlučiteľné (disjunktné) práve vtedy, keď
A ∩ B = ∅,
t. j. neexistuje výsledok ω ∈ Ω, pri ktorom by nastali oba. Javy A1, A2, … ⊆ Ω (konečne či spočítateľne veľa) sú navzájom nezlučiteľné práve vtedy, keď Ai ∩ Aj = ∅ pre všetky i ≠ j.
„Súčet je 7“ a „padol dublet“ (obe kocky rovnako) nemôžu nastať zároveň — súčet dvoch rovnakých čísel je vždy párny.
4. Klasická pravdepodobnosť
Definícia — klasická pravdepodobnosť (Laplace)
Nech Ω je konečná neprázdna množina elementárnych výsledkov, ktoré sú rovnako možné (žiadny nemá dôvod nastávať častejšie než iný). Pre konečnú množinu M označme |M| počet jej prvkov. Klasická pravdepodobnosť javu A ⊆ Ω je číslo
P(A) = |A|/|Ω|.
Keď má každý výsledok rovnakú šancu, stačí spočítať, koľko výsledkov je „za“, a vydeliť počtom všetkých. Súčet 7 má 6 priaznivých výsledkov z 36, takže P(A) = 6/36 = 1/6 ≈ 0,167 (farby zodpovedajú členom vzorca nižšie).
P(A) = |A|/|Ω|
- P(A)
- pravdepodobnosť javu — číslo medzi 0 a 1, ktorým meriame, akú veľkú časť možností jav zaberá
- |A|
- počet priaznivých výsledkov (prvkov množiny A) — počítame výsledky, nie „druhy“ výsledkov; preto je pri kockách potrebné rozlíšiť prvú a druhú
- |Ω|
- počet všetkých výsledkov — delením z počtu urobíme podiel, takže istý jav dostane 1 a výsledok nezávisí od toho, aký veľký je priestor
Háčik je v slovách „rovnako možné“. Pri súčte dvoch kociek nie sú rovnako možné súčty — súčet 2 padne len ako (1, 1), súčet 7 šiestimi spôsobmi. Preto počítame dvojice, nie súčty. A pri mnohých skutočných javoch rovnako možné výsledky vôbec nemáme: aká je pravdepodobnosť, že zajtra bude pršať, alebo že e-mail je spam? Tam klasická definícia nepomôže.
Príklad — pravdepodobnosti všetkých súčtov dvoch kociek
Súčet s padne tými dvojicami (a, b), pre ktoré b = s − a a obe čísla sú od 1 do 6, teda max(1, s − 6) ≤ a ≤ min(6, s − 1). Takých a je 6 − |s − 7| — rozdelenie je súmerné okolo 7, takže súčty s a 14 − s majú rovnako výsledkov:
| súčet s | 2, 12 | 3, 11 | 4, 10 | 5, 9 | 6, 8 | 7 |
|---|---|---|---|---|---|---|
| |As| | 1 | 2 | 3 | 4 | 5 | 6 |
| P(As) | 0,028 | 0,056 | 0,083 | 0,111 | 0,139 | 0,167 |
Kontrola: 1 + 2 + 3 + 4 + 5 + 6 + 5 + 4 + 3 + 2 + 1 = 36 — každý výsledok má práve jeden súčet, takže javy „súčet s“ rozdelia Ω na nezlučiteľné časti. Keby sme za rovnako možné brali súčty, dostal by každý 1/11 ≈ 0,091 — súčet 2 by potom padal 36/11 ≈ 3,3-krát častejšie, než v skutočnosti padá, a súčet 7 takmer o polovicu menej často (0,091 namiesto 0,167).
5. Pravdepodobnosť ako dlhodobá početnosť
Definícia — relatívna početnosť
Nech Ω je priestor výsledkov náhodného pokusu, A ⊆ Ω jav a n ∈ ℕ, n ≥ 1. Pokus opakujme n-krát za rovnakých podmienok a nech ω1, …, ωn ∈ Ω sú výsledky jednotlivých opakovaní. Označme
nA = |{i ∈ {1, …, n} : ωi ∈ A}|
počet opakovaní, v ktorých jav A nastal (zrejme 0 ≤ nA ≤ n). Relatívna početnosť javu A v týchto n opakovaniach je číslo
fn(A) = nA/n ∈ [0, 1].
Relatívna početnosť je to, čo skutočne vyšlo: hodili ste mincou desaťkrát, sedemkrát padol líc — relatívna početnosť je 7/10 = 0,7.
Pri malom počte pokusov skáče relatívna početnosť sem a tam. Keď však pokusov pribúda, ustáli sa. Tu sú štyri nezávislé simulácie hodov mincou:
Prvá simulácia mala po 10 hodoch 70 % lícov, po 100 hodoch 40 %, po 1000 hodoch 49,4 % a po 10 000 hodoch 49,92 %. Pravdepodobnosť sa dá chápať ako číslo, ku ktorému sa relatívna početnosť blíži — presne to neskôr sformuluje zákon veľkých čísel. Takto sa odhadujú pravdepodobnosti zo skutočných dát: koľko e-mailov s daným slovom bolo spam, koľkokrát po slove „dobrý“ nasledovalo „deň“.
Simulácia na obrázku je jednoduchý algoritmus — opakovať pokus a priebežne počítať relatívnu početnosť:
def relativni_cetnost(pokus, jev, n):
n_A = 0
for _ in range(n):
vysledek = pokus() # napr. náhodne líc, alebo rub
if jev(vysledek): # nastal jav A?
n_A += 1
return n_A / n # odhad P(A)
Príklad — aké veľké kolísanie je normálne
Bez dôkazu (odvodíme ho v diele o rozptyle a o limitných vetách): relatívna početnosť javu s pravdepodobnosťou p sa po n nezávislých pokusoch typicky líši od p zhruba o
σn = √p(1 − p)/n
- σn
- smerodajná odchýlka relatívnej početnosti — „typická“ vzdialenosť od p; asi v dvoch tretinách opakovaní je odchýlka menšia
- p(1 − p)
- rozptyl jedného pokusu — najväčší pre p = ½ (minca), nulový pre istý alebo nemožný jav, kde nemá čo kolísať
- n
- počet pokusov — náhodné odchýlky jednotlivých pokusov sa v priemere čiastočne vyrušia, preto kolísanie klesá; pod odmocninou, takže desaťkrát presnejší odhad stojí stokrát viac pokusov
minca, p = 1/2: σn = √0,5 · 0,5/n = 0,5/√n
n = 10: 0,158, n = 100: 0,05, n = 1000: 0,016, n = 10 000: 0,005
prvá simulácia sa od 0,5 líšila o 0,2; 0,1; 0,006; 0,0008 (tie isté n)
Odchýlky simulácie sú rovnakého rádu ako σn; po 100 hodoch je to s 0,1 dvojnásobok — nezvyčajné, ale nijako výnimočné.
6. Kolmogorovove axiómy
Klasická definícia potrebuje rovnako možné výsledky, početnostná nekonečne veľa pokusov. Andrej Kolmogorov v roku 1933 definoval pravdepodobnosť inak: nehovorí, ako ju vypočítať, len aké pravidlá musí spĺňať. Každý z predchádzajúcich pohľadov je potom len jedným zo spôsobov, ako pravidlá naplniť.
Definícia — pravdepodobnosť (Kolmogorovove axiómy)
Nech Ω je priestor výsledkov a 𝓕 systém javov, ktorým chceme priradiť pravdepodobnosť (𝓕 je množina podmnožín Ω s vlastnosťami σ-algebry, pozri definíciu pravdepodobnostného priestoru nižšie). Pravdepodobnosť je funkcia P : 𝓕 → ℝ, ktorá spĺňa tieto tri axiómy:
- nezápornosť: pre každé A ∈ 𝓕 platí P(A) ≥ 0;
- normovanosť: P(Ω) = 1;
- (spočítateľná) aditivita: pre každú postupnosť javov A1, A2, … ∈ 𝓕, ktoré sú navzájom nezlučiteľné (Ai ∩ Aj = ∅ pre i ≠ j), platí P(⋃i=1∞ Ai) = ∑i=1∞ P(Ai).
Pre konečne veľa javov A1, …, Am vyplýva aditivita z axiómy 3 voľbou Am+1 = Am+2 = … = ∅ (na to je potrebné P(∅) = 0, odvodené nižšie).
Tri rozumné pravidlá. Pravdepodobnosť nie je nikdy záporná. Niečo sa stať musí, takže celý priestor má pravdepodobnosť 1. A keď sa dve veci navzájom vylučujú, šanca, že nastane jedna alebo druhá, je súčet ich šancí. Všetko ostatné z toho už vyplýva.
Definícia — pravdepodobnostný priestor
Nech Ω je neprázdna množina. Systém 𝓕 podmnožín Ω (t. j. 𝓕 ⊆ 2Ω, kde 2Ω je množina všetkých podmnožín Ω) je σ-algebra práve vtedy, keď
- Ω ∈ 𝓕;
- ak A ∈ 𝓕, potom Ac = Ω ∖ A ∈ 𝓕;
- ak A1, A2, … ∈ 𝓕, potom ⋃i=1∞ Ai ∈ 𝓕.
Pravdepodobnostný priestor je trojica (Ω, 𝓕, P), kde Ω je priestor výsledkov, 𝓕 ⊆ 2Ω je σ-algebra (jej prvky sú javy) a P : 𝓕 → ℝ je pravdepodobnosť, t. j. spĺňa Kolmogorovove axiómy. Z axióm a viet nižšie vyplýva, že P nadobúda len hodnoty z [0, 1].
Ak je Ω konečný, berie sa zvyčajne 𝓕 = 2Ω (každá podmnožina je jav) — pri dvoch kockách je javov 236 ≈ 6,9 · 1010. Pri nespočítateľných Ω (napríklad „náhodné číslo z intervalu [0, 1]“) to nejde: všetkým podmnožinám intervalu nemožno priradiť pravdepodobnosť v súlade s axiómami, a 𝓕 preto musí byť menšia σ-algebra.
Definícia — rozdelenie pravdepodobnosti na konečnom priestore
Nech Ω je konečná neprázdna množina. Rozdelenie pravdepodobnosti na Ω je funkcia p : Ω → ℝ, ktorá spĺňa
- p(ω) ≥ 0 pre každé ω ∈ Ω,
- ∑ω ∈ Ω p(ω) = 1.
Pravdepodobnosť javu A ⊆ Ω je potom definovaná ako súčet cez výsledky, ktoré doň patria (pre A = ∅ je súčet prázdny a rovná sa 0):
P(A) = ∑ω ∈ A p(ω)
- P(A)
- pravdepodobnosť javu — množiny výsledkov
- ∑ω ∈ A
- súčet len cez výsledky, pri ktorých jav nastane — jav je zjednotenie svojich jednoprvkových javov {ω}, tie sú nezlučiteľné, a aditivita teda dovoľuje sčítavať
- p(ω)
- pravdepodobnosť jedného výsledku — nemusí byť pre všetky rovnaká; tým sa definícia zbavuje požiadavky „rovnako možných“ výsledkov
Takto definované P spĺňa všetky tri axiómy: súčet nezáporných čísel je nezáporný, súčet cez celé Ω je 1 a súčet cez zjednotenie disjunktných množín je súčet čiastkových súčtov.
Veta — klasická pravdepodobnosť je špeciálny prípad
Nech Ω je konečná neprázdna množina a p(ω) = 1/|Ω| pre všetky ω ∈ Ω. Potom p je rozdelenie pravdepodobnosti a pre každý jav A ⊆ Ω platí P(A) = |A|/|Ω|.
Dôkaz. p(ω) = 1/|Ω| > 0 a ∑ω ∈ Ω 1/|Ω| = |Ω| · 1/|Ω| = 1, takže p je rozdelenie. Ďalej P(A) = ∑ω ∈ A 1/|Ω| = |A| · 1/|Ω| = |A|/|Ω| — presne Laplaceov vzorec. Klasická pravdepodobnosť teda axiómy spĺňa. ∎
Falošná kocka, na ktorej šestka padá s pravdepodobnosťou 0,25 a ostatné čísla každé s 0,15, je tiež rozdelenie (5 · 0,15 + 0,25 = 1) — len už nie klasické: P(párne číslo) = 0,15 + 0,15 + 0,25 = 0,55, nie 3/6.
Rozdelenie pravdepodobnosti je tabuľka „výsledok → šanca“, v ktorej sú čísla nezáporné a dajú dohromady 1. Šanca javu je súčet riadkov, pri ktorých nastane. Presne takú tabuľku vracia jazykový model pre ďalšie slovo — len má desaťtisíce riadkov.
7. Pravidlá, ktoré z axióm vyplývajú
Veta — pravdepodobnosť opačného javu
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor a A ∈ 𝓕. Potom P(Ac) = 1 − P(A). Špeciálne P(∅) = 0 a 0 ≤ P(A) ≤ 1.
Dôkaz. A a Ac sú nezlučiteľné a A ∪ Ac = Ω. Z aditivity a normovanosti P(A) + P(Ac) = P(Ω) = 1. Pre A = Ω je Ac = ∅, takže P(∅) = 1 − 1 = 0. A keďže P(Ac) ≥ 0 (nezápornosť), je P(A) = 1 − P(Ac) ≤ 1. ∎
Často je jednoduchšie spočítať opak. „Aspoň jedna šestka“ má opak „žiadna šestka“, ktorý má 25 výsledkov z 36. Takže P(aspoň jedna šestka) = 1 − 25/36 = 11/36 ≈ 0,306.
Veta — pravdepodobnosť zjednotenia
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor a A, B ∈ 𝓕 ľubovoľné javy. Potom P(A ∪ B) = P(A) + P(B) − P(A ∩ B).
Dôkaz. Rozdelíme na nezlučiteľné časti: A ∪ B = A ∪ (B ∖ A) a B = (B ∖ A) ∪ (A ∩ B). Z aditivity P(A ∪ B) = P(A) + P(B ∖ A) a P(B ∖ A) = P(B) − P(A ∩ B). Dosadením dostaneme vzorec. ∎
Keď sčítate javy, ktoré sa prekrývajú, započítate spoločnú časť dvakrát — a raz ju musíte odčítať. Pre súčet 7 alebo šestku: 6/36 + 11/36 − 2/36 = 15/36 (farby podľa vzorca nižšie). Presne toľko vyfarbených políčok je v mriežke.
P(A ∪ B) = P(A) + P(B) − P(A ∩ B)
- P(A ∪ B)
- šanca, že nastane aspoň jeden z javov — v príklade 15/36 (súčet 7 alebo šestka)
- P(A)
- všetky výsledky z A, vrátane spoločných — 6/36
- P(B)
- všetky výsledky z B, opäť vrátane spoločných — 11/36; spoločné výsledky sú teraz započítané druhýkrát
- P(A ∩ B)
- oprava dvojitého započítania — spoločné výsledky (1, 6) a (6, 1) odčítame raz, 2/36. Pri nezlučiteľných javoch je nula a zostane prostá aditivita
8. Pravdepodobnosť v umelej inteligencii
- Klasifikátory vracajú pravdepodobnosti tried; softmax z dielu o klasifikácii zaistí, že sú nezáporné a dajú súčet 1 — presne podľa axióm.
- Jazykové modely sú rozdelenia pravdepodobnosti nad ďalším slovom. Pri písaní textu z neho losujú.
- Odhad z dát je relatívna početnosť: model sa učí pravdepodobnosti, ktoré „vyšli“ v trénovacích dátach.
- Neistota — dobrý model vie, keď si nie je istý. Pravdepodobnosti 0,51 a 0,99 dávajú rovnakú triedu, ale úplne inú mieru dôvery.
Ako softmax z ľubovoľných skóre z1, …, zK (môžu byť aj záporné) urobí rozdelenie pravdepodobnosti na K triedach:
pi = ezi/∑k=1K ezk
- pi
- pravdepodobnosť triedy i — jeden riadok tabuľky rozdelenia
- ezi
- exponenciála skóre — je vždy kladná, tým je splnená nezápornosť; a zachová poradie, takže vyššie skóre dá vyššiu pravdepodobnosť
- ∑ ezk
- súčet cez všetky triedy — delením sa čísla „preškálujú“ tak, aby dali dohromady 1; tým je splnená normovanosť
skóre z = (2; 1; 0,1): e2 ≈ 7,389, e1 ≈ 2,718, e0,1 ≈ 1,105, súčet ≈ 11,213
p ≈ (7,389/11,213; 2,718/11,213; 1,105/11,213) ≈ (0,659; 0,242; 0,099), 0,659 + 0,242 + 0,099 = 1
Ďalší diel ukáže, ako pravdepodobnosť zmeniť, keď sa dozvieme niečo nové — podmienenú pravdepodobnosť a Bayesovu vetu.
9. Zhrnutie
- Náhodný pokus má priestor výsledkov Ω; jav je podmnožina Ω.
- Javy sa skladajú ako množiny: zjednotenie je „alebo“, prienik „a zároveň“, opačný jav „nie“.
- Klasická pravdepodobnosť je |A|/|Ω|, priaznivé delené možnými — len pre rovnako možné výsledky.
- Relatívna početnosť sa s počtom pokusov ustáli; pravdepodobnosť je číslo, ku ktorému sa blíži.
- Kolmogorovove axiómy: nezápornosť, P(Ω) = 1 a sčítanie pre nezlučiteľné javy. Z nich vyplýva pravidlo pre opačný jav aj vzorec pre zjednotenie.
Máte na to iný názor? Napíšte na support@coden-app.com.