Náhodná premenná a distribučná funkcia: jedna funkcia, ktorá o rozdelení povie všetko
Čo je náhodná premenná, rozdelenie a distribučná funkcia, čím sa líšia diskrétne a spojité premenné a ako sa distribučná funkcia odhadne z dát.
Séria Základy AI Diel 14 z 52
- Mapa umelej inteligencie: čo je čo a ako to do seba zapadá
- Stručná história umelej inteligencie: od Turinga po jazykové modely
- Dáta, model, tréning, inferencia: základné pojmy na jednom príklade
- Ako čítať matematický zápis: symboly, indexy, sumy a kvantifikátory
- Množiny a relácie: stavebnica, z ktorej sa skladajú definície v AI
- Funkcie a zobrazenia: prečo je každý model v AI funkcia
- Logika a dôkazy: pravidlá, podľa ktorých sa v AI uvažuje
- Grafy a stromy: štruktúra, na ktorej stojí hľadanie aj neurónové siete
- Lineárna algebra pre strojové učenie: vektory, matice a prečo AI hlavne násobí
- Derivácie, gradient a reťazové pravidlo: ako model zistí, ktorým smerom sa učiť
- Gradientný zostup: ako sa model učí
- Čo je pravdepodobnosť: od hodu kockou ku Kolmogorovovým axiómam
- Podmienená pravdepodobnosť a Bayesova veta: ako zmeniť odhad, keď sa dozviete niečo nové
- Náhodná premenná a distribučná funkcia: jedna funkcia, ktorá o rozdelení povie všetko
- Funkcia hustoty a pravdepodobnostná funkcia: prečo má spojitá premenná v bode pravdepodobnosť nula
- Stredná hodnota, rozptyl a kovariancia: kde rozdelenie leží, aké je široké a čo s čím súvisí
- Prehľad pravdepodobnostných rozdelení: Bernoulliho, binomické, Poissonovo, rovnomerné, normálne a exponenciálne
- Zákon veľkých čísel a centrálna limitná veta: prečo sa priemery správajú tak predvídateľne
- Štatistika a odhady parametrov: maximálna vierohodnosť, MAP a intervaly spoľahlivosti
- Teória informácie: entropia, krížová entropia a KL divergencia — odkiaľ sa berú stratové funkcie
- Prehľadávanie stavového priestoru: BFS, DFS, UCS a A* s animáciami
- Hry a protivník: minimax, alfa-beta orezávanie a Monte Carlo tree search
- Splňovanie obmedzujúcich podmienok: backtracking, propagácia obmedzení a AC-3 na sudoku a mape krajov
- Logika a znalostné systémy: dopredné a spätné reťazenie, rezolúcia a expertné systémy
- Plánovanie: STRIPS, svet kociek, heuristiky z relaxácie a plánovanie v AI agentoch
- Lokálne hľadanie a simulované žíhanie: obchodný cestujúci cez krajské mestá
- Genetické algoritmy: populácia, kríženie, mutácia a výber na batohu na výlet
- Evolučné stratégie a genetické programovanie: od pravidla jednej pätiny po Keplerov zákon
- Optimalizácia mravčou kolóniou: ako feromónová stopa nájde krátku cestu
- Optimalizácia rojom častíc: zotrvačnosť, vlastná skúsenosť a skúsenosť roja
- Neuroevolúcia: evolúcia váh aj tvaru neurónových sietí a algoritmus NEAT
- Fuzzy množiny a funkcie príslušnosti: ako zapísať „trochu teplo“
- Fuzzy logika a pravdepodobnosť: prečo „trochu teplo“ neznamená „pravdepodobne teplo“
- Fuzzy logika: t-normy, implikácie a pravidlá AK–TAK
- Fuzzy riadenie: Mamdani a Sugeno od ventilátora po kyvadlo na vozíku
- Fuzzy zhlukovanie: algoritmus fuzzy c-means a body medzi zhlukmi
- Neuro-fuzzy systémy (ANFIS): fuzzy pravidlá, ktoré sa učia z dát
- Markovove reťazce: prechodová matica, stacionárne rozdelenie a PageRank
- Skryté Markovove modely: Viterbiho algoritmus a nepoctivé kasíno
- Bayesovské siete: prečo je tráva mokrá a čo z toho vyplýva pre postrekovač
- Kalmanov filter: ako z nepresných meraní odhadnúť, kde auto je a ako rýchlo ide
- Druhy strojového učenia: s učiteľom, bez učiteľa, s čiastočným učiteľom a ďalšie
- Prompty, kontext a RAG: ako modelu dať správne informácie
- Variačné autoenkodéry (VAE): nové obrázky zo spojitého latentného priestoru
- Generatívne adversariálne siete (GAN): falšovateľ proti detektívovi
- Difúzne modely: ako sa z čistého šumu stane obrázok
- Markovove rozhodovacie procesy: stavy, akcie, odmeny a Bellmanove rovnice
- Q-learning a DQN: učenie hodnoty akcií od tabuľky po neurónovú sieť
- Policy gradient a PPO: učenie priamo stratégie
- Ako funguje AI agent: jazykový model v slučke s nástrojmi
- Programovanie s AI agentmi: zadanie, testy a kontrola
- Vyhodnocovanie a bezpečnosť AI systémov: ako merať a ako strážiť
Celá osnova série Hotovo: 52 z 83 tém
- Že náhodná premenná je obyčajná funkcia, ktorá výsledku pokusu priradí číslo.
- Čo je distribučná funkcia, aké má vlastnosti a ako z nej vypočítať pravdepodobnosť intervalu.
- Čím sa líšia diskrétne a spojité premenné a ako sa distribučná funkcia odhadne z dát.
Čo sa hodí vedieť vopred: Čo je pravdepodobnosť: od hodu kockou ku Kolmogorovovým axiómam, Funkcie a zobrazenia: prečo je každý model v AI funkcia
V diele Čo je pravdepodobnosť sme pracovali s javmi: „padol súčet 7“, „padla šestka“. Lenže väčšinou nás nezaujíma, či niečo nastalo, ale koľko: koľko minút budeme čakať na autobus, koľko bude stáť akcia, akú teplotu ukáže teplomer. Na to má matematika náhodnú premennú — a funkciu, ktorá o nej povie úplne všetko.
1. Náhodná premenná
Definícia — pravdepodobnostný priestor
Nech Ω je neprázdna množina (priestor výsledkov náhodného pokusu, pozri diel Čo je pravdepodobnosť) a 2Ω množina všetkých jej podmnožín. Systém 𝓕 ⊆ 2Ω je σ-algebra práve vtedy, keď
- Ω ∈ 𝓕;
- ak A ∈ 𝓕, tak Ac = Ω ∖ A ∈ 𝓕;
- ak A1, A2, … ∈ 𝓕, tak ⋃i=1∞ Ai ∈ 𝓕.
Nech 𝓕 ⊆ 2Ω je σ-algebra; jej prvky nazývame javy. Funkcia P : 𝓕 → ℝ je pravdepodobnosť práve vtedy, keď spĺňa Kolmogorovove axiómy:
- P(A) ≥ 0 pre každé A ∈ 𝓕;
- P(Ω) = 1;
- pre každú postupnosť A1, A2, … ∈ 𝓕 s Ai ∩ Aj = ∅ pre všetky i ≠ j platí P(⋃i=1∞ Ai) = ∑i=1∞ P(Ai).
Pravdepodobnostný priestor je trojica
(Ω, 𝓕, P),
kde Ω je neprázdna množina, 𝓕 ⊆ 2Ω je σ-algebra a P : 𝓕 → ℝ je pravdepodobnosť. Z axióm vyplýva 0 ≤ P(A) ≤ 1 pre každé A ∈ 𝓕, takže P zobrazuje do [0, 1].
Výsledky, otázky, na ktoré smieme odpovedať pravdepodobnosťou, a samotná pravdepodobnosť. Pri dvoch kockách je 𝓕 jednoducho všetkých 236 podmnožín Ω. Pri nekonečných priestoroch (napríklad „náhodný bod úsečky“) sa všetkým podmnožinám pravdepodobnosť rozumne priradiť nedá, a preto sa 𝓕 vôbec zavádza: obsahuje len tie množiny, s ktorými sa dá počítať — a je uzavretá na „nie“, „alebo“ (a tým aj „a“).
Definícia — náhodná premenná
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor. Náhodná premenná je funkcia X : Ω → ℝ, ktorá spĺňa
∀x ∈ ℝ : {ω ∈ Ω : X(ω) ≤ x} ∈ 𝓕.
Funkcia X je teda náhodná premenná práve vtedy, keď pre každé reálne x je množina výsledkov, pri ktorých X vyjde najviac x, jav. Namiesto {ω ∈ Ω : X(ω) ≤ x} píšeme skrátene {X ≤ x} a namiesto P({X ≤ x}) len P(X ≤ x); obdobne {X = x}, {X ∈ B} atď.
Náhodná premenná nie je nič náhodné ani žiadna premenná — je to obyčajná funkcia, ktorá každému výsledku pokusu priradí číslo. Náhoda je vo výsledku ω; premenná ho len prevedie na číslo, s ktorým sa dá počítať. Podmienka v definícii zaručuje, že sa môžeme pýtať „aká je pravdepodobnosť, že X ≤ x?“.
Na jednom pokuse môže byť premenných viac. Hod dvoma kockami má 36 výsledkov; S(ω) je súčet oboch kociek, N(ω) počet šestiek. Výsledku (3, 6) priradí S číslo 9 a N číslo 1. Na obrázku je S ako funkcia: každé políčko vľavo nesie svoju hodnotu a stĺpec vpravo ukazuje, koľko políčok na túto hodnotu pripadne.
Príklad — jav {S ≤ 3} ako množina výsledkov
Zápis {S ≤ 3} je skratka za {ω ∈ Ω : S(ω) ≤ 3} — množinu výsledkov, ktoré funkcia S pošle na číslo najviac 3 (hovorí sa jej vzor intervalu (−∞, 3]).
{S ≤ 3} = {(1, 1), (1, 2), (2, 1)}, P(S ≤ 3) = 3/36 = 1/12
{S ≤ 1} = ∅, {S ≤ 12} = Ω
Pri dvoch kockách je javom každá množina výsledkov, takže podmienka z definície je splnená automaticky.
2. Rozdelenie náhodnej premennej
Definícia — rozdelenie náhodnej premennej
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor a X : Ω → ℝ náhodná premenná. Označme 𝓑 borelovskú σ-algebru na ℝ — najmenšiu σ-algebru podmnožín ℝ, ktorá obsahuje všetky intervaly (−∞, x], x ∈ ℝ (obsahuje potom aj všetky ostatné intervaly, jednobodové množiny a ich spočítateľné zjednotenia). Z definície náhodnej premennej vyplýva {ω ∈ Ω : X(ω) ∈ B} ∈ 𝓕 pre každé B ∈ 𝓑. Rozdelenie náhodnej premennej X je funkcia PX : 𝓑 → [0, 1],
PX(B) = P(X ∈ B) = P({ω ∈ Ω : X(ω) ∈ B}) pre B ∈ 𝓑.
PX je pravdepodobnosť na (ℝ, 𝓑), t. j. (ℝ, 𝓑, PX) je pravdepodobnostný priestor. Rozdelenie teda každej množine čísel B priradí pravdepodobnosť, že hodnota X padne do B.
Rozdelenie hovorí, ako sa celková pravdepodobnosť 1 rozdelí medzi možné hodnoty. Pri súčte dvoch kociek dostane hodnota 7 šesť políčok z 36, teda 6/36, hodnoty 2 a 12 len po jednom. Počet šestiek N má iné rozdelenie: 0 s pravdepodobnosťou 25/36, 1 s 10/36 a 2 s 1/36.
Hneď ako poznáme rozdelenie, na pôvodných výsledkoch ω už nezáleží. Dve úplne rozdielne hry môžu mať premenné s rovnakým rozdelením — a pre výpočty sú potom na nerozoznanie.
PX(B) = P({ω ∈ Ω : X(ω) ∈ B})
- PX(B)
- rozdelenie — pravdepodobnosť priamo na číslach; to, s čím chceme ďalej počítať
- P
- pôvodná pravdepodobnosť — vie merať len javy na Ω, nová pravdepodobnosť na ℝ si ju preto „požičia“
- {ω : X(ω) ∈ B}
- vzor množiny B — všetky výsledky, ktoré premenná pošle do B; tým sa otázka o číslach prevedie späť na jav, ktorý P vie zmerať
Definícia — pravdepodobnostná funkcia
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor a X diskrétna náhodná premenná (definícia v časti Diskrétne a spojité premenné), t. j. existuje najviac spočítateľná množina H ⊆ ℝ s P(X ∈ H) = 1. Pravdepodobnostná funkcia premennej X je funkcia pX : ℝ → [0, 1],
pX(x) = P(X = x) = P({ω ∈ Ω : X(ω) = x}).
Rozdelenie je ňou určené celé: pre každé B ∈ 𝓑 platí P(X ∈ B) = ∑x ∈ B ∩ H pX(x) — sčítame cez možné hodnoty, ktoré ležia v B (javy {X = x} sú nezlučiteľné a je ich najviac spočítateľne veľa, takže to vyplýva z aditivity).
Príklad — rozdelenie súčtu a počtu šestiek
Súčet s = a + b dajú dvojice (a, s − a) s oboma číslami medzi 1 a 6. Pre s ≤ 7 ich je s − 1, pre s ≥ 7 ich je 13 − s; dokopy
pS(s) = 6 − |s − 7|/36 pre s = 2, 3, …, 12
pS(7) = 6/36, pS(4) = pS(10) = 3/36, ∑ = 1 + 2 + 3 + 4 + 5 + 6 + 5 + 4 + 3 + 2 + 1/36 = 36/36 = 1
Počet šestiek N: žiadna šestka znamená 5 možností na každej kocke, 5 · 5 = 25; práve jedna šestka 2 · 5 = 10 (šestka na prvej alebo na druhej, na tej druhej jedno z 5 iných čísel); dve šestky 1. Kontrola: 25 + 10 + 1 = 36.
Pre konečný priestor výsledkov sa rozdelenie dá spočítať prostým vymenovaním:
def rozdeleni(X, omega):
# omega: zoznam rovnako pravdepodobných výsledkov, X: funkcia výsledok → číslo
pocty = {}
for w in omega:
pocty[X(w)] = pocty.get(X(w), 0) + 1
return {x: k / len(omega) for x, k in sorted(pocty.items())}
3. Distribučná funkcia
Definícia — distribučná funkcia
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor a X : Ω → ℝ náhodná premenná. Distribučná funkcia premennej X je funkcia FX : ℝ → [0, 1],
FX(x) = P(X ≤ x) = P({ω ∈ Ω : X(ω) ≤ x}) pre x ∈ ℝ.
Pravdepodobnosť na pravej strane existuje, pretože podľa definície náhodnej premennej je {X ≤ x} ∈ 𝓕. Hodnota FX(x) je teda pravdepodobnosť, že X vyjde najviac x. Kde je jasné, o ktorú premennú ide, píšeme len F.
Distribučná funkcia v bode x odpovie: „s akou pravdepodobnosťou vyjde najviac x?“ Pre súčet dvoch kociek je F(7) = 21/36 ≈ 0,583 — súčet 7 a menej dáva 1 + 2 + 3 + 4 + 5 + 6 = 21 políčok.
Pri súčte kociek je distribučná funkcia schodisko. Medzi hodnotami sa nič nemení — F(7,5) je stále 21/36, pretože súčet 7,5 padnúť nemôže. V každej možnej hodnote funkcia poskočí presne o pravdepodobnosť tejto hodnoty: pri sedmičke o 6/36. Plný bod ukazuje, koľko funkcia v mieste skoku je; prázdny krúžok, kam sa blížila zľava.
Pri diskrétnej premennej sa distribučná funkcia sčíta z pravdepodobnostnej funkcie:
FX(x) = ∑xi ∈ (−∞, x] pX(xi)
- FX(x)
- pravdepodobnosť, že vyjde najviac x
- ∑xi ∈ (−∞, x]
- prejdeme všetky možné hodnoty xi ≤ x, od najmenšej až po x vrátane — javy {X = xi} sa navzájom vylučujú, takže sa ich pravdepodobnosti smú sčítať; uzavretá zátvorka „]“ (teda ≤, nie <) je dôvod, prečo schod v xi už patrí k hodnote F(xi)
- pX(xi)
- pravdepodobnosť jednej hodnoty — výška schodu v bode xi
F(7) = p(2) + p(3) + … + p(7) = 1 + 2 + 3 + 4 + 5 + 6/36 = 21/36 ≈ 0,583
F(2,5) = p(2) = 1/36, F(1,9) = 0 (prázdny súčet), F(12) = 36/36 = 1
Veta — distribučná funkcia určuje rozdelenie
Nech X a Y sú náhodné premenné (môžu byť definované aj na rôznych pravdepodobnostných priestoroch) s rozdeleniami PX, PY a distribučnými funkciami FX, FY. Potom
(∀B ∈ 𝓑 : PX(B) = PY(B)) ⇔ (∀x ∈ ℝ : FX(x) = FY(x)).
Dve náhodné premenné teda majú rovnaké rozdelenie práve vtedy, keď majú rovnakú distribučnú funkciu.
Jedna funkcia s jednou premennou nesie úplne všetko, čo sa o rozdelení dá vedieť. Preto sa jej hovorí „distribučná“ — opisuje, ako je pravdepodobnosť rozdistribuovaná po číselnej osi.
4. Vlastnosti distribučnej funkcie
Veta — vlastnosti distribučnej funkcie
Nech X je náhodná premenná a F = FX : ℝ → [0, 1] jej distribučná funkcia. Potom
- F je neklesajúca: ∀x, y ∈ ℝ : x ≤ y ⇒ F(x) ≤ F(y);
- limx→−∞ F(x) = 0 a limx→+∞ F(x) = 1;
- F je sprava spojitá: ∀x ∈ ℝ : limy→x⁺ F(y) = F(x).
A naopak: ak je G : ℝ → ℝ ľubovoľná funkcia s vlastnosťami 1–3, tak existuje pravdepodobnostný priestor a na ňom náhodná premenná X taká, že FX = G.
Schodisko ide len nahor (hodnôt „najviac x“ pribúda, neubúda), začína na nule a končí na jednotke (vľavo nie je nič, vpravo je všetko). Spojitosť sprava je ten plný bod hore na schode: F(7) už sedmičku zahŕňa, pretože v definícii je ≤.
Veta — pravdepodobnosť intervalu
Nech X je náhodná premenná s distribučnou funkciou F a a, b ∈ ℝ, a < b. Potom
P(a < X ≤ b) = F(b) − F(a),
kde {a < X ≤ b} = {ω ∈ Ω : a < X(ω) ≤ b}. Dôkaz je pod rozborom vzorca nižšie.
Od „najviac b“ odčítate „najviac a“ a zostane „viac ako a, ale najviac b“. Súčet 5, 6 alebo 7: F(7) − F(4) = 21/36 − 6/36 = 15/36 ≈ 0,417 (farby podľa vzorca nižšie) — na obrázku oranžová úsečka vpravo.
P(a < X ≤ b) = F(b) − F(a)
- P(a < X ≤ b)
- pravdepodobnosť intervalu — zľava otvoreného, sprava uzavretého; pri diskrétnej premennej na tom záleží
- F(b)
- všetko až po b vrátane — horná hranica sa do intervalu počíta, preto ≤
- F(a)
- odčítame všetko až po a vrátane — preto je dolná hranica ostrá (<): hodnota a sama v intervale nie je
Veta — pravdepodobnosť jednej hodnoty je výška skoku
Nech X je náhodná premenná s distribučnou funkciou F a x ∈ ℝ. Označme F(x⁻) = limy→x⁻ F(y) limitu zľava (existuje, pretože F je neklesajúca a ohraničená). Potom F(x⁻) = P(X < x) a
P(X = x) = F(x) − F(x⁻).
Dôkaz. Pre y < x je F(x) − F(y) = P(y < X ≤ x); keď y rastie k x, intervaly sa zmršťujú na jediný bod {x} a ich pravdepodobnosti klesajú k P(X = x) (spojitosť pravdepodobnosti, vyplýva zo spočítateľnej aditivity). ∎
P(S = 7) = F(7) − F(7⁻) = 21/36 − 15/36 = 6/36 (F(7⁻) = F(6) = 15/36)
P(4 ≤ S ≤ 7) = F(7) − F(4⁻) = 21/36 − 3/36 = 18/36 = 0,5 — o p(4) = 3/36 viac než P(4 < S ≤ 7)
5. Diskrétne a spojité premenné
Definícia — diskrétna náhodná premenná
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor a X : Ω → ℝ náhodná premenná. X je diskrétna práve vtedy, keď existuje najviac spočítateľná (konečná alebo spočítateľná) množina H = {x1, x2, …} ⊆ ℝ navzájom rôznych čísel taká, že
P(X ∈ H) = ∑i P(X = xi) = 1.
Diskrétna premenná teda s pravdepodobnosťou 1 nadobúda len hodnoty z nejakého konečného alebo spočítateľného zoznamu.
Hodnoty sa dajú spočítať na prstoch (hoci aj donekonečna): súčet kociek, počet e-mailov za hodinu, ktoré slovo napíše jazykový model. Distribučná funkcia je schodisko.
Definícia — spojitá náhodná premenná
Nech X je náhodná premenná s distribučnou funkciou FX : ℝ → [0, 1]. X je spojitá práve vtedy, keď je FX spojitá v každom bode, t. j.
∀x ∈ ℝ : limy→x FX(y) = FX(x).
Podľa vety o výške skoku je potom P(X = x) = FX(x) − FX(x⁻) = 0 pre každé x ∈ ℝ. (Niektoré učebnice hovoria „spojitá“ len premennej, ktorá má hustotu — tá je témou budúceho dielu; taká premenná je spojitá aj v tomto zmysle.)
Hodnoty vyplnia celý interval: čas, dĺžka, teplota. Distribučná funkcia nemá žiadny skok — a skok v bode x by bol práve P(X = x). Preto má každá jednotlivá hodnota pravdepodobnosť nula, hoci nastať môže.
Príklad: autobus chodí každých 10 minút a vy prídete na zastávku v náhodnej chvíli. Doba čakania X je spojitá a rovnako pravdepodobná kdekoľvek medzi 0 a 10 minútami, takže F(x) = x/10 pre 0 ≤ x ≤ 10. To, že budete čakať najviac 3 minúty, má pravdepodobnosť F(3) = 0,3; že budete čakať 3 až 5 minút, F(5) − F(3) = 0,2. Ale to, že budete čakať presne 3 minúty — ani o miliardtinu sekundy dlhšie — má pravdepodobnosť 0. Ako s tým počítať a čo ukazuje funkcia hustoty, je téma budúceho dielu.
Definícia — rovnomerné rozdelenie na intervale
Nech a, b ∈ ℝ, a < b, a X je náhodná premenná s distribučnou funkciou F. X má rovnomerné rozdelenie na intervale [a, b] práve vtedy, keď pre každé x ∈ ℝ
F(x) = 0 pre x < a, F(x) = x − a/b − a pre a ≤ x ≤ b, F(x) = 1 pre x > b.
Pravdepodobnosť, že X padne do podintervalu [a, b], je teda jeho dĺžka delená dĺžkou [a, b].
Pravdepodobnosť úseku je úmerná len jeho dĺžke, nie tomu, kde leží: (x − a) je dĺžka úseku od začiatku, (b − a) dĺžka celého intervalu. Autobus je prípad a = 0, b = 10.
Príklad — prečo je P(X = 3) presne nula
Jav {X = 3} leží v každom intervale (3 − ε, 3], nech je ε > 0 akokoľvek malé. Pravdepodobnosť podmnožiny nemôže byť väčšia:
0 ≤ P(X = 3) ≤ F(3) − F(3 − ε) = 0,3 − 3 − ε/10 = ε/10
ε = 0,1 → najviac 0,01; ε = 0,001 → najviac 0,000 1; … teda P(X = 3) = 0
Jediné číslo, ktoré je ≥ 0 a zároveň menšie než každé kladné ε/10, je nula.
6. Empirická distribučná funkcia
Definícia — empirická distribučná funkcia
Nech n ∈ ℕ, n ≥ 1, a x1, …, xn ∈ ℝ sú namerané hodnoty (môžu sa opakovať). Pre konečnú množinu M označuje |M| počet jej prvkov. Empirická distribučná funkcia týchto hodnôt je funkcia F̂n : ℝ → [0, 1],
F̂n(x) = |{i ∈ {1, …, n} : xi ≤ x}|/n pre x ∈ ℝ.
F̂n(x) je teda podiel nameraných hodnôt, ktoré sú najviac x.
Skutočnú distribučnú funkciu často nepoznáme — máme len dáta. Empirická distribučná funkcia je jej odhad z dát: aký podiel nameraných hodnôt je najviac x. Každé meranie pridá schod výšky 1/n.
To isté sa zapisuje pomocou indikátora 𝟙[podmienka], ktorý je 1, keď podmienka platí, a 0, keď nie — počítanie sa tak zmení na sčítanie:
F̂n(x) = 1/n · ∑i=1n 𝟙[xi ≤ x]
- F̂n(x)
- odhad distribučnej funkcie z n meraní — strieška označuje odhad, nie skutočnú F
- 1/n
- každé meranie dostane rovnakú váhu; delenie n urobí z počtu podiel, aby odhad išiel od 0 do 1 ako skutočná F
- ∑i=1n
- prejdeme všetky merania — žiadne nevynecháme ani nezdvojíme
- 𝟙[xi ≤ x]
- hlasovanie jedného merania: 1, ak padlo „najviac x“, inak 0 — rovnaká otázka, akú kladie F(x) = P(X ≤ x)
Nasimulovali sme 10, 100 a 1 000 čakaní na autobus. Čiarkovaná priamka je skutočná distribučná funkcia x/10, farebné schodisko empirická funkcia z dát:
Z desiatich meraní sa odhad od skutočnosti líši až o 0,268, zo sto o 0,085 a z tisíc už len o 0,025. To, že sa empirická distribučná funkcia s pribúdajúcimi dátami primkne k skutočnej, hovorí Glivenkova–Cantelliho veta — matematická záruka, že sa z dát dá rozdelenie naučiť.
Príklad — desať čakaní a najväčšia odchýlka
Simulácia dala (zoradené, zaokrúhlené na stotiny minúty) 0,03; 2,81; 4,26; 5,27; 6,13; 6,27; 7,21; 9,68; 9,81; 9,95.
F̂10(5) = 1/10 · (1 + 1 + 1 + 0 + … + 0) = 0,3, skutočne F(5) = 0,5 → rozdiel 0,2
tesne pred 9,68: F̂10 = 1/10 · 7 = 0,7, F(9,68) ≈ 0,968 → rozdiel ≈ 0,268
(farby podľa vzorca vyššie; v prvom riadku je desať sčítancov 𝟙[xi ≤ 5])
Medzi 7,21 a 9,68 nepadlo žiadne meranie, schodisko tam stojí na 0,7, zatiaľ čo skutočná F stúpa ďalej — preto je odchýlka najväčšia práve tam.
Najväčšia odchýlka sa nemusí hľadať v každom bode osi. Schodisko sa mení len v nameraných hodnotách a F medzi nimi rastie, takže stačí v každom zoradenom meraní porovnať F so schodom tesne nad ním aj pod ním:
def nejvetsi_odchylka(data, F):
x = sorted(data)
n = len(x)
d = 0
for i in range(n): # i = 0, 1, …, n − 1
d = max(d, (i + 1) / n - F(x[i]), # schod v x[i]: F̂ = (i + 1)/n
F(x[i]) - i / n) # tesne pod x[i]: F̂ = i/n
return d
Veta — Glivenkova–Cantelliho a ako rýchlo odchýlka klesá
Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, F distribučná funkcia a X1, X2, … : Ω → ℝ náhodné premenné, ktoré
- majú všetky distribučnú funkciu F: FXi = F pre každé i ≥ 1;
- sú nezávislé: pre každé n ≥ 1 a všetky x1, …, xn ∈ ℝ platí P(X1 ≤ x1, …, Xn ≤ xn) = F(x1) · … · F(xn) (porov. nezávislé javy v diele Podmienená pravdepodobnosť).
Pre n ≥ 1 a ω ∈ Ω nech F̂n je empirická distribučná funkcia hodnôt X1(ω), …, Xn(ω) a
Dn = supx ∈ ℝ |F̂n(x) − F(x)|.
Potom P(limn→∞ Dn = 0) = 1, t. j. s pravdepodobnosťou 1 platí Dn → 0 pre n → ∞.
Ako rýchlo, hovorí nerovnosť Dvoreckého, Kiefera a Wolfowitza (1956) s konštantou 2, ktorú dokázal P. Massart (1990): za rovnakých predpokladov pre každé n ≥ 1 a každé ε > 0 platí
P(Dn > ε) ≤ 2 exp(−2nε2).
Ak položíme pravú stranu rovnú 5 %, vyjde ε = √ln 2/0,05/2n: s pravdepodobnosťou aspoň 95 % je odchýlka pod 0,429 pre 10 meraní, pod 0,136 pre 100 a pod 0,043 pre 1 000. Naše 0,268, 0,085 a 0,025 sa do toho zmestili. Hranica klesá ako 1/√n — desaťkrát viac dát zmenší chybu len asi trikrát. Aj v našej simulácii je √n · odchýlka zakaždým zhruba rovnaká: 0,85, 0,85 a 0,80.
7. Náhodné premenné v umelej inteligencii
- Dáta sú náhodné premenné. Vek zákazníka, cena bytu, jas pixelu — model strojového učenia predpokladá, že trénovacie dáta sú hodnoty náhodných premenných s nejakým neznámym rozdelením, a snaží sa z nich toto rozdelenie (alebo jeho časť) odhadnúť.
- Generovanie náhodných čísel z ľubovoľného rozdelenia. Počítač vie hlavne rovnomerné číslo U medzi 0 a 1. Vezmeme najmenšie x, pre ktoré F(x) ≥ U, a dostaneme hodnotu s rozdelením F. Pre U = 0,6 a súčet kociek: F(7) ≈ 0,583 je ešte málo, F(8) = 26/36 ≈ 0,722 už stačí — padne 8. Takto vyberá aj jazykový model ďalšie slovo.
- Kvantily a medián. Medián je hodnota, kde F prvý raz dosiahne 0,5: pri súčte kociek je to 7. Keď sa o serveri píše „95 % požiadaviek odpovie do 200 ms“, hovorí sa tým F(200 ms) ≥ 0,95.
- Generatívne modely (difúzne modely, VAE) začínajú z náhodného šumu — vektora náhodných premenných so známym rozdelením — a učia sa ho previesť na obrázok alebo text.
Kvantily a generovanie z rozdelenia
Definícia — kvantilová funkcia
Nech F : ℝ → [0, 1] je distribučná funkcia (nejakej náhodnej premennej). Kvantilová funkcia (zovšeobecnená inverzia F) je funkcia F−1 : (0, 1) → ℝ,
F−1(u) = min {x ∈ ℝ : F(x) ≥ u} pre u ∈ (0, 1).
Minimum existuje: množina {x ∈ ℝ : F(x) ≥ u} je neprázdna (pretože F(x) → 1 > u pre x → +∞), zdola ohraničená (pretože F(x) → 0 < u pre x → −∞) a vďaka monotónnosti a spojitosti F sprava je to interval tvaru [c, ∞), ktorý svoje infimum c obsahuje.
Pre u ∈ (0, 1) je hodnota F−1(u) u-kvantil rozdelenia s distribučnou funkciou F; F−1(0,5) je medián. Kvantil je teda najmenšie číslo, pre ktoré je pravdepodobnosť „najviac toľko“ aspoň u.
Distribučná funkcia odpovedá na „aká je šanca, že vyjde najviac x?“, kvantilová funkcia na opačnú otázku: „kam až musím ísť, aby som mal šancu aspoň u?“. Kde je F rastúca a spojitá, je to obyčajná inverzná funkcia; na schodisku sa berie prvý schod, ktorý u dosiahne. Medián súčtu: F(6) = 15/36 ≈ 0,417 nestačí, F(7) ≈ 0,583 už áno — medián je 7.
Veta — metóda inverznej transformácie
Nech F : ℝ → [0, 1] je distribučná funkcia, F−1 : (0, 1) → ℝ jej kvantilová funkcia a U : Ω → (0, 1) náhodná premenná s rovnomerným rozdelením na [0, 1] (hodnoty 0 a 1 majú pravdepodobnosť 0, takže ich smieme vynechať). Potom X = F−1 ∘ U, t. j. X(ω) = F−1(U(ω)), je náhodná premenná a
FX(x) = F(x) pre každé x ∈ ℝ.
Dôkaz. Z definície minima a monotónnosti F vyplýva F−1(u) ≤ x ⇔ u ≤ F(x). Preto P(X ≤ x) = P(U ≤ F(x)) = F(x), pretože pri rovnomernom U je P(U ≤ t) = t. ∎
def vzorek(hodnoty, F, u):
# hodnoty vzostupne, F(x) = P(X ≤ x), u = rovnomerné náhodné číslo z (0, 1)
for x in hodnoty:
if F(x) >= u: # prvý schod, ktorý u dosiahne
return x
súčet kociek, u = 0,6: F(7) = 21/36 ≈ 0,583 < 0,6, F(8) = 26/36 ≈ 0,722 ≥ 0,6 → 8
čakanie na autobus: u = F(x) = x/10 ⇒ F−1(u) = 10u, u = 0,6 → 6 minút; medián je 5 minút
8. Zhrnutie
- Náhodná premenná je funkcia, ktorá výsledku pokusu priradí číslo.
- Rozdelenie hovorí, ako sa pravdepodobnosť rozdelí medzi hodnoty; distribučná funkcia F(x) = P(X ≤ x) ho určuje celé.
- F je neklesajúca, ide od 0 do 1, je sprava spojitá a P(a < X ≤ b) = F(b) − F(a).
- Diskrétna premenná má schodovitú F; spojitá má F bez skokov a každá jednotlivá hodnota má pravdepodobnosť 0.
- Empirická distribučná funkcia odhaduje F z dát a s rastúcim počtom meraní sa k nej približuje.
Máte na to iný názor? Napíšte na support@coden-app.com.