Štatistika a odhady parametrov: maximálna vierohodnosť, MAP a intervaly spoľahlivosti

Výber, odhad, nestrannosť a prečo výberový rozptyl delí n − 1, metóda maximálnej vierohodnosti, bayesovský odhad MAP a intervaly spoľahlivosti — a prečo je trénovanie neurónovej siete odhad parametrov.

14 minút Matěj Žalmánek 2026-10-15

Séria Základy AI Diel 19 z 52

Celá osnova série Hotovo: 52 z 83 tém

Čo si odnesiete

Čo je odhad parametra, kedy je nestranný a konzistentný a prečo výberový rozptyl delí n − 1.
Ako funguje metóda maximálnej vierohodnosti a bayesovský odhad MAP — a prečo je to trénovanie a regularizácia.
Čo presne znamená 95 % interval spoľahlivosti a aký je častý omyl pri jeho čítaní.

Čo sa hodí vedieť vopred: Zákon veľkých čísel a centrálna limitná veta: prečo sa priemery správajú tak predvídateľne

Teória pravdepodobnosti ide od modelu k dátam: keď viete, že minca je férová, vypočítate, čo padne. Štatistika ide opačne — od dát k modelu: padlo 6 znakov z 20, aká je tá minca? A presne toto robí strojové učenie. Model má parametre, dáta sú to, čo padlo, a trénovanie je odhad parametrov. Tento diel ukáže, čo je dobrý odhad, odkiaľ sa berie metóda maximálnej vierohodnosti, na ktorej stojí takmer každá stratová funkcia, a ako poctivo povedať, nakoľko si odhadom môžeme byť istí.

Nadväzuje na diel Zákon veľkých čísel a centrálna limitná veta.

1. Výber, štatistika, odhad

Definícia — náhodný výber

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, Θ ⊆ ℝ^d množina možných hodnôt parametra (parametrický priestor) a pre každé θ ∈ Θ je f(·; θ) hustota alebo pravdepodobnostná funkcia nejakého rozdelenia na ℝ. Nech n ∈ ℕ, n ≥ 1, a θ ∈ Θ. Náhodný výber rozsahu n z rozdelenia f(·; θ) je n-tica náhodných premenných X₁, …, X_n : Ω → ℝ, pre ktorú platí

X₁, …, X_n sú nezávislé: pre všetky x₁, …, x_n ∈ ℝ je P(X₁ ≤ x₁, …, X_n ≤ x_n) = ∏_i=1ⁿ P(X_i ≤ x_i);
každá z premenných X_i, i = 1, …, n, má rozdelenie s hustotou (pravdepodobnostnou funkciou) f(·; θ).

Hodnota θ je pevná, ale neznáma. Čísla x_i = X_i(ω), i = 1, …, n, namerané pri konkrétnom výsledku ω ∈ Ω, nazývame realizácia výberu (namerané dáta).

Laicky povedané

Dáta, ktoré máme k dispozícii, chápeme ako náhodne vytiahnuté z nejakého rozdelenia. Typ rozdelenia si zvolíme (napríklad Bernoulliho — spam áno/nie), ale jeho parameter (aká časť pošty je spam) nepoznáme a chceme ho z dát zistiť.

Definícia — štatistika a odhad

Nech X₁, …, X_n je náhodný výber z rozdelenia f(·; θ) s neznámym parametrom θ ∈ Θ ⊆ ℝ^d. Štatistika je náhodná premenná (pre k > 1 náhodný vektor)

T = t(X₁, …, X_n),

kde t : ℝⁿ → ℝ^k je funkcia, ktorej predpis nezávisí od θ (a je merateľná, aby T bola náhodná premenná). Odhad parametra θ je štatistika θ̂ = t(X₁, …, X_n) s hodnotami v ℝ^d, ktorú používame ako približnú hodnotu θ. Číslo t(x₁, …, x_n) vypočítané z realizácie sa nazýva odhadnutá hodnota (často aj len odhad).

Štatistika je teda čokoľvek, čo sa dá vypočítať zo samotných dát, bez znalosti θ.

Laicky povedané

Štatistika je akýkoľvek výpočet z dát: priemer, maximum, medián, podiel spamu. Odhad je štatistika s úlohou — trafiť neznámy parameter. Keďže dáta sú náhodné, je náhodný aj odhad: s inými dátami by vyšiel inak. Preto sa pýtame, ako sa odhady správajú v priemere a s pribúdajúcimi dátami.

Definícia — výberový priemer

Nech X₁, …, X_n (n ≥ 1) je náhodný výber. Výberový priemer je štatistika

X̄ = 1/n ∑_i=1ⁿ X_i.

Pre realizáciu x₁, …, x_n píšeme x̄ = 1/n ∑_i=1ⁿ x_i.

Ak má rozdelenie konečnú strednú hodnotu μ = E[X₁] a rozptyl σ² = var X₁, je E[X̄] = μ a var X̄ = σ²/n (diel o limitných vetách): rozptyl súčtu nezávislých premenných je súčet rozptylov, teda nσ², a vynásobenie konštantou 1/n ho zmenší n²-krát.

Príklad — priemer piatich čakaní na e-mail

Namerané čakania (minúty): 1,2; 3,5; 0,4; 2,1; 2,8. Súčet je 10, takže x̄ = 10/5 = 2 minúty. S týmito dátami počítame aj ďalej.

2. Dobrý odhad: nestrannosť a konzistentnosť

Definícia — nestranný odhad

Nech X₁, …, X_n je náhodný výber z rozdelenia f(·; θ), θ ∈ Θ ⊆ ℝ, a θ̂ je odhad θ. Symboly E_θ, var_θ a P_θ označujú strednú hodnotu, rozptyl a pravdepodobnosť vypočítané za predpokladu, že skutočná hodnota parametra je θ. Nech E_θ[θ̂] existuje pre každé θ ∈ Θ. Vychýlenie odhadu θ̂ je funkcia b : Θ → ℝ,

b(θ) = E_θ[θ̂] − θ.

Odhad θ̂ je nestranný práve vtedy, keď b(θ) = 0 pre všetky θ, t. j.

∀θ ∈ Θ : E_θ[θ̂] = θ.

Nestranný odhad teda v priemere cez všetky možné dáta mieri presne na θ, nech je skutočné θ akékoľvek. Kde nehrozí nedorozumenie, index θ ďalej vynechávame.

Laicky povedané

Nestranný odhad sa v jednotlivých pokusoch mýli na obe strany, ale v priemere mieri presne. Výberový priemer je nestranný odhad strednej hodnoty — to sme videli v minulom diele.

Definícia — konzistentný odhad

Nech X₁, X₂, … sú nezávislé premenné s rozdelením f(·; θ), θ ∈ Θ ⊆ ℝ, a pre každé n ≥ 1 je θ̂_n odhad θ z výberu X₁, …, X_n. Postupnosť odhadov (θ̂_n)_n≥1 je konzistentná práve vtedy, keď

∀θ ∈ Θ ∀ε > 0 : lim_n→∞ P_θ(|θ̂_n − θ| ≥ ε) = 0,

t. j. θ̂_n konverguje k θ v pravdepodobnosti. Pravdepodobnosť, že sa odhad od skutočnej hodnoty líši aspoň o ε, teda s rastúcim n klesá k nule, nech je ε akokoľvek malé.

Laicky povedané

S dostatočne veľkým množstvom dát sa odhad trafí ľubovoľne presne. Výberový priemer je konzistentný — to je presne zákon veľkých čísel.

Nestrannosť nie je samozrejmosť. Rozptyl sa ponúka odhadnúť ako priemernú štvorcovú odchýlku od priemeru, 1/n ∑ (X_i − X̄)². Lenže tento odhad rozptyl sústavne podhodnocuje: odchýlky meriame od X̄, ktoré sa dátam prispôsobilo, namiesto od skutočného μ.

Veta — výberový rozptyl

Nech X₁, …, X_n (n ≥ 2) je náhodný výber z rozdelenia so strednou hodnotou μ a konečným rozptylom σ² a X̄ je jeho výberový priemer. Potom

E[1/n ∑_i=1ⁿ (X_i − X̄)²] = n − 1/n σ².

Preto výberový rozptyl

s² = 1/n − 1 ∑_i=1ⁿ (X_i − X̄)²

spĺňa E[s²] = σ², t. j. je nestranným odhadom σ².

Dôkaz. Rozpíšeme X_i − X̄ = (X_i − μ) − (X̄ − μ). Keďže ∑ (X_i − μ) = n(X̄ − μ), vyjde po roznásobení

∑ (X_i − X̄)² = ∑ (X_i − μ)² − 2(X̄ − μ) ∑ (X_i − μ) + n(X̄ − μ)² = ∑ (X_i − μ)² − n(X̄ − μ)².

Stredná hodnota prvého súčtu je nσ², pretože E[(X_i − μ)²] = var X_i = σ². Keďže E[X̄] = μ, je E[(X̄ − μ)²] = var X̄ = σ²/n, takže stredná hodnota druhého člena je n · σ²/n = σ². Spolu E[∑ (X_i − X̄)²] = (n − 1)σ²; vydelením n dostaneme prvú rovnosť, vydelením n − 1 rovnosť E[s²] = σ². ∎

Laicky povedané

Deliť treba n − 1, nie n (Besselova korekcia). Jeden „stupeň voľnosti“ spotrebujeme na odhad priemeru. Pri malých výberoch je rozdiel badateľný — pri piatich hodnotách je delenie piatimi o pätinu vedľa —, pri milióne hodnôt nehrá rolu.

s² = 1/n − 1 · ∑_i=1ⁿ (X_i − X̄)²

1/n − 1: z celkového súčtu urobí priemer — ale delí o jednotku menším číslom, pretože odchýlky od X̄ vychádzajú sústavne menšie než od μ; práve toto vychýlenie vyrovná
∑_i=1ⁿ: každé pozorovanie prispeje svojou odchýlkou; rozptyl je vlastnosť celých dát, nie jednej hodnoty
X_i − X̄: ako ďaleko je pozorovanie od stredu; μ nepoznáme, tak meriame od jeho odhadu X̄
²: štvorec — aby sa odchýlky nahor a nadol neodčítali (ich súčet je vždy 0) a veľké odchýlky vážili viac

Priemerná štvorcová odchýlka od priemeru, opravená o to, že priemer sme odhadli z tých istých dát.

Príklad — výberový rozptyl piatich čakaní

Priemer je 2. Odchýlky x_i − x̄: −0,8; 1,5; −1,6; 0,1; 0,8 (súčet 0). Ich štvorce sčítané: 0,64 + 2,25 + 2,56 + 0,01 + 0,64 = 6,10 (farby podľa vzorca vyššie).

s² = 1/4 · 6,10 = 1,525 min², kým delenie n dá 6,10/5 = 1,22 min². Smerodajná odchýlka s = √1,525 ≈ 1,23 minúty.

Overme si to: 2 000-krát sme hodili piatimi kockami a zakaždým vypočítali oba odhady rozptylu. Skutočný rozptyl kocky je 35/12 ≈ 2,92. Priemer odhadov s delením n skončil na 2,38 (mieri na 4/5 · 2,92 ≈ 2,33), s delením n − 1 na 2,97:

Priemer odhadov rozptylu cez 2 000 výberov po piatich hodoch delenie n: 2,38 delenie n − 1: 2,97

Vychýlenie odhadu s delením n je teda E[θ̂] − θ = (4/5 − 1) · 35/12 = −7/12 ≈ −0,58 oka². Nestrannosť však nie je všetko: odhad môže mieriť v priemere presne, a napriek tomu veľmi kolísať. Oboje spája jedna miera.

Veta — rozklad strednej kvadratickej chyby

Nech θ ∈ ℝ je skutočná hodnota parametra a θ̂ jeho odhad s konečným rozptylom var θ̂. Stredná kvadratická chyba odhadu θ̂ je číslo

MSE(θ̂) = E[(θ̂ − θ)²].

Potom platí

MSE(θ̂) = (E[θ̂] − θ)² + var θ̂,

t. j. stredná kvadratická chyba je súčet štvorca vychýlenia a rozptylu odhadu.

Dôkaz. Označme m = E[θ̂]. Potom θ̂ − θ = (θ̂ − m) + (m − θ), kde m − θ je konštanta, a (θ̂ − θ)² = (θ̂ − m)² + 2(m − θ)(θ̂ − m) + (m − θ)². Z linearity strednej hodnoty je zmiešaný člen 2(m − θ) · E[θ̂ − m] = 0, pretože E[θ̂ − m] = m − m = 0. Zostane E[(θ̂ − m)²] + (m − θ)² = var θ̂ + (E[θ̂] − θ)². ∎

E[(θ̂ − θ)²] = (E[θ̂] − θ)² + var θ̂

E[(θ̂ − θ)²]: ako ďaleko je odhad od pravdy v priemere cez všetky možné dáta — to, čo nás nakoniec zaujíma
(E[θ̂] − θ)²: vychýlenie na druhú: sústavná chyba, ktorú neodstráni žiadne opakovanie — mierime vedľa
var θ̂: rozptyl odhadu: ako veľmi sa odhad mení s náhodou v dátach — mierime správne, ale trasieme sa

Celková chyba = sústavná chyba + rozkolísanosť. Znížiť jedno za cenu druhého sa môže oplatiť — to je dilema vychýlenia a rozptylu.

3. Metóda maximálnej vierohodnosti

Definícia — vierohodnostná funkcia

Nech Θ ⊆ ℝ^d je parametrický priestor, pre každé θ ∈ Θ je f(·; θ) hustota alebo pravdepodobnostná funkcia a x₁, …, x_n ∈ ℝ (n ≥ 1) sú namerané dáta — realizácia náhodného výberu z rozdelenia f(·; θ). Vierohodnostná funkcia je funkcia L : Θ → [0, ∞),

L(θ) = ∏_i=1ⁿ f(x_i; θ).

Pre θ, v ktorých je L(θ) > 0, definujeme log-vierohodnosť

ℓ(θ) = ln L(θ) = ∑_i=1ⁿ ln f(x_i; θ).

Dáta sú pevné a premenná je θ. Pri diskrétnom rozdelení je L(θ) pravdepodobnosť, že výber nadobudne práve hodnoty x₁, …, x_n, ak sa parameter rovná θ; súčin je tam vďaka nezávislosti.

Laicky povedané

Dáta sú pevné, meníme parameter a pýtame sa: „keby bol parameter θ, aké pravdepodobné by boli práve tieto dáta?“ Pri nezávislých pozorovaniach sa pravdepodobnosti násobia. Pozor, L(θ) nie je pravdepodobnosť parametra — cez θ nemusí dávať súčet 1.

Definícia — odhad maximálnej vierohodnosti

Nech L : Θ → [0, ∞) je vierohodnostná funkcia dát x₁, …, x_n. Odhad maximálnej vierohodnosti (MLE) je hodnota θ̂ ∈ Θ, pre ktorú

∀θ ∈ Θ : L(θ̂) ≥ L(θ), t. j. θ̂ = argmax_{θ ∈ Θ} L(θ).

Maximum nemusí existovať a nemusí byť jediné; definícia predpokladá, že existuje. Keďže ln je na (0, ∞) rastúci, platí pre L(θ̂), L(θ) > 0 ekvivalencia L(θ̂) ≥ L(θ) ⇔ ℓ(θ̂) ≥ ℓ(θ), takže

θ̂ = argmax_{θ ∈ Θ} ℓ(θ) = argmax_{θ ∈ Θ} ∑_i=1ⁿ ln f(x_i; θ).

Ak chápeme θ̂ ako funkciu dát, je to odhad v zmysle definície vyššie: parameter, pri ktorom sú namerané dáta najvierohodnejšie.

Laicky povedané

Vyberte parameter, s ktorým sú namerané dáta najpravdepodobnejšie. Logaritmus premení súčin na súčet — s tým sa lepšie počíta a počítaču nepretečú malé čísla.

Z 20 e-mailov bolo 6 spam. Pre podiel spamu p je L(p) = p⁶(1 − p)¹⁴. Derivácia logaritmu 6/p − 14/1 − p je nulová pre p̂ = 6/20 = 0,3 — presne podiel spamu v dátach (farby podľa vzorca nižšie). Všeobecne pre k úspechov z n vyjde p̂ = k/n. So 60 spamami z 200 je odhad rovnaký, ale vrchol je oveľa užší: dáta o parametri hovoria viac.

ℓ(p) = k · ln p + (n − k) · ln(1 − p)

ℓ(p): log-vierohodnosť, ln L(p); má maximum v rovnakom bode ako L, ale je to súčet namiesto súčinu, takže sa dá ľahko derivovať
k: počet spamov — každý spam prispel do súčinu činiteľom p, logaritmus z k rovnakých činiteľov urobí k-násobok
ln p: „odmena“ za jeden spam: rastie s p, takže spamy ťahajú odhad nahor
(n − k): počet ostatných e-mailov — rovnaký dôvod ako pri k, len pre druhý výsledok
ln(1 − p): „odmena“ za jeden ne-spam: klesá s p, ostatné e-maily ťahajú odhad nadol; maximum je tam, kde sa oba ťahy vyrovnajú

Log-vierohodnosť Bernoulliho výberu x₁, …, x_n ∈ {0, 1} s k = ∑ x_i úspechmi z n a parametrom p ∈ (0, 1).

Príklad — odvodenie p̂ = k/n

Nech 0 < k < n. Derivácia na (0, 1): ℓ′(p) = k/p − n − k/1 − p. Položíme ju rovnú nule a vynásobíme p(1 − p) > 0: k(1 − p) = (n − k)p, teda k = np a p̂ = k/n.

Je to maximum: ℓ″(p) = −k/p² − n − k/(1 − p)² < 0 na celom (0, 1), funkcia je konkávna.

Pre 6 z 20: ℓ′(0,3) = 6/0,3 − 14/0,7 = 20 − 20 = 0. ✓

Vierohodnosť podielu spamu p (vydelená svojím maximom) 6 z 20 60 z 200

Príklad — aký úzky je vrchol

Porovnajme p = 0,4 s najlepším p̂ = 0,3. Pre 6 z 20 odčítame ℓ(0,4) − ℓ(0,3) člen po člene (farby podľa vzorca ℓ(p) vyššie): ln L(0,4)/L(0,3) = 6 · ln 4/3 + 14 · ln 6/7 = 1,726 − 2,158 = −0,432, teda pomer vierohodností e^−0,432 ≈ 0,65. Hodnota 0,4 je s dátami stále dobre zlučiteľná.

Pre 60 z 200 sú oba exponenty desaťkrát väčšie, takže aj logaritmus pomeru je desaťkrát väčší: −4,32 a pomer 0,013. Desaťkrát viac dát a hodnota 0,4 je zrazu asi 49-krát menej vierohodná než predtým.

To isté hovorí smerodajná chyba odhadu — smerodajná odchýlka odhadu ako náhodnej premennej. Pre p̂ = k/n je var p̂ = p(1 − p)/n, takže √0,3 · 0,7/20 ≈ 0,102 a √0,3 · 0,7/200 ≈ 0,032: desaťkrát viac dát zúži neistotu √10 ≈ 3,16-krát.

Rovnicu ℓ′(p) = 0 sme vyriešili ručne. Pri neurónovej sieti s miliónmi parametrov to nejde a maximum sa hľadá krok za krokom — stúpaním v smere derivácie:

mle_gradientem(k, n, p, η, tolerance):
    opakuj:
        sklon ← k/p − (n − k)/(1 − p)      # ℓ′(p): kadiaľ log-vierohodnosť rastie
        ak |sklon| < tolerance:             # vrchol: ďalej už stúpať nejde
            vráť p
        p ← p + η · sklon                   # krok do kopca, úmerný strmosti

Pre 6 z 20 so štartom p = 0,5 a η = 0,005: sklon −16, takže p = 0,5 + 0,005 · (−16) = 0,42; potom sklon −9,85 a p = 0,371; potom 0,340, 0,322… Po 16 krokoch je sklon pod 0,001 a p = 0,30001. Kroky sa samy skracujú, pretože blízko vrcholu je log-vierohodnosť plochá. Trénovanie sietí je ten istý postup, len „nadol“ po zápornej log-vierohodnosti (diel Gradientný zostup).

Pre čakanie na e-mail s exponenciálnym rozdelením vyjde metódou maximálnej vierohodnosti λ̂ = 1/X̄. Z piatich nameraných čakaní 1,2; 3,5; 0,4; 2,1 a 2,8 minúty je priemer 2 minúty a λ̂ = 0,5 za minútu.

Príklad — odvodenie λ̂ = 1/X̄

Exponenciálne rozdelenie s parametrom λ > 0 má hustotu f(x; λ) = λe^−λx pre x ≥ 0. Pre dáta x₁, …, x_n ≥ 0 je log-vierohodnosť

ℓ(λ) = ∑ ln(λe^−λx_i) = n ln λ − λ ∑ x_i.

ℓ′(λ) = n/λ − ∑ x_i = 0 dáva λ̂ = n/∑ x_i = 1/x̄; ℓ″(λ) = −n/λ² < 0, je to maximum. S našimi dátami: λ̂ = 5/10 = 0,5 za minútu — v priemere jeden e-mail za 2 minúty.

4. Bayesovský odhad MAP

Definícia — maximálny aposteriórny odhad

Nech Θ ⊆ ℝ^d je parametrický priestor, L : Θ → [0, ∞) vierohodnostná funkcia dát x₁, …, x_n a π : Θ → [0, ∞) apriórna hustota parametra, t. j. ∫_Θ π(θ) dθ = 1 — parameter chápeme ako náhodnú premennú a π vyjadruje, čo o ňom predpokladáme pred pozorovaním dát. Maximálny aposteriórny odhad (MAP) je hodnota θ̂_MAP ∈ Θ, pre ktorú

∀θ ∈ Θ : L(θ̂_MAP) · π(θ̂_MAP) ≥ L(θ) · π(θ), t. j. θ̂_MAP = argmax_{θ ∈ Θ} L(θ) · π(θ).

Podľa Bayesovej vety je aposteriórna hustota parametra po pozorovaní dát (ak je menovateľ konečný a kladný)

π(θ | x₁, …, x_n) = L(θ) · π(θ)/∫_Θ L(θ′) π(θ′) dθ′;

menovateľ od θ nezávisí, takže MAP je bod, v ktorom aposteriórna hustota nadobúda maximum (modus aposteriórneho rozdelenia).

Laicky povedané

Bayesova veta z dielu o podmienenej pravdepodobnosti pre parametre: aposteriórna ∝ vierohodnosť × apriórna. MAP vyberie najpravdepodobnejší parameter po zohľadnení toho, čo sme si mysleli vopred. Keď dáme vopred malú váhu extrémom (apriórna hustota úmerná p(1 − p)), vyjde podiel spamu 7/22 ≈ 0,318 — odhad sa trochu stiahne k stredu. S pribúdajúcimi dátami vplyv apriórneho rozdelenia mizne.

θ̂_MAP = argmax_θ [ ln L(θ) + ln π(θ) ]

ln L(θ): čo hovoria dáta — log-vierohodnosť z metódy maximálnej vierohodnosti; rastie s počtom pozorovaní
ln π(θ): čo sme si mysleli vopred; nezávisí od dát, a preto ho s pribúdajúcimi dátami prvý člen prehluší

Logaritmus súčinu L(θ) · π(θ): MAP je MLE s pridaným členom za apriórnu predstavu.

Príklad — MAP pre podiel spamu

Apriórna hustota π(p) = 6p(1 − p) na [0, 1] (rozdelenie Beta(2, 2); šestka zaistí, že integrál je 1, na polohe maxima nezáleží). Potom

L(p) · π(p) = 6 · p⁶(1 − p)¹⁴ · p(1 − p) = 6p⁷(1 − p)¹⁵.

Derivácia logaritmu po členoch (farby podľa vzorca vyššie): 6/p − 14/1 − p + 1/p − 1/1 − p = 7/p − 15/1 − p = 0 dáva p̂ = 7/22 ≈ 0,318. Všeobecne k + 1/n + 2: akoby k dátam pribudol jeden spam a jeden ne-spam navyše.

Pre 60 z 200 vyjde 61/202 ≈ 0,302 — od MLE 0,3 už len o 0,002 namiesto 0,018.

5. Interval spoľahlivosti

Definícia — interval spoľahlivosti

Nech X₁, …, X_n je náhodný výber z rozdelenia s parametrom θ ∈ Θ ⊆ ℝ, α ∈ (0, 1) a T₁, T₂ sú štatistiky, pre ktoré T₁ ≤ T₂. Náhodný interval (T₁, T₂) je interval spoľahlivosti pre θ so spoľahlivosťou 1 − α práve vtedy, keď

∀θ ∈ Θ : P_θ(T₁ < θ < T₂) = 1 − α.

Ak platí rovnosť len v limite, lim_n→∞ P_θ(T₁ < θ < T₂) = 1 − α (hranice potom závisia od n), ide o asymptotický (približný) interval spoľahlivosti. Náhodné sú hranice T₁, T₂; parameter θ je pevné číslo.

Laicky povedané

Namiesto jedného čísla dáte rozpätie a k nemu záruku: postup, ktorým rozpätie počítate, trafí skutočný parameter v 95 % prípadov. Náhodné sú konce intervalu, nie parameter.

Pre strednú hodnotu a dostatočne veľké n dáva centrálna limitná veta približný (asymptotický) 95-percentný interval X̄ ± 1,96 · s/√n. Štyridsaťkrát sme hodili 40 kockami a z každého výberu vypočítali interval. Zvislá čiara je skutočná stredná hodnota 3,5:

40 intervalov spoľahlivosti zo 40 výberov po 40 hodochobsahuje μ: 38/40

Skutočnú hodnotu obsahuje 38 zo 40 intervalov — 95 %. Pri 20 000 opakovaniach to bolo 94,1 %, trochu pod sľubovanými 95 %, pretože σ odhadujeme z dát a n = 40 ešte nie je nekonečno.

X̄ ± 1,96 · s/√n

X̄: stred intervalu — najlepší bodový odhad μ, okolo neho sa neistota rozkladá súmerne
1,96: koľko smerodajných chýb pridať na každú stranu, aby sa trafilo 95 %: pre normované normálne rozdelenie je P(−1,96 < Z < 1,96) ≈ 0,95 (Φ(1,96) ≈ 0,975, hodnota zo štatistických tabuliek); pre 99 % by to bolo 2,576
s: výberová smerodajná odchýlka — ako veľmi kolíšu jednotlivé pozorovania; skutočné σ nepoznáme, tak dosadíme odhad (preto pokrytie vyšlo trochu pod 95 %)
√n: priemer kolíše √n-krát menej než jedno pozorovanie (var X̄ = σ²/n); štyrikrát viac dát interval zúži na polovicu

s/√n je smerodajná chyba priemeru; podľa centrálnej limitnej vety je X̄ približne normálny, a preto stačí kvantil normálneho rozdelenia.

Príklad — prvý interval z obrázka

V prvom výbere 40 hodov vyšiel priemer x̄ = 3,525 a s ≈ 1,768. Smerodajná chyba je 1,768/√40 = 1,768/6,325 ≈ 0,280, krát 1,96 je 0,548 (farby podľa vzorca vyššie).

Interval: (3,525 − 0,548; 3,525 + 0,548) = (2,977; 4,073). Obsahuje 3,5 — tento výber sa trafil.

Pokrytie 94,1 % je výsledok tohto pokusu:

pokryti(pocet, n):
    trefy ← 0
    opakuj pocet-krát:
        x ← n hodov kockou                      # nový náhodný výber
        polovina ← 1,96 · s(x) / √n
        ak x̄ − polovina ≤ 3,5 ≤ x̄ + polovina:
            trefy ← trefy + 1                   # interval obsahuje skutočné μ
    vráť trefy / pocet                          # podiel intervalov, ktoré sa trafili

Častý omyl: „s pravdepodobnosťou 95 % leží μ v intervale (3,2; 3,9)“. Pri jednom konkrétnom intervale μ buď vnútri je, alebo nie je. Tých 95 % je vlastnosť postupu — koľko intervalov z mnohých opakovaní sa trafí. Tvrdenie o pravdepodobnosti parametra dáva až bayesovský prístup.

6. Odhady v umelej inteligencii

Trénovanie je odhad maximálnej vierohodnosti. Krížová entropia pri klasifikácii je záporný logaritmus vierohodnosti vydelený počtom príkladov a stredná kvadratická chyba je to isté pre dáta s normálnym šumom. Minimalizovať stratu = maximalizovať vierohodnosť.
Regularizácia je MAP. Penalizácia váh λ‖w‖² (L2, weight decay) zodpovedá normálnemu apriórnemu rozdeleniu váh, L1 Laplaceovmu. Apriórna predstava „váhy majú byť malé“ brzdí preučenie.
Vychýlenie a rozptyl modelu. Model je odhad; zložité modely majú malé vychýlenie, ale veľký rozptyl (preučenie), jednoduché naopak. Regularizácia obetuje trochu vychýlenia za menší rozptyl.
Testovacia sada a interval spoľahlivosti. Presnosť na testovacích dátach je odhad skutočnej presnosti; bez intervalu spoľahlivosti nespoznáte, či je rozdiel dvoch modelov skutočný. Batch normalization odhaduje priemer a rozptyl z každej dávky a jazykové modely sú natrénované ako MLE: maximalizujú vierohodnosť ďalšieho slova.

Veta — stredná kvadratická chyba je MLE pre normálny šum

Nech n ≥ 1, σ > 0 je pevné, y₁, …, y_n ∈ ℝ sú namerané hodnoty a ŷ_i(w) ∈ ℝ, i = 1, …, n, predpovede modelu s parametrami w (σ od w nezávisí). Predpokladajme, že y_i = ŷ_i(w) + ε_i, kde ε₁, …, ε_n sú nezávislé a ε_i ~ N(0, σ²) (normálne rozdelenie). Potom pre ľubovoľné dve voľby parametrov w, w′ platí

L(w) ≥ L(w′) ⇔ ∑_i=1ⁿ (y_i − ŷ_i(w))² ≤ ∑_i=1ⁿ (y_i − ŷ_i(w′))²,

t. j. maximalizovať vierohodnosť je to isté ako minimalizovať súčet štvorcov chýb.

Dôkaz. Pri parametroch w má y_i hustotu 1/√2πσ² · exp(−(y_i − ŷ_i)²/2σ²), takže

−ℓ(w) = 1/2σ² ∑ (y_i − ŷ_i)² + n/2 ln(2πσ²).

Druhý člen od w nezávisí a činiteľ 1/2σ² je kladná konštanta, takže −ℓ(w) ≤ −ℓ(w′) práve vtedy, keď je súčet štvorcov pre w najviac taký ako pre w′. Keďže ln je rastúci, je −ℓ(w) ≤ −ℓ(w′) ekvivalentné s L(w) ≥ L(w′). ∎

Rovnako sa dá rozpísať regularizácia. Dajme každej váhe w_j, j = 1, …, d, nezávisle apriórne rozdelenie N(0, τ²); potom −ln π(w) = ‖w‖²/2τ² + konštanta a minimalizovať záporný logaritmus L · π znamená minimalizovať

−ln L(w) + λ ‖w‖², λ = 1/2τ²

−ln L(w): obvyklá strata (krížová entropia, kvadratická chyba) — tlačí váhy k tomu, aby model sedel na trénovacie dáta
λ: sila regularizácie; malé τ (silná viera, že váhy sú blízko nuly) znamená veľké λ — tak sa z apriórnej predstavy stane jedno číslo, ktoré ladíme
‖w‖²: súčet štvorcov váh — trest za veľké váhy; pochádza z exponentu normálnej hustoty, preto je to práve štvorec (z Laplaceovho rozdelenia by vyšla absolútna hodnota, L1)

L2 regularizácia (weight decay) je MAP s normálnym apriórnym rozdelením váh.

7. Zhrnutie

Štatistika ide od dát k modelu: odhad je výpočet z dát, ktorý má trafiť neznámy parameter.
Dobrý odhad je nestranný (v priemere mieri správne) a konzistentný (s dátami sa spresňuje); výberový rozptyl delí n − 1.
Metóda maximálnej vierohodnosti vyberie parameter, s ktorým sú dáta najpravdepodobnejšie; pre podiel je to k/n.
MAP pridá apriórnu predstavu; v strojovom učení je to regularizácia.
95-percentný interval spoľahlivosti vznikne postupom, ktorý skutočný parameter trafí v 95 % prípadov.

Máte na to iný názor? Napíšte na support@coden-app.com.

Štatistika a odhady parametrov: maximálna vierohodnosť, MAP a intervaly spoľahlivosti

1. Výber, štatistika, odhad

2. Dobrý odhad: nestrannosť a konzistentnosť

3. Metóda maximálnej vierohodnosti

4. Bayesovský odhad MAP

5. Interval spoľahlivosti

6. Odhady v umelej inteligencii

7. Zhrnutie

Agent na vašom počítači, ovládaný z telefónu