Stredná hodnota, rozptyl a kovariancia: kde rozdelenie leží, aké je široké a čo s čím súvisí

Stredná hodnota ako ťažisko, linearita, rozptyl a smerodajná odchýlka, Čebyševova nerovnosť, kovariancia a korelácia — a prečo nulová kovariancia ešte neznamená nezávislosť.

14 minút Matěj Žalmánek 2026-10-15

Séria Základy AI Diel 16 z 52

Celá osnova série Hotovo: 52 z 83 tém

Čo si odnesiete

Čo je stredná hodnota, prečo je to ťažisko rozdelenia a prečo sa stredné hodnoty vždy sčítajú.
Čo meria rozptyl a smerodajná odchýlka, kedy sa rozptyly sčítajú a čo zaručuje Čebyševova nerovnosť.
Čo je kovariancia a korelácia, ako ich vidno v dátach a prečo nulová kovariancia neznamená nezávislosť.

Čo sa hodí vedieť vopred: Funkcia hustoty a pravdepodobnostná funkcia: prečo má spojitá premenná v bode pravdepodobnosť nula

Rozdelenie náhodnej premennej hovorí všetko — ale „všetko“ je často priveľa. Ak chceme dve rozdelenia rýchlo porovnať, stačí pár čísel: kde rozdelenie leží, aké je široké a či dve premenné rastú spolu, alebo idú proti sebe. Týmto číslam sa hovorí stredná hodnota, rozptyl a kovariancia a stretnete sa s nimi v každom modeli strojového učenia — od stratovej funkcie po optimalizátor Adam.

Nadväzuje na diely Náhodná premenná a Funkcia hustoty.

1. Stredná hodnota

Definícia — stredná hodnota diskrétnej premennej

Nech X je diskrétna náhodná premenná, H = {x₁, x₂, …} ⊆ ℝ najviac spočítateľná množina navzájom rôznych hodnôt s P(X ∈ H) = 1 a p : ℝ → [0, 1] pravdepodobnostná funkcia premennej X (pozri diely Náhodná premenná a Funkcia hustoty). Povieme, že X má konečnú strednú hodnotu práve vtedy, keď ∑_i |x_i| · p(x_i) < ∞ (rad konverguje absolútne). Potom je stredná hodnota premennej X číslo

E[X] = ∑_i x_i · p(x_i).

Absolútna konvergencia zaručuje, že súčet nezávisí od poradia hodnôt x_i. Označuje sa aj μ alebo μ_X. Stredná hodnota je teda priemer hodnôt vážený ich pravdepodobnosťami.

Laicky povedané

Vážený priemer možných hodnôt, kde váhou je pravdepodobnosť. Pri jednej kocke 1 · 1/6 + 2 · 1/6 + … + 6 · 1/6 = 1 + 2 + … + 6/6 = 3,5 (farby podľa vzorca nižšie). Stredná hodnota pritom nemusí byť hodnota, ktorá môže padnúť — 3,5 na kocke nepadne nikdy. Je to „priemer, ku ktorému sa z dlhodobého hľadiska dopracujete“.

E[X] = ∑_i x_i · p(x_i)

E[X]: stredná hodnota — jedno číslo, ktoré má zastúpiť celé rozdelenie: kde „v priemere“ leží
∑_i: cez všetky možné hodnoty — žiadnu nevynecháme, každá k priemeru prispeje
x_i: hodnota — to, čo sa priemeruje
p(x_i): váha hodnoty — častejšie hodnoty majú ťahať priemer viac; váhy dajú spolu 1, takže nemusíme na konci nič deliť

Pri N pokusoch padne x_i zhruba N · p(x_i)-krát; obyčajný priemer výsledkov je potom ∑ x_i · Np(x_i)/N — presne tento vzorec.

Fyzikálne je stredná hodnota ťažisko. Postavte pravdepodobnosti ako závažia na páku: podpera ju udrží vo vodorovnej polohe len v strednej hodnote. Na obrázku je väčšie z dvoch čísel na kockách — maximum. Veľké čísla sú častejšie (šestka je maximom v 11 z 36 prípadov, jednotka len v jednom), takže ťažisko leží napravo od stredu: E[max] = 161/36 ≈ 4,47.

Stredná hodnota je ťažisko: páka sa vyrovná len v bode 4,47

Príklad — stredná hodnota maxima dvoch kociek a rovnováha páky

Maximum je najviac k práve vtedy, keď sú obe kocky najviac k: to je k² dvojíc. Presne k je teda v k² − (k − 1)² = 2k − 1 dvojiciach.

p(1), …, p(6) = 1/36, 3/36, 5/36, 7/36, 9/36, 11/36

E[max] = 1 · 1/36 + 2 · 3/36 + 3 · 5/36 + 4 · 7/36 + 5 · 9/36 + 6 · 11/36 = 1 + 6 + 15 + 28 + 45 + 66/36 = 161/36 ≈ 4,47

(farby podľa vzorca vyššie)

Páka: moment okolo bodu c je ∑ (k − c) · p(k) = E[max] − c, a ten je nulový práve pre c = E[max].

Definícia — stredná hodnota spojitej premennej

Nech X je náhodná premenná s hustotou f : ℝ → [0, ∞). Povieme, že X má konečnú strednú hodnotu práve vtedy, keď ∫_−∞^∞ |x| · f(x) dx < ∞ (integrál konverguje absolútne). Potom je stredná hodnota premennej X číslo

E[X] = ∫_−∞^∞ x · f(x) dx.

Je to ten istý vážený priemer ako v diskrétnom prípade, len súčet cez hodnoty nahradí integrál a pravdepodobnosť p(x_i) „pravdepodobnosť na úseku“ f(x) dx.

Laicky povedané

To isté, len sa namiesto sčítania cez body integruje cez plochu pod hustotou. Pre čakanie na e-mail z minulého dielu (hustota 0,5 · e^−0,5x) vyjde E[X] = 2 minúty — presne ten priemer, ktorý sme do príkladu vložili.

Príklad — stredná doba čakania na e-mail

Integrál súčinu spočítame metódou per partes, ∫ u v′ = [u v] − ∫ u′ v, s u = x a v′ = λ e^−λx, teda v = −e^−λx:

E[X] = ∫₀^∞ x · λ e^−λx dx = [−x e^−λx]₀^∞ + ∫₀^∞ e^−λx dx

= (0 − 0) + [−e^−λx/λ]₀^∞ = 0 + 1/λ = 1/λ

λ = 0,5 → E[X] = 1/0,5 = 2 minúty

Člen x e^−λx ide pre x → ∞ k nule, pretože exponenciála klesá rýchlejšie, než x rastie.

2. Linearita strednej hodnoty

Veta — linearita strednej hodnoty

Nech (Ω, 𝓕, P) je pravdepodobnostný priestor, X, Y : Ω → ℝ náhodné premenné s konečnou strednou hodnotou a a, b ∈ ℝ. Potom premenné aX + b a X + Y (definované po výsledkoch: (X + Y)(ω) = X(ω) + Y(ω)) majú konečnú strednú hodnotu a platí

E[aX + b] = a · E[X] + b, E[X + Y] = E[X] + E[Y],

a to aj keď X a Y nie sú nezávislé.

Dôkaz (pre konečný priestor výsledkov Ω s 𝓕 = 2^Ω, ako sú dve kocky). Označme P(ω) = P({ω}). Strednú hodnotu možno sčítať cez výsledky namiesto cez hodnoty: E[X] = ∑_{ω ∈ Ω} X(ω) P(ω) (výsledky s rovnakou hodnotou X(ω) = x dajú spolu x · p(x)). Potom

E[X + Y] = ∑_ω (X(ω) + Y(ω)) P(ω) = ∑_ω X(ω) P(ω) + ∑_ω Y(ω) P(ω) = E[X] + E[Y].

Nikde sme nepotrebovali, ako spolu X a Y súvisia — obe sa vyhodnotia na rovnakom výsledku ω. Rovnosť pre aX + b vyplýva rovnako z ∑ P(ω) = 1. Všeobecný prípad sa dokazuje rovnakou úvahou s integrálmi. ∎

Laicky povedané

Priemer súčtu je súčet priemerov. Súčet dvoch kociek má strednú hodnotu 3,5 + 3,5 = 7 — bez akejkoľvek tabuľky. A keď hodíte len raz a výsledok zdvojnásobíte, vyjde 2 · 3,5 = 7 tiež. Linearita je najužitočnejšia vlastnosť v celej pravdepodobnosti: zložité premenné rozložíte na jednoduché kúsky a priemery sčítate.

Príklad — koľko šestiek padne na dvoch kockách

Pre jav A ∈ 𝓕 je indikátor javu A náhodná premenná 𝟙_A : Ω → {0, 1}, 𝟙_A(ω) = 1 pre ω ∈ A a 𝟙_A(ω) = 0 pre ω ∉ A. Počet šestiek N rozložíme na dva indikátory: I₁ = 𝟙_A₁ pre A₁ = „šestka na prvej kocke“ a I₂ = 𝟙_A₂ pre A₂ = „šestka na druhej kocke“. Potom N = I₁ + I₂.

E[I₁] = 1 · 1/6 + 0 · 5/6 = 1/6, E[I₂] = 1/6 (farby podľa vzorca strednej hodnoty vyššie)

E[N] = E[I₁] + E[I₂] = 1/6 + 1/6 = 1/3

Kontrola vymenovaním: dve šestky v 1 z 36 prípadov, jedna v 10 z 36 → 2 · 1 + 1 · 10/36 = 12/36 = 1/3

Stredná hodnota indikátora je pravdepodobnosť jeho javu — vďaka tomu sa linearitou dá spočítať priemerný počet čohokoľvek.

3. Rozptyl a smerodajná odchýlka

Definícia — rozptyl

Nech X je náhodná premenná s konečnou strednou hodnotou μ = E[X]. Ak má náhodná premenná (X − μ)² konečnú strednú hodnotu (to nastane práve vtedy, keď E[X²] < ∞), je rozptyl premennej X číslo

Var(X) = E[(X − μ)²]

a hovoríme, že X má konečný rozptyl. Pre diskrétnu X je E[(X − μ)²] = ∑_i (x_i − μ)² · p(x_i), pre X s hustotou f je to ∫_−∞^∞ (x − μ)² · f(x) dx. Rozptyl je teda stredná hodnota štvorca odchýlky od strednej hodnoty; vždy Var(X) ≥ 0.

Laicky povedané

Priemerná štvorcová vzdialenosť od priemeru. Keď hodnoty padajú tesne okolo strednej hodnoty, je rozptyl malý; keď lietajú ďaleko, veľký. Štvorec zaistí, že odchýlky nahor a nadol sa navzájom nevyrušia, a veľké odchýlky potrestá viac ako malé.

Var(X) = E[(X − μ)²]

Var(X): rozptyl — jedno číslo pre šírku rozdelenia
X − μ: odchýlka od stredu — šírku meriame od strednej hodnoty, takže posunutie celého rozdelenia rozptyl nezmení
²: štvorec — bez neho by sa odchýlky nahor a nadol vyrušili a vyšla by vždy nula (E[X − μ] = μ − μ = 0); navyše veľkú odchýlku započíta viac než dve polovičné
E: priemer cez celé rozdelenie — časté odchýlky vážia viac ako zriedkavé, rovnako ako pri strednej hodnote

Prečo štvorec, a nie absolútna hodnota? Štvorec sa dá derivovať a rozpísať, a vďaka tomu platia pravidlá nižšie — rozptyly nezávislých premenných sa sčítajú.

Veta — výpočtový tvar rozptylu

Nech X je náhodná premenná s konečným rozptylom. Potom

Var(X) = E[X²] − (E[X])².

Dôkaz. Označme μ = E[X]. Roznásobíme a použijeme linearitu, μ je konštanta: E[(X − μ)²] = E[X² − 2μX + μ²] = E[X²] − 2μ · E[X] + μ² = E[X²] − 2μ² + μ² = E[X²] − μ². ∎

Laicky povedané

„Priemer štvorcov mínus štvorec priemeru.“ Pri jednej kocke je E[X²] = 1 + 4 + 9 + 16 + 25 + 36/6 = 91/6, takže Var(X) = 91/6 − 3,5² = 35/12 ≈ 2,92. Vyplýva to z linearity: stačí roznásobiť (X − μ)².

Definícia — smerodajná odchýlka

Nech X je náhodná premenná s konečným rozptylom Var(X) ≥ 0. Smerodajná odchýlka premennej X je nezáporné číslo

σ = σ_X = √Var(X).

Platí teda σ ≥ 0 a σ² = Var(X); σ má rovnaké jednotky ako X.

Laicky povedané

Rozptyl má zvláštne jednotky — pri čakaní v minútach vyjde v minútach na druhú. Odmocnina to vráti späť: σ je „typická vzdialenosť od priemeru“ v rovnakých jednotkách ako dáta. Pri jednej kocke σ ≈ 1,71, pri čakaní na e-mail je rozptyl 4 a σ = 2 minúty.

Z dát namiesto z rozdelenia

Rozdelenie často nepoznáme, máme len namerané čísla x₁, …, x_n. Potom každé z nich dostane váhu 1/n — ako keby to bolo rozdelenie, v ktorom je každé meranie rovnako pravdepodobné:

def prumer_a_rozptyl(data):
    n = len(data)
    mu = sum(data) / n                          # E[X] s váhami 1/n
    var = sum((x - mu) ** 2 for x in data) / n  # E[(X − μ)²] s váhami 1/n
    return mu, var, var ** 0.5                  # μ, rozptyl, σ

Príklad — priemer a rozptyl ôsmich čísel

dáta 2, 4, 4, 4, 5, 5, 7, 9; μ = 40/8 = 5

odchýlky x_i − μ: −3, −1, −1, −1, 0, 0, 2, 4; štvorce 9, 1, 1, 1, 0, 0, 4, 16

Var = 9 + 1 + 1 + 1 + 0 + 0 + 4 + 16/8 = 32/8 = 4, σ = √4 = 2

(farby podľa rozboru rozptylu vyššie: priemer E s váhami 1/8 je delenie ôsmimi)

Keď sú dáta len vzorka z väčšieho celku a odhadujeme rozptyl celku, delí sa často n − 1 namiesto n (tzv. výberový rozptyl, tu 32/7 ≈ 4,57): odchýlky meriame od priemeru vzorky, ktorý k dátam sedí lepšie než skutočná μ, a delenie n by rozptyl v priemere podhodnotilo.

4. Rozptyl súčtu: prečo sa oplatí hodiť dvakrát

Veta — rozptyl lineárnej funkcie a súčtu

Nech X, Y sú náhodné premenné na tom istom pravdepodobnostnom priestore s konečným rozptylom a a, b ∈ ℝ. Potom

Var(aX + b) = a² · Var(X);
ak sú X a Y nezávislé (definícia v časti Kovariancia a korelácia), tak Var(X + Y) = Var(X) + Var(Y).

Dôkaz prvej časti. Z linearity je E[aX + b] = aμ + b, takže odchýlka od stredu je (aX + b) − (aμ + b) = a(X − μ) — b sa odčíta. Potom Var(aX + b) = E[a²(X − μ)²] = a² Var(X). Druhú časť dokážeme v kapitole o kovariancii. ∎

Laicky povedané

Posunutie o b šírku nezmení; natiahnutie a-krát ju zväčší a²-krát. A rozptyly nezávislých premenných sa sčítajú — na rozdiel od smerodajných odchýlok.

Porovnajme dve hry s rovnakou strednou hodnotou 7. V prvej hodíte dvoma kockami a sčítate ich: Var = 35/12 + 35/12 = 35/6 ≈ 5,83, σ ≈ 2,42. V druhej hodíte raz a výsledok zdvojnásobíte: Var = 2² · 35/12 = 35/3 ≈ 11,67, σ ≈ 3,42. Priemer je rovnaký, ale druhá hra je o dosť divokejšia — pri dvoch kockách smolu na jednej často vyrovná šťastie na druhej.

Rovnaký priemer, rôzny rozptyl: zelená úsečka je μ ± σ

Na rovnakom princípe stojí diverzifikácia investícií aj to, prečo priemer z viacerých meraní kolíše menej ako jedno meranie. O koľko presne menej, ukáže budúci diel o zákone veľkých čísel.

5. Čebyševova nerovnosť

Veta — Čebyševova nerovnosť

Nech X je náhodná premenná s konečným rozptylom, μ = E[X] a σ = √Var(X) > 0. Potom pre každé k ∈ ℝ, k > 0, platí

P(|X − μ| ≥ kσ) ≤ 1/k²,

kde {|X − μ| ≥ kσ} = {ω ∈ Ω : |X(ω) − μ| ≥ kσ}.

Laicky povedané

Ďaleko od priemeru veľa pravdepodobnosti byť nemôže — a platí to pre každé rozdelenie. Viac ako dve smerodajné odchýlky od priemeru padne najviac štvrtina hodnôt, viac ako tri najviac deviatina. Pri súčte dvoch kociek je 2σ ≈ 4,83 a tak ďaleko od sedmičky sú len súčty 2 a 12: v skutočnosti 2/36 ≈ 0,056, hlboko pod zaručenou hranicou 1/2² = 0,25 (farby podľa vzorca nižšie).

P(|X − μ| ≥ kσ) ≤ 1/k²

P: pravdepodobnosť „uletenej“ hodnoty — tú chceme zhora ohraničiť bez toho, aby sme poznali tvar rozdelenia
|X − μ|: vzdialenosť od strednej hodnoty — absolútna hodnota, pretože nás zaujímajú úlety na obe strany
kσ: prah meraný v smerodajných odchýlkach — tak platí jedna nerovnosť pre všetky rozdelenia a všetky jednotky; „ďaleko“ znamená ďaleko vzhľadom na typickú vzdialenosť
1/k²: hranica — štvorec pochádza z rozptylu (priemerného štvorca odchýlky): každá hodnota aspoň kσ od stredu prispeje do rozptylu aspoň k²σ² krát svoja pravdepodobnosť; keby ich spolu bolo viac než 1/k², vyšiel by rozptyl väčší než σ²

Pre k ≤ 1 je hranica ≥ 1 a nič nehovorí; užitočná je až pre k > 1.

Veta — Markovova nerovnosť a dôkaz Čebyševovej

Markovova nerovnosť: Nech Y je náhodná premenná s konečnou strednou hodnotou, ktorá je nezáporná (Y(ω) ≥ 0 pre každé ω ∈ Ω), a a ∈ ℝ, a > 0. Potom

P(Y ≥ a) ≤ E[Y]/a.

Dôkaz. Vždy platí Y ≥ a · I, kde I = 𝟙_{{Y ≥ a}} je indikátor javu {Y ≥ a} (1, keď Y ≥ a, inak 0) (pre Y ≥ a je to Y ≥ a, inak Y ≥ 0). Stredná hodnota nerovnosť zachová: E[Y] ≥ a · E[I] = a · P(Y ≥ a).

Čebyšev. Použijeme Markova na Y = (X − μ)² ≥ 0 a a = k²σ² > 0:

P(|X − μ| ≥ kσ) = P((X − μ)² ≥ k²σ²) ≤ E[(X − μ)²]/k²σ² = σ²/k²σ² = 1/k². ∎

Aká voľná je hranica, ukazuje súčet dvoch kociek (σ = √35/6 ≈ 2,42) pre niekoľko k (farby podľa vzorca vyššie):

`k`	prah `k`σ	súčty tak ďaleko od 7	skutočná `P`	hranica 1/`k`²
1	2,42	2, 3, 4, 10, 11, 12	12/36 ≈ 0,333	1
1,5	3,62	2, 3, 11, 12	6/36 ≈ 0,167	0,444
2	4,83	2, 12	2/36 ≈ 0,056	0,25
3	7,25	žiadne	0	0,111

Pri spojitom čakaní na e-mail (μ = σ = 2 minúty) je pre k = 2 prah 4 minúty; nadol tak ďaleko čakanie nedosiahne, nahor to znamená čakať aspoň 6 minút: P(X ≥ 6) = e⁻³ ≈ 0,050, opäť hlboko pod 0,25. Hranica je hrubá, pretože musí platiť aj pre najhoršie možné rozdelenie.

6. Kovariancia a korelácia

Definícia — kovariancia

Nech X, Y : Ω → ℝ sú náhodné premenné na tom istom pravdepodobnostnom priestore (Ω, 𝓕, P) s konečným rozptylom a μ_X = E[X], μ_Y = E[Y]. Kovariancia premenných X a Y je číslo

Cov(X, Y) = E[(X − μ_X)(Y − μ_Y)].

Táto stredná hodnota je konečná, pretože |(X − μ_X)(Y − μ_Y)| ≤ (X − μ_X)² + (Y − μ_Y)²/2. Kovariancia je teda stredná hodnota súčinu odchýlok oboch premenných od ich stredných hodnôt.

Laicky povedané

Keď je X nad svojím priemerom, býva nad priemerom aj Y? Potom je súčin odchýlok väčšinou kladný a kovariancia kladná. Keď idú proti sebe, je záporná. Na obrázku je každý súčin obdĺžnik od priesečníka priemerov k bodu: zelené kladné, oranžové záporné. Kovariancia je ich priemerná plocha so znamienkom.

Definícia — korelačný koeficient

Nech X, Y sú náhodné premenné na tom istom pravdepodobnostnom priestore s konečným rozptylom a so smerodajnými odchýlkami σ_X > 0, σ_Y > 0. Korelačný koeficient (korelácia) premenných X a Y je číslo

ρ(X, Y) = Cov(X, Y)/σ_X σ_Y.

Vždy platí −1 ≤ ρ(X, Y) ≤ 1 (vyplýva z Cauchyho–Schwarzovej nerovnosti |Cov(X, Y)| ≤ σ_X σ_Y).

Laicky povedané

Kovariancia závisí od jednotiek — v centimetroch vyjde 10 000× väčšia ako v metroch. Korelácia ju vydelí oboma smerodajnými odchýlkami a dostane číslo bez jednotiek: 1 znamená, že body ležia na rastúcej priamke, −1 na klesajúcej, 0 žiadnu lineárnu súvislosť.

Kovariancia ako priemer obdĺžnikov: kladná, nulová, záporná

Prvá kocka a súčet spolu rastú: Cov = 35/12 ≈ 2,92 a ρ ≈ 0,71. Prvá a druhá kocka sú nezávislé a obdĺžniky sa presne vyrušia: Cov = 0. A čím viac padne na prvej kocke, tým menší je rozdiel „druhá mínus prvá“: Cov ≈ −2,92, ρ ≈ −0,71.

Veta — výpočtový tvar kovariancie

Nech X, Y sú náhodné premenné na tom istom pravdepodobnostnom priestore s konečným rozptylom. Potom

Cov(X, Y) = E[XY] − E[X] · E[Y].

Dôkaz. Rovnako ako pri rozptyle roznásobíme: E[XY − μ_YX − μ_XY + μ_Xμ_Y] = E[XY] − μ_Yμ_X − μ_Xμ_Y + μ_Xμ_Y. Pre Y = X je to výpočtový tvar rozptylu: Cov(X, X) = Var(X). ∎

Príklad — prvá kocka a súčet

X = prvá kocka, Y = druhá, S = X + Y; E[XS] = E[X²] + E[XY] = 91/6 + 3,5 · 3,5 = 91/6 + 49/4 = 329/12

Cov(X, S) = 329/12 − 3,5 · 7 = 329/12 − 294/12 = 35/12 ≈ 2,92

ρ = 35/12/√35/12 · √35/6 = √35/12/√35/6 = √1/2 ≈ 0,71

E[XY] = E[X] · E[Y] sme smeli použiť, pretože kocky sú nezávislé (veta nižšie).

Definícia — nezávislé náhodné premenné

Nech X, Y : Ω → ℝ sú náhodné premenné na tom istom pravdepodobnostnom priestore (Ω, 𝓕, P) s distribučnými funkciami F_X, F_Y. X a Y sú nezávislé práve vtedy, keď

∀x, y ∈ ℝ : P(X ≤ x, Y ≤ y) = F_X(x) · F_Y(y),

kde {X ≤ x, Y ≤ y} = {X ≤ x} ∩ {Y ≤ y}; javy {X ≤ x} a {Y ≤ y} sú teda nezávislé pre každú dvojicu x, y (nezávislé javy pozri diel Podmienená pravdepodobnosť). Pre diskrétne X a Y je to ekvivalentné s podmienkou

∀x, y ∈ ℝ : P(X = x, Y = y) = P(X = x) · P(Y = y).

Laicky povedané

Keď sa dozviete hodnotu jednej premennej, na šanciach tej druhej sa nič nezmení. Pre dve kocky: P(prvá 6, druhá 6) = 1/36 = 1/6 · 1/6. Pre súčet a rozdiel (prvá − druhá) to neplatí: súčet 12 a zároveň rozdiel 1 padnúť nemôže, pravdepodobnosť je 0, ale P(súčet 12) · P(rozdiel 1) = 1/36 · 5/36 ≠ 0.

Veta — rozptyl súčtu vo všeobecnosti

Nech X, Y sú náhodné premenné na tom istom pravdepodobnostnom priestore s konečným rozptylom. Potom

Var(X + Y) = Var(X) + Var(Y) + 2 · Cov(X, Y).

Ak sú navyše X a Y nezávislé, je E[XY] = E[X] · E[Y], teda Cov(X, Y) = 0 a Var(X + Y) = Var(X) + Var(Y).

Dôkaz. Odchýlka súčtu od stredu je (X − μ_X) + (Y − μ_Y); jej štvorec je (X − μ_X)² + (Y − μ_Y)² + 2(X − μ_X)(Y − μ_Y) a stredná hodnota z linearity dá prvú rovnosť. Pri nezávislých diskrétnych premenných je E[XY] = ∑_x,y xy · P(X = x) P(Y = y) = (∑_x x P(X = x)) · (∑_y y P(Y = y)) = E[X] · E[Y], takže Cov = 0; pre premenné s hustotou sa postupuje rovnako s integrálmi. ∎

Var(X + Y) = Var(X) + Var(Y) + 2 · Cov(X, Y)

Var(X + Y): ako veľmi kolíše súčet — napríklad celé portfólio alebo súčet dvoch chýb merania
Var(X) + Var(Y): kolísanie každej časti zvlášť — keby spolu nesúviseli, bol by to celý výsledok
Cov(X, Y): súhra — keď idú obe premenné nahor zároveň, odchýlky sa sčítajú a súčet kolíše viac (kladná); keď proti sebe, odchýlky sa rušia (záporná)
2: zmiešaný člen 2ab z (a + b)² — dvojice (X, Y) a (Y, X) prispejú rovnako

Súčet dvoch kociek: 35/12 + 35/12 + 2 · 0 = 35/6. Jedna kocka × 2 je „súčet kocky so sebou“: 35/12 + 35/12 + 2 · 35/12 = 35/3.

Laicky povedané

Premenné, ktoré spolu rastú, rozptyl súčtu zväčšia; premenné, ktoré idú proti sebe, ho zmenšia — presne to robí zaistenie (hedging) pri investíciách. Pri nezávislých premenných člen s kovarianciou zmizne a zostane pravidlo z predchádzajúcej kapitoly.

Pozor, opačne to neplatí: nulová kovariancia neznamená nezávislosť. Rozdiel kociek D = prvá − druhá a ich súčet S majú kovarianciu Var(prvá) − Var(druhá) = 0. Napriek tomu sú závislé: keď padne súčet 12, musí byť rozdiel 0. Kovariancia meria len lineárnu súvislosť.

Veta — kovariancia je bilineárna

Nech X, Y, Z sú náhodné premenné na tom istom pravdepodobnostnom priestore s konečným rozptylom a a, b ∈ ℝ. Potom

Cov(X, Y) = Cov(Y, X) (symetria);
Cov(X, X) = Var(X);
Cov(aX + bY, Z) = a · Cov(X, Z) + b · Cov(Y, Z) (linearita v prvom argumente; so symetriou aj v druhom).

Vyplýva to z linearity strednej hodnoty, rovnako ako pri rozptyle.

Príklad — prečo majú rozdiel a súčet kovarianciu nula

Cov(X − Y, X + Y) = Cov(X, X) + Cov(X, Y) − Cov(Y, X) − Cov(Y, Y)

= Var(X) − Var(Y) = 35/12 − 35/12 = 0

Zmiešané členy sa odčítajú vďaka symetrii a zostane rozdiel rozptylov — nula, pretože obe kocky sú rovnaké. Na závislosti to nič nemení.

7. Stredná hodnota a rozptyl v umelej inteligencii

Stratová funkcia. Stredná kvadratická chyba (MSE) je stredná hodnota štvorca chyby, E[(Y − ŷ)²]. Najlepší konštantný odhad je práve stredná hodnota Y a chyba, ktorá zostane, je rozptyl.
Štandardizácia vstupov. Skôr než sa dáta pošlú do siete, prevedú sa na z = x − μ/σ — stredná hodnota 0, smerodajná odchýlka 1. Učenie potom beží rýchlejšie a stabilnejšie; to isté vnútri siete robí batch normalization.
Kovariančná matica a PCA. Kovariancie všetkých dvojíc príznakov tvoria maticu a jej vlastné vektory (pozri diel o lineárnej algebre) ukazujú smery, v ktorých dáta kolíšu najviac.
Optimalizátor Adam (z dielu o gradientnom zostupe) priebežne odhaduje strednú hodnotu gradientu a strednú hodnotu jeho štvorca — a krok delí odmocninou z toho druhého. Kde gradient veľmi kolíše, robí opatrnejšie kroky.
Vychýlenie a rozptyl modelu. Chybu modelu možno rozložiť na systematickú chybu (vychýlenie) a kolísanie medzi trénovacími sadami (rozptyl). Jednoduché modely majú veľké vychýlenie, zložité veľký rozptyl.

Prečo je najlepší konštantný odhad stredná hodnota

Veta — rozklad strednej kvadratickej chyby

Nech Y je náhodná premenná s konečným rozptylom a c ∈ ℝ ľubovoľné číslo. Potom

E[(Y − c)²] = Var(Y) + (E[Y] − c)².

Funkcia c ↦ E[(Y − c)²] má preto jediné minimum v bode c = E[Y] a jeho hodnota je Var(Y).

Dôkaz. Var(Y − c) = Var(Y) (posunutie šírku nemení) a výpočtový tvar rozptylu pre Y − c dáva E[(Y − c)²] = Var(Y − c) + (E[Y − c])² = Var(Y) + (E[Y] − c)². ∎

E[(Y − c)²] = Var(Y) + (E[Y] − c)²

E[(Y − c)²]: stredná kvadratická chyba (MSE) odhadu c — strata, ktorú model minimalizuje
Var(Y): neodstrániteľná chyba — v c vôbec nie je, takže ju žiadny konštantný odhad nezmenší; je to šum samotných dát
(E[Y] − c)²: vychýlenie odhadu na druhú — jediné, čo voľbou c ovplyvníme; nulové je práve pre c = E[Y]

Odtiaľ tvrdenie z prvého bodu: MSE je najmenšia pre c = E[Y] a zostane rozptyl. Rovnaký rozklad vo všeobecnejšej podobe je rozklad na vychýlenie a rozptyl modelu.

Príklad — odhad hodu kockou a štandardizácia

Odhad c = 3: E[(Y − 3)²] = 4 + 1 + 0 + 1 + 4 + 9/6 = 19/6 ≈ 3,17

Podľa rozkladu: 35/12 + (3,5 − 3)² = 35/12 + 1/4 = 38/12 = 19/6 ✓; pre c = 3,5 len 35/12 + 0 ≈ 2,92 (farby podľa vzorca vyššie)

Štandardizácia šestky: z = 6 − 3,5/1,71 ≈ 1,46 — šestka leží 1,46 smerodajnej odchýlky nad priemerom

8. Zhrnutie

Stredná hodnota je vážený priemer — ťažisko rozdelenia. Je lineárna, aj pre závislé premenné.
Rozptyl je priemerná štvorcová odchýlka od priemeru, smerodajná odchýlka jeho odmocnina v rovnakých jednotkách ako dáta.
Rozptyly nezávislých premenných sa sčítajú; preto súčet dvoch kociek kolíše menej ako jedna kocka × 2.
Čebyševova nerovnosť: ďalej ako kσ od priemeru leží najviac 1/k² pravdepodobnosti.
Kovariancia a korelácia merajú lineárnu súvislosť dvoch premenných; nulová kovariancia ešte neznamená nezávislosť.

Máte na to iný názor? Napíšte na support@coden-app.com.

Stredná hodnota, rozptyl a kovariancia: kde rozdelenie leží, aké je široké a čo s čím súvisí

1. Stredná hodnota

2. Linearita strednej hodnoty

3. Rozptyl a smerodajná odchýlka

Z dát namiesto z rozdelenia

4. Rozptyl súčtu: prečo sa oplatí hodiť dvakrát

5. Čebyševova nerovnosť

6. Kovariancia a korelácia

7. Stredná hodnota a rozptyl v umelej inteligencii

Prečo je najlepší konštantný odhad stredná hodnota

8. Zhrnutie

Agent na vašom počítači, ovládaný z telefónu