Střední hodnota, rozptyl a kovariance: kde rozdělení leží, jak je široké a co s čím souvisí

Střední hodnota jako těžiště, linearita, rozptyl a směrodatná odchylka, Čebyševova nerovnost, kovariance a korelace — a proč nulová kovariance ještě neznamená nezávislost.

14 minut Matěj Žalmánek 2026-10-15

Série Základy AI Díl 16 z 83

Celá osnova série 83 z 83 témat hotovo

Co si odnesete

Co je střední hodnota, proč je to těžiště rozdělení a proč se střední hodnoty vždy sčítají.
Co měří rozptyl a směrodatná odchylka, kdy se rozptyly sčítají a co zaručuje Čebyševova nerovnost.
Co je kovariance a korelace, jak je vidět v datech a proč nulová kovariance neznamená nezávislost.

Co se hodí znát předem: Funkce hustoty a pravděpodobnostní funkce: proč má spojitá veličina v bodě pravděpodobnost nula

Rozdělení náhodné veličiny říká všechno — ale „všechno“ je často moc. Chceme-li dvě rozdělení rychle porovnat, stačí pár čísel: kde rozdělení leží, jak je široké a jestli spolu dvě veličiny rostou, nebo jdou proti sobě. Těm číslům se říká střední hodnota, rozptyl a kovariance a potkáte je v každém modelu strojového učení — od ztrátové funkce po optimalizátor Adam.

Navazuje na díly Náhodná veličina a Funkce hustoty.

1. Střední hodnota

Definice — střední hodnota diskrétní veličiny

Nechť X je diskrétní náhodná veličina, H = {x₁, x₂, …} ⊆ ℝ nejvýš spočetná množina navzájem různých hodnot s P(X ∈ H) = 1 a p : ℝ → [0, 1] pravděpodobnostní funkce veličiny X (viz díly Náhodná veličina a Funkce hustoty). Řekneme, že X má konečnou střední hodnotu, právě když ∑_i |x_i| · p(x_i) < ∞ (řada konverguje absolutně). Pak je střední hodnota veličiny X číslo

E[X] = ∑_i x_i · p(x_i).

Absolutní konvergence zaručuje, že součet nezávisí na pořadí hodnot x_i. Značí se také μ nebo μ_X. Střední hodnota je tedy průměr hodnot vážený jejich pravděpodobnostmi.

Laicky řečeno

Vážený průměr možných hodnot, kde vahou je pravděpodobnost. U jedné kostky 1 · 1/6 + 2 · 1/6 + … + 6 · 1/6 = 1 + 2 + … + 6/6 = 3,5 (barvy podle vzorce níže). Střední hodnota přitom nemusí být hodnota, která může padnout — 3,5 na kostce nepadne nikdy. Je to „průměr, ke kterému se dlouhodobě dopracujete“.

E[X] = ∑_i x_i · p(x_i)

E[X]: střední hodnota — jedno číslo, které má zastoupit celé rozdělení: kde „v průměru“ leží
∑_i: přes všechny možné hodnoty — žádnou nevynecháme, každá k průměru přispěje
x_i: hodnota — to, co se průměruje
p(x_i): váha hodnoty — častější hodnoty mají táhnout průměr víc; váhy dají dohromady 1, takže nemusíme na konci nic dělit

Při N pokusech padne x_i zhruba N · p(x_i)-krát; obyčejný průměr výsledků je pak ∑ x_i · Np(x_i)/N — přesně tenhle vzorec.

Fyzikálně je střední hodnota těžiště. Postavte pravděpodobnosti jako závaží na páku: podpěra ji udrží ve vodorovné poloze jen ve střední hodnotě. Na obrázku je větší ze dvou čísel na kostkách — maximum. Velká čísla jsou častější (šestka je maximem v 11 z 36 případů, jednička jen v jednom), takže těžiště leží vpravo od středu: E[max] = 161/36 ≈ 4,47.

Střední hodnota je těžiště: páka se vyrovná jen v bodě 4,47

Příklad — střední hodnota maxima dvou kostek a rovnováha páky

Maximum je nejvýš k právě tehdy, když jsou obě kostky nejvýš k: to je k² dvojic. Přesně k je tedy v k² − (k − 1)² = 2k − 1 dvojicích.

p(1), …, p(6) = 1/36, 3/36, 5/36, 7/36, 9/36, 11/36

E[max] = 1 · 1/36 + 2 · 3/36 + 3 · 5/36 + 4 · 7/36 + 5 · 9/36 + 6 · 11/36 = 1 + 6 + 15 + 28 + 45 + 66/36 = 161/36 ≈ 4,47

(barvy podle vzorce výše)

Páka: moment kolem bodu c je ∑ (k − c) · p(k) = E[max] − c, a ten je nulový právě pro c = E[max].

Definice — střední hodnota spojité veličiny

Nechť X je náhodná veličina s hustotou f : ℝ → [0, ∞). Řekneme, že X má konečnou střední hodnotu, právě když ∫_−∞^∞ |x| · f(x) dx < ∞ (integrál konverguje absolutně). Pak je střední hodnota veličiny X číslo

E[X] = ∫_−∞^∞ x · f(x) dx.

Je to tentýž vážený průměr jako v diskrétním případě, jen součet přes hodnoty nahradí integrál a pravděpodobnost p(x_i) „pravděpodobnost na úseku“ f(x) dx.

Laicky řečeno

Totéž, jen se místo sčítání přes body integruje přes plochu pod hustotou. Pro čekání na e-mail z minulého dílu (hustota 0,5 · e^−0,5x) vyjde E[X] = 2 minuty — přesně ten průměr, který jsme do příkladu vložili.

Příklad — střední doba čekání na e-mail

Integrál součinu spočítáme metodou per partes, ∫ u v′ = [u v] − ∫ u′ v, s u = x a v′ = λ e^−λx, tedy v = −e^−λx:

E[X] = ∫₀^∞ x · λ e^−λx dx = [−x e^−λx]₀^∞ + ∫₀^∞ e^−λx dx

= (0 − 0) + [−e^−λx/λ]₀^∞ = 0 + 1/λ = 1/λ

λ = 0,5 → E[X] = 1/0,5 = 2 minuty

Člen x e^−λx jde pro x → ∞ k nule, protože exponenciála klesá rychleji, než x roste.

2. Linearita střední hodnoty

Věta — linearita střední hodnoty

Nechť (Ω, 𝓕, P) je pravděpodobnostní prostor, X, Y : Ω → ℝ náhodné veličiny s konečnou střední hodnotou a a, b ∈ ℝ. Pak veličiny aX + b a X + Y (definované po výsledcích: (X + Y)(ω) = X(ω) + Y(ω)) mají konečnou střední hodnotu a platí

E[aX + b] = a · E[X] + b, E[X + Y] = E[X] + E[Y],

a to i když X a Y nejsou nezávislé.

Důkaz (pro konečný prostor výsledků Ω s 𝓕 = 2^Ω, jako jsou dvě kostky). Označme P(ω) = P({ω}). Střední hodnotu lze sčítat přes výsledky místo přes hodnoty: E[X] = ∑_{ω ∈ Ω} X(ω) P(ω) (výsledky se stejnou hodnotou X(ω) = x dají dohromady x · p(x)). Pak

E[X + Y] = ∑_ω (X(ω) + Y(ω)) P(ω) = ∑_ω X(ω) P(ω) + ∑_ω Y(ω) P(ω) = E[X] + E[Y].

Nikde jsme nepotřebovali, jak spolu X a Y souvisí — obě se vyhodnotí na stejném výsledku ω. Rovnost pro aX + b plyne stejně z ∑ P(ω) = 1. Obecný případ se dokazuje stejnou úvahou s integrály. ∎

Laicky řečeno

Průměr součtu je součet průměrů. Součet dvou kostek má střední hodnotu 3,5 + 3,5 = 7 — bez jakékoli tabulky. A když hodíte jen jednou a výsledek zdvojnásobíte, vyjde 2 · 3,5 = 7 taky. Linearita je nejužitečnější vlastnost v celé pravděpodobnosti: složité veličiny rozložíte na jednoduché kousky a průměry sečtete.

Příklad — kolik šestek padne na dvou kostkách

Pro jev A ∈ 𝓕 je indikátor jevu A náhodná veličina 𝟙_A : Ω → {0, 1}, 𝟙_A(ω) = 1 pro ω ∈ A a 𝟙_A(ω) = 0 pro ω ∉ A. Počet šestek N rozložíme na dva indikátory: I₁ = 𝟙_A₁ pro A₁ = „šestka na první kostce“ a I₂ = 𝟙_A₂ pro A₂ = „šestka na druhé kostce“. Pak N = I₁ + I₂.

E[I₁] = 1 · 1/6 + 0 · 5/6 = 1/6, E[I₂] = 1/6 (barvy podle vzorce střední hodnoty výše)

E[N] = E[I₁] + E[I₂] = 1/6 + 1/6 = 1/3

Kontrola výčtem: dvě šestky v 1 z 36 případů, jedna v 10 z 36 → 2 · 1 + 1 · 10/36 = 12/36 = 1/3

Střední hodnota indikátoru je pravděpodobnost jeho jevu — díky tomu se linearitou dá spočítat průměrný počet čehokoli.

3. Rozptyl a směrodatná odchylka

Definice — rozptyl

Nechť X je náhodná veličina s konečnou střední hodnotou μ = E[X]. Pokud má náhodná veličina (X − μ)² konečnou střední hodnotu (to nastane, právě když E[X²] < ∞), je rozptyl veličiny X číslo

Var(X) = E[(X − μ)²]

a říkáme, že X má konečný rozptyl. Pro diskrétní X je E[(X − μ)²] = ∑_i (x_i − μ)² · p(x_i), pro X s hustotou f je to ∫_−∞^∞ (x − μ)² · f(x) dx. Rozptyl je tedy střední hodnota čtverce odchylky od střední hodnoty; vždy Var(X) ≥ 0.

Laicky řečeno

Průměrná čtvercová vzdálenost od průměru. Když hodnoty padají těsně kolem střední hodnoty, je rozptyl malý; když lítají daleko, velký. Čtverec zajistí, že odchylky nahoru a dolů se nevyruší, a velké odchylky potrestá víc než malé.

Var(X) = E[(X − μ)²]

Var(X): rozptyl — jedno číslo pro šířku rozdělení
X − μ: odchylka od středu — šířku měříme od střední hodnoty, takže posunutí celého rozdělení rozptyl nezmění
²: čtverec — bez něj by se odchylky nahoru a dolů vyrušily a vyšla by vždy nula (E[X − μ] = μ − μ = 0); navíc velkou odchylku započte víc než dvě poloviční
E: průměr přes celé rozdělení — časté odchylky váží víc než vzácné, stejně jako u střední hodnoty

Proč čtverec, a ne absolutní hodnota? Čtverec se dá derivovat a rozepsat, a díky tomu platí pravidla níže — rozptyly nezávislých veličin se sčítají.

Věta — výpočetní tvar rozptylu

Nechť X je náhodná veličina s konečným rozptylem. Pak

Var(X) = E[X²] − (E[X])².

Důkaz. Označme μ = E[X]. Roznásobíme a použijeme linearitu, μ je konstanta: E[(X − μ)²] = E[X² − 2μX + μ²] = E[X²] − 2μ · E[X] + μ² = E[X²] − 2μ² + μ² = E[X²] − μ². ∎

Laicky řečeno

„Průměr čtverců minus čtverec průměru.“ U jedné kostky je E[X²] = 1 + 4 + 9 + 16 + 25 + 36/6 = 91/6, takže Var(X) = 91/6 − 3,5² = 35/12 ≈ 2,92. Plyne to z linearity: stačí roznásobit (X − μ)².

Definice — směrodatná odchylka

Nechť X je náhodná veličina s konečným rozptylem Var(X) ≥ 0. Směrodatná odchylka veličiny X je nezáporné číslo

σ = σ_X = √Var(X).

Platí tedy σ ≥ 0 a σ² = Var(X); σ má stejné jednotky jako X.

Laicky řečeno

Rozptyl má divné jednotky — u čekání v minutách vyjde v minutách na druhou. Odmocnina to vrátí zpět: σ je „typická vzdálenost od průměru“ ve stejných jednotkách jako data. U jedné kostky σ ≈ 1,71, u čekání na e-mail je rozptyl 4 a σ = 2 minuty.

Z dat místo z rozdělení

Rozdělení často neznáme, máme jen naměřená čísla x₁, …, x_n. Pak každé z nich dostane váhu 1/n — jako by to bylo rozdělení, ve kterém je každé měření stejně pravděpodobné:

def prumer_a_rozptyl(data):
    n = len(data)
    mu = sum(data) / n                          # E[X] s vahami 1/n
    var = sum((x - mu) ** 2 for x in data) / n  # E[(X − μ)²] s vahami 1/n
    return mu, var, var ** 0.5                  # μ, rozptyl, σ

Příklad — průměr a rozptyl osmi čísel

data 2, 4, 4, 4, 5, 5, 7, 9; μ = 40/8 = 5

odchylky x_i − μ: −3, −1, −1, −1, 0, 0, 2, 4; čtverce 9, 1, 1, 1, 0, 0, 4, 16

Var = 9 + 1 + 1 + 1 + 0 + 0 + 4 + 16/8 = 32/8 = 4, σ = √4 = 2

(barvy podle rozboru rozptylu výše: průměr E s vahami 1/8 je dělení osmi)

Když data jsou jen vzorek z většího celku a odhadujeme rozptyl celku, dělí se často n − 1 místo n (tzv. výběrový rozptyl, tady 32/7 ≈ 4,57): odchylky měříme od průměru vzorku, který k datům sedí líp než skutečná μ, a dělení n by rozptyl v průměru podhodnotilo.

4. Rozptyl součtu: proč se vyplatí hodit dvakrát

Věta — rozptyl lineární funkce a součtu

Nechť X, Y jsou náhodné veličiny na témž pravděpodobnostním prostoru s konečným rozptylem a a, b ∈ ℝ. Pak

Var(aX + b) = a² · Var(X);
jsou-li X a Y nezávislé (definice v části Kovariance a korelace), pak Var(X + Y) = Var(X) + Var(Y).

Důkaz první části. Z linearity je E[aX + b] = aμ + b, takže odchylka od středu je (aX + b) − (aμ + b) = a(X − μ) — b se odečte. Pak Var(aX + b) = E[a²(X − μ)²] = a² Var(X). Druhou část dokážeme v kapitole o kovarianci. ∎

Laicky řečeno

Posunutí o b šířku nezmění; natažení a-krát ji zvětší a²-krát. A rozptyly nezávislých veličin se sčítají — na rozdíl od směrodatných odchylek.

Porovnejme dvě hry se stejnou střední hodnotou 7. V první hodíte dvěma kostkami a sečtete je: Var = 35/12 + 35/12 = 35/6 ≈ 5,83, σ ≈ 2,42. Ve druhé hodíte jednou a výsledek zdvojnásobíte: Var = 2² · 35/12 = 35/3 ≈ 11,67, σ ≈ 3,42. Průměr je stejný, ale druhá hra je o dost divočejší — u dvou kostek se smůla na jedné často vyrovná štěstím na druhé.

Stejný průměr, různý rozptyl: zelená úsečka je μ ± σ

Na stejném principu stojí diverzifikace investic i to, proč průměr z více měření kolísá méně než jedno měření. Kolik přesně méně, ukáže příští díl o zákonu velkých čísel.

5. Čebyševova nerovnost

Věta — Čebyševova nerovnost

Nechť X je náhodná veličina s konečným rozptylem, μ = E[X] a σ = √Var(X) > 0. Pak pro každé k ∈ ℝ, k > 0, platí

P(|X − μ| ≥ kσ) ≤ 1/k²,

kde {|X − μ| ≥ kσ} = {ω ∈ Ω : |X(ω) − μ| ≥ kσ}.

Laicky řečeno

Daleko od průměru moc pravděpodobnosti být nemůže — a platí to pro každé rozdělení. Víc než dvě směrodatné odchylky od průměru padne nejvýš čtvrtina hodnot, víc než tři nejvýš devítina. U součtu dvou kostek je 2σ ≈ 4,83 a tak daleko od sedmičky jsou jen součty 2 a 12: skutečně 2/36 ≈ 0,056, hluboko pod zaručenou mezí 1/2² = 0,25 (barvy podle vzorce níže).

P(|X − μ| ≥ kσ) ≤ 1/k²

P: pravděpodobnost „ulétlé“ hodnoty — tu chceme shora omezit, aniž bychom znali tvar rozdělení
|X − μ|: vzdálenost od střední hodnoty — absolutní hodnota, protože nás zajímají úlety na obě strany
kσ: práh měřený ve směrodatných odchylkách — tak platí jedna nerovnost pro všechna rozdělení a všechny jednotky; „daleko“ znamená daleko vzhledem k typické vzdálenosti
1/k²: mez — čtverec pochází z rozptylu (průměrného čtverce odchylky): každá hodnota aspoň kσ od středu přispěje do rozptylu aspoň k²σ² krát svou pravděpodobnost; kdyby jich dohromady bylo víc než 1/k², vyšel by rozptyl větší než σ²

Pro k ≤ 1 je mez ≥ 1 a nic neříká; užitečná je až pro k > 1.

Věta — Markovova nerovnost a důkaz Čebyševovy

Markovova nerovnost: Nechť Y je náhodná veličina s konečnou střední hodnotou, která je nezáporná (Y(ω) ≥ 0 pro každé ω ∈ Ω), a a ∈ ℝ, a > 0. Pak

P(Y ≥ a) ≤ E[Y]/a.

Důkaz. Vždy platí Y ≥ a · I, kde I = 𝟙_{{Y ≥ a}} je indikátor jevu {Y ≥ a} (1, když Y ≥ a, jinak 0) (pro Y ≥ a je to Y ≥ a, jinak Y ≥ 0). Střední hodnota nerovnost zachová: E[Y] ≥ a · E[I] = a · P(Y ≥ a).

Čebyšev. Použijeme Markova na Y = (X − μ)² ≥ 0 a a = k²σ² > 0:

P(|X − μ| ≥ kσ) = P((X − μ)² ≥ k²σ²) ≤ E[(X − μ)²]/k²σ² = σ²/k²σ² = 1/k². ∎

Jak volná mez je, ukazuje součet dvou kostek (σ = √35/6 ≈ 2,42) pro několik k (barvy podle vzorce výše):

`k`	práh `k`σ	součty tak daleko od 7	skutečná `P`	mez 1/`k`²
1	2,42	2, 3, 4, 10, 11, 12	12/36 ≈ 0,333	1
1,5	3,62	2, 3, 11, 12	6/36 ≈ 0,167	0,444
2	4,83	2, 12	2/36 ≈ 0,056	0,25
3	7,25	žádné	0	0,111

U spojitého čekání na e-mail (μ = σ = 2 minuty) je pro k = 2 práh 4 minuty; dolů tak daleko čekání nedosáhne, nahoru znamená čekat aspoň 6 minut: P(X ≥ 6) = e⁻³ ≈ 0,050, opět hluboko pod 0,25. Mez je hrubá, protože musí platit i pro nejhorší možné rozdělení.

6. Kovariance a korelace

Definice — kovariance

Nechť X, Y : Ω → ℝ jsou náhodné veličiny na témž pravděpodobnostním prostoru (Ω, 𝓕, P) s konečným rozptylem a μ_X = E[X], μ_Y = E[Y]. Kovariance veličin X a Y je číslo

Cov(X, Y) = E[(X − μ_X)(Y − μ_Y)].

Tato střední hodnota je konečná, protože |(X − μ_X)(Y − μ_Y)| ≤ (X − μ_X)² + (Y − μ_Y)²/2. Kovariance je tedy střední hodnota součinu odchylek obou veličin od jejich středních hodnot.

Laicky řečeno

Když je X nad svým průměrem, bývá nad průměrem i Y? Pak je součin odchylek většinou kladný a kovariance kladná. Když jdou proti sobě, je záporná. Na obrázku je každý součin obdélník od průsečíku průměrů k bodu: zelené kladné, oranžové záporné. Kovariance je jejich průměrná plocha se znaménkem.

Definice — korelační koeficient

Nechť X, Y jsou náhodné veličiny na témž pravděpodobnostním prostoru s konečným rozptylem a se směrodatnými odchylkami σ_X > 0, σ_Y > 0. Korelační koeficient (korelace) veličin X a Y je číslo

ρ(X, Y) = Cov(X, Y)/σ_X σ_Y.

Vždy platí −1 ≤ ρ(X, Y) ≤ 1 (plyne z Cauchyovy–Schwarzovy nerovnosti |Cov(X, Y)| ≤ σ_X σ_Y).

Laicky řečeno

Kovariance závisí na jednotkách — v centimetrech vyjde 10 000× větší než v metrech. Korelace ji vydělí oběma směrodatnými odchylkami a dostane číslo bez jednotek: 1 znamená, že body leží na rostoucí přímce, −1 na klesající, 0 žádnou lineární souvislost.

Kovariance jako průměr obdélníků: kladná, nulová, záporná

První kostka a součet spolu rostou: Cov = 35/12 ≈ 2,92 a ρ ≈ 0,71. První a druhá kostka jsou nezávislé a obdélníky se přesně vyruší: Cov = 0. A čím víc padne na první kostce, tím menší je rozdíl „druhá minus první“: Cov ≈ −2,92, ρ ≈ −0,71.

Věta — výpočetní tvar kovariance

Nechť X, Y jsou náhodné veličiny na témž pravděpodobnostním prostoru s konečným rozptylem. Pak

Cov(X, Y) = E[XY] − E[X] · E[Y].

Důkaz. Stejně jako u rozptylu roznásobíme: E[XY − μ_YX − μ_XY + μ_Xμ_Y] = E[XY] − μ_Yμ_X − μ_Xμ_Y + μ_Xμ_Y. Pro Y = X je to výpočetní tvar rozptylu: Cov(X, X) = Var(X). ∎

Příklad — první kostka a součet

X = první kostka, Y = druhá, S = X + Y; E[XS] = E[X²] + E[XY] = 91/6 + 3,5 · 3,5 = 91/6 + 49/4 = 329/12

Cov(X, S) = 329/12 − 3,5 · 7 = 329/12 − 294/12 = 35/12 ≈ 2,92

ρ = 35/12/√35/12 · √35/6 = √35/12/√35/6 = √1/2 ≈ 0,71

E[XY] = E[X] · E[Y] jsme směli použít, protože kostky jsou nezávislé (věta níže).

Definice — nezávislé náhodné veličiny

Nechť X, Y : Ω → ℝ jsou náhodné veličiny na témž pravděpodobnostním prostoru (Ω, 𝓕, P) s distribučními funkcemi F_X, F_Y. X a Y jsou nezávislé, právě když

∀x, y ∈ ℝ : P(X ≤ x, Y ≤ y) = F_X(x) · F_Y(y),

kde {X ≤ x, Y ≤ y} = {X ≤ x} ∩ {Y ≤ y}; jevy {X ≤ x} a {Y ≤ y} jsou tedy nezávislé pro každou dvojici x, y (nezávislé jevy viz díl Podmíněná pravděpodobnost). Pro diskrétní X a Y je to ekvivalentní s podmínkou

∀x, y ∈ ℝ : P(X = x, Y = y) = P(X = x) · P(Y = y).

Laicky řečeno

Když se dozvíte hodnotu jedné veličiny, nic se nezmění na šancích té druhé. Pro dvě kostky: P(první 6, druhá 6) = 1/36 = 1/6 · 1/6. Pro součet a rozdíl (první − druhá) to neplatí: součet 12 a zároveň rozdíl 1 padnout nemůže, pravděpodobnost je 0, ale P(součet 12) · P(rozdíl 1) = 1/36 · 5/36 ≠ 0.

Věta — rozptyl součtu obecně

Nechť X, Y jsou náhodné veličiny na témž pravděpodobnostním prostoru s konečným rozptylem. Pak

Var(X + Y) = Var(X) + Var(Y) + 2 · Cov(X, Y).

Jsou-li navíc X a Y nezávislé, je E[XY] = E[X] · E[Y], tedy Cov(X, Y) = 0 a Var(X + Y) = Var(X) + Var(Y).

Důkaz. Odchylka součtu od středu je (X − μ_X) + (Y − μ_Y); její čtverec je (X − μ_X)² + (Y − μ_Y)² + 2(X − μ_X)(Y − μ_Y) a střední hodnota z linearity dá první rovnost. U nezávislých diskrétních veličin je E[XY] = ∑_x,y xy · P(X = x) P(Y = y) = (∑_x x P(X = x)) · (∑_y y P(Y = y)) = E[X] · E[Y], takže Cov = 0; pro veličiny s hustotou se postupuje stejně s integrály. ∎

Var(X + Y) = Var(X) + Var(Y) + 2 · Cov(X, Y)

Var(X + Y): jak moc kolísá součet — třeba celé portfolio nebo součet dvou chyb měření
Var(X) + Var(Y): kolísání každé části zvlášť — kdyby spolu nesouvisely, byl by to celý výsledek
Cov(X, Y): souhra — když jdou obě veličiny nahoru zároveň, odchylky se sčítají a součet kolísá víc (kladná); když proti sobě, odchylky se ruší (záporná)
2: smíšený člen 2ab z (a + b)² — dvojice (X, Y) a (Y, X) přispějí stejně

Součet dvou kostek: 35/12 + 35/12 + 2 · 0 = 35/6. Jedna kostka × 2 je „součet kostky se sebou“: 35/12 + 35/12 + 2 · 35/12 = 35/3.

Laicky řečeno

Veličiny, které spolu rostou, rozptyl součtu zvětší; veličiny, které jdou proti sobě, ho zmenší — přesně to dělá zajištění v investicích. U nezávislých veličin člen s kovariancí zmizí a zbude pravidlo z předchozí kapitoly.

Pozor, obráceně to neplatí: nulová kovariance neznamená nezávislost. Rozdíl kostek D = první − druhá a jejich součet S mají kovarianci Var(první) − Var(druhá) = 0. Přesto jsou závislé: když padne součet 12, musí být rozdíl 0. Kovariance měří jen lineární souvislost.

Věta — kovariance je bilineární

Nechť X, Y, Z jsou náhodné veličiny na témž pravděpodobnostním prostoru s konečným rozptylem a a, b ∈ ℝ. Pak

Cov(X, Y) = Cov(Y, X) (symetrie);
Cov(X, X) = Var(X);
Cov(aX + bY, Z) = a · Cov(X, Z) + b · Cov(Y, Z) (linearita v prvním argumentu; se symetrií i ve druhém).

Plyne to z linearity střední hodnoty, stejně jako u rozptylu.

Příklad — proč mají rozdíl a součet kovarianci nula

Cov(X − Y, X + Y) = Cov(X, X) + Cov(X, Y) − Cov(Y, X) − Cov(Y, Y)

= Var(X) − Var(Y) = 35/12 − 35/12 = 0

Smíšené členy se odečtou díky symetrii a zbude rozdíl rozptylů — nula, protože obě kostky jsou stejné. Na závislosti to nic nemění.

7. Střední hodnota a rozptyl v umělé inteligenci

Ztrátová funkce. Střední kvadratická chyba (MSE) je střední hodnota čtverce chyby, E[(Y − ŷ)²]. Nejlepší konstantní odhad je právě střední hodnota Y a chyba, která zbude, je rozptyl.
Standardizace vstupů. Než se data pošlou do sítě, převedou se na z = x − μ/σ — střední hodnota 0, směrodatná odchylka 1. Učení pak běží rychleji a stabilněji; totéž uvnitř sítě dělá batch normalization.
Kovarianční matice a PCA. Kovariance všech dvojic příznaků tvoří matici a její vlastní vektory (viz díl o lineární algebře) ukazují směry, ve kterých data kolísají nejvíc.
Optimalizátor Adam (z dílu o gradientním sestupu) průběžně odhaduje střední hodnotu gradientu a střední hodnotu jeho čtverce — a krok dělí odmocninou z toho druhého. Kde gradient hodně kolísá, dělá opatrnější kroky.
Vychýlení a rozptyl modelu. Chybu modelu lze rozložit na systematickou chybu (vychýlení) a kolísání mezi trénovacími sadami (rozptyl). Jednoduché modely mají velké vychýlení, složité velký rozptyl.

Proč je nejlepší konstantní odhad střední hodnota

Věta — rozklad střední kvadratické chyby

Nechť Y je náhodná veličina s konečným rozptylem a c ∈ ℝ libovolné číslo. Pak

E[(Y − c)²] = Var(Y) + (E[Y] − c)².

Funkce c ↦ E[(Y − c)²] má proto jediné minimum v bodě c = E[Y] a jeho hodnota je Var(Y).

Důkaz. Var(Y − c) = Var(Y) (posunutí šířku nemění) a výpočetní tvar rozptylu pro Y − c dává E[(Y − c)²] = Var(Y − c) + (E[Y − c])² = Var(Y) + (E[Y] − c)². ∎

E[(Y − c)²] = Var(Y) + (E[Y] − c)²

E[(Y − c)²]: střední kvadratická chyba (MSE) odhadu c — ztráta, kterou model minimalizuje
Var(Y): neodstranitelná chyba — v c vůbec není, takže ji žádný konstantní odhad nezmenší; je to šum samotných dat
(E[Y] − c)²: vychýlení odhadu na druhou — jediné, co volbou c ovlivníme; nulové je právě pro c = E[Y]

Odtud tvrzení z prvního bodu: MSE je nejmenší pro c = E[Y] a zbude rozptyl. Stejný rozklad v obecnější podobě je rozklad na vychýlení a rozptyl modelu.

Příklad — odhad hodu kostkou a standardizace

Odhad c = 3: E[(Y − 3)²] = 4 + 1 + 0 + 1 + 4 + 9/6 = 19/6 ≈ 3,17

Podle rozkladu: 35/12 + (3,5 − 3)² = 35/12 + 1/4 = 38/12 = 19/6 ✓; pro c = 3,5 jen 35/12 + 0 ≈ 2,92 (barvy podle vzorce výše)

Standardizace šestky: z = 6 − 3,5/1,71 ≈ 1,46 — šestka leží 1,46 směrodatné odchylky nad průměrem

8. Shrnutí

Střední hodnota je vážený průměr — těžiště rozdělení. Je lineární, i pro závislé veličiny.
Rozptyl je průměrná čtvercová odchylka od průměru, směrodatná odchylka jeho odmocnina ve stejných jednotkách jako data.
Rozptyly nezávislých veličin se sčítají; proto součet dvou kostek kolísá méně než jedna kostka × 2.
Čebyševova nerovnost: dál než kσ od průměru leží nejvýš 1/k² pravděpodobnosti.
Kovariance a korelace měří lineární souvislost dvou veličin; nulová kovariance ještě neznamená nezávislost.

Máte na to jiný názor? Napište na support@coden-app.com.

Střední hodnota, rozptyl a kovariance: kde rozdělení leží, jak je široké a co s čím souvisí

1. Střední hodnota

2. Linearita střední hodnoty

3. Rozptyl a směrodatná odchylka

Z dat místo z rozdělení

4. Rozptyl součtu: proč se vyplatí hodit dvakrát

5. Čebyševova nerovnost

6. Kovariance a korelace

7. Střední hodnota a rozptyl v umělé inteligenci

Proč je nejlepší konstantní odhad střední hodnota

8. Shrnutí

Agent na vašem počítači, ovládaný z telefonu