Wartość oczekiwana, wariancja i kowariancja: gdzie leży rozkład, jak jest szeroki i co z czym się wiąże

Wartość oczekiwana jako środek ciężkości, liniowość, wariancja i odchylenie standardowe, nierówność Czebyszewa, kowariancja i korelacja — i dlaczego zerowa kowariancja nie oznacza jeszcze niezależności.

14 minut Matěj Žalmánek 2026-10-15

Seria Podstawy AI Część 16 z 52

1. Mapa sztucznej inteligencji: co jest czym i jak to do siebie pasuje
2. Krótka historia sztucznej inteligencji: od Turinga do modeli językowych
3. Dane, model, trening, inferencja: podstawowe pojęcia na jednym przykładzie
4. Jak czytać zapis matematyczny: symbole, indeksy, sumy i kwantyfikatory
5. Zbiory i relacje: klocki, z których składają się definicje w AI
6. Funkcje i odwzorowania: dlaczego każdy model AI jest funkcją
7. Logika i dowody: reguły, według których rozumuje AI
8. Grafy i drzewa: struktura, na której opierają się przeszukiwanie i sieci neuronowe
9. Algebra liniowa dla uczenia maszynowego: wektory, macierze i dlaczego AI głównie mnoży
10. Pochodne, gradient i reguła łańcuchowa: jak model ustala, w którą stronę się uczyć
11. Spadek gradientu: jak uczy się model
12. Czym jest prawdopodobieństwo: od rzutu kostką do aksjomatów Kołmogorowa
13. Prawdopodobieństwo warunkowe i twierdzenie Bayesa: jak zmienić ocenę, gdy dowiesz się czegoś nowego
14. Zmienna losowa i dystrybuanta: jedna funkcja, która mówi o rozkładzie wszystko
15. Funkcja gęstości i funkcja prawdopodobieństwa: dlaczego zmienna ciągła ma w punkcie prawdopodobieństwo zero
16. Wartość oczekiwana, wariancja i kowariancja: gdzie leży rozkład, jak jest szeroki i co z czym się wiąże
17. Przegląd rozkładów prawdopodobieństwa: Bernoulliego, dwumianowy, Poissona, jednostajny, normalny i wykładniczy
18. Prawo wielkich liczb i centralne twierdzenie graniczne: dlaczego średnie zachowują się tak przewidywalnie
19. Statystyka i estymacja parametrów: największa wiarygodność, MAP i przedziały ufności
20. Teoria informacji: entropia, entropia krzyżowa i dywergencja KL — skąd się biorą funkcje straty
21. Przeszukiwanie przestrzeni stanów: BFS, DFS, UCS i A* z animacjami
22. Gry i przeciwnik: minimax, przycinanie alfa-beta i Monte Carlo tree search
23. Spełnianie ograniczeń: backtracking, propagacja ograniczeń i AC-3 na sudoku i mapie czeskich krajów
24. Logika i systemy z bazą wiedzy: wnioskowanie w przód i wstecz, rezolucja i systemy ekspertowe
25. Planowanie: STRIPS, świat klocków, heurystyki z relaksacji i planowanie w agentach AI
26. Przeszukiwanie lokalne i symulowane wyżarzanie: komiwojażer przez czeskie miasta wojewódzkie
27. Algorytmy genetyczne: populacja, krzyżowanie, mutacja i selekcja na plecaku na wycieczkę
28. Strategie ewolucyjne i programowanie genetyczne: od reguły jednej piątej do prawa Keplera
29. Optymalizacja kolonią mrówek: jak ślad feromonowy znajduje krótką drogę
30. Optymalizacja rojem cząstek: bezwładność, własne doświadczenie i doświadczenie roju
31. Neuroewolucja: ewolucja wag i kształtu sieci neuronowych oraz algorytm NEAT
32. Zbiory rozmyte i funkcje przynależności: jak zapisać „trochę ciepło”
33. Logika rozmyta a prawdopodobieństwo: dlaczego „trochę ciepło” nie znaczy „prawdopodobnie ciepło”
34. Logika rozmyta: t-normy, implikacje i reguły JEŻELI–TO
35. Sterowanie rozmyte: Mamdani i Sugeno od wentylatora po wahadło na wózku
36. Klasteryzacja rozmyta: algorytm fuzzy c-means i punkty między skupieniami
37. Systemy neuro-rozmyte (ANFIS): reguły rozmyte, które uczą się z danych
38. Łańcuchy Markowa: macierz przejścia, rozkład stacjonarny i PageRank
39. Ukryte modele Markowa: algorytm Viterbiego i nieuczciwe kasyno
40. Sieci bayesowskie: dlaczego trawa jest mokra i co z tego wynika dla zraszacza
41. Filtr Kalmana: jak z niedokładnych pomiarów oszacować, gdzie jest samochód i jak szybko jedzie
42. Rodzaje uczenia maszynowego: nadzorowane, nienadzorowane, półnadzorowane i inne
43. Prompty, kontekst i RAG: jak dać modelowi właściwe informacje
44. Wariacyjne autoenkodery (VAE): nowe obrazki z ciągłej przestrzeni latentnej
45. Generatywne sieci przeciwstawne (GAN): fałszerz kontra detektyw
46. Modele dyfuzyjne: jak z czystego szumu powstaje obraz
47. Procesy decyzyjne Markowa: stany, akcje, nagrody i równania Bellmana
48. Q-learning i DQN: uczenie się wartości akcji od tabeli po sieć neuronową
49. Policy gradient i PPO: uczenie się bezpośrednio polityki
50. Jak działa agent AI: model językowy w pętli z narzędziami
51. Programowanie z agentami AI: zadanie, testy i kontrola
52. Ocena i bezpieczeństwo systemów AI: jak mierzyć i jak pilnować

Pełny program serii Gotowe: 52 z 83 tematów

Rozkład zmiennej losowej mówi wszystko — ale „wszystko” to często za dużo. Jeśli chcesz szybko porównać dwa rozkłady, wystarczy kilka liczb: gdzie rozkład leży, jak jest szeroki i czy dwie zmienne rosną razem, czy idą w przeciwne strony. Te liczby to wartość oczekiwana, wariancja i kowariancja, a spotkasz je w każdym modelu uczenia maszynowego — od funkcji straty po optymalizator Adam.

Ta część nawiązuje do części Zmienna losowa i Funkcja gęstości.

1. Wartość oczekiwana

Definicja — wartość oczekiwana zmiennej dyskretnej

Jeśli zmienna dyskretna X przyjmuje wartości x₁, x₂, … z funkcją prawdopodobieństwa p, to jej wartość oczekiwana wynosi

E[X] = ∑_i x_i · p(x_i),

o ile szereg jest zbieżny bezwzględnie. Oznacza się ją także μ.

Fizycznie wartość oczekiwana to środek ciężkości. Postaw prawdopodobieństwa jako odważniki na dźwigni: podpora utrzyma ją w poziomie tylko w wartości oczekiwanej. Na rysunku jest większa z dwóch liczb wyrzuconych na kostkach — maksimum. Duże liczby są częstsze (szóstka jest maksimum w 11 z 36 przypadków, jedynka tylko w jednym), więc środek ciężkości leży na prawo od środka: E[max] = 161/36 ≈ 4,47.

Definicja — wartość oczekiwana zmiennej ciągłej

Jeśli X ma gęstość f, to E[X] = ∫_−∞^∞ x · f(x) dx, o ile całka jest zbieżna bezwzględnie.

2. Liniowość wartości oczekiwanej

Twierdzenie — liniowość wartości oczekiwanej

Dla zmiennych losowych X, Y o skończonej wartości oczekiwanej i liczb a, b zachodzi

E[aX + b] = a · E[X] + b,   E[X + Y] = E[X] + E[Y],

i to nawet wtedy, gdy X i Y nie są niezależne.

3. Wariancja i odchylenie standardowe

Definicja — wariancja

Dla zmiennej X o wartości oczekiwanej μ wariancja to

Var(X) = E[(X − μ)²].

Twierdzenie — wzór obliczeniowy na wariancję

Var(X) = E[X²] − (E[X])².

Definicja — odchylenie standardowe

Odchylenie standardowe to σ = √Var(X).

4. Wariancja sumy: dlaczego opłaca się rzucić dwa razy

Twierdzenie — wariancja funkcji liniowej i sumy

Var(aX + b) = a² · Var(X). Jeśli X i Y są niezależne, to Var(X + Y) = Var(X) + Var(Y).

Porównajmy dwie gry o tej samej wartości oczekiwanej 7. W pierwszej rzucasz dwiema kostkami i sumujesz wyniki: Var = 35/12 + 35/12 = 35/6 ≈ 5,83, σ ≈ 2,42. W drugiej rzucasz raz i podwajasz wynik: Var = 2² · 35/12 = 35/3 ≈ 11,67, σ ≈ 3,42. Średnia jest ta sama, ale druga gra jest znacznie bardziej nieprzewidywalna — przy dwóch kostkach pecha na jednej często równoważy szczęście na drugiej.

Na tej samej zasadzie opiera się dywersyfikacja inwestycji i to, że średnia z wielu pomiarów waha się mniej niż pojedynczy pomiar. O ile dokładnie mniej, pokaże następna część o prawie wielkich liczb.

5. Nierówność Czebyszewa

Twierdzenie — nierówność Czebyszewa

Jeśli X ma wartość oczekiwaną μ i skończone odchylenie standardowe σ > 0, to dla każdego k > 0

P(|X − μ| ≥ kσ) ≤ 1 / k².

6. Kowariancja i korelacja

Definicja — kowariancja

Dla zmiennych X, Y o wartościach oczekiwanych μ_X, μ_Y kowariancja to

Cov(X, Y) = E[(X − μ_X)(Y − μ_Y)].

Definicja — współczynnik korelacji

Korelacja zmiennych o dodatnich odchyleniach standardowych to ρ(X, Y) = Cov(X, Y) / (σ_X σ_Y). Zawsze −1 ≤ ρ ≤ 1.

Pierwsza kostka i suma rosną razem: Cov = 35/12 ≈ 2,92 i ρ ≈ 0,71. Pierwsza i druga kostka są niezależne, a prostokąty dokładnie się znoszą: Cov = 0. A im więcej wypadnie na pierwszej kostce, tym mniejsza jest różnica „druga minus pierwsza”: Cov ≈ −2,92, ρ ≈ −0,71.

Twierdzenie — wariancja sumy w ogólnym przypadku

Var(X + Y) = Var(X) + Var(Y) + 2 · Cov(X, Y). Jeśli X i Y są niezależne, to Cov(X, Y) = 0.

Uwaga, w drugą stronę to nie działa: zerowa kowariancja nie oznacza niezależności. Różnica kostek D = pierwsza − druga i ich suma S mają kowariancję Var(pierwsza) − Var(druga) = 0. Mimo to są zależne: gdy suma wynosi 12, różnica musi być 0. Kowariancja mierzy tylko związek liniowy.

7. Wartość oczekiwana i wariancja w sztucznej inteligencji

• Funkcja straty. Błąd średniokwadratowy (MSE) to wartość oczekiwana kwadratu błędu, E[(Y − ŷ)²]. Najlepsza stała prognoza to właśnie wartość oczekiwana Y, a błąd, który zostaje, to wariancja.
• Standaryzacja danych wejściowych. Zanim dane trafią do sieci, przekształca się je na z = (x − μ) / σ — wartość oczekiwana 0, odchylenie standardowe 1. Uczenie przebiega wtedy szybciej i stabilniej; to samo wewnątrz sieci robi batch normalization.
• Macierz kowariancji i PCA. Kowariancje wszystkich par cech tworzą macierz, a jej wektory własne (zob. część o algebrze liniowej) wskazują kierunki, w których dane wahają się najbardziej.
• Optymalizator Adam (z części o spadku gradientowym) na bieżąco szacuje wartość oczekiwaną gradientu i wartość oczekiwaną jego kwadratu — i dzieli krok przez pierwiastek z tej drugiej. Tam, gdzie gradient mocno się waha, robi ostrożniejsze kroki.
• Obciążenie i wariancja modelu. Błąd modelu można rozłożyć na błąd systematyczny (obciążenie) i wahania między zbiorami treningowymi (wariancję). Proste modele mają duże obciążenie, złożone dużą wariancję.

8. Podsumowanie

• Wartość oczekiwana to średnia ważona — środek ciężkości rozkładu. Jest liniowa, także dla zmiennych zależnych.
• Wariancja to średnie kwadratowe odchylenie od średniej, odchylenie standardowe to jej pierwiastek w tych samych jednostkach co dane.
• Wariancje zmiennych niezależnych się sumują; dlatego suma dwóch kostek waha się mniej niż jedna kostka × 2.
• Nierówność Czebyszewa: dalej niż kσ od średniej leży co najwyżej 1/k² prawdopodobieństwa.
• Kowariancja i korelacja mierzą liniowy związek dwóch zmiennych; zerowa kowariancja nie oznacza jeszcze niezależności.

Masz inne zdanie? Napisz na support@coden-app.com.