Prawo wielkich liczb i centralne twierdzenie graniczne: dlaczego średnie zachowują się tak przewidywalnie

Średnia z próby, prawo wielkich liczb i centralne twierdzenie graniczne z animacjami — dlaczego rozkład normalny jest wszędzie, skąd bierze się błąd sondaży ±3 % i dlaczego dwa razy dokładniejsze oszacowanie kosztuje cztery razy więcej danych.

13 minut Matěj Žalmánek 2026-10-15

Seria Podstawy AI Część 18 z 52

1. Mapa sztucznej inteligencji: co jest czym i jak to do siebie pasuje
2. Krótka historia sztucznej inteligencji: od Turinga do modeli językowych
3. Dane, model, trening, inferencja: podstawowe pojęcia na jednym przykładzie
4. Jak czytać zapis matematyczny: symbole, indeksy, sumy i kwantyfikatory
5. Zbiory i relacje: klocki, z których składają się definicje w AI
6. Funkcje i odwzorowania: dlaczego każdy model AI jest funkcją
7. Logika i dowody: reguły, według których rozumuje AI
8. Grafy i drzewa: struktura, na której opierają się przeszukiwanie i sieci neuronowe
9. Algebra liniowa dla uczenia maszynowego: wektory, macierze i dlaczego AI głównie mnoży
10. Pochodne, gradient i reguła łańcuchowa: jak model ustala, w którą stronę się uczyć
11. Spadek gradientu: jak uczy się model
12. Czym jest prawdopodobieństwo: od rzutu kostką do aksjomatów Kołmogorowa
13. Prawdopodobieństwo warunkowe i twierdzenie Bayesa: jak zmienić ocenę, gdy dowiesz się czegoś nowego
14. Zmienna losowa i dystrybuanta: jedna funkcja, która mówi o rozkładzie wszystko
15. Funkcja gęstości i funkcja prawdopodobieństwa: dlaczego zmienna ciągła ma w punkcie prawdopodobieństwo zero
16. Wartość oczekiwana, wariancja i kowariancja: gdzie leży rozkład, jak jest szeroki i co z czym się wiąże
17. Przegląd rozkładów prawdopodobieństwa: Bernoulliego, dwumianowy, Poissona, jednostajny, normalny i wykładniczy
18. Prawo wielkich liczb i centralne twierdzenie graniczne: dlaczego średnie zachowują się tak przewidywalnie
19. Statystyka i estymacja parametrów: największa wiarygodność, MAP i przedziały ufności
20. Teoria informacji: entropia, entropia krzyżowa i dywergencja KL — skąd się biorą funkcje straty
21. Przeszukiwanie przestrzeni stanów: BFS, DFS, UCS i A* z animacjami
22. Gry i przeciwnik: minimax, przycinanie alfa-beta i Monte Carlo tree search
23. Spełnianie ograniczeń: backtracking, propagacja ograniczeń i AC-3 na sudoku i mapie czeskich krajów
24. Logika i systemy z bazą wiedzy: wnioskowanie w przód i wstecz, rezolucja i systemy ekspertowe
25. Planowanie: STRIPS, świat klocków, heurystyki z relaksacji i planowanie w agentach AI
26. Przeszukiwanie lokalne i symulowane wyżarzanie: komiwojażer przez czeskie miasta wojewódzkie
27. Algorytmy genetyczne: populacja, krzyżowanie, mutacja i selekcja na plecaku na wycieczkę
28. Strategie ewolucyjne i programowanie genetyczne: od reguły jednej piątej do prawa Keplera
29. Optymalizacja kolonią mrówek: jak ślad feromonowy znajduje krótką drogę
30. Optymalizacja rojem cząstek: bezwładność, własne doświadczenie i doświadczenie roju
31. Neuroewolucja: ewolucja wag i kształtu sieci neuronowych oraz algorytm NEAT
32. Zbiory rozmyte i funkcje przynależności: jak zapisać „trochę ciepło”
33. Logika rozmyta a prawdopodobieństwo: dlaczego „trochę ciepło” nie znaczy „prawdopodobnie ciepło”
34. Logika rozmyta: t-normy, implikacje i reguły JEŻELI–TO
35. Sterowanie rozmyte: Mamdani i Sugeno od wentylatora po wahadło na wózku
36. Klasteryzacja rozmyta: algorytm fuzzy c-means i punkty między skupieniami
37. Systemy neuro-rozmyte (ANFIS): reguły rozmyte, które uczą się z danych
38. Łańcuchy Markowa: macierz przejścia, rozkład stacjonarny i PageRank
39. Ukryte modele Markowa: algorytm Viterbiego i nieuczciwe kasyno
40. Sieci bayesowskie: dlaczego trawa jest mokra i co z tego wynika dla zraszacza
41. Filtr Kalmana: jak z niedokładnych pomiarów oszacować, gdzie jest samochód i jak szybko jedzie
42. Rodzaje uczenia maszynowego: nadzorowane, nienadzorowane, półnadzorowane i inne
43. Prompty, kontekst i RAG: jak dać modelowi właściwe informacje
44. Wariacyjne autoenkodery (VAE): nowe obrazki z ciągłej przestrzeni latentnej
45. Generatywne sieci przeciwstawne (GAN): fałszerz kontra detektyw
46. Modele dyfuzyjne: jak z czystego szumu powstaje obraz
47. Procesy decyzyjne Markowa: stany, akcje, nagrody i równania Bellmana
48. Q-learning i DQN: uczenie się wartości akcji od tabeli po sieć neuronową
49. Policy gradient i PPO: uczenie się bezpośrednio polityki
50. Jak działa agent AI: model językowy w pętli z narzędziami
51. Programowanie z agentami AI: zadanie, testy i kontrola
52. Ocena i bezpieczeństwo systemów AI: jak mierzyć i jak pilnować

Pełny program serii Gotowe: 52 z 83 tematów

Pojedynczy rzut kostką to czysty przypadek. Ale średnia z dziesięciu tysięcy rzutów to niemal na pewno 3,5 — i to z dokładnością, którą da się policzyć z góry. Ta część jest o dwóch twierdzeniach, które z chaosu pojedynczych prób robią przewidywalność: prawo wielkich liczb mówi, dokąd zmierza średnia, a centralne twierdzenie graniczne — jak waha się wokół tego celu. Opierają się na nich sondaże opinii publicznej, kontrola jakości, testy A/B i trenowanie sieci neuronowych.

Nawiązuje do części Wartość oczekiwana i wariancja i Przegląd rozkładów.

1. Średnia z próby

Definicja — niezależne zmienne o jednakowym rozkładzie

Zmienne X₁, X₂, … to niezależne zmienne o jednakowym rozkładzie (po angielsku i.i.d.), jeśli są wzajemnie niezależne i każda z nich ma ten sam rozkład.

Definicja — średnia z próby

Dla X₁, …, X_n średnia z próby to X̄_n = (X₁ + … + X_n) / n.

Twierdzenie — wartość oczekiwana i wariancja średniej

Jeśli niezależne zmienne X_i o jednakowym rozkładzie mają wartość oczekiwaną μ i wariancję σ², to

E[X̄_n] = μ,   Var(X̄_n) = σ² / n,   odchylenie standardowe σ / √n.

2. Prawo wielkich liczb

Twierdzenie — (słabe) prawo wielkich liczb

Jeśli niezależne zmienne X_i o jednakowym rozkładzie mają wartość oczekiwaną μ i skończoną wariancję, to dla każdego ε > 0

lim_n→∞ P(|X̄_n − μ| ≥ ε) = 0.

Dowód mieści się w jednej linijce: z nierówności Czebyszewa P(|X̄_n − μ| ≥ ε) ≤ σ² / (nε²), a to dąży do zera, gdy n rośnie. Dla kostki, tolerancji 0,1 i 10 000 rzutów ograniczenie wynosi 2,917 / 100 ≈ 0,029.

Po dziesięciu rzutach średnie czterech serii leżą między 3,4 a 4,1, po 10 000 rzutów — między 3,496 a 3,502. Lejek μ ± 2σ/√n zwęża się dokładnie tak, jak mówi twierdzenie o wariancji średniej — a linie wychodzą poza niego tylko wyjątkowo. Dlaczego akurat 2σ i dlaczego „tylko wyjątkowo”, wyjaśni kolejne twierdzenie.

Prawo wielkich liczb nie mówi, że przypadek się „wyrównuje”. Gdy moneta pięć razy z rzędu wypadnie orłem, wcale nie jest teraz „kolej na reszkę” — moneta niczego nie pamięta. Średnia zbliża się do 0,5 nie dlatego, że nadwyżka orłów zostaje odrobiona, lecz dlatego, że kolejny tysiąc rzutów ją rozcieńcza.

3. Zbieżność według rozkładu

Definicja — zbieżność według rozkładu

Ciąg zmiennych Y₁, Y₂, … jest zbieżny według rozkładu do zmiennej Y, jeśli lim_n→∞ F_Yn(x) = F_Y(x) w każdym punkcie x, w którym F_Y jest ciągła.

4. Centralne twierdzenie graniczne

Twierdzenie — centralne twierdzenie graniczne

Jeśli niezależne zmienne X_i o jednakowym rozkładzie mają wartość oczekiwaną μ i wariancję 0 < σ² < ∞, to

(X̄_n − μ) / (σ / √n) jest zbieżne według rozkładu do N(0, 1).

Rozkład jednej kostki jest płaski — żadnego dzwonu. Średnia z dwóch kostek to trójkąt, średnia z pięciu już przypomina dzwon, a średniej z trzydziestu prawie nie odróżnisz od rozkładu normalnego. Słupki to dokładny rozkład policzony przez wyliczenie wszystkich możliwości, linia przerywana to przybliżenie normalne:

Działa to także dla silnie skośnego rozkładu — na przykład czekania na e-mail, które ma rozkład wykładniczy. Pojedyncze czekanie jest mocno niesymetryczne (skośność 2), średnia z pięciu czekań mniej, a średnia z trzydziestu jest już prawie symetryczna (skośność 0,37):

Jak dobre jest to przybliżenie, pokaże konkretne pytanie: z jakim prawdopodobieństwem średnia z 30 rzutów kostką będzie większa niż 4? Dokładne obliczenie przez wszystkie możliwości daje 0,0488. Centralne twierdzenie graniczne mówi: 4 leży (4 − 3,5) / (1,708/√30) ≈ 1,60 odchylenia standardowego powyżej średniej, więc P ≈ 1 − Φ(1,60) ≈ 0,0544. Bez ani jednego sumowania po 6³⁰ możliwościach, z błędem poniżej sześciu tysięcznych.

5. Do czego to służy: błąd oszacowania

Centralne twierdzenie graniczne mówi, że oszacowanie średnią w 95 % przypadków leży nie dalej niż 1,96 σ/√n od prawdziwej wartości. Stąd najczęściej używany wzór statystyki:

• Sondaż opinii publicznej na 1 000 respondentów przy poparciu około 50 % ma błąd 1,96 · √(0,25 / 1 000) ≈ ±3,1 punktu procentowego. Dlatego sondaże obejmują około tysiąca osób — żeby błąd był o połowę mniejszy, potrzebowałyby czterech tysięcy.
• Dokładność modelu zmierzona na 1 000 przykładach testowych jako 90 % to w rzeczywistości 90 % ± 1,9 punktu procentowego. Model z wynikiem 91 % na zbiorze tej samej wielkości wcale więc nie musi być lepszy.

Skąd statystyka bierze σ, gdy go nie zna, i co dokładnie oznacza ten przedział, to temat następnej części o statystyce i estymacji.

6. Kiedy twierdzenia nie działają

• Nieskończona wariancja albo brak wartości oczekiwanej. Rozkład Cauchy'ego ma tak ciężkie ogony, że w ogóle nie ma wartości oczekiwanej — a średnia z n zmiennych Cauchy'ego ma dokładnie taki sam rozkład jak jedna jedyna. Więcej danych nic tu nie pomoże. Podobnie dzikie bywają wielkości miast, majątki czy krachy na giełdzie.
• Dane zależne. Tysiąc odpowiedzi od ludzi z jednej ulicy albo tysiąc klatek tego samego filmu to nie tysiąc niezależnych obserwacji, a σ/√n mocno zaniży błąd.
• Mało danych i skośny rozkład. Twierdzenie jest graniczne — przy wykładniczym czasie oczekiwania rozkład średniej po pięciu obserwacjach jest wciąż wyraźnie niesymetryczny.

7. Twierdzenia graniczne w sztucznej inteligencji

• Stochastyczny spadek gradientu. Gradient policzony z minipartii (minibatch) B przykładów to średnia z próby. Celuje tak samo jak gradient z całych danych (prawo wielkich liczb), ale waha się z odchyleniem standardowym ∝ 1/√B. Cztery razy większa minipartia oznacza tylko dwa razy mniejszy szum — dlatego nie opłaca się powiększać minipartii w nieskończoność.
• Metody Monte Carlo. Gdy czegoś nie da się policzyć dokładnie — oczekiwanej nagrody w uczeniu ze wzmocnieniem, całki w wysokim wymiarze — uśrednia się wiele losowych próbek. Prawo wielkich liczb gwarantuje poprawny wynik, a centralne twierdzenie graniczne mówi, jak jest dokładny.
• Ewaluacja modeli i testy A/B opierają się na błędzie 1,96 σ/√n: bez niego nie poznasz, czy nowy model jest naprawdę lepszy, czy po prostu miał szczęście.
• Inicjalizacja sieci. Wejście neuronu to suma wielu wag razy aktywacje — zgodnie z centralnym twierdzeniem granicznym ma w przybliżeniu rozkład normalny. Na tym opierają się schematy inicjalizacji Xaviera i He, które dobierają wariancję wag tak, by sygnał przechodzący przez sieć ani nie narastał, ani nie zanikał.

8. Podsumowanie

• Średnia z próby to zmienna losowa z wartością oczekiwaną μ i odchyleniem standardowym σ/√n.
• Prawo wielkich liczb: wraz ze wzrostem n średnia niemal na pewno zbliża się do μ.
• Centralne twierdzenie graniczne: średnia z wielu niezależnych zmiennych ma w przybliżeniu rozkład normalny — bez względu na to, jaki rozkład mają pojedyncze zmienne.
• Błąd oszacowania średnią to mniej więcej ±1,96 σ/√n; dwa razy dokładniejsze oszacowanie kosztuje cztery razy więcej danych.
• Bez skończonej wariancji albo bez niezależności twierdzenia nie działają.

Masz inne zdanie? Napisz na support@coden-app.com.