Przegląd rozkładów prawdopodobieństwa: Bernoulliego, dwumianowy, Poissona, jednostajny, normalny i wykładniczy
Sześć najważniejszych rozkładów z definicjami, wartościami oczekiwanymi i wariancjami — deska Galtona, twierdzenie Poissona, reguła 68–95–99,7 i kiedy którego rozkładu użyć.
Seria Podstawy AI Część 17 z 52
- Mapa sztucznej inteligencji: co jest czym i jak to do siebie pasuje
- Krótka historia sztucznej inteligencji: od Turinga do modeli językowych
- Dane, model, trening, inferencja: podstawowe pojęcia na jednym przykładzie
- Jak czytać zapis matematyczny: symbole, indeksy, sumy i kwantyfikatory
- Zbiory i relacje: klocki, z których składają się definicje w AI
- Funkcje i odwzorowania: dlaczego każdy model AI jest funkcją
- Logika i dowody: reguły, według których rozumuje AI
- Grafy i drzewa: struktura, na której opierają się przeszukiwanie i sieci neuronowe
- Algebra liniowa dla uczenia maszynowego: wektory, macierze i dlaczego AI głównie mnoży
- Pochodne, gradient i reguła łańcuchowa: jak model ustala, w którą stronę się uczyć
- Spadek gradientu: jak uczy się model
- Czym jest prawdopodobieństwo: od rzutu kostką do aksjomatów Kołmogorowa
- Prawdopodobieństwo warunkowe i twierdzenie Bayesa: jak zmienić ocenę, gdy dowiesz się czegoś nowego
- Zmienna losowa i dystrybuanta: jedna funkcja, która mówi o rozkładzie wszystko
- Funkcja gęstości i funkcja prawdopodobieństwa: dlaczego zmienna ciągła ma w punkcie prawdopodobieństwo zero
- Wartość oczekiwana, wariancja i kowariancja: gdzie leży rozkład, jak jest szeroki i co z czym się wiąże
- Przegląd rozkładów prawdopodobieństwa: Bernoulliego, dwumianowy, Poissona, jednostajny, normalny i wykładniczy
- Prawo wielkich liczb i centralne twierdzenie graniczne: dlaczego średnie zachowują się tak przewidywalnie
- Statystyka i estymacja parametrów: największa wiarygodność, MAP i przedziały ufności
- Teoria informacji: entropia, entropia krzyżowa i dywergencja KL — skąd się biorą funkcje straty
- Przeszukiwanie przestrzeni stanów: BFS, DFS, UCS i A* z animacjami
- Gry i przeciwnik: minimax, przycinanie alfa-beta i Monte Carlo tree search
- Spełnianie ograniczeń: backtracking, propagacja ograniczeń i AC-3 na sudoku i mapie czeskich krajów
- Logika i systemy z bazą wiedzy: wnioskowanie w przód i wstecz, rezolucja i systemy ekspertowe
- Planowanie: STRIPS, świat klocków, heurystyki z relaksacji i planowanie w agentach AI
- Przeszukiwanie lokalne i symulowane wyżarzanie: komiwojażer przez czeskie miasta wojewódzkie
- Algorytmy genetyczne: populacja, krzyżowanie, mutacja i selekcja na plecaku na wycieczkę
- Strategie ewolucyjne i programowanie genetyczne: od reguły jednej piątej do prawa Keplera
- Optymalizacja kolonią mrówek: jak ślad feromonowy znajduje krótką drogę
- Optymalizacja rojem cząstek: bezwładność, własne doświadczenie i doświadczenie roju
- Neuroewolucja: ewolucja wag i kształtu sieci neuronowych oraz algorytm NEAT
- Zbiory rozmyte i funkcje przynależności: jak zapisać „trochę ciepło”
- Logika rozmyta a prawdopodobieństwo: dlaczego „trochę ciepło” nie znaczy „prawdopodobnie ciepło”
- Logika rozmyta: t-normy, implikacje i reguły JEŻELI–TO
- Sterowanie rozmyte: Mamdani i Sugeno od wentylatora po wahadło na wózku
- Klasteryzacja rozmyta: algorytm fuzzy c-means i punkty między skupieniami
- Systemy neuro-rozmyte (ANFIS): reguły rozmyte, które uczą się z danych
- Łańcuchy Markowa: macierz przejścia, rozkład stacjonarny i PageRank
- Ukryte modele Markowa: algorytm Viterbiego i nieuczciwe kasyno
- Sieci bayesowskie: dlaczego trawa jest mokra i co z tego wynika dla zraszacza
- Filtr Kalmana: jak z niedokładnych pomiarów oszacować, gdzie jest samochód i jak szybko jedzie
- Rodzaje uczenia maszynowego: nadzorowane, nienadzorowane, półnadzorowane i inne
- Prompty, kontekst i RAG: jak dać modelowi właściwe informacje
- Wariacyjne autoenkodery (VAE): nowe obrazki z ciągłej przestrzeni latentnej
- Generatywne sieci przeciwstawne (GAN): fałszerz kontra detektyw
- Modele dyfuzyjne: jak z czystego szumu powstaje obraz
- Procesy decyzyjne Markowa: stany, akcje, nagrody i równania Bellmana
- Q-learning i DQN: uczenie się wartości akcji od tabeli po sieć neuronową
- Policy gradient i PPO: uczenie się bezpośrednio polityki
- Jak działa agent AI: model językowy w pętli z narzędziami
- Programowanie z agentami AI: zadanie, testy i kontrola
- Ocena i bezpieczeństwo systemów AI: jak mierzyć i jak pilnować
Pełny program serii Gotowe: 52 z 83 tematów
- Co opisują rozkłady Bernoulliego, dwumianowy i Poissona i jak są ze sobą powiązane.
- Kiedy użyć rozkładu jednostajnego, normalnego i wykładniczego i co mówi reguła 68–95–99,7.
- Które rozkłady stoją za klasyfikacją, funkcjami straty i modelami generatywnymi w AI.
Warto wiedzieć wcześniej: Wartość oczekiwana, wariancja i kowariancja: gdzie leży rozkład, jak jest szeroki i co z czym się wiąże
Rozkład możesz za każdym razem wymyślić od zera — ale nie musisz. Kilka sytuacji powtarza się w praktyce bez końca: tak/nie, liczba sukcesów, liczba zdarzeń na godzinę, czekanie, pomiar z błędem. Dla każdej z nich istnieje gotowy rozkład z kilkoma parametrami, policzoną wartością oczekiwaną i wariancją. Ta część to przegląd sześciu najważniejszych — a przede wszystkim tego, kiedy którego użyć.
Nawiązuje do części Funkcja gęstości i Wartość oczekiwana i wariancja.
1. Rozkład Bernoulliego
Definicja — rozkład Bernoulliego
Zmienna X ma rozkład Bernoulliego z parametrem p ∈ [0, 1], co zapisujemy X ~ Bern(p), jeśli
P(X = 1) = p, P(X = 0) = 1 − p.
Jedna próba, dwa wyniki: udało się (1), nie udało się (0). Rzut monetą, kliknięcie w reklamę, spam/nie spam. Jedyny parametr p to szansa na sukces.
Wartość oczekiwana wynosi p, a wariancja p(1 − p) — jest największa dla p = 0,5, kiedy wynik jest najmniej przewidywalny.
2. Rozkład dwumianowy
Definicja — rozkład dwumianowy
Zmienna X ma rozkład dwumianowy z parametrami n ∈ ℕ i p ∈ [0, 1], X ~ B(n, p), jeśli
P(X = k) = (n po k) · pk · (1 − p)n−k, k = 0, 1, …, n,
gdzie (n po k) = n! / (k! (n − k)!) to symbol Newtona.
Liczba sukcesów w n niezależnych próbach z tą samą szansą p. Symbol Newtona liczy, na ile sposobów można rozmieścić k sukcesów wśród n prób. W dziesięciu rzutach monetą dokładnie pięć orłów wypada z prawdopodobieństwem 252/1024 ≈ 0,246 — czyli nawet nie w co czwartej serii. Osiem i więcej orłów tylko z prawdopodobieństwem 56/1024 ≈ 0,055.
Zmienna dwumianowa to suma n niezależnych zmiennych Bernoulliego, więc z liniowości jej wartość oczekiwana to np, a wariancja np(1 − p). Ładnie widać to na desce Galtona: kulka na każdym z dziesięciu kołków odbija się w lewo albo w prawo, każde odbicie to jedna próba Bernoulliego, a przegródka, do której wpadnie, to liczba odbić w prawo — B(10; 0,5).
Kulki gromadzą się pośrodku w kształt dzwonu — i ten kształt nie jest przypadkowy. Jak zobaczymy przy rozkładzie normalnym i w następnej części, suma wielu małych losowych wpływów zawsze daje dzwon.
3. Rozkład Poissona
Definicja — rozkład Poissona
Zmienna X ma rozkład Poissona z parametrem λ > 0, X ~ Po(λ), jeśli
P(X = k) = e−λ · λk / k!, k = 0, 1, 2, …
Liczba zdarzeń w danym czasie, gdy przychodzą niezależnie i średnio λ w tym czasie: e-maile na godzinę, żądania do serwera na sekundę, literówki na stronie. Jeśli e-mail przychodzi średnio raz na 2 minuty, w ciągu 4 minut spodziewamy się λ = 2. Żaden nie przyjdzie z prawdopodobieństwem e−2 ≈ 0,135, dokładnie dwa z prawdopodobieństwem 0,271.
Osobliwość rozkładu Poissona: wartość oczekiwana i wariancja są obie równe λ.
Twierdzenie — twierdzenie Poissona
Dla ustalonego λ > 0 i każdego k zachodzi limn→∞ P(B(n, λ/n) = k) = e−λ λk / k!.
Rozkład Poissona to rozkład dwumianowy z ogromną liczbą prób i małą szansą w każdej z nich. Podziel 4 minuty na n krótkich odcinków; w każdym e-mail przychodzi z szansą 2/n. Im drobniej dzielisz, tym bardziej rozkład dwumianowy zbliża się do rozkładu Poissona: łączne odchylenie wynosi 0,125 dla 5 odcinków, 0,024 dla 20 i 0,005 dla 100.
4. Rozkład jednostajny
Definicja — ciągły rozkład jednostajny
Zmienna X ma rozkład jednostajny na przedziale [a, b], X ~ U(a, b), jeśli ma gęstość
f(x) = 1 / (b − a) dla a ≤ x ≤ b, w przeciwnym razie 0.
Każdy kawałek przedziału jest jednakowo prawdopodobny — model „nie wiem nic poza granicami”. Czekanie na autobus, który jeździ co 10 minut, to U(0, 10). Generator liczb losowych w komputerze zwraca U(0, 1) i to właśnie z niego wytwarza się próbki ze wszystkich innych rozkładów.
Wartość oczekiwana to środek przedziału (a + b) / 2, wariancja (b − a)² / 12. Na autobus czekasz więc średnio 5 minut z odchyleniem standardowym √(100/12) ≈ 2,89 minuty.
5. Rozkład normalny
Definicja — rozkład normalny
Zmienna X ma rozkład normalny (Gaussa) z wartością oczekiwaną μ i wariancją σ² > 0, X ~ N(μ, σ²), jeśli ma gęstość
f(x) = 1 / (σ√(2π)) · e−(x − μ)² / (2σ²), x ∈ ℝ.
Słynna krzywa dzwonowa: najwięcej wartości wokół średniej μ, symetrycznie w obie strony, a im dalej, tym szybciej ich ubywa. Tak wygląda wzrost ludzi, błędy pomiaru, szum w czujnikach — wszystko, co powstaje z zsumowania wielu drobnych niezależnych wpływów.
Definicja — standardowy rozkład normalny
N(0, 1) nazywa się standardowym rozkładem normalnym. Jeśli X ~ N(μ, σ²), to Z = (X − μ) / σ ~ N(0, 1).
Wszystkie rozkłady normalne to jeden i ten sam rozkład, tylko przesunięty i rozciągnięty. Gdy od wartości odejmiesz średnią i podzielisz przez σ, dostaniesz „o ile odchyleń standardowych od średniej” — a do tego wystarczy jedna tablica dla wszystkich.
Dla rozkładu normalnego obowiązuje reguła 68–95–99,7: w odległości σ od średniej mieści się 68,27 % wartości, w odległości 2σ 95,45 %, a w odległości 3σ 99,73 %. Jeśli wzrost dorosłych mężczyzn ma średnią 175 cm i σ = 7 cm, to 95 % z nich mierzy od 161 do 189 cm. Nierówność Czebyszewa z poprzedniej części gwarantowała dla 2σ tylko 75 % — rozkład normalny jest znacznie bardziej „skupiony”.
Gęstość rozkładu normalnego nie ma funkcji pierwotnej wyrażalnej wzorem, więc powyższe procenty liczy się numerycznie — tutaj metodą Simpsona, czyli sumując bardzo wąskie paski pola.
6. Rozkład wykładniczy
Definicja — rozkład wykładniczy
Zmienna X ma rozkład wykładniczy z parametrem λ > 0, X ~ Exp(λ), jeśli ma gęstość
f(x) = λ e−λx dla x ≥ 0, w przeciwnym razie 0.
Czas oczekiwania na następne zdarzenie, gdy zdarzenia przychodzą niezależnie, średnio λ na jednostkę czasu. To czekanie na e-mail z części o gęstości: λ = 0,5 na minutę, wartość oczekiwana 1/λ = 2 minuty, wariancja 1/λ² = 4.
Rozkład wykładniczy i rozkład Poissona opisują ten sam proces z dwóch stron. To, że w ciągu 4 minut nie przyjdzie żaden e-mail, ma według Poissona prawdopodobieństwo e−2 ≈ 0,135 — a według rozkładu wykładniczego P(X > 4) = e−0,5 · 4, czyli tę samą liczbę.
Twierdzenie — brak pamięci rozkładu wykładniczego
Dla X ~ Exp(λ) i s, t ≥ 0 zachodzi P(X > s + t | X > s) = P(X > t).
Czekanie nie pamięta, jak długo już trwa. Czekasz na e-mail 3 minuty i nic — szansa, że poczekasz jeszcze co najmniej 2 minuty, wciąż wynosi e−1 ≈ 0,368, dokładnie tak, jakbyś zaczynał od nowa. Autobus jeżdżący według rozkładu jazdy taki nie jest; rozpad promieniotwórczy i napływ niezależnych żądań — tak.
7. Ściągawka: który rozkład kiedy
| Rozkład | Co opisuje | E[X] | Var(X) |
|---|---|---|---|
| Bern(p) | jedna próba tak/nie | p | p(1 − p) |
| B(n, p) | liczba sukcesów w n próbach | np | np(1 − p) |
| Po(λ) | liczba zdarzeń w danym czasie | λ | λ |
| U(a, b) | „cokolwiek między a a b” | (a + b) / 2 | (b − a)² / 12 |
| N(μ, σ²) | suma wielu drobnych wpływów | μ | σ² |
| Exp(λ) | czekanie na następne zdarzenie | 1/λ | 1/λ² |
8. Rozkłady w sztucznej inteligencji
- Bernoulli i klasyfikacja binarna. Regresja logistyczna i sieć z jednym wyjściem przewidują parametr p rozkładu Bernoulliego — „z jakim prawdopodobieństwem to spam”. Funkcja straty (binarna entropia krzyżowa) to ujemny logarytm jego prawdopodobieństwa.
- Rozkład kategoryczny to Bernoulli dla więcej niż dwóch możliwości. Softmax na końcu modelu językowego zwraca właśnie jego parametry — prawdopodobieństwo każdego słowa w słowniku.
- Rozkład normalny jest wszędzie: początkowe wagi sieci losuje się z N(0, σ²), błąd średniokwadratowy odpowiada założeniu normalnego szumu, a modele dyfuzyjne generują obrazy, stopniowo odszumiając czysty N(0, 1).
- Dropout podczas uczenia wyłącza każdy neuron z prawdopodobieństwem Bernoulliego; rozkład jednostajny jest źródłem wszystkich liczb losowych.
- Rozkład Poissona i wykładniczy modelują ruch: ile żądań trafi do serwera, kiedy przyjdzie następne, ile GPU będzie potrzeba.
9. Podsumowanie
- Rozkład Bernoulliego to jedna próba tak/nie, dwumianowy — liczba sukcesów w n niezależnych próbach.
- Rozkład Poissona liczy zdarzenia w czasie i jest granicą dwumianowego dla wielu prób z małą szansą.
- Jednostajny daje tę samą gęstość całemu przedziałowi; wykładniczy mierzy czekanie i nie ma pamięci.
- Rozkład normalny to dzwon wyznaczony przez μ i σ; w ±σ, ±2σ i ±3σ leży 68,27 %, 95,45 % i 99,73 % wartości.
- Wybór rozkładu to wybór modelu: to, co opisuje dane, wyznacza też funkcję straty modelu.
Masz inne zdanie? Napisz na support@coden-app.com.