Zmienna losowa i dystrybuanta: jedna funkcja, która mówi o rozkładzie wszystko
Czym jest zmienna losowa, rozkład i dystrybuanta, czym różnią się zmienne dyskretne od ciągłych i jak oszacować dystrybuantę z danych.
Seria Podstawy AI Część 14 z 52
- Mapa sztucznej inteligencji: co jest czym i jak to do siebie pasuje
- Krótka historia sztucznej inteligencji: od Turinga do modeli językowych
- Dane, model, trening, inferencja: podstawowe pojęcia na jednym przykładzie
- Jak czytać zapis matematyczny: symbole, indeksy, sumy i kwantyfikatory
- Zbiory i relacje: klocki, z których składają się definicje w AI
- Funkcje i odwzorowania: dlaczego każdy model AI jest funkcją
- Logika i dowody: reguły, według których rozumuje AI
- Grafy i drzewa: struktura, na której opierają się przeszukiwanie i sieci neuronowe
- Algebra liniowa dla uczenia maszynowego: wektory, macierze i dlaczego AI głównie mnoży
- Pochodne, gradient i reguła łańcuchowa: jak model ustala, w którą stronę się uczyć
- Spadek gradientu: jak uczy się model
- Czym jest prawdopodobieństwo: od rzutu kostką do aksjomatów Kołmogorowa
- Prawdopodobieństwo warunkowe i twierdzenie Bayesa: jak zmienić ocenę, gdy dowiesz się czegoś nowego
- Zmienna losowa i dystrybuanta: jedna funkcja, która mówi o rozkładzie wszystko
- Funkcja gęstości i funkcja prawdopodobieństwa: dlaczego zmienna ciągła ma w punkcie prawdopodobieństwo zero
- Wartość oczekiwana, wariancja i kowariancja: gdzie leży rozkład, jak jest szeroki i co z czym się wiąże
- Przegląd rozkładów prawdopodobieństwa: Bernoulliego, dwumianowy, Poissona, jednostajny, normalny i wykładniczy
- Prawo wielkich liczb i centralne twierdzenie graniczne: dlaczego średnie zachowują się tak przewidywalnie
- Statystyka i estymacja parametrów: największa wiarygodność, MAP i przedziały ufności
- Teoria informacji: entropia, entropia krzyżowa i dywergencja KL — skąd się biorą funkcje straty
- Przeszukiwanie przestrzeni stanów: BFS, DFS, UCS i A* z animacjami
- Gry i przeciwnik: minimax, przycinanie alfa-beta i Monte Carlo tree search
- Spełnianie ograniczeń: backtracking, propagacja ograniczeń i AC-3 na sudoku i mapie czeskich krajów
- Logika i systemy z bazą wiedzy: wnioskowanie w przód i wstecz, rezolucja i systemy ekspertowe
- Planowanie: STRIPS, świat klocków, heurystyki z relaksacji i planowanie w agentach AI
- Przeszukiwanie lokalne i symulowane wyżarzanie: komiwojażer przez czeskie miasta wojewódzkie
- Algorytmy genetyczne: populacja, krzyżowanie, mutacja i selekcja na plecaku na wycieczkę
- Strategie ewolucyjne i programowanie genetyczne: od reguły jednej piątej do prawa Keplera
- Optymalizacja kolonią mrówek: jak ślad feromonowy znajduje krótką drogę
- Optymalizacja rojem cząstek: bezwładność, własne doświadczenie i doświadczenie roju
- Neuroewolucja: ewolucja wag i kształtu sieci neuronowych oraz algorytm NEAT
- Zbiory rozmyte i funkcje przynależności: jak zapisać „trochę ciepło”
- Logika rozmyta a prawdopodobieństwo: dlaczego „trochę ciepło” nie znaczy „prawdopodobnie ciepło”
- Logika rozmyta: t-normy, implikacje i reguły JEŻELI–TO
- Sterowanie rozmyte: Mamdani i Sugeno od wentylatora po wahadło na wózku
- Klasteryzacja rozmyta: algorytm fuzzy c-means i punkty między skupieniami
- Systemy neuro-rozmyte (ANFIS): reguły rozmyte, które uczą się z danych
- Łańcuchy Markowa: macierz przejścia, rozkład stacjonarny i PageRank
- Ukryte modele Markowa: algorytm Viterbiego i nieuczciwe kasyno
- Sieci bayesowskie: dlaczego trawa jest mokra i co z tego wynika dla zraszacza
- Filtr Kalmana: jak z niedokładnych pomiarów oszacować, gdzie jest samochód i jak szybko jedzie
- Rodzaje uczenia maszynowego: nadzorowane, nienadzorowane, półnadzorowane i inne
- Prompty, kontekst i RAG: jak dać modelowi właściwe informacje
- Wariacyjne autoenkodery (VAE): nowe obrazki z ciągłej przestrzeni latentnej
- Generatywne sieci przeciwstawne (GAN): fałszerz kontra detektyw
- Modele dyfuzyjne: jak z czystego szumu powstaje obraz
- Procesy decyzyjne Markowa: stany, akcje, nagrody i równania Bellmana
- Q-learning i DQN: uczenie się wartości akcji od tabeli po sieć neuronową
- Policy gradient i PPO: uczenie się bezpośrednio polityki
- Jak działa agent AI: model językowy w pętli z narzędziami
- Programowanie z agentami AI: zadanie, testy i kontrola
- Ocena i bezpieczeństwo systemów AI: jak mierzyć i jak pilnować
Pełny program serii Gotowe: 52 z 83 tematów
- Że zmienna losowa to zwykła funkcja, która wynikowi doświadczenia przypisuje liczbę.
- Czym jest dystrybuanta, jakie ma własności i jak obliczyć z niej prawdopodobieństwo przedziału.
- Czym różnią się zmienne dyskretne od ciągłych i jak oszacować dystrybuantę z danych.
Warto wiedzieć wcześniej: Czym jest prawdopodobieństwo: od rzutu kostką do aksjomatów Kołmogorowa, Funkcje i odwzorowania: dlaczego każdy model AI jest funkcją
W części Czym jest prawdopodobieństwo pracowaliśmy ze zdarzeniami: „suma oczek wynosi 7”, „wypadła szóstka”. Zwykle jednak nie interesuje nas, czy coś zaszło, ale ile: ile minut poczekamy na autobus, ile będzie kosztować akcja, jaką temperaturę pokaże termometr. Do tego matematyka ma zmienną losową — i funkcję, która mówi o niej absolutnie wszystko.
1. Zmienna losowa
Definicja — zmienna losowa
Niech (Ω, 𝓕, P) będzie przestrzenią probabilistyczną. Zmienna losowa to funkcja X : Ω → ℝ taka, że dla każdego x ∈ ℝ zbiór {ω ∈ Ω : X(ω) ≤ x} jest zdarzeniem, tzn. należy do 𝓕.
Zmienna losowa nie jest ani losowa, ani zmienną — to zwykła funkcja, która każdemu wynikowi doświadczenia przypisuje liczbę. Losowość tkwi w wyniku ω; zmienna tylko zamienia go na liczbę, na której da się liczyć. Warunek w definicji gwarantuje, że możemy zapytać „jakie jest prawdopodobieństwo, że X ≤ x?”.
Na jednym doświadczeniu może być określonych kilka zmiennych. Rzut dwiema kostkami ma 36 wyników; S(ω) to suma oczek na obu kostkach, N(ω) liczba szóstek. Wynikowi (3, 6) S przypisuje liczbę 9, a N liczbę 1. Rysunek pokazuje S jako funkcję: każde pole po lewej niesie swoją wartość, a słupek po prawej pokazuje, ile pól przypada na tę wartość.
2. Rozkład zmiennej losowej
Definicja — rozkład zmiennej losowej
Rozkład zmiennej losowej X to prawdopodobieństwo na ℝ, które zbiorowi wartości B przypisuje PX(B) = P(X ∈ B) = P({ω : X(ω) ∈ B}).
Rozkład mówi, jak całkowite prawdopodobieństwo 1 dzieli się między możliwe wartości. Przy sumie oczek na dwóch kostkach wartość 7 dostaje sześć pól z 36, czyli 6/36, a wartości 2 i 12 tylko po jednym. Liczba szóstek N ma inny rozkład: 0 z prawdopodobieństwem 25/36, 1 z 10/36 i 2 z 1/36.
Gdy znamy rozkład, pierwotne wyniki ω przestają mieć znaczenie. Dwie zupełnie różne gry mogą mieć zmienne o tym samym rozkładzie — i w obliczeniach są wtedy nie do odróżnienia.
3. Dystrybuanta
Definicja — dystrybuanta
Dystrybuanta zmiennej losowej X to funkcja FX : ℝ → [0, 1],
FX(x) = P(X ≤ x).
Dystrybuanta w punkcie x odpowiada na pytanie: „z jakim prawdopodobieństwem wyjdzie co najwyżej x?” Dla sumy oczek na dwóch kostkach F(7) = 21/36 ≈ 0,583 — suma 7 lub mniej to 1 + 2 + 3 + 4 + 5 + 6 = 21 pól.
Dla sumy oczek dystrybuanta jest schodkami. Między wartościami nic się nie zmienia — F(7,5) to nadal 21/36, bo suma 7,5 nie może wypaść. W każdej możliwej wartości funkcja podskakuje dokładnie o prawdopodobieństwo tej wartości: przy siódemce o 6/36. Pełny punkt pokazuje, ile funkcja w miejscu skoku wynosi; puste kółko — do czego zbliżała się z lewej strony.
Twierdzenie — dystrybuanta wyznacza rozkład
Dwie zmienne losowe mają ten sam rozkład wtedy i tylko wtedy, gdy mają tę samą dystrybuantę.
Jedna funkcja jednej zmiennej niesie wszystko, co da się wiedzieć o rozkładzie. Stąd jej nazwa „dystrybuanta” — opisuje, jak prawdopodobieństwo jest rozdystrybuowane wzdłuż osi liczbowej.
4. Własności dystrybuanty
Twierdzenie — własności dystrybuanty
Każda dystrybuanta F
- jest niemalejąca: x ≤ y ⇒ F(x) ≤ F(y);
- ma granice limx→−∞ F(x) = 0 i limx→+∞ F(x) = 1;
- jest prawostronnie ciągła: limy→x⁺ F(y) = F(x).
I odwrotnie: każda funkcja o tych trzech własnościach jest dystrybuantą pewnej zmiennej losowej.
Schodki idą tylko w górę (wartości „co najwyżej x” przybywa, nie ubywa), zaczynają się od zera i kończą na jedynce (po lewej nie ma nic, po prawej jest wszystko). Prawostronna ciągłość to ten pełny punkt na górze stopnia: F(7) obejmuje już siódemkę, bo w definicji jest ≤.
Twierdzenie — prawdopodobieństwo przedziału
Dla a < b zachodzi P(a < X ≤ b) = F(b) − F(a).
Od „co najwyżej b” odejmujesz „co najwyżej a” i zostaje „więcej niż a, ale co najwyżej b”. Suma 5, 6 lub 7: F(7) − F(4) = 21/36 − 6/36 = 15/36 ≈ 0,417 — na rysunku pomarańczowy odcinek po prawej.
5. Zmienne dyskretne i ciągłe
Definicja — dyskretna zmienna losowa
Zmienna losowa X jest dyskretna, gdy istnieje skończony lub przeliczalny zbiór wartości {x1, x2, …} taki, że ∑i P(X = xi) = 1.
Wartości da się policzyć na palcach (choćby i bez końca): suma oczek, liczba e-maili na godzinę, które słowo napisze model językowy. Dystrybuanta jest schodkami.
Definicja — ciągła zmienna losowa
Zmienna losowa X jest ciągła, gdy jej dystrybuanta FX jest ciągła. Wtedy P(X = x) = 0 dla każdego x ∈ ℝ.
Wartości wypełniają cały przedział: czas, długość, temperatura. Dystrybuanta nie ma żadnego skoku — a skok w punkcie x byłby właśnie równy P(X = x). Dlatego każda pojedyncza wartość ma prawdopodobieństwo zero, choć może się zdarzyć.
Przykład: autobus jeździ co 10 minut, a ty przychodzisz na przystanek w losowej chwili. Czas oczekiwania X jest ciągły i jednakowo prawdopodobny w dowolnym miejscu między 0 a 10 minutami, więc F(x) = x/10 dla 0 ≤ x ≤ 10. To, że poczekasz co najwyżej 3 minuty, ma prawdopodobieństwo F(3) = 0,3; że poczekasz od 3 do 5 minut — F(5) − F(3) = 0,2. Ale to, że poczekasz dokładnie 3 minuty — ani o miliardową część sekundy dłużej — ma prawdopodobieństwo 0. Jak z tym liczyć i co pokazuje funkcja gęstości, to temat następnej części.
6. Dystrybuanta empiryczna
Definicja — dystrybuanta empiryczna
Dla zmierzonych wartości x1, …, xn dystrybuanta empiryczna to
F̂n(x) = (liczba takich i, że xi ≤ x) / n.
Prawdziwej dystrybuanty często nie znamy — mamy tylko dane. Dystrybuanta empiryczna to jej oszacowanie z danych: jaka część zmierzonych wartości wynosi co najwyżej x. Każdy pomiar dodaje stopień o wysokości 1/n.
Zasymulowaliśmy 10, 100 i 1 000 oczekiwań na autobus. Przerywana prosta to prawdziwa dystrybuanta x/10, kolorowe schodki to dystrybuanty empiryczne z danych:
Przy dziesięciu pomiarach oszacowanie różni się od rzeczywistości nawet o 0,268, przy stu o 0,085, a przy tysiącu już tylko o 0,025. To, że wraz z przybywaniem danych dystrybuanta empiryczna przylega do prawdziwej, mówi twierdzenie Glivenki–Cantellego — matematyczna gwarancja, że rozkładu da się nauczyć z danych.
7. Zmienne losowe w sztucznej inteligencji
- Dane to zmienne losowe. Wiek klienta, cena mieszkania, jasność piksela — model uczenia maszynowego zakłada, że dane treningowe są wartościami zmiennych losowych o jakimś nieznanym rozkładzie, i próbuje ten rozkład (lub jego część) z nich oszacować.
- Generowanie liczb losowych z dowolnego rozkładu. Komputer potrafi przede wszystkim wylosować liczbę U z rozkładu jednostajnego między 0 a 1. Bierzemy najmniejsze x, dla którego F(x) ≥ U, i dostajemy wartość o rozkładzie F. Dla U = 0,6 i sumy oczek: F(7) ≈ 0,583 to jeszcze za mało, F(8) = 26/36 ≈ 0,722 już wystarcza — wypada 8. Tak samo model językowy wybiera kolejne słowo.
- Kwantyle i mediana. Mediana to wartość, w której F po raz pierwszy osiąga 0,5: dla sumy oczek jest to 7. Gdy o serwerze pisze się „95 % żądań otrzymuje odpowiedź w ciągu 200 ms”, oznacza to F(200 ms) ≥ 0,95.
- Modele generatywne (modele dyfuzyjne, VAE) zaczynają od losowego szumu — wektora zmiennych losowych o znanym rozkładzie — i uczą się przekształcać go w obraz lub tekst.
8. Podsumowanie
- Zmienna losowa to funkcja, która wynikowi doświadczenia przypisuje liczbę.
- Rozkład mówi, jak prawdopodobieństwo dzieli się między wartości; dystrybuanta F(x) = P(X ≤ x) wyznacza go w całości.
- F jest niemalejąca, biegnie od 0 do 1, jest prawostronnie ciągła i P(a < X ≤ b) = F(b) − F(a).
- Zmienna dyskretna ma schodkową F; ciągła ma F bez skoków, a każda pojedyncza wartość ma prawdopodobieństwo 0.
- Dystrybuanta empiryczna szacuje F z danych i wraz ze wzrostem liczby pomiarów coraz bardziej się do niej zbliża.
Masz inne zdanie? Napisz na support@coden-app.com.