Statystyka i estymacja parametrów: największa wiarygodność, MAP i przedziały ufności
Próba, estymator, nieobciążoność i dlaczego wariancja z próby dzieli przez n − 1, metoda największej wiarygodności, bayesowski estymator MAP i przedziały ufności — oraz dlaczego trenowanie sieci neuronowej to estymacja parametrów.
Seria Podstawy AI Część 19 z 52
- Mapa sztucznej inteligencji: co jest czym i jak to do siebie pasuje
- Krótka historia sztucznej inteligencji: od Turinga do modeli językowych
- Dane, model, trening, inferencja: podstawowe pojęcia na jednym przykładzie
- Jak czytać zapis matematyczny: symbole, indeksy, sumy i kwantyfikatory
- Zbiory i relacje: klocki, z których składają się definicje w AI
- Funkcje i odwzorowania: dlaczego każdy model AI jest funkcją
- Logika i dowody: reguły, według których rozumuje AI
- Grafy i drzewa: struktura, na której opierają się przeszukiwanie i sieci neuronowe
- Algebra liniowa dla uczenia maszynowego: wektory, macierze i dlaczego AI głównie mnoży
- Pochodne, gradient i reguła łańcuchowa: jak model ustala, w którą stronę się uczyć
- Spadek gradientu: jak uczy się model
- Czym jest prawdopodobieństwo: od rzutu kostką do aksjomatów Kołmogorowa
- Prawdopodobieństwo warunkowe i twierdzenie Bayesa: jak zmienić ocenę, gdy dowiesz się czegoś nowego
- Zmienna losowa i dystrybuanta: jedna funkcja, która mówi o rozkładzie wszystko
- Funkcja gęstości i funkcja prawdopodobieństwa: dlaczego zmienna ciągła ma w punkcie prawdopodobieństwo zero
- Wartość oczekiwana, wariancja i kowariancja: gdzie leży rozkład, jak jest szeroki i co z czym się wiąże
- Przegląd rozkładów prawdopodobieństwa: Bernoulliego, dwumianowy, Poissona, jednostajny, normalny i wykładniczy
- Prawo wielkich liczb i centralne twierdzenie graniczne: dlaczego średnie zachowują się tak przewidywalnie
- Statystyka i estymacja parametrów: największa wiarygodność, MAP i przedziały ufności
- Teoria informacji: entropia, entropia krzyżowa i dywergencja KL — skąd się biorą funkcje straty
- Przeszukiwanie przestrzeni stanów: BFS, DFS, UCS i A* z animacjami
- Gry i przeciwnik: minimax, przycinanie alfa-beta i Monte Carlo tree search
- Spełnianie ograniczeń: backtracking, propagacja ograniczeń i AC-3 na sudoku i mapie czeskich krajów
- Logika i systemy z bazą wiedzy: wnioskowanie w przód i wstecz, rezolucja i systemy ekspertowe
- Planowanie: STRIPS, świat klocków, heurystyki z relaksacji i planowanie w agentach AI
- Przeszukiwanie lokalne i symulowane wyżarzanie: komiwojażer przez czeskie miasta wojewódzkie
- Algorytmy genetyczne: populacja, krzyżowanie, mutacja i selekcja na plecaku na wycieczkę
- Strategie ewolucyjne i programowanie genetyczne: od reguły jednej piątej do prawa Keplera
- Optymalizacja kolonią mrówek: jak ślad feromonowy znajduje krótką drogę
- Optymalizacja rojem cząstek: bezwładność, własne doświadczenie i doświadczenie roju
- Neuroewolucja: ewolucja wag i kształtu sieci neuronowych oraz algorytm NEAT
- Zbiory rozmyte i funkcje przynależności: jak zapisać „trochę ciepło”
- Logika rozmyta a prawdopodobieństwo: dlaczego „trochę ciepło” nie znaczy „prawdopodobnie ciepło”
- Logika rozmyta: t-normy, implikacje i reguły JEŻELI–TO
- Sterowanie rozmyte: Mamdani i Sugeno od wentylatora po wahadło na wózku
- Klasteryzacja rozmyta: algorytm fuzzy c-means i punkty między skupieniami
- Systemy neuro-rozmyte (ANFIS): reguły rozmyte, które uczą się z danych
- Łańcuchy Markowa: macierz przejścia, rozkład stacjonarny i PageRank
- Ukryte modele Markowa: algorytm Viterbiego i nieuczciwe kasyno
- Sieci bayesowskie: dlaczego trawa jest mokra i co z tego wynika dla zraszacza
- Filtr Kalmana: jak z niedokładnych pomiarów oszacować, gdzie jest samochód i jak szybko jedzie
- Rodzaje uczenia maszynowego: nadzorowane, nienadzorowane, półnadzorowane i inne
- Prompty, kontekst i RAG: jak dać modelowi właściwe informacje
- Wariacyjne autoenkodery (VAE): nowe obrazki z ciągłej przestrzeni latentnej
- Generatywne sieci przeciwstawne (GAN): fałszerz kontra detektyw
- Modele dyfuzyjne: jak z czystego szumu powstaje obraz
- Procesy decyzyjne Markowa: stany, akcje, nagrody i równania Bellmana
- Q-learning i DQN: uczenie się wartości akcji od tabeli po sieć neuronową
- Policy gradient i PPO: uczenie się bezpośrednio polityki
- Jak działa agent AI: model językowy w pętli z narzędziami
- Programowanie z agentami AI: zadanie, testy i kontrola
- Ocena i bezpieczeństwo systemów AI: jak mierzyć i jak pilnować
Pełny program serii Gotowe: 52 z 83 tematów
- Czym jest estymator parametru, kiedy jest nieobciążony i zgodny i dlaczego wariancja z próby dzieli przez n − 1.
- Jak działa metoda największej wiarygodności i estymator MAP — i dlaczego to właśnie trenowanie i regularyzacja.
- Co dokładnie oznacza 95-procentowy przedział ufności i jaki błąd często popełnia się przy jego interpretacji.
Warto wiedzieć wcześniej: Prawo wielkich liczb i centralne twierdzenie graniczne: dlaczego średnie zachowują się tak przewidywalnie
Rachunek prawdopodobieństwa idzie od modelu do danych: jeśli wiesz, że moneta jest uczciwa, policzysz, co wypadnie. Statystyka idzie w drugą stronę — od danych do modelu: wypadło 6 reszek na 20 rzutów, więc jaka jest ta moneta? I dokładnie to robi uczenie maszynowe. Model ma parametry, dane to to, co wypadło, a trenowanie to estymacja parametrów. Ta część pokaże, czym jest dobry estymator, skąd bierze się metoda największej wiarygodności, na której opiera się niemal każda funkcja straty, i jak uczciwie powiedzieć, na ile możemy być pewni oszacowania.
Nawiązuje do części Prawo wielkich liczb i centralne twierdzenie graniczne.
1. Próba, statystyka, estymator
Definicja — próba losowa
Próba losowa o liczności n z rozkładu o gęstości (lub funkcji prawdopodobieństwa) f(x; θ) to n niezależnych zmiennych X1, …, Xn o jednakowym rozkładzie, właśnie tym. Parametr θ jest nieznany.
Dane, którymi dysponujemy, traktujemy jak wylosowane z jakiegoś rozkładu. Typ rozkładu wybieramy sami (na przykład rozkład Bernoulliego — spam tak/nie), ale jego parametru (jaka część poczty to spam) nie znamy i chcemy go ustalić na podstawie danych.
Definicja — statystyka i estymator
Statystyka to dowolna funkcja próby T = T(X1, …, Xn), która nie zależy od nieznanego θ. Statystykę, której używamy do oszacowania θ, nazywamy estymatorem i oznaczamy θ̂.
Statystyka to dowolne obliczenie z danych: średnia, maksimum, mediana, odsetek spamu. Estymator to statystyka z zadaniem — ma trafić w nieznany parametr. Ponieważ dane są losowe, losowe jest też oszacowanie: z innymi danymi wyszłoby inaczej. Dlatego pytamy, jak estymatory zachowują się średnio i w miarę przybywania danych.
2. Dobry estymator: nieobciążoność i zgodność
Definicja — estymator nieobciążony
Estymator θ̂ jest nieobciążony, jeśli E[θ̂] = θ dla każdej wartości θ. Różnicę E[θ̂] − θ nazywamy obciążeniem.
Estymator nieobciążony w pojedynczych próbach myli się w obie strony, ale średnio celuje dokładnie. Średnia z próby to nieobciążony estymator wartości oczekiwanej — widzieliśmy to w poprzedniej części.
Definicja — estymator zgodny
Estymator θ̂n jest zgodny, jeśli dla każdego ε > 0 zachodzi limn→∞ P(|θ̂n − θ| ≥ ε) = 0.
Przy dostatecznie dużej ilości danych oszacowanie trafia z dowolną dokładnością. Średnia z próby jest zgodna — to jest właśnie prawo wielkich liczb.
Nieobciążoność nie jest oczywistością. Wariancję aż chciałoby się oszacować jako średnie kwadratowe odchylenie od średniej, (1/n) ∑ (Xi − X̄)². Tyle że to oszacowanie systematycznie zaniża wariancję: odchylenia mierzymy od X̄, które dopasowało się do danych, a nie od prawdziwego μ.
Twierdzenie — wariancja z próby
Dla próby losowej o wariancji σ² zachodzi E[(1/n) ∑ (Xi − X̄)²] = ((n − 1)/n) σ². Dlatego nieobciążonym estymatorem wariancji jest wariancja z próby
s² = 1/(n − 1) · ∑i=1n (Xi − X̄)².
Dzielić trzeba przez n − 1, a nie przez n (poprawka Bessela). Jeden „stopień swobody” zużywamy na oszacowanie średniej. Przy małych próbach różnica jest wyraźna — przy pięciu wartościach dzielenie przez pięć myli się o jedną piątą — przy milionie wartości nie ma znaczenia.
Sprawdźmy to: 2 000 razy rzuciliśmy pięcioma kostkami i za każdym razem policzyliśmy oba oszacowania wariancji. Prawdziwa wariancja kostki to 35/12 ≈ 2,92. Średnia oszacowań z dzieleniem przez n wyniosła 2,38 (celuje w 4/5 · 2,92 ≈ 2,33), a z dzieleniem przez n − 1 — 2,97:
3. Metoda największej wiarygodności
Definicja — funkcja wiarygodności
Dla zmierzonych danych x1, …, xn funkcja wiarygodności to funkcja parametru
L(θ) = ∏i=1n f(xi; θ).
Dane są ustalone, zmieniamy parametr i pytamy: „gdyby parametr wynosił θ, jak prawdopodobne byłyby właśnie te dane?” Dla niezależnych obserwacji prawdopodobieństwa się mnoży. Uwaga: L(θ) nie jest prawdopodobieństwem parametru — po θ wcale nie musi sumować się do 1.
Definicja — estymator największej wiarygodności
Estymator największej wiarygodności (MLE) to θ̂ = argmaxθ L(θ). Ponieważ logarytm jest rosnący, to samo co argmaxθ ∑i ln f(xi; θ).
Wybierz parametr, przy którym zmierzone dane są najbardziej prawdopodobne. Logarytm zamienia iloczyn w sumę — łatwiej się na tym liczy, a w komputerze bardzo małe liczby nie znikają w zerze.
Spośród 20 e-maili 6 było spamem. Dla odsetka spamu p mamy L(p) = p6(1 − p)14. Pochodna logarytmu, 6/p − 14/(1 − p), zeruje się dla p̂ = 6/20 = 0,3 — dokładnie odsetka spamu w danych. Ogólnie dla k sukcesów na n wychodzi p̂ = k/n. Przy 60 spamach na 200 oszacowanie jest takie samo, ale szczyt jest dużo węższy: dane mówią o parametrze więcej.
Dla czekania na e-mail o rozkładzie wykładniczym metoda największej wiarygodności daje λ̂ = 1 / X̄. Z pięciu zmierzonych czasów oczekiwania 1,2; 3,5; 0,4; 2,1 i 2,8 minuty średnia wynosi 2 minuty, a λ̂ = 0,5 na minutę.
4. Bayesowski estymator MAP
Definicja — estymator maksimum a posteriori
Jeśli π(θ) jest gęstością a priori parametru, to estymator maksimum a posteriori (MAP) to θ̂ = argmaxθ L(θ) · π(θ).
Twierdzenie Bayesa z części o prawdopodobieństwie warunkowym dla parametrów: a posteriori ∝ wiarygodność × a priori. MAP wybiera najbardziej prawdopodobny parametr po uwzględnieniu tego, co myśleliśmy wcześniej. Jeśli z góry damy małą wagę skrajnościom (gęstość a priori proporcjonalna do p(1 − p)), odsetek spamu wyjdzie 7/22 ≈ 0,318 — oszacowanie przesunie się trochę ku środkowi. W miarę przybywania danych wpływ rozkładu a priori zanika.
5. Przedział ufności
Definicja — przedział ufności
Przedział (T1, T2) ze statystykami T1 ≤ T2 jest przedziałem ufności dla θ na poziomie ufności 1 − α, jeśli P(T1 < θ < T2) = 1 − α dla każdego θ.
Zamiast jednej liczby podajesz zakres, a do niego gwarancję: procedura, którą ten zakres liczysz, trafia w prawdziwy parametr w 95 % przypadków. Losowe są końce przedziału, a nie parametr.
Dla wartości oczekiwanej i dostatecznie dużego n centralne twierdzenie graniczne daje przybliżony 95-procentowy przedział X̄ ± 1,96 · s/√n. Czterdzieści razy rzuciliśmy 40 kostkami i z każdej próby policzyliśmy przedział. Pionowa linia to prawdziwa wartość oczekiwana 3,5:
Prawdziwą wartość zawiera 38 z 40 przedziałów — 95 %. W 20 000 powtórzeniach było to 94,1 %, trochę poniżej obiecanych 95 %, bo σ szacujemy z danych, a n = 40 to jeszcze nie nieskończoność.
Częsty błąd: „z prawdopodobieństwem 95 % μ leży w przedziale (3,2; 3,9)”. Dla jednego konkretnego przedziału μ albo w nim jest, albo nie. Te 95 % to własność procedury — ile przedziałów z wielu powtórzeń trafia. Twierdzenia o prawdopodobieństwie parametru daje dopiero podejście bayesowskie.
6. Estymacja w sztucznej inteligencji
- Trenowanie to estymacja metodą największej wiarygodności. Entropia krzyżowa w klasyfikacji to ujemny logarytm wiarygodności podzielony przez liczbę przykładów, a błąd średniokwadratowy to to samo dla danych z szumem o rozkładzie normalnym. Minimalizować stratę = maksymalizować wiarygodność.
- Regularyzacja to MAP. Kara za wagi λ‖w‖² (L2, weight decay) odpowiada normalnemu rozkładowi a priori wag, L1 — rozkładowi Laplace'a. Przekonanie a priori, że „wagi mają być małe”, hamuje przeuczenie.
- Obciążenie i wariancja modelu. Model to estymator; złożone modele mają małe obciążenie, ale dużą wariancję (przeuczenie), proste odwrotnie. Regularyzacja poświęca trochę obciążenia na rzecz mniejszej wariancji.
- Zbiór testowy i przedział ufności. Dokładność na danych testowych to oszacowanie prawdziwej dokładności; bez przedziału ufności nie poznasz, czy różnica między dwoma modelami jest prawdziwa. Batch normalization szacuje średnią i wariancję z każdej minipartii, a modele językowe są trenowane jako MLE: maksymalizują wiarygodność następnego słowa.
7. Podsumowanie
- Statystyka idzie od danych do modelu: estymator to obliczenie z danych, które ma trafić w nieznany parametr.
- Dobry estymator jest nieobciążony (średnio celuje dobrze) i zgodny (z danymi staje się dokładniejszy); wariancja z próby dzieli przez n − 1.
- Metoda największej wiarygodności wybiera parametr, przy którym dane są najbardziej prawdopodobne; dla odsetka to k/n.
- MAP dodaje przekonanie a priori; w uczeniu maszynowym to regularyzacja.
- 95-procentowy przedział ufności powstaje procedurą, która trafia w prawdziwy parametr w 95 % przypadków.
Masz inne zdanie? Napisz na support@coden-app.com.