Prawdopodobieństwo warunkowe i twierdzenie Bayesa: jak zmienić ocenę, gdy dowiesz się czegoś nowego
Prawdopodobieństwo warunkowe, reguła mnożenia, niezależność, prawdopodobieństwo całkowite i twierdzenie Bayesa — i dlaczego pozytywny test na rzadką chorobę oznacza tylko 16,7 %.
Seria Podstawy AI Część 13 z 52
- Mapa sztucznej inteligencji: co jest czym i jak to do siebie pasuje
- Krótka historia sztucznej inteligencji: od Turinga do modeli językowych
- Dane, model, trening, inferencja: podstawowe pojęcia na jednym przykładzie
- Jak czytać zapis matematyczny: symbole, indeksy, sumy i kwantyfikatory
- Zbiory i relacje: klocki, z których składają się definicje w AI
- Funkcje i odwzorowania: dlaczego każdy model AI jest funkcją
- Logika i dowody: reguły, według których rozumuje AI
- Grafy i drzewa: struktura, na której opierają się przeszukiwanie i sieci neuronowe
- Algebra liniowa dla uczenia maszynowego: wektory, macierze i dlaczego AI głównie mnoży
- Pochodne, gradient i reguła łańcuchowa: jak model ustala, w którą stronę się uczyć
- Spadek gradientu: jak uczy się model
- Czym jest prawdopodobieństwo: od rzutu kostką do aksjomatów Kołmogorowa
- Prawdopodobieństwo warunkowe i twierdzenie Bayesa: jak zmienić ocenę, gdy dowiesz się czegoś nowego
- Zmienna losowa i dystrybuanta: jedna funkcja, która mówi o rozkładzie wszystko
- Funkcja gęstości i funkcja prawdopodobieństwa: dlaczego zmienna ciągła ma w punkcie prawdopodobieństwo zero
- Wartość oczekiwana, wariancja i kowariancja: gdzie leży rozkład, jak jest szeroki i co z czym się wiąże
- Przegląd rozkładów prawdopodobieństwa: Bernoulliego, dwumianowy, Poissona, jednostajny, normalny i wykładniczy
- Prawo wielkich liczb i centralne twierdzenie graniczne: dlaczego średnie zachowują się tak przewidywalnie
- Statystyka i estymacja parametrów: największa wiarygodność, MAP i przedziały ufności
- Teoria informacji: entropia, entropia krzyżowa i dywergencja KL — skąd się biorą funkcje straty
- Przeszukiwanie przestrzeni stanów: BFS, DFS, UCS i A* z animacjami
- Gry i przeciwnik: minimax, przycinanie alfa-beta i Monte Carlo tree search
- Spełnianie ograniczeń: backtracking, propagacja ograniczeń i AC-3 na sudoku i mapie czeskich krajów
- Logika i systemy z bazą wiedzy: wnioskowanie w przód i wstecz, rezolucja i systemy ekspertowe
- Planowanie: STRIPS, świat klocków, heurystyki z relaksacji i planowanie w agentach AI
- Przeszukiwanie lokalne i symulowane wyżarzanie: komiwojażer przez czeskie miasta wojewódzkie
- Algorytmy genetyczne: populacja, krzyżowanie, mutacja i selekcja na plecaku na wycieczkę
- Strategie ewolucyjne i programowanie genetyczne: od reguły jednej piątej do prawa Keplera
- Optymalizacja kolonią mrówek: jak ślad feromonowy znajduje krótką drogę
- Optymalizacja rojem cząstek: bezwładność, własne doświadczenie i doświadczenie roju
- Neuroewolucja: ewolucja wag i kształtu sieci neuronowych oraz algorytm NEAT
- Zbiory rozmyte i funkcje przynależności: jak zapisać „trochę ciepło”
- Logika rozmyta a prawdopodobieństwo: dlaczego „trochę ciepło” nie znaczy „prawdopodobnie ciepło”
- Logika rozmyta: t-normy, implikacje i reguły JEŻELI–TO
- Sterowanie rozmyte: Mamdani i Sugeno od wentylatora po wahadło na wózku
- Klasteryzacja rozmyta: algorytm fuzzy c-means i punkty między skupieniami
- Systemy neuro-rozmyte (ANFIS): reguły rozmyte, które uczą się z danych
- Łańcuchy Markowa: macierz przejścia, rozkład stacjonarny i PageRank
- Ukryte modele Markowa: algorytm Viterbiego i nieuczciwe kasyno
- Sieci bayesowskie: dlaczego trawa jest mokra i co z tego wynika dla zraszacza
- Filtr Kalmana: jak z niedokładnych pomiarów oszacować, gdzie jest samochód i jak szybko jedzie
- Rodzaje uczenia maszynowego: nadzorowane, nienadzorowane, półnadzorowane i inne
- Prompty, kontekst i RAG: jak dać modelowi właściwe informacje
- Wariacyjne autoenkodery (VAE): nowe obrazki z ciągłej przestrzeni latentnej
- Generatywne sieci przeciwstawne (GAN): fałszerz kontra detektyw
- Modele dyfuzyjne: jak z czystego szumu powstaje obraz
- Procesy decyzyjne Markowa: stany, akcje, nagrody i równania Bellmana
- Q-learning i DQN: uczenie się wartości akcji od tabeli po sieć neuronową
- Policy gradient i PPO: uczenie się bezpośrednio polityki
- Jak działa agent AI: model językowy w pętli z narzędziami
- Programowanie z agentami AI: zadanie, testy i kontrola
- Ocena i bezpieczeństwo systemów AI: jak mierzyć i jak pilnować
Pełny program serii Gotowe: 52 z 83 tematów
- Czym jest prawdopodobieństwo warunkowe i dlaczego P(A | B) to nie to samo co P(B | A).
- Co oznacza niezależność, jak działa reguła mnożenia i wzór na prawdopodobieństwo całkowite.
- Jak twierdzenie Bayesa odwraca warunek — i dlaczego przy rzadkich zdarzeniach nie wolno zapominać o częstości bazowej.
Warto wiedzieć wcześniej: Czym jest prawdopodobieństwo: od rzutu kostką do aksjomatów Kołmogorowa
Prawdopodobieństwo nie jest stałą liczbą wykutą w kamieniu. Kiedy dowiadujesz się czegoś nowego, zmienia się. Prawdopodobieństwo, że pada deszcz, jest inne, gdy wiesz, że niebo jest zachmurzone. Prawdopodobieństwo, że e-mail to spam, jest inne, gdy stoi w nim „wygrałeś”. Ta część mówi o tym, jak dokładnie przeliczyć prawdopodobieństwo, gdy pojawia się nowa informacja — i o twierdzeniu, na którym opierają się filtry antyspamowe, diagnostyka medyczna i spora część uczenia maszynowego.
Nawiązuje do części Czym jest prawdopodobieństwo i znów korzysta z dwóch kostek.
1. Prawdopodobieństwo warunkowe
Definicja — prawdopodobieństwo warunkowe
Dla zdarzeń A, B z P(B) > 0 prawdopodobieństwem warunkowym zdarzenia A pod warunkiem B nazywamy
P(A | B) = P(A ∩ B) / P(B).
Warunek zmniejsza świat. Gdy wiesz, że zaszło B, wszystko inne możesz skreślić i liczysz już tylko wewnątrz B: jaka część B należy też do A?
Kolega rzucił dwiema kostkami i zdradza tylko, że wypadła co najmniej jedna szóstka. Jakie jest prawdopodobieństwo, że suma oczek wynosi 7? Z 36 wyników zostaje 11 z szóstką — i tylko dwa z nich, (1, 6) i (6, 1), dają sumę 7:
P(suma 7 | co najmniej jedna szóstka) = 2/11 ≈ 0,182 — trochę więcej niż bez warunku, gdy wynosi 1/6 ≈ 0,167. I uwaga na kolejność: P(co najmniej jedna szóstka | suma 7) = 2/6 = 1/3. P(A | B) i P(B | A) to na ogół zupełnie różne liczby.
2. Reguła mnożenia
Twierdzenie — reguła mnożenia
P(A ∩ B) = P(A | B) · P(B) = P(B | A) · P(A).
Żeby zaszło jedno i drugie, najpierw musi zajść B, a potem, gdy już wiemy o B, jeszcze A. Szanse się mnożą. „Suma 7 i jednocześnie szóstka”: 11/36 · 2/11 = 2/36 — dokładnie te dwa pola z rysunku.
3. Niezależność
Definicja — zdarzenia niezależne
Zdarzenia A i B są niezależne, gdy P(A ∩ B) = P(A) · P(B). Dla P(B) > 0 jest to równoważne P(A | B) = P(A).
Zdarzenia niezależne nic sobie nawzajem nie zdradzają: gdy wiesz, że zaszło B, o A nie wiesz nic więcej. Rzut pierwszą i drugą kostką są niezależne — dwie szóstki mają prawdopodobieństwo 1/6 · 1/6 = 1/36.
Niezależność potrafi zaskoczyć. „Suma wynosi 7” i „na pierwszej kostce wypadła szóstka” są niezależne: P obu wynosi 1/36, a 1/6 · 1/6 = 1/36 — cokolwiek wypadnie na pierwszej kostce, na drugiej istnieje dokładnie jedna liczba, która daje sumę 7. Natomiast „suma wynosi 12” i „na pierwszej jest szóstka” niezależne nie są: bez warunku suma 12 ma tylko 1/36, ale z szóstką na pierwszej kostce już 1/6.
I nie myl zdarzeń niezależnych z rozłącznymi. Zdarzenia rozłączne są wręcz silnie zależne — gdy zaszło jedno, wiesz na pewno, że drugie nie zaszło.
4. Wzór na prawdopodobieństwo całkowite
Twierdzenie — prawdopodobieństwo całkowite
Jeśli zdarzenia H1, …, Hk tworzą rozbicie przestrzeni Ω (są parami rozłączne i razem pokrywają Ω), to dla każdego zdarzenia A zachodzi
P(A) = ∑i=1k P(A | Hi) · P(Hi).
Gdy nie wiesz, która z możliwości zachodzi, przejdź przez wszystkie: dla każdej oblicz szansę na A i zważ ją tym, jak częsta jest ta możliwość. Pozytywny wynik testu pochodzi albo od chorego, albo od zdrowego — i obie drogi się sumują.
5. Twierdzenie Bayesa
Twierdzenie — twierdzenie Bayesa
Dla P(A) > 0 zachodzi
P(H | A) = P(A | H) · P(H) / P(A),
gdzie mianownik P(A) oblicza się ze wzoru na prawdopodobieństwo całkowite.
Twierdzenie Bayesa odwraca warunek. Często wiemy, jak przejawia się przyczyna — jak często chory dostaje pozytywny wynik testu. Ale chcemy czegoś odwrotnego: gdy test jest pozytywny, jak prawdopodobna jest choroba? Twierdzenie wynika wprost z reguły mnożenia, tylko zapisuje ją na oba sposoby.
Poszczególne części twierdzenia mają swoje nazwy:
Definicja — prawdopodobieństwo a priori
P(H) to prawdopodobieństwo a priori hipotezy H — zanim zobaczymy dane A.
To, co sądzisz z góry. Na chorobę cierpi 1 % ludzi, więc bez testu szansa, że ją masz, wynosi 1 %.
Definicja — wiarygodność
P(A | H) to wiarygodność — jak prawdopodobne byłyby dane A, gdyby hipoteza H była prawdziwa.
Jak dobrze hipoteza wyjaśnia to, co widzisz. Chory dostaje pozytywny wynik testu w 99 % przypadków.
Definicja — prawdopodobieństwo a posteriori
P(H | A) to prawdopodobieństwo a posteriori — ocena hipotezy H po tym, jak zobaczyliśmy dane A.
To, co sądzisz potem. Twierdzenie Bayesa mówi, jak z „z góry” i „jak dobrze to pasuje” zrobić „potem”.
6. Pozytywny test: dlaczego tylko 16,7 %
Na chorobę cierpi 1 % ludzi. Test wykrywa ją u chorego w 99 % przypadków, ale u zdrowego w 5 % przypadków daje fałszywy alarm. Twój test jest pozytywny. Jak prawdopodobne jest, że masz tę chorobę? Większość ludzi — w tym wielu lekarzy — strzela, że około 95 %. Twierdzenie Bayesa mówi:
P(pozytywny) = 0,99 · 0,01 + 0,05 · 0,99 = 0,0594
P(choroba | pozytywny) = 0,99 · 0,01 / 0,0594 ≈ 0,167
Tylko 16,7 %. Najlepiej widać to na częstościach naturalnych — zamiast prawdopodobieństw wyobraź sobie 10 000 osób:
Chorych jest 100, a test wychwytuje 99 z nich. Zdrowych jest jednak 9 900 i nawet tylko 5 % z nich to 495 fałszywych alarmów. Pozytywnych wyników jest łącznie 594, a chorych wśród nich tylko 99 — jedna szósta. Ten błąd intuicji ma swoją nazwę: zaniedbywanie częstości bazowej. Gdy coś jest rzadkie, nawet dokładny test daje więcej fałszywych alarmów niż prawdziwych wykryć.
7. Uczenie się z danych: a posteriori staje się a priori
A co, jeśli test się powtórzy i znów wyjdzie pozytywny? Teraz nie zaczynamy już od 1 % — wynik pierwszego testu jest nowym punktem wyjścia. Prawdopodobieństwo a posteriori staje się a priori:
Po drugim pozytywnym teście to już 79,8 %, po trzecim 98,7 %. Każdy dowód przesuwa ocenę, a kolejny dowód opiera się na poprzednim. Dokładnie tak uczą się modele bayesowskie — zaczynają od jakiegoś założenia i z każdym kawałkiem danych je doprecyzowują.
8. Bayes w sztucznej inteligencji
- Filtry antyspamowe — jeśli spam stanowi 40 % poczty, a słowo „wygrana” występuje w 30 % spamu i tylko w 1 % pozostałych e-maili, to e-mail ze słowem „wygrana” jest spamem z prawdopodobieństwem 0,12 / 0,126 ≈ 0,952. Naiwny klasyfikator Bayesa robi to dla każdego słowa.
- Modele językowe obliczają prawdopodobieństwo warunkowe następnego słowa pod warunkiem wszystkich poprzednich: P(xt | x1, …, xt−1). Cały tekst to iloczyn takich warunków — reguła mnożenia.
- Sieci bayesowskie zapisują w postaci grafu skierowanego, które wielkości od siebie zależą, i liczą z prawdopodobieństwami warunkowymi wzdłuż jego krawędzi.
- Niepewność modelu — metody bayesowskie nie dają tylko jednej odpowiedzi, lecz rozkład: na ile model jest pewny i gdzie pomogłyby mu kolejne dane.
9. Podsumowanie
- Prawdopodobieństwo warunkowe P(A | B) liczy tylko wewnątrz B; P(A | B) ≠ P(B | A).
- Reguła mnożenia: P(A ∩ B) = P(A | B) · P(B). Zdarzenia niezależne nic sobie nie zdradzają.
- Wzór na prawdopodobieństwo całkowite sumuje wszystkie drogi, którymi może zajść zdarzenie.
- Twierdzenie Bayesa odwraca warunek: z prawdopodobieństwa a priori i wiarygodności robi prawdopodobieństwo a posteriori.
- Przy rzadkich zdarzeniach nawet dokładny test daje wiele fałszywych alarmów — nie zapominaj o częstości bazowej.
Masz inne zdanie? Napisz na support@coden-app.com.