Teoria informacji: entropia, entropia krzyżowa i dywergencja KL — skąd się biorą funkcje straty
Informacja jako zaskoczenie, entropia i kod Huffmana, entropia krzyżowa, dywergencja KL i zysk informacyjny — oraz dlaczego funkcją straty modeli językowych jest entropia krzyżowa.
Seria Podstawy AI Część 20 z 52
- Mapa sztucznej inteligencji: co jest czym i jak to do siebie pasuje
- Krótka historia sztucznej inteligencji: od Turinga do modeli językowych
- Dane, model, trening, inferencja: podstawowe pojęcia na jednym przykładzie
- Jak czytać zapis matematyczny: symbole, indeksy, sumy i kwantyfikatory
- Zbiory i relacje: klocki, z których składają się definicje w AI
- Funkcje i odwzorowania: dlaczego każdy model AI jest funkcją
- Logika i dowody: reguły, według których rozumuje AI
- Grafy i drzewa: struktura, na której opierają się przeszukiwanie i sieci neuronowe
- Algebra liniowa dla uczenia maszynowego: wektory, macierze i dlaczego AI głównie mnoży
- Pochodne, gradient i reguła łańcuchowa: jak model ustala, w którą stronę się uczyć
- Spadek gradientu: jak uczy się model
- Czym jest prawdopodobieństwo: od rzutu kostką do aksjomatów Kołmogorowa
- Prawdopodobieństwo warunkowe i twierdzenie Bayesa: jak zmienić ocenę, gdy dowiesz się czegoś nowego
- Zmienna losowa i dystrybuanta: jedna funkcja, która mówi o rozkładzie wszystko
- Funkcja gęstości i funkcja prawdopodobieństwa: dlaczego zmienna ciągła ma w punkcie prawdopodobieństwo zero
- Wartość oczekiwana, wariancja i kowariancja: gdzie leży rozkład, jak jest szeroki i co z czym się wiąże
- Przegląd rozkładów prawdopodobieństwa: Bernoulliego, dwumianowy, Poissona, jednostajny, normalny i wykładniczy
- Prawo wielkich liczb i centralne twierdzenie graniczne: dlaczego średnie zachowują się tak przewidywalnie
- Statystyka i estymacja parametrów: największa wiarygodność, MAP i przedziały ufności
- Teoria informacji: entropia, entropia krzyżowa i dywergencja KL — skąd się biorą funkcje straty
- Przeszukiwanie przestrzeni stanów: BFS, DFS, UCS i A* z animacjami
- Gry i przeciwnik: minimax, przycinanie alfa-beta i Monte Carlo tree search
- Spełnianie ograniczeń: backtracking, propagacja ograniczeń i AC-3 na sudoku i mapie czeskich krajów
- Logika i systemy z bazą wiedzy: wnioskowanie w przód i wstecz, rezolucja i systemy ekspertowe
- Planowanie: STRIPS, świat klocków, heurystyki z relaksacji i planowanie w agentach AI
- Przeszukiwanie lokalne i symulowane wyżarzanie: komiwojażer przez czeskie miasta wojewódzkie
- Algorytmy genetyczne: populacja, krzyżowanie, mutacja i selekcja na plecaku na wycieczkę
- Strategie ewolucyjne i programowanie genetyczne: od reguły jednej piątej do prawa Keplera
- Optymalizacja kolonią mrówek: jak ślad feromonowy znajduje krótką drogę
- Optymalizacja rojem cząstek: bezwładność, własne doświadczenie i doświadczenie roju
- Neuroewolucja: ewolucja wag i kształtu sieci neuronowych oraz algorytm NEAT
- Zbiory rozmyte i funkcje przynależności: jak zapisać „trochę ciepło”
- Logika rozmyta a prawdopodobieństwo: dlaczego „trochę ciepło” nie znaczy „prawdopodobnie ciepło”
- Logika rozmyta: t-normy, implikacje i reguły JEŻELI–TO
- Sterowanie rozmyte: Mamdani i Sugeno od wentylatora po wahadło na wózku
- Klasteryzacja rozmyta: algorytm fuzzy c-means i punkty między skupieniami
- Systemy neuro-rozmyte (ANFIS): reguły rozmyte, które uczą się z danych
- Łańcuchy Markowa: macierz przejścia, rozkład stacjonarny i PageRank
- Ukryte modele Markowa: algorytm Viterbiego i nieuczciwe kasyno
- Sieci bayesowskie: dlaczego trawa jest mokra i co z tego wynika dla zraszacza
- Filtr Kalmana: jak z niedokładnych pomiarów oszacować, gdzie jest samochód i jak szybko jedzie
- Rodzaje uczenia maszynowego: nadzorowane, nienadzorowane, półnadzorowane i inne
- Prompty, kontekst i RAG: jak dać modelowi właściwe informacje
- Wariacyjne autoenkodery (VAE): nowe obrazki z ciągłej przestrzeni latentnej
- Generatywne sieci przeciwstawne (GAN): fałszerz kontra detektyw
- Modele dyfuzyjne: jak z czystego szumu powstaje obraz
- Procesy decyzyjne Markowa: stany, akcje, nagrody i równania Bellmana
- Q-learning i DQN: uczenie się wartości akcji od tabeli po sieć neuronową
- Policy gradient i PPO: uczenie się bezpośrednio polityki
- Jak działa agent AI: model językowy w pętli z narzędziami
- Programowanie z agentami AI: zadanie, testy i kontrola
- Ocena i bezpieczeństwo systemów AI: jak mierzyć i jak pilnować
Pełny program serii Gotowe: 52 z 83 tematów
- Czym są informacja i entropia, dlaczego mierzy się je w bitach i dlaczego entropia to granica kompresji.
- Co mierzą entropia krzyżowa i dywergencja KL i dlaczego ich minimum jest tam, gdzie model mówi prawdę.
- Dlaczego entropia krzyżowa jest funkcją straty klasyfikatorów i modeli językowych i czym jest perpleksja.
Warto wiedzieć wcześniej: Statystyka i estymacja parametrów: największa wiarygodność, MAP i przedziały ufności
Kiedy trenujesz klasyfikator albo model językowy, niemal na pewno minimalizujesz „entropię krzyżową”. Skąd wzięło się to słowo? Z teorii informacji, którą w 1948 roku zapoczątkował Claude Shannon, kiedy zastanawiał się, jak najoszczędniej przesyłać wiadomości linią telefoniczną. Okazało się, że pytanie „ile bitów potrzebuję” i pytanie „jak dobrze model przewiduje” to jedno i to samo. Tą częścią kończy się moduł o prawdopodobieństwie i statystyce.
Nawiązuje do części Przegląd rozkładów i Statystyka i estymacja parametrów.
1. Informacja jako zaskoczenie
Definicja — informacja zdarzenia
Informacja (informacja własna) zdarzenia o prawdopodobieństwie p > 0 to
I(p) = −log2 p bitów.
Informacja mierzy zaskoczenie. To, że rano wzeszło słońce, cię nie zaskoczy — zero bitów. Rzut monetą niesie 1 bit, rzut kostką log2 6 ≈ 2,585 bita, a zdarzenie o szansie 1 : 1024 aż 10 bitów. Logarytm sprawia, że informacje niezależnych zdarzeń się sumują: dwie monety to 2 bity.
Bit to informacja zawarta w jednym pytaniu tak/nie z uczciwą odpowiedzią. Liczbę od 1 do 1024 zgadniesz w 10 pytaniach („czy jest większa niż 512?”…) — właśnie dlatego, że każda odpowiedź niesie 1 bit, a log2 1024 = 10.
2. Entropia
Definicja — entropia
Entropia dyskretnej zmiennej losowej X o funkcji prawdopodobieństwa p to wartość oczekiwana jej informacji:
H(X) = −∑x p(x) log2 p(x),
gdzie składnik z p(x) = 0 przyjmujemy jako 0.
Średnie zaskoczenie — jak bardzo niepewny jest wynik. Uczciwa moneta ma entropię 1 bit, a moneta, która w 90 % przypadków wypada orłem, tylko 0,469 bita: prawie zawsze wiesz, co wypadnie. Kostka ma 2,585 bita.
Twierdzenie — granice entropii
Dla zmiennej o n możliwych wartościach zachodzi 0 ≤ H(X) ≤ log2 n. Zero występuje dokładnie dla pewnego wyniku, maksimum dokładnie dla rozkładu jednostajnego.
Najmniej niepewności jest wtedy, gdy wynik jest pewny; najwięcej, gdy wszystkie możliwości są jednakowo prawdopodobne. Dlatego szczyt krzywej leży dokładnie w p = 0,5.
3. Entropia jako długość kodu
Twierdzenie — twierdzenie Shannona o kodowaniu źródła
Każdy jednoznacznie dekodowalny kod binarny dla symboli o rozkładzie p ma średnią długość słowa kodowego co najmniej H(p) bitów i istnieje kod o średniej długości mniejszej niż H(p) + 1.
Entropia to granica kompresji: wiadomości nie da się zakodować w mniejszej liczbie bitów, niż wynosi jej entropia. Częstym symbolom dajesz krótkie kody, rzadkim długie — jak w alfabecie Morse'a, gdzie najczęstsza litera E to pojedyncza kropka.
Cztery litery A, B, C, D z prawdopodobieństwami 1/2, 1/4, 1/8, 1/8 mają entropię 1,75 bita. Kod o stałej długości potrzebuje 2 bitów na literę. Kod Huffmana (0, 10, 110, 111) ma średnią długość 1/2 · 1 + 1/4 · 2 + 2 · 1/8 · 3 = 1,75 bita — dokładnie tyle, ile wynosi entropia. Wiadomość ABACABAD mieści się więc w 14 bitach zamiast 16:
4. Entropia krzyżowa
Definicja — entropia krzyżowa
Dla prawdziwego rozkładu p i modelu q na tych samych wartościach entropia krzyżowa to
H(p, q) = −∑x p(x) log2 q(x).
Średnia liczba bitów, gdy dane przychodzą zgodnie z p, ale kod zaprojektowałeś według modelu q. Innymi słowy: jak bardzo model średnio cię zaskakuje. Deszcz pada w 70 % dni; model, który twierdzi „50 : 50”, płaci 1 bit dziennie, a poprawny model tylko 0,881 bita.
Twierdzenie — nierówność Gibbsa
H(p, q) ≥ H(p), przy czym równość zachodzi wtedy i tylko wtedy, gdy q = p.
Zły model zawsze kosztuje cię dodatkowe bity. Najmniej zaskoczenia osiągniesz tylko z prawdziwym rozkładem — i dlatego minimalizowanie entropii krzyżowej ma sens: minimum jest tam, gdzie model mówi prawdę.
5. Dywergencja KL
Definicja — dywergencja Kullbacka–Leiblera
DKL(p ‖ q) = ∑x p(x) log2 (p(x) / q(x)) = H(p, q) − H(p).
Ile dodatkowych bitów płacisz za to, że używasz modelu q zamiast rzeczywistości p — to ten pomarańczowy odcinek na wykresie. Model „50 : 50” dla deszczu w 70 % dni kosztuje 1 − 0,881 = 0,119 bita więcej, model „90 % deszczu” aż 0,222 bita. Z nierówności Gibbsa wynika, że dywergencja KL jest zawsze nieujemna i równa zeru tylko dla q = p.
Uwaga, dywergencja KL nie jest odległością: nie jest symetryczna. DKL(0,7 ‖ 0,5) = 0,119, ale DKL(0,5 ‖ 0,7) = 0,126. Ma znaczenie, co jest rzeczywistością, a co modelem.
6. Zysk informacyjny
Definicja — entropia warunkowa
H(Y | X) = ∑x P(X = x) · H(Y | X = x), gdzie H(Y | X = x) to entropia rozkładu warunkowego Y.
Ile niepewności co do Y pozostaje średnio po tym, jak poznasz X.
Definicja — zysk informacyjny (informacja wzajemna)
I(X; Y) = H(Y) − H(Y | X).
O ile bitów zmniejsza się niepewność, gdy poznasz X. W przykładzie ze spamem z części o twierdzeniu Bayesa spam stanowi 40 % poczty: niepewność wynosi 0,971 bita. Gdy wiesz, czy e-mail zawiera słowo „wygrana”, spada ona średnio do 0,826 bita — zysk to 0,145 bita. Dokładnie tak drzewa decyzyjne wybierają, o co zapytać najpierw: o cechę o największym zysku informacyjnym.
7. Teoria informacji w sztucznej inteligencji
- Entropia krzyżowa jako funkcja straty. Dla jednego przykładu z poprawną klasą y to −log q(y) — jak bardzo poprawna odpowiedź zaskoczyła model. Średnia po danych to ujemny logarytm wiarygodności, więc minimalizacja entropii krzyżowej to metoda największej wiarygodności z poprzedniej części. Biblioteki używają logarytmu naturalnego (jednostką jest nat): 1 bit = ln 2 ≈ 0,693 nata.
- Perpleksja modelu językowego to 2H, gdzie H to entropia krzyżowa na słowo w bitach. Perpleksja 8 oznacza, że model jest średnio tak samo niepewny, jakby wybierał spośród ośmiu jednakowo prawdopodobnych słów.
- Dywergencja KL spina wariacyjne autoenkodery (VAE), destylację modeli (mały model naśladuje rozkład dużego) i dostrajanie modeli językowych na podstawie informacji zwrotnej od ludzi (RLHF), gdzie kara za dywergencję KL nie pozwala modelowi oddalić się zbytnio od pierwotnego.
- Kompresja i predykcja to jedno. Model, który dobrze przewiduje następny symbol, potrafi dobrze skompresować dane — i odwrotnie. Dlatego modele językowe porównuje się liczbą bitów na znak.
8. Podsumowanie
- Informacja zdarzenia −log2 p mierzy zaskoczenie w bitach; informacje niezależnych zdarzeń się sumują.
- Entropia to średnie zaskoczenie, co najwyżej log2 n, i zarazem dolna granica średniej długości kodu.
- Entropia krzyżowa mierzy, ile bitów kosztuje model q na danych z p; jest najmniejsza dla q = p.
- Dywergencja KL to cena za zły model: H(p, q) − H(p) ≥ 0, i nie jest symetryczna.
- Funkcją straty klasyfikatorów i modeli językowych jest entropia krzyżowa — czyli metoda największej wiarygodności.
Masz inne zdanie? Napisz na support@coden-app.com.