Informationstheorie: Entropie, Kreuzentropie und KL-Divergenz — woher Verlustfunktionen kommen
Information als Überraschung, Entropie und Huffman-Code, Kreuzentropie, KL-Divergenz und Informationsgewinn — und warum die Verlustfunktion von Sprachmodellen die Kreuzentropie ist.
Serie KI-Grundlagen Teil 20 von 52
- Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst
- Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen
- Daten, Modell, Training, Inferenz: die Grundbegriffe an einem einzigen Beispiel
- Mathematische Notation lesen: Symbole, Indizes, Summen und Quantoren
- Mengen und Relationen: der Baukasten, aus dem Definitionen in der KI bestehen
- Funktionen und Abbildungen: warum jedes KI-Modell eine Funktion ist
- Logik und Beweise: die Regeln, nach denen KI schließt
- Graphen und Bäume: die Struktur, auf der Suche und neuronale Netze stehen
- Lineare Algebra für maschinelles Lernen: Vektoren, Matrizen und warum KI vor allem multipliziert
- Ableitungen, Gradient und Kettenregel: wie ein Modell herausfindet, in welche Richtung es lernen soll
- Gradientenabstieg: wie ein Modell lernt
- Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen
- Bedingte Wahrscheinlichkeit und der Satz von Bayes: wie du deine Einschätzung änderst, wenn du etwas Neues erfährst
- Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät
- Dichtefunktion und Wahrscheinlichkeitsfunktion: warum eine stetige Zufallsvariable in einem Punkt die Wahrscheinlichkeit null hat
- Erwartungswert, Varianz und Kovarianz: wo eine Verteilung liegt, wie breit sie ist und was womit zusammenhängt
- Überblick über Wahrscheinlichkeitsverteilungen: Bernoulli-, Binomial-, Poisson-, Gleich-, Normal- und Exponentialverteilung
- Gesetz der großen Zahlen und zentraler Grenzwertsatz: Warum sich Durchschnitte so vorhersagbar verhalten
- Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle
- Informationstheorie: Entropie, Kreuzentropie und KL-Divergenz — woher Verlustfunktionen kommen
- Zustandsraumsuche: BFS, DFS, UCS und A* mit Animationen
- Spiele und Gegner: Minimax, Alpha-Beta-Suche und Monte Carlo Tree Search
- Constraint Satisfaction: Backtracking, Constraint-Propagierung und AC-3 an Sudoku und einer Karte tschechischer Regionen
- Logik und wissensbasierte Systeme: Vorwärts- und Rückwärtsverkettung, Resolution und Expertensysteme
- Planung: STRIPS, die Blockwelt, Heuristiken aus Relaxierung und Planung in KI-Agenten
- Lokale Suche und simulierte Abkühlung: ein Handlungsreisender durch die tschechischen Regionalhauptstädte
- Genetische Algorithmen: Population, Kreuzung, Mutation und Selektion am Rucksack für die Wanderung
- Evolutionsstrategien und genetische Programmierung: von der 1/5-Erfolgsregel zum Keplerschen Gesetz
- Ameisenkolonieoptimierung: wie eine Pheromonspur einen kurzen Weg findet
- Partikelschwarmoptimierung: Trägheit, eigene Erfahrung und die Erfahrung des Schwarms
- Neuroevolution: Evolution der Gewichte und der Gestalt neuronaler Netze und der Algorithmus NEAT
- Fuzzy-Mengen und Zugehörigkeitsfunktionen: wie man „etwas warm“ aufschreibt
- Fuzzy-Logik und Wahrscheinlichkeit: warum „etwas warm“ nicht „wahrscheinlich warm“ bedeutet
- Fuzzy-Logik: t-Normen, Implikationen und WENN–DANN-Regeln
- Fuzzy-Regelung: Mamdani und Sugeno vom Ventilator bis zum Pendel auf dem Wagen
- Fuzzy-Clustering: der Algorithmus fuzzy c-means und Punkte zwischen den Clustern
- Neuro-Fuzzy-Systeme (ANFIS): Fuzzy-Regeln, die aus Daten lernen
- Markow-Ketten: Übergangsmatrix, stationäre Verteilung und PageRank
- Hidden-Markov-Modelle: der Viterbi-Algorithmus und das unehrliche Kasino
- Bayessche Netze: warum das Gras nass ist und was das für den Rasensprenger bedeutet
- Der Kalman-Filter: wie man aus ungenauen Messungen schätzt, wo ein Auto ist und wie schnell es fährt
- Arten des maschinellen Lernens: überwacht, unüberwacht, halbüberwacht und mehr
- Prompts, Kontext und RAG: wie man einem Modell die richtigen Informationen gibt
- Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum
- Generative Adversarial Networks (GAN): der Fälscher gegen den Detektiv
- Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird
- Markow-Entscheidungsprozesse: Zustände, Aktionen, Belohnungen und Bellman-Gleichungen
- Q-Learning und DQN: den Wert von Aktionen lernen, von der Tabelle bis zum neuronalen Netz
- Policy Gradient und PPO: die Strategie direkt lernen
- Wie ein KI-Agent funktioniert: ein Sprachmodell in einer Schleife mit Werkzeugen
- Programmieren mit KI-Agenten: Auftrag, Tests und Kontrolle
- Bewertung und Sicherheit von KI-Systemen: wie man misst und wie man überwacht
Der ganze Lehrplan der Serie 52 von 83 Themen fertig
- Was Information und Entropie sind, warum man sie in Bit misst und warum die Entropie die Grenze der Kompression ist.
- Was Kreuzentropie und KL-Divergenz messen und warum ihr Minimum dort liegt, wo das Modell die Wahrheit sagt.
- Warum die Kreuzentropie die Verlustfunktion von Klassifikatoren und Sprachmodellen ist und was Perplexität ist.
Vorher gut zu wissen: Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle
Wenn du einen Klassifikator oder ein Sprachmodell trainierst, minimierst du so gut wie sicher die „Kreuzentropie“. Woher kommt dieses Wort? Aus der Informationstheorie, die Claude Shannon 1948 begründet hat, als er herausfinden wollte, wie man Nachrichten möglichst sparsam über eine Telefonleitung schickt. Es stellte sich heraus, dass die Frage „Wie viele Bits brauche ich?“ und die Frage „Wie gut sagt das Modell vorher?“ ein und dieselbe sind. Mit diesem Teil endet das Modul über Wahrscheinlichkeit und Statistik.
Er baut auf den Teilen Überblick über Verteilungen und Statistik und Parameterschätzung auf.
1. Information als Überraschung
Definition — Informationsgehalt eines Ereignisses
Der Informationsgehalt (Eigeninformation) eines Ereignisses mit der Wahrscheinlichkeit p > 0 ist
I(p) = −log2 p Bit.
Information misst Überraschung. Dass morgens die Sonne aufgegangen ist, überrascht dich nicht — null Bit. Ein Münzwurf trägt 1 Bit, ein Würfelwurf log2 6 ≈ 2,585 Bit und ein Ereignis mit einer Chance von 1 : 1024 ganze 10 Bit. Der Logarithmus sorgt dafür, dass sich die Information unabhängiger Ereignisse addiert: Zwei Münzen sind 2 Bit.
Ein Bit ist die Information einer Ja-Nein-Frage mit fairer Antwort. Eine Zahl von 1 bis 1024 errätst du mit 10 Fragen („Ist sie größer als 512?“ …) — eben weil jede Antwort 1 Bit trägt und log2 1024 = 10 ist.
2. Entropie
Definition — Entropie
Die Entropie einer diskreten Zufallsvariable X mit der Wahrscheinlichkeitsfunktion p ist der Erwartungswert ihres Informationsgehalts:
H(X) = −∑x p(x) log2 p(x),
wobei ein Term mit p(x) = 0 als 0 gilt.
Die durchschnittliche Überraschung — wie unsicher das Ergebnis ist. Eine faire Münze hat eine Entropie von 1 Bit, eine Münze, die in 90 % der Fälle Kopf zeigt, nur 0,469 Bit: Du weißt fast immer, was fällt. Ein Würfel hat 2,585 Bit.
Satz — Schranken der Entropie
Für eine Variable mit n möglichen Werten gilt 0 ≤ H(X) ≤ log2 n. Null wird genau bei einem sicheren Ergebnis erreicht, das Maximum genau bei der Gleichverteilung.
Am wenigsten Unsicherheit gibt es, wenn das Ergebnis feststeht; am meisten, wenn alle Möglichkeiten gleich wahrscheinlich sind. Deshalb liegt der Gipfel der Kurve genau bei p = 0,5.
3. Entropie als Codelänge
Satz — Shannons Quellencodierungstheorem
Jeder eindeutig decodierbare Binärcode für Symbole mit der Verteilung p hat eine mittlere Codewortlänge von mindestens H(p) Bit, und es gibt einen Code mit einer mittleren Länge kleiner als H(p) + 1.
Die Entropie ist die Grenze der Kompression: Eine Nachricht lässt sich nicht mit weniger Bits codieren, als ihre Entropie beträgt. Häufige Symbole bekommen kurze Codes, seltene lange — wie beim Morsecode, in dem der häufigste Buchstabe E ein einzelner Punkt ist.
Vier Buchstaben A, B, C, D mit den Wahrscheinlichkeiten 1/2, 1/4, 1/8, 1/8 haben eine Entropie von 1,75 Bit. Ein Code fester Länge braucht 2 Bit pro Buchstabe. Der Huffman-Code (0, 10, 110, 111) hat eine mittlere Länge von 1/2 · 1 + 1/4 · 2 + 2 · 1/8 · 3 = 1,75 Bit — genau die Entropie. Die Nachricht ABACABAD passt damit in 14 statt 16 Bit:
4. Kreuzentropie
Definition — Kreuzentropie
Für die wahre Verteilung p und ein Modell q auf denselben Werten ist die Kreuzentropie
H(p, q) = −∑x p(x) log2 q(x).
Die durchschnittliche Zahl der Bits, wenn die Daten nach p kommen, du den Code aber nach dem Modell q entworfen hast. Anders gesagt: wie sehr dich das Modell im Schnitt überrascht. Es regnet an 70 % der Tage; ein Modell, das „50 : 50“ behauptet, zahlt 1 Bit pro Tag, das richtige Modell dagegen nur 0,881 Bit.
Satz — Gibbs-Ungleichung
H(p, q) ≥ H(p), mit Gleichheit genau dann, wenn q = p.
Ein falsches Modell kostet dich immer zusätzliche Bits. Am wenigsten überrascht wirst du nur mit der richtigen Verteilung — und deshalb ist es sinnvoll, die Kreuzentropie zu minimieren: Das Minimum liegt dort, wo das Modell die Wahrheit sagt.
5. KL-Divergenz
Definition — Kullback-Leibler-Divergenz
DKL(p ‖ q) = ∑x p(x) log2 (p(x) / q(x)) = H(p, q) − H(p).
Wie viele Bits du zusätzlich zahlst, weil du das Modell q statt der Wirklichkeit p verwendest — die orange Strecke im Bild. Das Modell „50 : 50“ für Regen an 70 % der Tage kostet 1 − 0,881 = 0,119 Bit zusätzlich, das Modell „90 % Regen“ sogar 0,222 Bit. Nach der Gibbs-Ungleichung ist die KL-Divergenz immer nichtnegativ und nur für q = p gleich null.
Vorsicht: Die KL-Divergenz ist kein Abstand, denn sie ist nicht symmetrisch. DKL(0,7 ‖ 0,5) = 0,119, aber DKL(0,5 ‖ 0,7) = 0,126. Es kommt darauf an, was die Wirklichkeit und was das Modell ist.
6. Informationsgewinn
Definition — bedingte Entropie
H(Y | X) = ∑x P(X = x) · H(Y | X = x), wobei H(Y | X = x) die Entropie der bedingten Verteilung von Y ist.
Wie viel Unsicherheit über Y im Schnitt übrig bleibt, nachdem du X erfahren hast.
Definition — Informationsgewinn (gegenseitige Information)
I(X; Y) = H(Y) − H(Y | X).
Um wie viele Bits die Unsicherheit sinkt, wenn du X erfährst. Im Spam-Beispiel aus dem Teil über den Satz von Bayes sind 40 % der Post Spam: eine Unsicherheit von 0,971 Bit. Weißt du, ob eine E-Mail das Wort „Gewinn“ enthält, sinkt sie im Schnitt auf 0,826 Bit — ein Informationsgewinn von 0,145 Bit. Genau so wählen Entscheidungsbäume aus, wonach sie zuerst fragen: nach dem Merkmal mit dem größten Informationsgewinn.
7. Informationstheorie in der künstlichen Intelligenz
- Kreuzentropie als Verlustfunktion. Für ein einzelnes Beispiel mit der richtigen Klasse y ist sie −log q(y) — wie sehr die richtige Antwort das Modell überrascht hat. Der Durchschnitt über die Daten ist die negative Log-Likelihood; die Kreuzentropie zu minimieren ist also die Maximum-Likelihood-Methode aus dem vorigen Teil. Bibliotheken verwenden den natürlichen Logarithmus (Einheit Nat): 1 Bit = ln 2 ≈ 0,693 Nat.
- Die Perplexität eines Sprachmodells ist 2H, wobei H die Kreuzentropie pro Wort in Bit ist. Eine Perplexität von 8 bedeutet, dass das Modell im Schnitt so unsicher ist, als würde es zwischen acht gleich wahrscheinlichen Wörtern wählen.
- Die KL-Divergenz hält Variational Autoencoder (VAE), die Destillation von Modellen (ein kleines Modell ahmt die Verteilung eines großen nach) und das Feintuning von Sprachmodellen mit menschlichem Feedback (RLHF) zusammen, bei dem ein Strafterm für die KL-Divergenz verhindert, dass sich das Modell zu weit vom ursprünglichen entfernt.
- Kompression und Vorhersage sind dasselbe. Ein Modell, das das nächste Symbol gut vorhersagt, kann die Daten gut komprimieren — und umgekehrt. Deshalb vergleicht man Sprachmodelle anhand der Bits pro Zeichen.
8. Zusammenfassung
- Der Informationsgehalt eines Ereignisses, −log2 p, misst Überraschung in Bit; Informationen unabhängiger Ereignisse addieren sich.
- Die Entropie ist die durchschnittliche Überraschung, höchstens log2 n, und die untere Schranke für die mittlere Codelänge.
- Die Kreuzentropie misst, wie viele Bits das Modell q auf Daten aus p kostet; am kleinsten ist sie für q = p.
- Die KL-Divergenz ist der Preis für ein falsches Modell: H(p, q) − H(p) ≥ 0, und sie ist nicht symmetrisch.
- Die Verlustfunktion von Klassifikatoren und Sprachmodellen ist die Kreuzentropie — also Maximum Likelihood.
Siehst du das anders? Schreib an support@coden-app.com.