Bedingte Wahrscheinlichkeit und der Satz von Bayes: wie du deine Einschätzung änderst, wenn du etwas Neues erfährst
Bedingte Wahrscheinlichkeit, Produktregel, Unabhängigkeit, totale Wahrscheinlichkeit und der Satz von Bayes — und warum ein positiver Test auf eine seltene Krankheit nur 16,7 % bedeutet.
Serie KI-Grundlagen Teil 13 von 52
- Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst
- Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen
- Daten, Modell, Training, Inferenz: die Grundbegriffe an einem einzigen Beispiel
- Mathematische Notation lesen: Symbole, Indizes, Summen und Quantoren
- Mengen und Relationen: der Baukasten, aus dem Definitionen in der KI bestehen
- Funktionen und Abbildungen: warum jedes KI-Modell eine Funktion ist
- Logik und Beweise: die Regeln, nach denen KI schließt
- Graphen und Bäume: die Struktur, auf der Suche und neuronale Netze stehen
- Lineare Algebra für maschinelles Lernen: Vektoren, Matrizen und warum KI vor allem multipliziert
- Ableitungen, Gradient und Kettenregel: wie ein Modell herausfindet, in welche Richtung es lernen soll
- Gradientenabstieg: wie ein Modell lernt
- Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen
- Bedingte Wahrscheinlichkeit und der Satz von Bayes: wie du deine Einschätzung änderst, wenn du etwas Neues erfährst
- Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät
- Dichtefunktion und Wahrscheinlichkeitsfunktion: warum eine stetige Zufallsvariable in einem Punkt die Wahrscheinlichkeit null hat
- Erwartungswert, Varianz und Kovarianz: wo eine Verteilung liegt, wie breit sie ist und was womit zusammenhängt
- Überblick über Wahrscheinlichkeitsverteilungen: Bernoulli-, Binomial-, Poisson-, Gleich-, Normal- und Exponentialverteilung
- Gesetz der großen Zahlen und zentraler Grenzwertsatz: Warum sich Durchschnitte so vorhersagbar verhalten
- Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle
- Informationstheorie: Entropie, Kreuzentropie und KL-Divergenz — woher Verlustfunktionen kommen
- Zustandsraumsuche: BFS, DFS, UCS und A* mit Animationen
- Spiele und Gegner: Minimax, Alpha-Beta-Suche und Monte Carlo Tree Search
- Constraint Satisfaction: Backtracking, Constraint-Propagierung und AC-3 an Sudoku und einer Karte tschechischer Regionen
- Logik und wissensbasierte Systeme: Vorwärts- und Rückwärtsverkettung, Resolution und Expertensysteme
- Planung: STRIPS, die Blockwelt, Heuristiken aus Relaxierung und Planung in KI-Agenten
- Lokale Suche und simulierte Abkühlung: ein Handlungsreisender durch die tschechischen Regionalhauptstädte
- Genetische Algorithmen: Population, Kreuzung, Mutation und Selektion am Rucksack für die Wanderung
- Evolutionsstrategien und genetische Programmierung: von der 1/5-Erfolgsregel zum Keplerschen Gesetz
- Ameisenkolonieoptimierung: wie eine Pheromonspur einen kurzen Weg findet
- Partikelschwarmoptimierung: Trägheit, eigene Erfahrung und die Erfahrung des Schwarms
- Neuroevolution: Evolution der Gewichte und der Gestalt neuronaler Netze und der Algorithmus NEAT
- Fuzzy-Mengen und Zugehörigkeitsfunktionen: wie man „etwas warm“ aufschreibt
- Fuzzy-Logik und Wahrscheinlichkeit: warum „etwas warm“ nicht „wahrscheinlich warm“ bedeutet
- Fuzzy-Logik: t-Normen, Implikationen und WENN–DANN-Regeln
- Fuzzy-Regelung: Mamdani und Sugeno vom Ventilator bis zum Pendel auf dem Wagen
- Fuzzy-Clustering: der Algorithmus fuzzy c-means und Punkte zwischen den Clustern
- Neuro-Fuzzy-Systeme (ANFIS): Fuzzy-Regeln, die aus Daten lernen
- Markow-Ketten: Übergangsmatrix, stationäre Verteilung und PageRank
- Hidden-Markov-Modelle: der Viterbi-Algorithmus und das unehrliche Kasino
- Bayessche Netze: warum das Gras nass ist und was das für den Rasensprenger bedeutet
- Der Kalman-Filter: wie man aus ungenauen Messungen schätzt, wo ein Auto ist und wie schnell es fährt
- Arten des maschinellen Lernens: überwacht, unüberwacht, halbüberwacht und mehr
- Prompts, Kontext und RAG: wie man einem Modell die richtigen Informationen gibt
- Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum
- Generative Adversarial Networks (GAN): der Fälscher gegen den Detektiv
- Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird
- Markow-Entscheidungsprozesse: Zustände, Aktionen, Belohnungen und Bellman-Gleichungen
- Q-Learning und DQN: den Wert von Aktionen lernen, von der Tabelle bis zum neuronalen Netz
- Policy Gradient und PPO: die Strategie direkt lernen
- Wie ein KI-Agent funktioniert: ein Sprachmodell in einer Schleife mit Werkzeugen
- Programmieren mit KI-Agenten: Auftrag, Tests und Kontrolle
- Bewertung und Sicherheit von KI-Systemen: wie man misst und wie man überwacht
Der ganze Lehrplan der Serie 52 von 83 Themen fertig
- Was bedingte Wahrscheinlichkeit ist und warum P(A | B) nicht dasselbe ist wie P(B | A).
- Was Unabhängigkeit bedeutet und wie die Produktregel und der Satz von der totalen Wahrscheinlichkeit funktionieren.
- Wie der Satz von Bayes die Bedingung umkehrt — und warum du bei seltenen Ereignissen die Basisrate nicht vergessen darfst.
Vorher gut zu wissen: Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen
Eine Wahrscheinlichkeit ist keine feste, in Stein gemeißelte Zahl. Wenn du etwas Neues erfährst, ändert sie sich. Die Wahrscheinlichkeit, dass es regnet, ist eine andere, wenn du weißt, dass der Himmel bedeckt ist. Die Wahrscheinlichkeit, dass eine E-Mail Spam ist, ist eine andere, wenn darin „Sie haben gewonnen“ steht. In diesem Teil geht es darum, wie man eine Wahrscheinlichkeit genau neu berechnet, wenn eine neue Information hinzukommt — und um den Satz, auf dem Spamfilter, medizinische Diagnostik und ein großer Teil des maschinellen Lernens beruhen.
Er knüpft an den Teil Was ist Wahrscheinlichkeit an und verwendet wieder zwei Würfel.
1. Bedingte Wahrscheinlichkeit
Definition — bedingte Wahrscheinlichkeit
Für Ereignisse A, B mit P(B) > 0 ist die bedingte Wahrscheinlichkeit von A unter der Bedingung B
P(A | B) = P(A ∩ B) / P(B).
Eine Bedingung macht die Welt kleiner. Wenn du weißt, dass B eingetreten ist, kannst du alles andere streichen und rechnest nur noch innerhalb von B: Welcher Anteil von B gehört auch zu A?
Ein Freund hat mit zwei Würfeln gewürfelt und verrät nur, dass mindestens eine Sechs dabei ist. Wie groß ist die Wahrscheinlichkeit, dass die Augensumme 7 ist? Von den 36 Ergebnissen bleiben 11 mit einer Sechs übrig — und nur zwei davon, (1, 6) und (6, 1), haben die Augensumme 7:
P(Augensumme 7 | mindestens eine Sechs) = 2/11 ≈ 0,182 — etwas mehr als ohne Bedingung, wo es 1/6 ≈ 0,167 sind. Und Vorsicht mit der Reihenfolge: P(mindestens eine Sechs | Augensumme 7) = 2/6 = 1/3. P(A | B) und P(B | A) sind im Allgemeinen völlig verschiedene Zahlen.
2. Die Produktregel
Satz — Produktregel
P(A ∩ B) = P(A | B) · P(B) = P(B | A) · P(A).
Damit beides eintritt, muss zuerst B eintreten und dann, wenn wir von B schon wissen, auch noch A. Die Chancen werden multipliziert. „Augensumme 7 und zugleich eine Sechs“: 11/36 · 2/11 = 2/36 — genau die zwei Felder aus der Abbildung.
3. Unabhängigkeit
Definition — unabhängige Ereignisse
Die Ereignisse A und B sind unabhängig, wenn P(A ∩ B) = P(A) · P(B). Für P(B) > 0 ist das dasselbe wie P(A | B) = P(A).
Unabhängige Ereignisse verraten einander nichts: Wenn du weißt, dass B eingetreten ist, weißt du über A kein bisschen mehr. Der Wurf des ersten und des zweiten Würfels sind unabhängig — zwei Sechsen haben die Wahrscheinlichkeit 1/6 · 1/6 = 1/36.
Unabhängigkeit kann überraschen. „Die Augensumme ist 7“ und „der erste Würfel zeigt eine Sechs“ sind unabhängig: P von beiden ist 1/36, und 1/6 · 1/6 = 1/36 — egal, was der erste Würfel zeigt, auf dem zweiten gibt es genau eine Zahl, die die Augensumme 7 ergibt. Dagegen sind „die Augensumme ist 12“ und „der erste Würfel zeigt eine Sechs“ nicht unabhängig: Ohne Bedingung hat die Augensumme 12 nur 1/36, mit einer Sechs auf dem ersten Würfel aber schon 1/6.
Und verwechsle unabhängige Ereignisse nicht mit unvereinbaren. Unvereinbare Ereignisse sind im Gegenteil stark abhängig — wenn das eine eingetreten ist, weißt du sicher, dass das andere nicht eingetreten ist.
4. Der Satz von der totalen Wahrscheinlichkeit
Satz — totale Wahrscheinlichkeit
Bilden die Ereignisse H1, …, Hk eine Zerlegung des Raums Ω (sie sind paarweise unvereinbar und decken zusammen Ω ab), dann gilt für jedes Ereignis A
P(A) = ∑i=1k P(A | Hi) · P(Hi).
Wenn du nicht weißt, welche der Möglichkeiten zutrifft, geh sie alle durch: Berechne für jede die Chance auf A und gewichte sie damit, wie häufig diese Möglichkeit ist. Ein positives Testergebnis kommt entweder von einem Kranken oder von einem Gesunden — und beide Wege werden addiert.
5. Der Satz von Bayes
Satz — Satz von Bayes
Für P(A) > 0 gilt
P(H | A) = P(A | H) · P(H) / P(A),
wobei der Nenner P(A) mit dem Satz von der totalen Wahrscheinlichkeit berechnet wird.
Der Satz von Bayes kehrt die Bedingung um. Oft wissen wir, wie sich eine Ursache zeigt — wie oft ein Kranker einen positiven Test bekommt. Wir wollen aber das Umgekehrte: Wenn der Test positiv ist, wie wahrscheinlich ist die Krankheit? Der Satz folgt direkt aus der Produktregel, er schreibt sie nur auf beide Arten auf.
Die einzelnen Teile des Satzes haben eigene Namen:
Definition — A-priori-Wahrscheinlichkeit
P(H) ist die A-priori-Wahrscheinlichkeit der Hypothese H — bevor wir die Daten A sehen.
Was du vorher glaubst. Die Krankheit haben 1 % der Menschen, also ist die Chance, dass du sie hast, ohne Test 1 %.
Definition — Likelihood
P(A | H) ist die Likelihood — wie wahrscheinlich die Daten A wären, wenn die Hypothese H zuträfe.
Wie gut die Hypothese erklärt, was du siehst. Ein Kranker bekommt in 99 % der Fälle einen positiven Test.
Definition — A-posteriori-Wahrscheinlichkeit
P(H | A) ist die A-posteriori-Wahrscheinlichkeit — die Einschätzung der Hypothese H, nachdem wir die Daten A gesehen haben.
Was du nachher glaubst. Der Satz von Bayes sagt, wie aus „vorher“ und „wie gut es passt“ ein „nachher“ wird.
6. Ein positiver Test: warum nur 16,7 %
Eine Krankheit haben 1 % der Menschen. Ein Test erkennt sie bei Kranken in 99 % der Fälle, schlägt aber bei Gesunden in 5 % der Fälle falschen Alarm. Dein Test ist positiv. Wie wahrscheinlich ist es, dass du die Krankheit hast? Die meisten Menschen — auch viele Ärztinnen und Ärzte — tippen auf etwa 95 %. Der Satz von Bayes sagt:
P(positiv) = 0,99 · 0,01 + 0,05 · 0,99 = 0,0594
P(krank | positiv) = 0,99 · 0,01 / 0,0594 ≈ 0,167
Nur 16,7 %. Am besten sieht man das an natürlichen Häufigkeiten — stell dir statt Wahrscheinlichkeiten 10 000 Menschen vor:
Krank sind 100, und der Test erkennt 99 von ihnen. Gesund sind aber 9 900, und schon 5 % davon sind 495 Fehlalarme. Positiv sind insgesamt 594, und krank sind davon nur 99 — ein Sechstel. Dieser Denkfehler hat einen Namen: Basisratenfehler. Wenn etwas selten ist, erzeugt selbst ein genauer Test mehr Fehlalarme als echte Befunde.
7. Lernen aus Daten: Aus A posteriori wird A priori
Was, wenn der Test wiederholt wird und wieder positiv ausfällt? Jetzt beginnen wir nicht mehr bei 1 % — das Ergebnis des ersten Tests ist die neue Ausgangsschätzung. Die A-posteriori-Wahrscheinlichkeit wird zur A-priori-Wahrscheinlichkeit:
Nach dem zweiten positiven Test sind es schon 79,8 %, nach dem dritten 98,7 %. Jeder Beleg verschiebt die Schätzung, und der nächste baut auf dem vorherigen auf. Genau so lernen bayessche Modelle — sie beginnen mit einer Annahme und verfeinern sie mit jedem Stück Daten.
8. Bayes in der künstlichen Intelligenz
- Spamfilter — wenn 40 % der Post Spam sind und das Wort „Gewinn“ in 30 % des Spams, aber nur in 1 % der übrigen E-Mails vorkommt, dann ist eine E-Mail mit dem Wort „Gewinn“ mit Wahrscheinlichkeit 0,12 / 0,126 ≈ 0,952 Spam. Ein naiver Bayes-Klassifikator macht das für jedes Wort.
- Sprachmodelle berechnen die bedingte Wahrscheinlichkeit des nächsten Wortes unter der Bedingung aller vorherigen: P(xt | x1, …, xt−1). Ein ganzer Text ist ein Produkt solcher Bedingungen — die Produktregel.
- Bayessche Netze halten als gerichteten Graphen fest, welche Größen voneinander abhängen, und rechnen entlang seiner Kanten mit bedingten Wahrscheinlichkeiten.
- Unsicherheit des Modells — bayessche Methoden liefern nicht nur eine Antwort, sondern eine Verteilung: wie sicher sich das Modell ist und wo ihm weitere Daten helfen würden.
9. Zusammenfassung
- Die bedingte Wahrscheinlichkeit P(A | B) rechnet nur innerhalb von B; P(A | B) ≠ P(B | A).
- Produktregel: P(A ∩ B) = P(A | B) · P(B). Unabhängige Ereignisse verraten einander nichts.
- Der Satz von der totalen Wahrscheinlichkeit addiert alle Wege, auf denen ein Ereignis eintreten kann.
- Der Satz von Bayes kehrt die Bedingung um: Aus A-priori-Wahrscheinlichkeit und Likelihood wird die A-posteriori-Wahrscheinlichkeit.
- Bei seltenen Ereignissen liefert selbst ein genauer Test viele Fehlalarme — vergiss die Basisrate nicht.
Siehst du das anders? Schreib an support@coden-app.com.