Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle

Stichprobe, Schätzer, Erwartungstreue und warum die Stichprobenvarianz durch n − 1 teilt, die Maximum-Likelihood-Methode, die bayessche MAP-Schätzung und Konfidenzintervalle — und warum das Training eines neuronalen Netzes eine Parameterschätzung ist.

14 Minuten Matěj Žalmánek 2026-10-15

Serie KI-Grundlagen Teil 19 von 52

1. Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst
2. Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen
3. Daten, Modell, Training, Inferenz: die Grundbegriffe an einem einzigen Beispiel
4. Mathematische Notation lesen: Symbole, Indizes, Summen und Quantoren
5. Mengen und Relationen: der Baukasten, aus dem Definitionen in der KI bestehen
6. Funktionen und Abbildungen: warum jedes KI-Modell eine Funktion ist
7. Logik und Beweise: die Regeln, nach denen KI schließt
8. Graphen und Bäume: die Struktur, auf der Suche und neuronale Netze stehen
9. Lineare Algebra für maschinelles Lernen: Vektoren, Matrizen und warum KI vor allem multipliziert
10. Ableitungen, Gradient und Kettenregel: wie ein Modell herausfindet, in welche Richtung es lernen soll
11. Gradientenabstieg: wie ein Modell lernt
12. Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen
13. Bedingte Wahrscheinlichkeit und der Satz von Bayes: wie du deine Einschätzung änderst, wenn du etwas Neues erfährst
14. Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät
15. Dichtefunktion und Wahrscheinlichkeitsfunktion: warum eine stetige Zufallsvariable in einem Punkt die Wahrscheinlichkeit null hat
16. Erwartungswert, Varianz und Kovarianz: wo eine Verteilung liegt, wie breit sie ist und was womit zusammenhängt
17. Überblick über Wahrscheinlichkeitsverteilungen: Bernoulli-, Binomial-, Poisson-, Gleich-, Normal- und Exponentialverteilung
18. Gesetz der großen Zahlen und zentraler Grenzwertsatz: Warum sich Durchschnitte so vorhersagbar verhalten
19. Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle
20. Informationstheorie: Entropie, Kreuzentropie und KL-Divergenz — woher Verlustfunktionen kommen
21. Zustandsraumsuche: BFS, DFS, UCS und A* mit Animationen
22. Spiele und Gegner: Minimax, Alpha-Beta-Suche und Monte Carlo Tree Search
23. Constraint Satisfaction: Backtracking, Constraint-Propagierung und AC-3 an Sudoku und einer Karte tschechischer Regionen
24. Logik und wissensbasierte Systeme: Vorwärts- und Rückwärtsverkettung, Resolution und Expertensysteme
25. Planung: STRIPS, die Blockwelt, Heuristiken aus Relaxierung und Planung in KI-Agenten
26. Lokale Suche und simulierte Abkühlung: ein Handlungsreisender durch die tschechischen Regionalhauptstädte
27. Genetische Algorithmen: Population, Kreuzung, Mutation und Selektion am Rucksack für die Wanderung
28. Evolutionsstrategien und genetische Programmierung: von der 1/5-Erfolgsregel zum Keplerschen Gesetz
29. Ameisenkolonieoptimierung: wie eine Pheromonspur einen kurzen Weg findet
30. Partikelschwarmoptimierung: Trägheit, eigene Erfahrung und die Erfahrung des Schwarms
31. Neuroevolution: Evolution der Gewichte und der Gestalt neuronaler Netze und der Algorithmus NEAT
32. Fuzzy-Mengen und Zugehörigkeitsfunktionen: wie man „etwas warm“ aufschreibt
33. Fuzzy-Logik und Wahrscheinlichkeit: warum „etwas warm“ nicht „wahrscheinlich warm“ bedeutet
34. Fuzzy-Logik: t-Normen, Implikationen und WENN–DANN-Regeln
35. Fuzzy-Regelung: Mamdani und Sugeno vom Ventilator bis zum Pendel auf dem Wagen
36. Fuzzy-Clustering: der Algorithmus fuzzy c-means und Punkte zwischen den Clustern
37. Neuro-Fuzzy-Systeme (ANFIS): Fuzzy-Regeln, die aus Daten lernen
38. Markow-Ketten: Übergangsmatrix, stationäre Verteilung und PageRank
39. Hidden-Markov-Modelle: der Viterbi-Algorithmus und das unehrliche Kasino
40. Bayessche Netze: warum das Gras nass ist und was das für den Rasensprenger bedeutet
41. Der Kalman-Filter: wie man aus ungenauen Messungen schätzt, wo ein Auto ist und wie schnell es fährt
42. Arten des maschinellen Lernens: überwacht, unüberwacht, halbüberwacht und mehr
43. Prompts, Kontext und RAG: wie man einem Modell die richtigen Informationen gibt
44. Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum
45. Generative Adversarial Networks (GAN): der Fälscher gegen den Detektiv
46. Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird
47. Markow-Entscheidungsprozesse: Zustände, Aktionen, Belohnungen und Bellman-Gleichungen
48. Q-Learning und DQN: den Wert von Aktionen lernen, von der Tabelle bis zum neuronalen Netz
49. Policy Gradient und PPO: die Strategie direkt lernen
50. Wie ein KI-Agent funktioniert: ein Sprachmodell in einer Schleife mit Werkzeugen
51. Programmieren mit KI-Agenten: Auftrag, Tests und Kontrolle
52. Bewertung und Sicherheit von KI-Systemen: wie man misst und wie man überwacht

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

Die Wahrscheinlichkeitstheorie geht vom Modell zu den Daten: Wenn du weißt, dass eine Münze fair ist, kannst du ausrechnen, was fallen wird. Die Statistik geht den umgekehrten Weg — von den Daten zum Modell: 6-mal Zahl bei 20 Würfen, was ist das für eine Münze? Und genau das macht maschinelles Lernen. Ein Modell hat Parameter, die Daten sind das, was gefallen ist, und Training ist Parameterschätzung. Dieser Teil zeigt, was einen guten Schätzer ausmacht, woher die Maximum-Likelihood-Methode kommt, auf der fast jede Verlustfunktion beruht, und wie man ehrlich sagt, wie sicher man sich einer Schätzung sein kann.

Er baut auf dem Teil Gesetz der großen Zahlen und zentraler Grenzwertsatz auf.

1. Stichprobe, Statistik, Schätzer

Definition — Zufallsstichprobe

Eine Zufallsstichprobe vom Umfang n aus einer Verteilung mit der Dichte (oder Wahrscheinlichkeitsfunktion) f(x; θ) sind n unabhängig und identisch verteilte Zufallsvariablen X₁, …, X_n mit dieser Verteilung. Der Parameter θ ist unbekannt.

Definition — Statistik und Schätzer

Eine Statistik ist eine beliebige Funktion der Stichprobe T = T(X₁, …, X_n), die nicht vom unbekannten θ abhängt. Eine Statistik, mit der wir θ schätzen, heißt Schätzer und wird θ̂ geschrieben.

2. Ein guter Schätzer: Erwartungstreue und Konsistenz

Definition — erwartungstreuer Schätzer

Ein Schätzer θ̂ ist erwartungstreu, wenn E[θ̂] = θ für jeden Wert von θ gilt. Die Differenz E[θ̂] − θ heißt Verzerrung (englisch bias).

Definition — konsistenter Schätzer

Ein Schätzer θ̂_n ist konsistent, wenn für jedes ε > 0 gilt: lim_n→∞ P(|θ̂_n − θ| ≥ ε) = 0.

Erwartungstreue ist keine Selbstverständlichkeit. Naheliegend wäre es, die Varianz als mittlere quadratische Abweichung vom Mittelwert zu schätzen, (1/n) ∑ (X_i − X̄)². Doch diese Schätzung unterschätzt die Varianz systematisch: Wir messen die Abweichungen von X̄, das sich den Daten angepasst hat, statt vom wahren μ.

Satz — Stichprobenvarianz

Für eine Zufallsstichprobe mit der Varianz σ² ist E[(1/n) ∑ (X_i − X̄)²] = ((n − 1)/n) σ². Ein erwartungstreuer Schätzer der Varianz ist deshalb die Stichprobenvarianz

s² = 1/(n − 1) · ∑_i=1ⁿ (X_i − X̄)².

Prüfen wir das nach: 2 000-mal haben wir fünf Würfel geworfen und jedes Mal beide Schätzungen der Varianz berechnet. Die wahre Varianz eines Würfels ist 35/12 ≈ 2,92. Der Durchschnitt der Schätzungen mit Teilen durch n landete bei 2,38 (er zielt auf 4/5 · 2,92 ≈ 2,33), der mit Teilen durch n − 1 bei 2,97:

3. Maximum-Likelihood-Methode

Definition — Likelihood-Funktion

Für gemessene Daten x₁, …, x_n ist die Likelihood-Funktion die Funktion des Parameters

L(θ) = ∏_i=1ⁿ f(x_i; θ).

Definition — Maximum-Likelihood-Schätzer

Der Maximum-Likelihood-Schätzer (MLE) ist θ̂ = argmax_θ L(θ). Da der Logarithmus streng monoton wächst, ist das dasselbe wie argmax_θ ∑_i ln f(x_i; θ).

Von 20 E-Mails waren 6 Spam. Für den Spamanteil p ist L(p) = p⁶(1 − p)¹⁴. Die Ableitung des Logarithmus, 6/p − 14/(1 − p), ist null bei p̂ = 6/20 = 0,3 — genau der Spamanteil in den Daten. Allgemein ergibt sich für k Erfolge aus n der Wert p̂ = k/n. Mit 60 Spams aus 200 ist die Schätzung dieselbe, aber der Gipfel viel schmaler: Die Daten verraten mehr über den Parameter.

Für das exponentialverteilte Warten auf eine E-Mail liefert die Maximum-Likelihood-Methode λ̂ = 1 / X̄. Aus fünf gemessenen Wartezeiten von 1,2; 3,5; 0,4; 2,1 und 2,8 Minuten ergibt sich ein Durchschnitt von 2 Minuten und λ̂ = 0,5 pro Minute.

4. Bayessche MAP-Schätzung

Definition — Maximum-a-posteriori-Schätzer

Ist π(θ) die A-priori-Dichte des Parameters, dann ist der Maximum-a-posteriori-Schätzer (MAP) θ̂ = argmax_θ L(θ) · π(θ).

5. Konfidenzintervall

Definition — Konfidenzintervall

Ein Intervall (T₁, T₂) mit Statistiken T₁ ≤ T₂ ist ein Konfidenzintervall für θ zum Konfidenzniveau 1 − α, wenn P(T₁ < θ < T₂) = 1 − α für jedes θ gilt.

Für den Erwartungswert und ein genügend großes n liefert der zentrale Grenzwertsatz ein näherungsweises 95-%-Intervall X̄ ± 1,96 · s/√n. Vierzigmal haben wir 40 Würfel geworfen und aus jeder Stichprobe ein Intervall berechnet. Die senkrechte Linie ist der wahre Erwartungswert 3,5:

Den wahren Wert enthalten 38 der 40 Intervalle — 95 %. Bei 20 000 Wiederholungen waren es 94,1 %, etwas weniger als die versprochenen 95 %, weil wir σ aus den Daten schätzen und n = 40 eben noch nicht unendlich ist.

Ein häufiger Irrtum: „μ liegt mit 95 % Wahrscheinlichkeit im Intervall (3,2; 3,9).“ Bei einem konkreten Intervall liegt μ entweder darin oder nicht. Die 95 % sind eine Eigenschaft des Verfahrens — wie viele Intervalle bei vielen Wiederholungen treffen. Aussagen über die Wahrscheinlichkeit eines Parameters erlaubt erst der bayessche Ansatz.

6. Schätzungen in der künstlichen Intelligenz

• Training ist Maximum-Likelihood-Schätzung. Die Kreuzentropie bei der Klassifikation ist die negative Log-Likelihood geteilt durch die Zahl der Beispiele, und der mittlere quadratische Fehler ist dasselbe für Daten mit normalverteiltem Rauschen. Den Verlust minimieren = die Likelihood maximieren.
• Regularisierung ist MAP. Der Gewichtsstrafterm λ‖w‖² (L2, Weight Decay) entspricht einer Normalverteilung als A-priori-Verteilung der Gewichte, L1 einer Laplace-Verteilung. Die Vorannahme „Gewichte sollen klein sein“ bremst die Überanpassung.
• Verzerrung und Varianz eines Modells. Ein Modell ist ein Schätzer; komplexe Modelle haben eine kleine Verzerrung, aber eine große Varianz (Überanpassung), einfache Modelle umgekehrt. Regularisierung opfert ein wenig Verzerrung für eine kleinere Varianz.
• Testdatensatz und Konfidenzintervall. Die Genauigkeit auf Testdaten ist eine Schätzung der wahren Genauigkeit; ohne Konfidenzintervall erkennst du nicht, ob der Unterschied zwischen zwei Modellen echt ist. Batch Normalization schätzt Mittelwert und Varianz aus jedem Batch, und Sprachmodelle werden als MLE trainiert: Sie maximieren die Likelihood des nächsten Wortes.

7. Zusammenfassung

• Statistik geht von den Daten zum Modell: Ein Schätzer ist eine Rechnung mit den Daten, die einen unbekannten Parameter treffen soll.
• Ein guter Schätzer ist erwartungstreu (im Mittel richtig) und konsistent (mit mehr Daten genauer); die Stichprobenvarianz teilt durch n − 1.
• Die Maximum-Likelihood-Methode wählt den Parameter, unter dem die Daten am wahrscheinlichsten sind; für einen Anteil ist das k/n.
• MAP fügt eine Vorannahme hinzu; beim maschinellen Lernen ist das Regularisierung.
• Ein 95-%-Konfidenzintervall entsteht durch ein Verfahren, das den wahren Parameter in 95 % der Fälle trifft.

Siehst du das anders? Schreib an support@coden-app.com.