Erwartungswert, Varianz und Kovarianz: wo eine Verteilung liegt, wie breit sie ist und was womit zusammenhängt

Der Erwartungswert als Schwerpunkt, Linearität, Varianz und Standardabweichung, die Tschebyscheff-Ungleichung, Kovarianz und Korrelation — und warum Kovarianz null noch keine Unabhängigkeit bedeutet.

14 Minuten Matěj Žalmánek 2026-10-15

Serie KI-Grundlagen Teil 16 von 52

1. Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst
2. Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen
3. Daten, Modell, Training, Inferenz: die Grundbegriffe an einem einzigen Beispiel
4. Mathematische Notation lesen: Symbole, Indizes, Summen und Quantoren
5. Mengen und Relationen: der Baukasten, aus dem Definitionen in der KI bestehen
6. Funktionen und Abbildungen: warum jedes KI-Modell eine Funktion ist
7. Logik und Beweise: die Regeln, nach denen KI schließt
8. Graphen und Bäume: die Struktur, auf der Suche und neuronale Netze stehen
9. Lineare Algebra für maschinelles Lernen: Vektoren, Matrizen und warum KI vor allem multipliziert
10. Ableitungen, Gradient und Kettenregel: wie ein Modell herausfindet, in welche Richtung es lernen soll
11. Gradientenabstieg: wie ein Modell lernt
12. Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen
13. Bedingte Wahrscheinlichkeit und der Satz von Bayes: wie du deine Einschätzung änderst, wenn du etwas Neues erfährst
14. Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät
15. Dichtefunktion und Wahrscheinlichkeitsfunktion: warum eine stetige Zufallsvariable in einem Punkt die Wahrscheinlichkeit null hat
16. Erwartungswert, Varianz und Kovarianz: wo eine Verteilung liegt, wie breit sie ist und was womit zusammenhängt
17. Überblick über Wahrscheinlichkeitsverteilungen: Bernoulli-, Binomial-, Poisson-, Gleich-, Normal- und Exponentialverteilung
18. Gesetz der großen Zahlen und zentraler Grenzwertsatz: Warum sich Durchschnitte so vorhersagbar verhalten
19. Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle
20. Informationstheorie: Entropie, Kreuzentropie und KL-Divergenz — woher Verlustfunktionen kommen
21. Zustandsraumsuche: BFS, DFS, UCS und A* mit Animationen
22. Spiele und Gegner: Minimax, Alpha-Beta-Suche und Monte Carlo Tree Search
23. Constraint Satisfaction: Backtracking, Constraint-Propagierung und AC-3 an Sudoku und einer Karte tschechischer Regionen
24. Logik und wissensbasierte Systeme: Vorwärts- und Rückwärtsverkettung, Resolution und Expertensysteme
25. Planung: STRIPS, die Blockwelt, Heuristiken aus Relaxierung und Planung in KI-Agenten
26. Lokale Suche und simulierte Abkühlung: ein Handlungsreisender durch die tschechischen Regionalhauptstädte
27. Genetische Algorithmen: Population, Kreuzung, Mutation und Selektion am Rucksack für die Wanderung
28. Evolutionsstrategien und genetische Programmierung: von der 1/5-Erfolgsregel zum Keplerschen Gesetz
29. Ameisenkolonieoptimierung: wie eine Pheromonspur einen kurzen Weg findet
30. Partikelschwarmoptimierung: Trägheit, eigene Erfahrung und die Erfahrung des Schwarms
31. Neuroevolution: Evolution der Gewichte und der Gestalt neuronaler Netze und der Algorithmus NEAT
32. Fuzzy-Mengen und Zugehörigkeitsfunktionen: wie man „etwas warm“ aufschreibt
33. Fuzzy-Logik und Wahrscheinlichkeit: warum „etwas warm“ nicht „wahrscheinlich warm“ bedeutet
34. Fuzzy-Logik: t-Normen, Implikationen und WENN–DANN-Regeln
35. Fuzzy-Regelung: Mamdani und Sugeno vom Ventilator bis zum Pendel auf dem Wagen
36. Fuzzy-Clustering: der Algorithmus fuzzy c-means und Punkte zwischen den Clustern
37. Neuro-Fuzzy-Systeme (ANFIS): Fuzzy-Regeln, die aus Daten lernen
38. Markow-Ketten: Übergangsmatrix, stationäre Verteilung und PageRank
39. Hidden-Markov-Modelle: der Viterbi-Algorithmus und das unehrliche Kasino
40. Bayessche Netze: warum das Gras nass ist und was das für den Rasensprenger bedeutet
41. Der Kalman-Filter: wie man aus ungenauen Messungen schätzt, wo ein Auto ist und wie schnell es fährt
42. Arten des maschinellen Lernens: überwacht, unüberwacht, halbüberwacht und mehr
43. Prompts, Kontext und RAG: wie man einem Modell die richtigen Informationen gibt
44. Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum
45. Generative Adversarial Networks (GAN): der Fälscher gegen den Detektiv
46. Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird
47. Markow-Entscheidungsprozesse: Zustände, Aktionen, Belohnungen und Bellman-Gleichungen
48. Q-Learning und DQN: den Wert von Aktionen lernen, von der Tabelle bis zum neuronalen Netz
49. Policy Gradient und PPO: die Strategie direkt lernen
50. Wie ein KI-Agent funktioniert: ein Sprachmodell in einer Schleife mit Werkzeugen
51. Programmieren mit KI-Agenten: Auftrag, Tests und Kontrolle
52. Bewertung und Sicherheit von KI-Systemen: wie man misst und wie man überwacht

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

Die Verteilung einer Zufallsvariable sagt alles — aber „alles“ ist oft zu viel. Willst du zwei Verteilungen schnell vergleichen, genügen ein paar Zahlen: wo die Verteilung liegt, wie breit sie ist und ob zwei Zufallsvariablen gemeinsam wachsen oder gegeneinander laufen. Diese Zahlen heißen Erwartungswert, Varianz und Kovarianz, und du begegnest ihnen in jedem Modell des maschinellen Lernens — von der Verlustfunktion bis zum Optimierer Adam.

Dieser Teil baut auf den Teilen Zufallsvariable und Dichtefunktion auf.

1. Erwartungswert

Definition — Erwartungswert einer diskreten Zufallsvariable

Hat eine diskrete Zufallsvariable X die Werte x₁, x₂, … mit der Wahrscheinlichkeitsfunktion p, so ist ihr Erwartungswert

E[X] = ∑_i x_i · p(x_i),

sofern die Reihe absolut konvergiert. Er wird auch mit μ bezeichnet.

Physikalisch ist der Erwartungswert der Schwerpunkt. Stell dir die Wahrscheinlichkeiten als Gewichte auf einem Hebel vor: Ein Auflagepunkt hält ihn nur dann waagerecht, wenn er genau im Erwartungswert sitzt. Das Bild zeigt die größere der beiden Augenzahlen zweier Würfel — das Maximum. Große Zahlen sind häufiger (die Sechs ist in 11 von 36 Fällen das Maximum, die Eins nur in einem), deshalb liegt der Schwerpunkt rechts von der Mitte: E[max] = 161/36 ≈ 4,47.

Definition — Erwartungswert einer stetigen Zufallsvariable

Hat X die Dichte f, so ist E[X] = ∫_−∞^∞ x · f(x) dx, sofern das Integral absolut konvergiert.

2. Linearität des Erwartungswerts

Satz — Linearität des Erwartungswerts

Für Zufallsvariablen X, Y mit endlichem Erwartungswert und Zahlen a, b gilt

E[aX + b] = a · E[X] + b,   E[X + Y] = E[X] + E[Y],

und zwar auch dann, wenn X und Y nicht unabhängig sind.

3. Varianz und Standardabweichung

Definition — Varianz

Für eine Zufallsvariable X mit dem Erwartungswert μ ist die Varianz

Var(X) = E[(X − μ)²].

Satz — Verschiebungssatz für die Varianz

Var(X) = E[X²] − (E[X])².

Definition — Standardabweichung

Die Standardabweichung ist σ = √Var(X).

4. Varianz einer Summe: Warum es sich lohnt, zweimal zu würfeln

Satz — Varianz einer linearen Funktion und einer Summe

Var(aX + b) = a² · Var(X). Sind X und Y unabhängig, dann gilt Var(X + Y) = Var(X) + Var(Y).

Vergleichen wir zwei Spiele mit demselben Erwartungswert 7. Im ersten würfelst du mit zwei Würfeln und addierst: Var = 35/12 + 35/12 = 35/6 ≈ 5,83, σ ≈ 2,42. Im zweiten würfelst du einmal und verdoppelst das Ergebnis: Var = 2² · 35/12 = 35/3 ≈ 11,67, σ ≈ 3,42. Der Durchschnitt ist gleich, aber das zweite Spiel ist deutlich wilder — bei zwei Würfeln gleicht Glück beim einen oft Pech beim anderen aus.

Auf demselben Prinzip beruhen die Diversifikation von Geldanlagen und die Tatsache, dass der Durchschnitt mehrerer Messungen weniger schwankt als eine einzelne Messung. Um wie viel genau weniger, zeigt der nächste Teil über das Gesetz der großen Zahlen.

5. Tschebyscheff-Ungleichung

Satz — Tschebyscheff-Ungleichung

Hat X den Erwartungswert μ und eine endliche Standardabweichung σ > 0, dann gilt für jedes k > 0

P(|X − μ| ≥ kσ) ≤ 1 / k².

6. Kovarianz und Korrelation

Definition — Kovarianz

Für Zufallsvariablen X, Y mit den Erwartungswerten μ_X, μ_Y ist die Kovarianz

Cov(X, Y) = E[(X − μ_X)(Y − μ_Y)].

Definition — Korrelationskoeffizient

Die Korrelation von Zufallsvariablen mit positiven Standardabweichungen ist ρ(X, Y) = Cov(X, Y) / (σ_X σ_Y). Es gilt immer −1 ≤ ρ ≤ 1.

Der erste Würfel und die Summe wachsen gemeinsam: Cov = 35/12 ≈ 2,92 und ρ ≈ 0,71. Der erste und der zweite Würfel sind unabhängig, und die Rechtecke heben sich genau auf: Cov = 0. Und je höher der erste Würfel, desto kleiner die Differenz „zweiter minus erster“: Cov ≈ −2,92, ρ ≈ −0,71.

Satz — Varianz einer Summe allgemein

Var(X + Y) = Var(X) + Var(Y) + 2 · Cov(X, Y). Sind X und Y unabhängig, ist Cov(X, Y) = 0.

Vorsicht, umgekehrt gilt das nicht: Kovarianz null bedeutet nicht Unabhängigkeit. Die Differenz der Würfel D = erster − zweiter und ihre Summe S haben die Kovarianz Var(erster) − Var(zweiter) = 0. Trotzdem sind sie abhängig: Fällt die Summe 12, muss die Differenz 0 sein. Die Kovarianz misst nur einen linearen Zusammenhang.

7. Erwartungswert und Varianz in der künstlichen Intelligenz

• Verlustfunktion. Der mittlere quadratische Fehler (MSE) ist der Erwartungswert des quadrierten Fehlers, E[(Y − ŷ)²]. Die beste konstante Vorhersage ist genau der Erwartungswert von Y, und der Fehler, der übrig bleibt, ist die Varianz.
• Standardisierung der Eingaben. Bevor Daten in ein Netz gehen, werden sie in z = (x − μ) / σ umgerechnet — Erwartungswert 0, Standardabweichung 1. Das Lernen läuft dann schneller und stabiler; dasselbe macht Batch Normalization innerhalb des Netzes.
• Kovarianzmatrix und PCA. Die Kovarianzen aller Paare von Merkmalen bilden eine Matrix, und ihre Eigenvektoren (siehe den Teil über lineare Algebra) zeigen die Richtungen, in denen die Daten am stärksten schwanken.
• Der Optimierer Adam (aus dem Teil über das Gradientenverfahren) schätzt laufend den Erwartungswert des Gradienten und den Erwartungswert seines Quadrats — und teilt den Schritt durch die Wurzel aus dem Letzteren. Wo der Gradient stark schwankt, macht er vorsichtigere Schritte.
• Bias und Varianz eines Modells. Der Fehler eines Modells lässt sich in einen systematischen Fehler (Bias, Verzerrung) und die Schwankung zwischen Trainingsdatensätzen (Varianz) zerlegen. Einfache Modelle haben einen großen Bias, komplexe eine große Varianz.

8. Zusammenfassung

• Der Erwartungswert ist ein gewichteter Durchschnitt — der Schwerpunkt der Verteilung. Er ist linear, auch für abhängige Zufallsvariablen.
• Die Varianz ist die durchschnittliche quadrierte Abweichung vom Durchschnitt, die Standardabweichung ihre Wurzel in denselben Einheiten wie die Daten.
• Die Varianzen unabhängiger Zufallsvariablen addieren sich; deshalb schwankt die Summe zweier Würfel weniger als ein Würfel × 2.
• Tschebyscheff-Ungleichung: Weiter als kσ vom Durchschnitt entfernt liegt höchstens 1/k² der Wahrscheinlichkeit.
• Kovarianz und Korrelation messen den linearen Zusammenhang zweier Zufallsvariablen; Kovarianz null bedeutet noch keine Unabhängigkeit.

Siehst du das anders? Schreib an support@coden-app.com.