Gesetz der großen Zahlen und zentraler Grenzwertsatz: Warum sich Durchschnitte so vorhersagbar verhalten

Stichprobenmittel, Gesetz der großen Zahlen und zentraler Grenzwertsatz mit Animationen — warum die Normalverteilung überall ist, woher der Umfragefehler von ±3 % kommt und warum eine doppelt so genaue Schätzung viermal so viele Daten kostet.

13 Minuten Matěj Žalmánek 2026-10-15

Serie KI-Grundlagen Teil 18 von 52

1. Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst
2. Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen
3. Daten, Modell, Training, Inferenz: die Grundbegriffe an einem einzigen Beispiel
4. Mathematische Notation lesen: Symbole, Indizes, Summen und Quantoren
5. Mengen und Relationen: der Baukasten, aus dem Definitionen in der KI bestehen
6. Funktionen und Abbildungen: warum jedes KI-Modell eine Funktion ist
7. Logik und Beweise: die Regeln, nach denen KI schließt
8. Graphen und Bäume: die Struktur, auf der Suche und neuronale Netze stehen
9. Lineare Algebra für maschinelles Lernen: Vektoren, Matrizen und warum KI vor allem multipliziert
10. Ableitungen, Gradient und Kettenregel: wie ein Modell herausfindet, in welche Richtung es lernen soll
11. Gradientenabstieg: wie ein Modell lernt
12. Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen
13. Bedingte Wahrscheinlichkeit und der Satz von Bayes: wie du deine Einschätzung änderst, wenn du etwas Neues erfährst
14. Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät
15. Dichtefunktion und Wahrscheinlichkeitsfunktion: warum eine stetige Zufallsvariable in einem Punkt die Wahrscheinlichkeit null hat
16. Erwartungswert, Varianz und Kovarianz: wo eine Verteilung liegt, wie breit sie ist und was womit zusammenhängt
17. Überblick über Wahrscheinlichkeitsverteilungen: Bernoulli-, Binomial-, Poisson-, Gleich-, Normal- und Exponentialverteilung
18. Gesetz der großen Zahlen und zentraler Grenzwertsatz: Warum sich Durchschnitte so vorhersagbar verhalten
19. Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle
20. Informationstheorie: Entropie, Kreuzentropie und KL-Divergenz — woher Verlustfunktionen kommen
21. Zustandsraumsuche: BFS, DFS, UCS und A* mit Animationen
22. Spiele und Gegner: Minimax, Alpha-Beta-Suche und Monte Carlo Tree Search
23. Constraint Satisfaction: Backtracking, Constraint-Propagierung und AC-3 an Sudoku und einer Karte tschechischer Regionen
24. Logik und wissensbasierte Systeme: Vorwärts- und Rückwärtsverkettung, Resolution und Expertensysteme
25. Planung: STRIPS, die Blockwelt, Heuristiken aus Relaxierung und Planung in KI-Agenten
26. Lokale Suche und simulierte Abkühlung: ein Handlungsreisender durch die tschechischen Regionalhauptstädte
27. Genetische Algorithmen: Population, Kreuzung, Mutation und Selektion am Rucksack für die Wanderung
28. Evolutionsstrategien und genetische Programmierung: von der 1/5-Erfolgsregel zum Keplerschen Gesetz
29. Ameisenkolonieoptimierung: wie eine Pheromonspur einen kurzen Weg findet
30. Partikelschwarmoptimierung: Trägheit, eigene Erfahrung und die Erfahrung des Schwarms
31. Neuroevolution: Evolution der Gewichte und der Gestalt neuronaler Netze und der Algorithmus NEAT
32. Fuzzy-Mengen und Zugehörigkeitsfunktionen: wie man „etwas warm“ aufschreibt
33. Fuzzy-Logik und Wahrscheinlichkeit: warum „etwas warm“ nicht „wahrscheinlich warm“ bedeutet
34. Fuzzy-Logik: t-Normen, Implikationen und WENN–DANN-Regeln
35. Fuzzy-Regelung: Mamdani und Sugeno vom Ventilator bis zum Pendel auf dem Wagen
36. Fuzzy-Clustering: der Algorithmus fuzzy c-means und Punkte zwischen den Clustern
37. Neuro-Fuzzy-Systeme (ANFIS): Fuzzy-Regeln, die aus Daten lernen
38. Markow-Ketten: Übergangsmatrix, stationäre Verteilung und PageRank
39. Hidden-Markov-Modelle: der Viterbi-Algorithmus und das unehrliche Kasino
40. Bayessche Netze: warum das Gras nass ist und was das für den Rasensprenger bedeutet
41. Der Kalman-Filter: wie man aus ungenauen Messungen schätzt, wo ein Auto ist und wie schnell es fährt
42. Arten des maschinellen Lernens: überwacht, unüberwacht, halbüberwacht und mehr
43. Prompts, Kontext und RAG: wie man einem Modell die richtigen Informationen gibt
44. Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum
45. Generative Adversarial Networks (GAN): der Fälscher gegen den Detektiv
46. Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird
47. Markow-Entscheidungsprozesse: Zustände, Aktionen, Belohnungen und Bellman-Gleichungen
48. Q-Learning und DQN: den Wert von Aktionen lernen, von der Tabelle bis zum neuronalen Netz
49. Policy Gradient und PPO: die Strategie direkt lernen
50. Wie ein KI-Agent funktioniert: ein Sprachmodell in einer Schleife mit Werkzeugen
51. Programmieren mit KI-Agenten: Auftrag, Tests und Kontrolle
52. Bewertung und Sicherheit von KI-Systemen: wie man misst und wie man überwacht

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

Ein einzelner Würfelwurf ist reiner Zufall. Der Durchschnitt von zehntausend Würfen liegt dagegen fast sicher bei 3,5 — und zwar mit einer Genauigkeit, die sich im Voraus berechnen lässt. In diesem Teil geht es um zwei Sätze, die aus dem Chaos einzelner Versuche Vorhersagbarkeit machen: Das Gesetz der großen Zahlen sagt, wohin der Durchschnitt strebt, und der zentrale Grenzwertsatz, wie er um dieses Ziel schwankt. Auf ihnen beruhen Meinungsumfragen, Qualitätskontrolle, A/B-Tests und auch das Training neuronaler Netze.

Er baut auf den Teilen Erwartungswert und Varianz und Überblick über Verteilungen auf.

1. Stichprobenmittel

Definition — unabhängig und identisch verteilte Zufallsvariablen

Zufallsvariablen X₁, X₂, … sind unabhängig und identisch verteilt (englisch i.i.d.), wenn sie voneinander unabhängig sind und jede von ihnen dieselbe Verteilung hat.

Definition — Stichprobenmittel

Für X₁, …, X_n ist das Stichprobenmittel X̄_n = (X₁ + … + X_n) / n.

Satz — Erwartungswert und Varianz des Mittels

Haben unabhängig und identisch verteilte X_i den Erwartungswert μ und die Varianz σ², dann gilt

E[X̄_n] = μ,   Var(X̄_n) = σ² / n,   Standardabweichung σ / √n.

2. Gesetz der großen Zahlen

Satz — (schwaches) Gesetz der großen Zahlen

Haben unabhängig und identisch verteilte X_i den Erwartungswert μ und eine endliche Varianz, dann gilt für jedes ε > 0

lim_n→∞ P(|X̄_n − μ| ≥ ε) = 0.

Der Beweis passt in eine Zeile: Nach der Tschebyscheff-Ungleichung ist P(|X̄_n − μ| ≥ ε) ≤ σ² / (nε²), und das geht mit wachsendem n gegen null. Für einen Würfel, die Toleranz 0,1 und 10 000 Würfe ergibt sich die Schranke 2,917 / 100 ≈ 0,029.

Nach zehn Würfen liegen die Durchschnitte der vier Durchläufe zwischen 3,4 und 4,1, nach 10 000 Würfen zwischen 3,496 und 3,502. Der Trichter μ ± 2σ/√n wird genau so schmaler, wie es der Satz über die Varianz des Mittels vorhersagt — und die Linien verlassen ihn nur selten. Warum gerade 2σ und warum „nur selten“, verrät der nächste Satz.

Das Gesetz der großen Zahlen sagt nicht, dass sich der Zufall „ausgleicht“. Fällt eine Münze fünfmal hintereinander auf Kopf, ist Zahl nicht „an der Reihe“ — die Münze hat kein Gedächtnis. Der Durchschnitt nähert sich 0,5 nicht dadurch, dass der Überschuss an Kopf wieder abgebaut wird, sondern dadurch, dass ihn die nächsten tausend Würfe verdünnen.

3. Konvergenz in Verteilung

Definition — Konvergenz in Verteilung

Eine Folge von Zufallsvariablen Y₁, Y₂, … konvergiert in Verteilung gegen eine Zufallsvariable Y, wenn lim_n→∞ F_Yn(x) = F_Y(x) an jeder Stelle x gilt, an der F_Y stetig ist.

4. Zentraler Grenzwertsatz

Satz — zentraler Grenzwertsatz

Haben unabhängig und identisch verteilte X_i den Erwartungswert μ und die Varianz 0 < σ² < ∞, dann

konvergiert (X̄_n − μ) / (σ / √n) in Verteilung gegen N(0, 1).

Die Verteilung eines einzelnen Würfels ist flach — keine Spur von einer Glocke. Der Durchschnitt zweier Würfel ist ein Dreieck, der von fünf erinnert schon an eine Glocke, und den von dreißig kannst du von der Normalverteilung kaum noch unterscheiden. Die Balken sind die exakte Verteilung, berechnet durch Aufzählen aller Möglichkeiten, gestrichelt die Normalapproximation:

Das funktioniert auch bei stark schiefen Verteilungen — etwa beim Warten auf eine E-Mail, das exponentialverteilt ist. Eine einzelne Wartezeit ist sehr asymmetrisch (Schiefe 2), der Durchschnitt von fünf Wartezeiten weniger, und der von dreißig ist schon fast symmetrisch (Schiefe 0,37):

Wie gut die Näherung ist, zeigt eine konkrete Frage: Mit welcher Wahrscheinlichkeit ist der Durchschnitt von 30 Würfelwürfen größer als 4? Die exakte Rechnung über alle Möglichkeiten ergibt 0,0488. Der zentrale Grenzwertsatz sagt: 4 liegt (4 − 3,5) / (1,708/√30) ≈ 1,60 Standardabweichungen über dem Mittelwert, also ist P ≈ 1 − Φ(1,60) ≈ 0,0544. Ohne eine einzige Summe über 6³⁰ Möglichkeiten und mit einem Fehler unter sechs Tausendsteln.

5. Wozu das gut ist: der Schätzfehler

Nach dem zentralen Grenzwertsatz liegt eine Schätzung durch den Durchschnitt in 95 % der Fälle höchstens 1,96 σ/√n vom wahren Wert entfernt. Daraus ergibt sich die meistverwendete Formel der Statistik:

• Eine Meinungsumfrage mit 1 000 Befragten und einer Zustimmung um 50 % hat einen Fehler von 1,96 · √(0,25 / 1 000) ≈ ±3,1 Prozentpunkten. Deshalb befragen Umfragen meist rund tausend Menschen — für einen halb so großen Fehler bräuchten sie viertausend.
• Die Genauigkeit eines Modells, auf 1 000 Testbeispielen mit 90 % gemessen, liegt in Wirklichkeit bei 90 % ± 1,9 Prozentpunkten. Ein Modell mit 91 % auf einem gleich großen Testdatensatz muss deshalb noch nicht besser sein.

Woher die Statistik σ nimmt, wenn sie es nicht kennt, und was dieses Intervall genau bedeutet, ist Thema des nächsten Teils über Statistik und Schätzung.

6. Wann die Sätze nicht gelten

• Unendliche Varianz oder kein Erwartungswert. Die Cauchy-Verteilung hat so schwere Ränder, dass sie überhaupt keinen Erwartungswert besitzt — und der Durchschnitt von n Cauchy-verteilten Zufallsvariablen hat genau dieselbe Verteilung wie eine einzige. Mehr Daten helfen da überhaupt nicht. Ähnlich wild verhalten sich oft Städtegrößen, Vermögen oder Börsencrashs.
• Abhängige Daten. Tausend Antworten von Menschen aus derselben Straße oder tausend Bilder aus demselben Video sind keine tausend unabhängigen Beobachtungen, und σ/√n unterschätzt den Fehler stark.
• Wenige Daten und eine schiefe Verteilung. Der Satz ist ein Grenzwertsatz — bei der exponentialverteilten Wartezeit ist die Verteilung des Durchschnitts nach fünf Beobachtungen noch deutlich asymmetrisch.

7. Grenzwertsätze in der künstlichen Intelligenz

• Stochastischer Gradientenabstieg. Ein Gradient, der aus einem Mini-Batch von B Beispielen berechnet wird, ist ein Stichprobenmittel. Er zeigt im Mittel in dieselbe Richtung wie der Gradient über alle Daten (Gesetz der großen Zahlen), schwankt aber mit einer Standardabweichung ∝ 1/√B. Ein viermal so großer Batch bedeutet nur halb so viel Rauschen — deshalb lohnt es sich nicht, Batches immer weiter zu vergrößern.
• Monte-Carlo-Methoden. Wenn sich etwas nicht exakt berechnen lässt — die erwartete Belohnung beim bestärkenden Lernen, ein Integral in hoher Dimension —, mittelt man über viele Zufallsstichproben. Das Gesetz der großen Zahlen garantiert das richtige Ergebnis, der zentrale Grenzwertsatz sagt, wie genau es ist.
• Modellbewertung und A/B-Tests beruhen auf dem Fehler 1,96 σ/√n: Ohne ihn erkennst du nicht, ob ein neues Modell wirklich besser ist oder nur Glück hatte.
• Initialisierung von Netzen. Die Eingabe eines Neurons ist eine Summe vieler Gewichte mal Aktivierungen — nach dem zentralen Grenzwertsatz ist sie näherungsweise normalverteilt. Darauf beruhen die Initialisierungsverfahren von Xavier und He, die die Varianz der Gewichte so wählen, dass das Signal beim Durchlauf durch das Netz weder anwächst noch verschwindet.

8. Zusammenfassung

• Das Stichprobenmittel ist eine Zufallsvariable mit dem Erwartungswert μ und der Standardabweichung σ/√n.
• Gesetz der großen Zahlen: Mit wachsendem n nähert sich der Durchschnitt so gut wie sicher μ.
• Zentraler Grenzwertsatz: Der Durchschnitt vieler unabhängiger Zufallsvariablen ist näherungsweise normalverteilt — egal, wie die einzelnen Variablen verteilt sind.
• Der Fehler einer Schätzung durch den Durchschnitt beträgt etwa ±1,96 σ/√n; eine doppelt so genaue Schätzung kostet viermal so viele Daten.
• Ohne endliche Varianz oder ohne Unabhängigkeit gelten die Sätze nicht.

Siehst du das anders? Schreib an support@coden-app.com.