Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät

Was eine Zufallsvariable, eine Verteilung und eine Verteilungsfunktion sind, wie sich diskrete und stetige Zufallsvariablen unterscheiden und wie man die Verteilungsfunktion aus Daten schätzt.

12 Minuten Matěj Žalmánek 2026-10-15

Serie KI-Grundlagen Teil 14 von 52

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

Was du mitnimmst

Dass eine Zufallsvariable eine ganz gewöhnliche Funktion ist, die dem Ergebnis eines Experiments eine Zahl zuordnet.
Was die Verteilungsfunktion ist, welche Eigenschaften sie hat und wie du mit ihr die Wahrscheinlichkeit eines Intervalls berechnest.
Wie sich diskrete und stetige Zufallsvariablen unterscheiden und wie man die Verteilungsfunktion aus Daten schätzt.

Vorher gut zu wissen: Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen, Funktionen und Abbildungen: warum jedes KI-Modell eine Funktion ist

Im Teil Was ist Wahrscheinlichkeit haben wir mit Ereignissen gearbeitet: „die Augensumme ist 7“, „eine Sechs ist gefallen“. Meistens interessiert uns aber nicht, ob etwas eingetreten ist, sondern wie viel: wie viele Minuten wir auf den Bus warten, was eine Aktie kosten wird, welche Temperatur das Thermometer anzeigt. Dafür hat die Mathematik die Zufallsvariable — und eine Funktion, die über sie wirklich alles verrät.

1. Zufallsvariable

Definition — Wahrscheinlichkeitsraum

Sei Ω eine nichtleere Menge (der Ergebnisraum eines Zufallsexperiments, siehe Teil Was ist Wahrscheinlichkeit) und 2^Ω die Menge aller ihrer Teilmengen. Ein Mengensystem 𝓕 ⊆ 2^Ω ist genau dann eine σ-Algebra, wenn

Ω ∈ 𝓕;
aus A ∈ 𝓕 folgt A^c = Ω ∖ A ∈ 𝓕;
aus A₁, A₂, … ∈ 𝓕 folgt ⋃_i=1^∞ A_i ∈ 𝓕.

Sei 𝓕 ⊆ 2^Ω eine σ-Algebra; ihre Elemente heißen Ereignisse. Eine Funktion P : 𝓕 → ℝ ist genau dann eine Wahrscheinlichkeit, wenn sie die Kolmogorow-Axiome erfüllt:

P(A) ≥ 0 für jedes A ∈ 𝓕;
P(Ω) = 1;
für jede Folge A₁, A₂, … ∈ 𝓕 mit A_i ∩ A_j = ∅ für alle i ≠ j gilt P(⋃_i=1^∞ A_i) = ∑_i=1^∞ P(A_i).

Ein Wahrscheinlichkeitsraum ist ein Tripel

(Ω, 𝓕, P),

wobei Ω eine nichtleere Menge, 𝓕 ⊆ 2^Ω eine σ-Algebra und P : 𝓕 → ℝ eine Wahrscheinlichkeit ist. Aus den Axiomen folgt 0 ≤ P(A) ≤ 1 für jedes A ∈ 𝓕, also bildet P nach [0, 1] ab.

Einfach gesagt

Ergebnisse, die Fragen, die wir mit einer Wahrscheinlichkeit beantworten dürfen, und die Wahrscheinlichkeit selbst. Bei zwei Würfeln besteht 𝓕 einfach aus allen 2³⁶ Teilmengen von Ω. Bei unendlichen Räumen (etwa „ein zufälliger Punkt einer Strecke“) lässt sich nicht allen Teilmengen sinnvoll eine Wahrscheinlichkeit zuordnen, und genau deshalb führt man 𝓕 überhaupt ein: Es enthält nur die Mengen, mit denen man rechnen kann — und ist abgeschlossen unter „nicht“, „oder“ (und damit auch „und“).

Definition — Zufallsvariable

Sei (Ω, 𝓕, P) ein Wahrscheinlichkeitsraum. Eine Zufallsvariable ist eine Funktion X : Ω → ℝ, die

∀x ∈ ℝ : {ω ∈ Ω : X(ω) ≤ x} ∈ 𝓕

erfüllt. Eine Funktion X ist also genau dann eine Zufallsvariable, wenn für jedes reelle x die Menge der Ergebnisse, bei denen X höchstens x ist, ein Ereignis ist. Statt {ω ∈ Ω : X(ω) ≤ x} schreiben wir kurz {X ≤ x} und statt P({X ≤ x}) nur P(X ≤ x); ebenso {X = x}, {X ∈ B} usw.

Einfach gesagt

Eine Zufallsvariable ist weder zufällig noch eine Variable — sie ist eine ganz gewöhnliche Funktion, die jedem Ergebnis eines Experiments eine Zahl zuordnet. Der Zufall steckt im Ergebnis ω; die Zufallsvariable macht daraus nur eine Zahl, mit der man rechnen kann. Die Bedingung in der Definition garantiert, dass wir fragen dürfen: „Wie groß ist die Wahrscheinlichkeit, dass X ≤ x?“

Zu einem Experiment kann es mehrere Zufallsvariablen geben. Der Wurf mit zwei Würfeln hat 36 Ergebnisse; S(ω) ist die Augensumme beider Würfel, N(ω) die Anzahl der Sechsen. Dem Ergebnis (3, 6) ordnet S die Zahl 9 zu und N die Zahl 1. Das Bild zeigt S als Funktion: Jedes Feld links trägt seinen Wert, und die Säule rechts zeigt, wie viele Felder auf diesen Wert fallen.

Die Augensumme S ordnet jedem der 36 Ergebnisse eine Zahl von 2 bis 12 zu

Beispiel — das Ereignis {S ≤ 3} als Menge von Ergebnissen

Die Schreibweise {S ≤ 3} ist eine Abkürzung für {ω ∈ Ω : S(ω) ≤ 3} — die Menge der Ergebnisse, die die Funktion S auf eine Zahl von höchstens 3 abbildet (man nennt sie das Urbild des Intervalls (−∞, 3]).

{S ≤ 3} = {(1, 1), (1, 2), (2, 1)}, P(S ≤ 3) = 3/36 = 1/12

{S ≤ 1} = ∅, {S ≤ 12} = Ω

Bei zwei Würfeln ist jede Menge von Ergebnissen ein Ereignis, die Bedingung aus der Definition ist also automatisch erfüllt.

2. Verteilung einer Zufallsvariable

Definition — Verteilung einer Zufallsvariable

Sei (Ω, 𝓕, P) ein Wahrscheinlichkeitsraum und X : Ω → ℝ eine Zufallsvariable. Mit 𝓑 bezeichnen wir die Borel-σ-Algebra auf ℝ — die kleinste σ-Algebra von Teilmengen von ℝ, die alle Intervalle (−∞, x], x ∈ ℝ, enthält (sie enthält dann auch alle übrigen Intervalle, alle einpunktigen Mengen und ihre abzählbaren Vereinigungen). Aus der Definition der Zufallsvariable folgt {ω ∈ Ω : X(ω) ∈ B} ∈ 𝓕 für jedes B ∈ 𝓑. Die Verteilung der Zufallsvariable X ist die Funktion P_X : 𝓑 → [0, 1],

P_X(B) = P(X ∈ B) = P({ω ∈ Ω : X(ω) ∈ B}) für B ∈ 𝓑.

P_X ist eine Wahrscheinlichkeit auf (ℝ, 𝓑), d. h. (ℝ, 𝓑, P_X) ist ein Wahrscheinlichkeitsraum. Die Verteilung ordnet also jeder Zahlenmenge B die Wahrscheinlichkeit zu, dass der Wert von X in B fällt.

Einfach gesagt

Die Verteilung sagt dir, wie sich die Gesamtwahrscheinlichkeit 1 auf die möglichen Werte aufteilt. Bei der Augensumme zweier Würfel bekommt der Wert 7 sechs von 36 Feldern, also 6/36, die Werte 2 und 12 nur je eines. Die Anzahl der Sechsen N hat eine andere Verteilung: 0 mit Wahrscheinlichkeit 25/36, 1 mit 10/36 und 2 mit 1/36.

Sobald wir die Verteilung kennen, spielen die ursprünglichen Ergebnisse ω keine Rolle mehr. Zwei völlig verschiedene Spiele können Zufallsvariablen mit derselben Verteilung haben — und für jede Rechnung sind sie dann nicht zu unterscheiden.

P_X(B) = P({ω ∈ Ω : X(ω) ∈ B})

P_X(B): die Verteilung — eine Wahrscheinlichkeit direkt auf den Zahlen; das, womit wir weiterrechnen wollen
P: die ursprüngliche Wahrscheinlichkeit — sie kann nur Ereignisse auf Ω messen, deshalb „leiht“ sich die neue Wahrscheinlichkeit auf ℝ sie aus
{ω : X(ω) ∈ B}: das Urbild der Menge B — alle Ergebnisse, die die Zufallsvariable nach B schickt; damit wird die Frage über Zahlen zurück in ein Ereignis übersetzt, das P messen kann

Wahrscheinlichkeit einer Zahlenmenge = Wahrscheinlichkeit aller Ergebnisse, aus denen diese Zahlen entstehen.

Definition — Wahrscheinlichkeitsfunktion

Sei (Ω, 𝓕, P) ein Wahrscheinlichkeitsraum und X eine diskrete Zufallsvariable (Definition im Abschnitt Diskrete und stetige Zufallsvariablen), d. h. es gibt eine höchstens abzählbare Menge H ⊆ ℝ mit P(X ∈ H) = 1. Die Wahrscheinlichkeitsfunktion von X ist die Funktion p_X : ℝ → [0, 1],

p_X(x) = P(X = x) = P({ω ∈ Ω : X(ω) = x}).

Sie bestimmt die Verteilung vollständig: Für jedes B ∈ 𝓑 gilt P(X ∈ B) = ∑_{x ∈ B ∩ H} p_X(x) — wir summieren über die möglichen Werte, die in B liegen (die Ereignisse {X = x} sind unvereinbar und höchstens abzählbar viele, also folgt das aus der Additivität).

Beispiel — Verteilung der Augensumme und der Anzahl der Sechsen

Die Augensumme s = a + b ergeben die Paare (a, s − a), bei denen beide Zahlen zwischen 1 und 6 liegen. Für s ≤ 7 sind es s − 1, für s ≥ 7 sind es 13 − s; zusammen

p_S(s) = 6 − |s − 7|/36 für s = 2, 3, …, 12

p_S(7) = 6/36, p_S(4) = p_S(10) = 3/36, ∑ = 1 + 2 + 3 + 4 + 5 + 6 + 5 + 4 + 3 + 2 + 1/36 = 36/36 = 1

Anzahl der Sechsen N: keine Sechs bedeutet 5 Möglichkeiten auf jedem Würfel, 5 · 5 = 25; genau eine Sechs 2 · 5 = 10 (die Sechs auf dem ersten oder auf dem zweiten Würfel, auf dem anderen eine der 5 übrigen Zahlen); zwei Sechsen 1. Kontrolle: 25 + 10 + 1 = 36.

Für einen endlichen Ergebnisraum lässt sich die Verteilung durch einfaches Aufzählen berechnen:

def rozdeleni(X, omega):
    # omega: Liste gleich wahrscheinlicher Ergebnisse, X: Funktion Ergebnis → Zahl
    pocty = {}
    for w in omega:
        pocty[X(w)] = pocty.get(X(w), 0) + 1
    return {x: k / len(omega) for x, k in sorted(pocty.items())}

3. Verteilungsfunktion

Definition — Verteilungsfunktion

Sei (Ω, 𝓕, P) ein Wahrscheinlichkeitsraum und X : Ω → ℝ eine Zufallsvariable. Die Verteilungsfunktion von X ist die Funktion F_X : ℝ → [0, 1],

F_X(x) = P(X ≤ x) = P({ω ∈ Ω : X(ω) ≤ x}) für x ∈ ℝ.

Die Wahrscheinlichkeit auf der rechten Seite existiert, weil nach der Definition der Zufallsvariable {X ≤ x} ∈ 𝓕 gilt. Der Wert F_X(x) ist also die Wahrscheinlichkeit, dass X höchstens x ist. Wo klar ist, um welche Zufallsvariable es geht, schreiben wir nur F.

Einfach gesagt

Die Verteilungsfunktion beantwortet an der Stelle x die Frage: „Mit welcher Wahrscheinlichkeit kommt höchstens x heraus?“ Für die Augensumme zweier Würfel ist F(7) = 21/36 ≈ 0,583 — Augensumme 7 oder weniger ergibt 1 + 2 + 3 + 4 + 5 + 6 = 21 Felder.

Bei der Augensumme ist die Verteilungsfunktion eine Treppe. Zwischen den Werten ändert sich nichts — F(7,5) ist immer noch 21/36, denn die Augensumme 7,5 kann nicht fallen. An jedem möglichen Wert springt die Funktion um genau die Wahrscheinlichkeit dieses Werts: bei der Sieben um 6/36. Der ausgefüllte Punkt zeigt, welchen Wert die Funktion an der Sprungstelle hat; der leere Kreis, wohin sie sich von links genähert hat.

Verteilungsfunktion der Augensumme zweier Würfel F(7): 21/36 P(4 < S ≤ 7): 15/36

Bei einer diskreten Zufallsvariable ergibt sich die Verteilungsfunktion als Summe der Wahrscheinlichkeitsfunktion:

F_X(x) = ∑_{x_i ∈ (−∞, x]} p_X(x_i)

F_X(x): die Wahrscheinlichkeit, dass höchstens x herauskommt
∑_{x_i ∈ (−∞, x]}: wir gehen alle möglichen Werte x_i ≤ x durch, vom kleinsten bis einschließlich x — die Ereignisse {X = x_i} schließen sich gegenseitig aus, also dürfen ihre Wahrscheinlichkeiten addiert werden; die geschlossene Klammer „]“ (also ≤, nicht <) ist der Grund, warum die Stufe bei x_i schon zum Wert F(x_i) gehört
p_X(x_i): die Wahrscheinlichkeit eines einzelnen Werts — die Höhe der Stufe an der Stelle x_i

Die Verteilungsfunktion ist eine laufende Summe: Sie sammelt die Wahrscheinlichkeit von links nach rechts.

F(7) = p(2) + p(3) + … + p(7) = 1 + 2 + 3 + 4 + 5 + 6/36 = 21/36 ≈ 0,583

F(2,5) = p(2) = 1/36, F(1,9) = 0 (leere Summe), F(12) = 36/36 = 1

Satz — die Verteilungsfunktion bestimmt die Verteilung

Seien X und Y Zufallsvariablen (sie dürfen auch auf verschiedenen Wahrscheinlichkeitsräumen definiert sein) mit den Verteilungen P_X, P_Y und den Verteilungsfunktionen F_X, F_Y. Dann gilt

(∀B ∈ 𝓑 : P_X(B) = P_Y(B)) ⇔ (∀x ∈ ℝ : F_X(x) = F_Y(x)).

Zwei Zufallsvariablen haben also genau dann dieselbe Verteilung, wenn sie dieselbe Verteilungsfunktion haben.

Einfach gesagt

Eine einzige Funktion einer einzigen Variable enthält alles, was man über eine Verteilung wissen kann. Deshalb heißt sie „Verteilungsfunktion“ — sie beschreibt, wie die Wahrscheinlichkeit über die Zahlengerade verteilt ist.

4. Eigenschaften der Verteilungsfunktion

Satz — Eigenschaften der Verteilungsfunktion

Sei X eine Zufallsvariable und F = F_X : ℝ → [0, 1] ihre Verteilungsfunktion. Dann gilt:

F ist monoton wachsend: ∀x, y ∈ ℝ : x ≤ y ⇒ F(x) ≤ F(y);
lim_x→−∞ F(x) = 0 und lim_x→+∞ F(x) = 1;
F ist rechtsseitig stetig: ∀x ∈ ℝ : lim_y→x⁺ F(y) = F(x).

Und umgekehrt: Ist G : ℝ → ℝ eine beliebige Funktion mit den Eigenschaften 1–3, dann gibt es einen Wahrscheinlichkeitsraum und auf ihm eine Zufallsvariable X mit F_X = G.

Einfach gesagt

Die Treppe geht nur nach oben (Werte, die „höchstens x“ sind, kommen hinzu, aber keine fallen weg), sie beginnt bei null und endet bei eins (links ist nichts, rechts ist alles). Die rechtsseitige Stetigkeit ist der ausgefüllte Punkt oben auf der Stufe: F(7) schließt die Sieben schon ein, weil in der Definition ≤ steht.

Satz — Wahrscheinlichkeit eines Intervalls

Sei X eine Zufallsvariable mit der Verteilungsfunktion F und a, b ∈ ℝ, a < b. Dann gilt

P(a < X ≤ b) = F(b) − F(a),

wobei {a < X ≤ b} = {ω ∈ Ω : a < X(ω) ≤ b}. Der Beweis steht unter der Aufschlüsselung der Formel weiter unten.

Einfach gesagt

Von „höchstens b“ ziehst du „höchstens a“ ab, und übrig bleibt „mehr als a, aber höchstens b“. Augensumme 5, 6 oder 7: F(7) − F(4) = 21/36 − 6/36 = 15/36 ≈ 0,417 (Farben wie in der Formel unten) — im Bild die orange Strecke rechts.

P(a < X ≤ b) = F(b) − F(a)

P(a < X ≤ b): die Wahrscheinlichkeit eines Intervalls — links offen, rechts geschlossen; bei einer diskreten Zufallsvariable kommt es darauf an
F(b): alles bis einschließlich b — die obere Grenze zählt zum Intervall, deshalb ≤
F(a): wir ziehen alles bis einschließlich a ab — deshalb ist die untere Grenze strikt (<): der Wert a selbst liegt nicht im Intervall

Beweis: {X ≤ b} = {X ≤ a} ∪ {a < X ≤ b} sind unvereinbare Ereignisse, also gilt F(b) = F(a) + P(a < X ≤ b). ∎

Satz — die Wahrscheinlichkeit eines einzelnen Werts ist die Sprunghöhe

Sei X eine Zufallsvariable mit der Verteilungsfunktion F und x ∈ ℝ. Mit F(x⁻) = lim_y→x⁻ F(y) bezeichnen wir den linksseitigen Grenzwert (er existiert, weil F monoton wachsend und beschränkt ist). Dann gilt F(x⁻) = P(X < x) und

P(X = x) = F(x) − F(x⁻).

Beweis. Für y < x ist F(x) − F(y) = P(y < X ≤ x); wenn y gegen x wächst, schrumpfen die Intervalle auf den einzigen Punkt {x} zusammen, und ihre Wahrscheinlichkeiten fallen gegen P(X = x) (Stetigkeit der Wahrscheinlichkeit, folgt aus der abzählbaren Additivität). ∎

P(S = 7) = F(7) − F(7⁻) = 21/36 − 15/36 = 6/36 (F(7⁻) = F(6) = 15/36)

P(4 ≤ S ≤ 7) = F(7) − F(4⁻) = 21/36 − 3/36 = 18/36 = 0,5 — um p(4) = 3/36 mehr als P(4 < S ≤ 7)

5. Diskrete und stetige Zufallsvariablen

Definition — diskrete Zufallsvariable

Sei (Ω, 𝓕, P) ein Wahrscheinlichkeitsraum und X : Ω → ℝ eine Zufallsvariable. X ist genau dann diskret, wenn es eine höchstens abzählbare (endliche oder abzählbare) Menge H = {x₁, x₂, …} ⊆ ℝ paarweise verschiedener Zahlen gibt, sodass

P(X ∈ H) = ∑_i P(X = x_i) = 1.

Eine diskrete Zufallsvariable nimmt also mit Wahrscheinlichkeit 1 nur Werte aus einer endlichen oder abzählbaren Liste an.

Einfach gesagt

Die Werte lassen sich an den Fingern abzählen (notfalls auch endlos lange): die Augensumme, die Anzahl der E-Mails pro Stunde, welches Wort ein Sprachmodell als Nächstes schreibt. Die Verteilungsfunktion ist eine Treppe.

Definition — stetige Zufallsvariable

Sei X eine Zufallsvariable mit der Verteilungsfunktion F_X : ℝ → [0, 1]. X ist genau dann stetig, wenn F_X in jedem Punkt stetig ist, d. h.

∀x ∈ ℝ : lim_y→x F_X(y) = F_X(x).

Nach dem Satz über die Sprunghöhe gilt dann P(X = x) = F_X(x) − F_X(x⁻) = 0 für jedes x ∈ ℝ. (Manche Lehrbücher nennen nur eine Zufallsvariable „stetig“, die eine Dichte hat — die ist das Thema des nächsten Teils; eine solche Zufallsvariable ist auch in diesem Sinne stetig.)

Einfach gesagt

Die Werte füllen ein ganzes Intervall: Zeit, Länge, Temperatur. Die Verteilungsfunktion hat keinen einzigen Sprung — und ein Sprung an der Stelle x wäre genau P(X = x). Deshalb hat jeder einzelne Wert die Wahrscheinlichkeit null, obwohl er eintreten kann.

Ein Beispiel: Der Bus fährt alle 10 Minuten, und du kommst zu einem zufälligen Zeitpunkt an die Haltestelle. Die Wartezeit X ist stetig und überall zwischen 0 und 10 Minuten gleich wahrscheinlich, also ist F(x) = x/10 für 0 ≤ x ≤ 10. Dass du höchstens 3 Minuten wartest, hat die Wahrscheinlichkeit F(3) = 0,3; dass du 3 bis 5 Minuten wartest, F(5) − F(3) = 0,2. Dass du aber genau 3 Minuten wartest — keine Milliardstelsekunde länger —, hat die Wahrscheinlichkeit 0. Wie man damit rechnet und was die Dichtefunktion zeigt, ist das Thema des nächsten Teils.

Definition — Gleichverteilung auf einem Intervall

Seien a, b ∈ ℝ, a < b, und X eine Zufallsvariable mit der Verteilungsfunktion F. X ist genau dann gleichverteilt auf dem Intervall [a, b], wenn für jedes x ∈ ℝ

F(x) = 0 für x < a, F(x) = x − a/b − a für a ≤ x ≤ b, F(x) = 1 für x > b.

Die Wahrscheinlichkeit, dass X in ein Teilintervall von [a, b] fällt, ist also dessen Länge geteilt durch die Länge von [a, b].

Einfach gesagt

Die Wahrscheinlichkeit eines Abschnitts hängt nur von seiner Länge ab, nicht davon, wo er liegt: (x − a) ist die Länge des Abschnitts vom Anfang an, (b − a) die Länge des ganzen Intervalls. Der Bus ist der Fall a = 0, b = 10.

Beispiel — warum P(X = 3) genau null ist

Das Ereignis {X = 3} liegt in jedem Intervall (3 − ε, 3], egal wie klein ε > 0 ist. Die Wahrscheinlichkeit einer Teilmenge kann nicht größer sein:

0 ≤ P(X = 3) ≤ F(3) − F(3 − ε) = 0,3 − 3 − ε/10 = ε/10

ε = 0,1 → höchstens 0,01; ε = 0,001 → höchstens 0,000 1; … also P(X = 3) = 0

Die einzige Zahl, die ≥ 0 und zugleich kleiner als jedes positive ε/10 ist, ist null.

6. Empirische Verteilungsfunktion

Definition — empirische Verteilungsfunktion

Sei n ∈ ℕ, n ≥ 1, und seien x₁, …, x_n ∈ ℝ gemessene Werte (sie dürfen sich wiederholen). Für eine endliche Menge M bezeichnet |M| die Anzahl ihrer Elemente. Die empirische Verteilungsfunktion dieser Werte ist die Funktion F̂_n : ℝ → [0, 1],

F̂_n(x) = |{i ∈ {1, …, n} : x_i ≤ x}|/n für x ∈ ℝ.

F̂_n(x) ist also der Anteil der gemessenen Werte, die höchstens x sind.

Einfach gesagt

Die wahre Verteilungsfunktion kennen wir oft nicht — wir haben nur Daten. Die empirische Verteilungsfunktion ist ihre Schätzung aus den Daten: welcher Anteil der gemessenen Werte höchstens x ist. Jede Messung fügt eine Stufe der Höhe 1/n hinzu.

Dasselbe schreibt man mit dem Indikator 𝟙[Bedingung], der 1 ist, wenn die Bedingung gilt, und 0, wenn nicht — aus dem Zählen wird so ein Summieren:

F̂_n(x) = 1/n · ∑_i=1ⁿ 𝟙[x_i ≤ x]

F̂_n(x): die Schätzung der Verteilungsfunktion aus n Messungen — das Dach bezeichnet eine Schätzung, nicht die wahre F
1/n: jede Messung bekommt dasselbe Gewicht; die Division durch n macht aus der Anzahl einen Anteil, damit die Schätzung wie die wahre F von 0 bis 1 geht
∑_i=1ⁿ: wir gehen alle Messungen durch — keine wird ausgelassen oder doppelt gezählt
𝟙[x_i ≤ x]: die Stimme einer einzelnen Messung: 1, wenn „höchstens x“ herauskam, sonst 0 — dieselbe Frage, die F(x) = P(X ≤ x) stellt

Die relative Häufigkeit des Ereignisses {X ≤ x} in den Daten — eine Schätzung seiner Wahrscheinlichkeit.

Wir haben 10, 100 und 1 000 Wartezeiten auf den Bus simuliert. Die gestrichelte Gerade ist die wahre Verteilungsfunktion x/10, die farbigen Treppen sind die empirischen Funktionen aus den Daten:

Empirische Verteilungsfunktion aus 10, 100 und 1 000 Wartezeiten n = 10, größte Abweichung: 0,268 n = 100, größte Abweichung: 0,085 n = 1 000, größte Abweichung: 0,025

Bei zehn Messungen weicht die Schätzung um bis zu 0,268 von der Wirklichkeit ab, bei hundert um 0,085 und bei tausend nur noch um 0,025. Dass sich die empirische Verteilungsfunktion mit wachsender Datenmenge an die wahre anschmiegt, sagt der Satz von Glivenko–Cantelli — die mathematische Garantie, dass man eine Verteilung aus Daten lernen kann.

Beispiel — zehn Wartezeiten und die größte Abweichung

Die Simulation ergab (sortiert, auf Hundertstelminuten gerundet) 0,03; 2,81; 4,26; 5,27; 6,13; 6,27; 7,21; 9,68; 9,81; 9,95.

F̂₁₀(5) = 1/10 · (1 + 1 + 1 + 0 + … + 0) = 0,3, tatsächlich F(5) = 0,5 → Differenz 0,2

knapp vor 9,68: F̂₁₀ = 1/10 · 7 = 0,7, F(9,68) ≈ 0,968 → Differenz ≈ 0,268

(Farben wie in der Formel oben; in der ersten Zeile stehen zehn Summanden 𝟙[x_i ≤ 5])

Zwischen 7,21 und 9,68 fiel keine einzige Messung, die Treppe steht dort auf 0,7, während die wahre F weiter steigt — deshalb ist die Abweichung genau dort am größten.

Die größte Abweichung muss man nicht in jedem Punkt der Achse suchen. Die Treppe ändert sich nur in den gemessenen Werten, und F wächst dazwischen, also genügt es, in jeder sortierten Messung F mit der Stufe knapp darüber und knapp darunter zu vergleichen:

def nejvetsi_odchylka(data, F):
    x = sorted(data)
    n = len(x)
    d = 0
    for i in range(n):                    # i = 0, 1, …, n − 1
        d = max(d, (i + 1) / n - F(x[i]), # Stufe bei x[i]: F̂ = (i + 1)/n
                   F(x[i]) - i / n)       # knapp unter x[i]: F̂ = i/n
    return d

Satz — Glivenko–Cantelli und wie schnell die Abweichung fällt

Sei (Ω, 𝓕, P) ein Wahrscheinlichkeitsraum, F eine Verteilungsfunktion und seien X₁, X₂, … : Ω → ℝ Zufallsvariablen, die

alle die Verteilungsfunktion F haben: F_{X_i} = F für jedes i ≥ 1;
unabhängig sind: Für jedes n ≥ 1 und alle x₁, …, x_n ∈ ℝ gilt P(X₁ ≤ x₁, …, X_n ≤ x_n) = F(x₁) · … · F(x_n) (vgl. unabhängige Ereignisse im Teil Bedingte Wahrscheinlichkeit).

Für n ≥ 1 und ω ∈ Ω sei F̂_n die empirische Verteilungsfunktion der Werte X₁(ω), …, X_n(ω) und

D_n = sup_{x ∈ ℝ} |F̂_n(x) − F(x)|.

Dann gilt P(lim_n→∞ D_n = 0) = 1, d. h. mit Wahrscheinlichkeit 1 gilt D_n → 0 für n → ∞.

Wie schnell, sagt die Ungleichung von Dvoretzky, Kiefer und Wolfowitz (1956) mit der Konstante 2, die P. Massart (1990) bewiesen hat: Unter denselben Voraussetzungen gilt für jedes n ≥ 1 und jedes ε > 0

P(D_n > ε) ≤ 2 exp(−2nε²).

Einfach gesagt

Setzen wir die rechte Seite gleich 5 %, ergibt sich ε = √ln 2/0,05/2n: Mit einer Wahrscheinlichkeit von mindestens 95 % liegt die Abweichung unter 0,429 bei 10 Messungen, unter 0,136 bei 100 und unter 0,043 bei 1 000. Unsere 0,268, 0,085 und 0,025 passen hinein. Die Schranke fällt wie 1/√n — zehnmal mehr Daten verkleinern den Fehler nur etwa um das Dreifache. Auch in unserer Simulation ist √n · Abweichung jedes Mal ungefähr gleich: 0,85, 0,85 und 0,80.

7. Zufallsvariablen in der künstlichen Intelligenz

Daten sind Zufallsvariablen. Das Alter einer Kundin, der Preis einer Wohnung, die Helligkeit eines Pixels — ein Modell des maschinellen Lernens nimmt an, dass die Trainingsdaten Werte von Zufallsvariablen mit irgendeiner unbekannten Verteilung sind, und versucht, aus ihnen diese Verteilung (oder einen Teil davon) zu schätzen.
Zufallszahlen aus beliebigen Verteilungen erzeugen. Ein Computer kann vor allem eine gleichverteilte Zahl U zwischen 0 und 1 erzeugen. Nimm das kleinste x, für das F(x) ≥ U gilt, und du bekommst einen Wert mit der Verteilung F. Für U = 0,6 und die Augensumme: F(7) ≈ 0,583 ist noch zu wenig, F(8) = 26/36 ≈ 0,722 reicht schon — es fällt die 8. So wählt auch ein Sprachmodell das nächste Wort.
Quantile und Median. Der Median ist der Wert, an dem F zum ersten Mal 0,5 erreicht: bei der Augensumme ist das 7. Wenn es über einen Server heißt „95 % der Anfragen werden innerhalb von 200 ms beantwortet“, bedeutet das F(200 ms) ≥ 0,95.
Generative Modelle (Diffusionsmodelle, VAE) starten mit zufälligem Rauschen — einem Vektor von Zufallsvariablen mit bekannter Verteilung — und lernen, es in ein Bild oder einen Text zu verwandeln.

Quantile und Erzeugen aus einer Verteilung

Definition — Quantilfunktion

Sei F : ℝ → [0, 1] eine Verteilungsfunktion (irgendeiner Zufallsvariable). Die Quantilfunktion (verallgemeinerte Inverse von F) ist die Funktion F⁻¹ : (0, 1) → ℝ,

F⁻¹(u) = min {x ∈ ℝ : F(x) ≥ u} für u ∈ (0, 1).

Das Minimum existiert: Die Menge {x ∈ ℝ : F(x) ≥ u} ist nichtleer (weil F(x) → 1 > u für x → +∞), nach unten beschränkt (weil F(x) → 0 < u für x → −∞), und dank der Monotonie und der rechtsseitigen Stetigkeit von F ist sie ein Intervall der Form [c, ∞), das sein Infimum c enthält.

Für u ∈ (0, 1) ist der Wert F⁻¹(u) das u-Quantil der Verteilung mit der Verteilungsfunktion F; F⁻¹(0,5) ist der Median. Das Quantil ist also die kleinste Zahl, für die die Wahrscheinlichkeit „höchstens so viel“ mindestens u ist.

Einfach gesagt

Die Verteilungsfunktion antwortet auf „wie groß ist die Chance, dass höchstens x herauskommt?“, die Quantilfunktion auf die umgekehrte Frage: „Wie weit muss ich gehen, um eine Chance von mindestens u zu haben?“ Wo F streng wachsend und stetig ist, ist das eine gewöhnliche Umkehrfunktion; auf einer Treppe nimmt man die erste Stufe, die u erreicht. Median der Augensumme: F(6) = 15/36 ≈ 0,417 reicht nicht, F(7) ≈ 0,583 schon — der Median ist 7.

Satz — Inversionsmethode

Sei F : ℝ → [0, 1] eine Verteilungsfunktion, F⁻¹ : (0, 1) → ℝ ihre Quantilfunktion und U : Ω → (0, 1) eine auf [0, 1] gleichverteilte Zufallsvariable (die Werte 0 und 1 haben die Wahrscheinlichkeit 0, wir dürfen sie also weglassen). Dann ist X = F⁻¹ ∘ U, d. h. X(ω) = F⁻¹(U(ω)), eine Zufallsvariable, und es gilt

F_X(x) = F(x) für jedes x ∈ ℝ.

Beweis. Aus der Definition des Minimums und der Monotonie von F folgt F⁻¹(u) ≤ x ⇔ u ≤ F(x). Deshalb gilt P(X ≤ x) = P(U ≤ F(x)) = F(x), denn für ein gleichverteiltes U ist P(U ≤ t) = t. ∎

def vzorek(hodnoty, F, u):
    # hodnoty aufsteigend, F(x) = P(X ≤ x), u = gleichverteilte Zufallszahl aus (0, 1)
    for x in hodnoty:
        if F(x) >= u:          # die erste Stufe, die u erreicht
            return x

Augensumme, u = 0,6: F(7) = 21/36 ≈ 0,583 < 0,6, F(8) = 26/36 ≈ 0,722 ≥ 0,6 → 8

Warten auf den Bus: u = F(x) = x/10 ⇒ F⁻¹(u) = 10u, u = 0,6 → 6 Minuten; der Median ist 5 Minuten

8. Zusammenfassung

Eine Zufallsvariable ist eine Funktion, die dem Ergebnis eines Experiments eine Zahl zuordnet.
Die Verteilung sagt, wie sich die Wahrscheinlichkeit auf die Werte aufteilt; die Verteilungsfunktion F(x) = P(X ≤ x) bestimmt sie vollständig.
F ist monoton wachsend, geht von 0 bis 1, ist rechtsseitig stetig, und P(a < X ≤ b) = F(b) − F(a).
Eine diskrete Zufallsvariable hat eine treppenförmige F; eine stetige hat eine F ohne Sprünge, und jeder einzelne Wert hat die Wahrscheinlichkeit 0.
Die empirische Verteilungsfunktion schätzt F aus Daten und nähert sich ihr mit wachsender Zahl der Messungen an.

Siehst du das anders? Schreib an support@coden-app.com.

Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät

1. Zufallsvariable

2. Verteilung einer Zufallsvariable

3. Verteilungsfunktion

4. Eigenschaften der Verteilungsfunktion

5. Diskrete und stetige Zufallsvariablen

6. Empirische Verteilungsfunktion

7. Zufallsvariablen in der künstlichen Intelligenz

Quantile und Erzeugen aus einer Verteilung

8. Zusammenfassung

Ein Agent auf deinem Rechner, vom Telefon aus gesteuert