Dichtefunktion und Wahrscheinlichkeitsfunktion: warum eine stetige Zufallsvariable in einem Punkt die Wahrscheinlichkeit null hat

Wahrscheinlichkeitsfunktion, Wahrscheinlichkeitsdichte und die Fläche unter der Kurve — warum eine Dichte keine Wahrscheinlichkeit ist, größer als 1 sein kann und wie ein Histogramm sie aus Daten schätzt.

13 Minuten Matěj Žalmánek 2026-10-15

Serie KI-Grundlagen Teil 15 von 52

1. Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst
2. Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen
3. Daten, Modell, Training, Inferenz: die Grundbegriffe an einem einzigen Beispiel
4. Mathematische Notation lesen: Symbole, Indizes, Summen und Quantoren
5. Mengen und Relationen: der Baukasten, aus dem Definitionen in der KI bestehen
6. Funktionen und Abbildungen: warum jedes KI-Modell eine Funktion ist
7. Logik und Beweise: die Regeln, nach denen KI schließt
8. Graphen und Bäume: die Struktur, auf der Suche und neuronale Netze stehen
9. Lineare Algebra für maschinelles Lernen: Vektoren, Matrizen und warum KI vor allem multipliziert
10. Ableitungen, Gradient und Kettenregel: wie ein Modell herausfindet, in welche Richtung es lernen soll
11. Gradientenabstieg: wie ein Modell lernt
12. Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen
13. Bedingte Wahrscheinlichkeit und der Satz von Bayes: wie du deine Einschätzung änderst, wenn du etwas Neues erfährst
14. Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät
15. Dichtefunktion und Wahrscheinlichkeitsfunktion: warum eine stetige Zufallsvariable in einem Punkt die Wahrscheinlichkeit null hat
16. Erwartungswert, Varianz und Kovarianz: wo eine Verteilung liegt, wie breit sie ist und was womit zusammenhängt
17. Überblick über Wahrscheinlichkeitsverteilungen: Bernoulli-, Binomial-, Poisson-, Gleich-, Normal- und Exponentialverteilung
18. Gesetz der großen Zahlen und zentraler Grenzwertsatz: Warum sich Durchschnitte so vorhersagbar verhalten
19. Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle
20. Informationstheorie: Entropie, Kreuzentropie und KL-Divergenz — woher Verlustfunktionen kommen
21. Zustandsraumsuche: BFS, DFS, UCS und A* mit Animationen
22. Spiele und Gegner: Minimax, Alpha-Beta-Suche und Monte Carlo Tree Search
23. Constraint Satisfaction: Backtracking, Constraint-Propagierung und AC-3 an Sudoku und einer Karte tschechischer Regionen
24. Logik und wissensbasierte Systeme: Vorwärts- und Rückwärtsverkettung, Resolution und Expertensysteme
25. Planung: STRIPS, die Blockwelt, Heuristiken aus Relaxierung und Planung in KI-Agenten
26. Lokale Suche und simulierte Abkühlung: ein Handlungsreisender durch die tschechischen Regionalhauptstädte
27. Genetische Algorithmen: Population, Kreuzung, Mutation und Selektion am Rucksack für die Wanderung
28. Evolutionsstrategien und genetische Programmierung: von der 1/5-Erfolgsregel zum Keplerschen Gesetz
29. Ameisenkolonieoptimierung: wie eine Pheromonspur einen kurzen Weg findet
30. Partikelschwarmoptimierung: Trägheit, eigene Erfahrung und die Erfahrung des Schwarms
31. Neuroevolution: Evolution der Gewichte und der Gestalt neuronaler Netze und der Algorithmus NEAT
32. Fuzzy-Mengen und Zugehörigkeitsfunktionen: wie man „etwas warm“ aufschreibt
33. Fuzzy-Logik und Wahrscheinlichkeit: warum „etwas warm“ nicht „wahrscheinlich warm“ bedeutet
34. Fuzzy-Logik: t-Normen, Implikationen und WENN–DANN-Regeln
35. Fuzzy-Regelung: Mamdani und Sugeno vom Ventilator bis zum Pendel auf dem Wagen
36. Fuzzy-Clustering: der Algorithmus fuzzy c-means und Punkte zwischen den Clustern
37. Neuro-Fuzzy-Systeme (ANFIS): Fuzzy-Regeln, die aus Daten lernen
38. Markow-Ketten: Übergangsmatrix, stationäre Verteilung und PageRank
39. Hidden-Markov-Modelle: der Viterbi-Algorithmus und das unehrliche Kasino
40. Bayessche Netze: warum das Gras nass ist und was das für den Rasensprenger bedeutet
41. Der Kalman-Filter: wie man aus ungenauen Messungen schätzt, wo ein Auto ist und wie schnell es fährt
42. Arten des maschinellen Lernens: überwacht, unüberwacht, halbüberwacht und mehr
43. Prompts, Kontext und RAG: wie man einem Modell die richtigen Informationen gibt
44. Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum
45. Generative Adversarial Networks (GAN): der Fälscher gegen den Detektiv
46. Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird
47. Markow-Entscheidungsprozesse: Zustände, Aktionen, Belohnungen und Bellman-Gleichungen
48. Q-Learning und DQN: den Wert von Aktionen lernen, von der Tabelle bis zum neuronalen Netz
49. Policy Gradient und PPO: die Strategie direkt lernen
50. Wie ein KI-Agent funktioniert: ein Sprachmodell in einer Schleife mit Werkzeugen
51. Programmieren mit KI-Agenten: Auftrag, Tests und Kontrolle
52. Bewertung und Sicherheit von KI-Systemen: wie man misst und wie man überwacht

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

Den Teil über die Zufallsvariable haben wir mit einem Paradox beendet: Dass du genau 3 Minuten auf den Bus wartest, hat die Wahrscheinlichkeit null — und trotzdem wartest du am Ende eine ganz bestimmte Zeit. Die Verteilungsfunktion kann damit umgehen, ist aber nicht besonders anschaulich. Dieser Teil zeigt zwei Funktionen, die sich viel leichter zeichnen und lesen lassen: die Wahrscheinlichkeitsfunktion für diskrete Zufallsvariablen und die Dichte für stetige.

1. Wahrscheinlichkeitsfunktion

Definition — Wahrscheinlichkeitsfunktion

Sei (Ω, 𝓕, P) ein Wahrscheinlichkeitsraum und X : Ω → ℝ eine diskrete Zufallsvariable (siehe Teil Zufallsvariable), d. h. es gibt eine höchstens abzählbare Menge paarweise verschiedener Werte H = {x₁, x₂, …} ⊆ ℝ mit P(X ∈ H) = 1. Die Wahrscheinlichkeitsfunktion von X ist die Funktion p_X : ℝ → [0, 1],

p_X(x) = P(X = x) = P({ω ∈ Ω : X(ω) = x})   für x ∈ ℝ.

Der Wert p_X(x) ist also die Wahrscheinlichkeit, dass X genau x ist; für x ∉ H ist er null.

Satz — Eigenschaften der Wahrscheinlichkeitsfunktion

Sei X eine diskrete Zufallsvariable, H = {x₁, x₂, …} ⊆ ℝ eine höchstens abzählbare Menge paarweise verschiedener Werte mit P(X ∈ H) = 1, p : ℝ → [0, 1] die Wahrscheinlichkeitsfunktion und F : ℝ → [0, 1] die Verteilungsfunktion von X. Dann gilt:

1. p(x) ≥ 0 für jedes x ∈ ℝ;
2. ∑_i p(x_i) = 1;
3. F(x) = ∑_{i : xi ≤ x} p(x_i) für jedes x ∈ ℝ.

Die Punkte 2 und 3 folgen aus der Additivität: Die Ereignisse {X = x_i} sind paarweise unvereinbar, und ihre Vereinigung ist {X ∈ H} bzw. {X ∈ H, X ≤ x}, das sich von {X ≤ x} nur um ein Ereignis mit Wahrscheinlichkeit 0 unterscheidet.

Beispiel — die Wahrscheinlichkeitsfunktion der Augensumme zweier Würfel in einer Formel

Alle 36 Paare (a, b) sind gleich wahrscheinlich. Die Augensumme k ergeben die Paare (a, k − a) mit 1 ≤ a ≤ 6 und zugleich 1 ≤ k − a ≤ 6, also max(1, k − 6) ≤ a ≤ min(6, k − 1). Solche a gibt es

min(6, k − 1) − max(1, k − 6) + 1 = 6 − |k − 7|,   k = 2, 3, …, 12,

p(k) = 6 − |k − 7|/36:   p(2) = 6 − 5/36 = 1/36,   p(7) = 6 − 0/36 = 6/36,   p(10) = 6 − 3/36 = 3/36.

Kontrolle der zweiten Eigenschaft: 1 + 2 + 3 + 4 + 5 + 6 + 5 + 4 + 3 + 2 + 1 = 36, also ∑ p(k) = 36/36 = 1.

Die Säulen wachsen um 1/36 bis zur Sieben und fallen dann genauso — deshalb ist der Graph ein Dreieck.

2. Warum eine stetige Zufallsvariable keine Wahrscheinlichkeit in einem Punkt hat

Nehmen wir eine stetige Zufallsvariable: die Zeit X in Minuten, bis deine nächste E-Mail ankommt, wenn im Schnitt alle 2 Minuten eine eintrifft. Eine solche Wartezeit ist exponentialverteilt mit der Verteilungsfunktion F(x) = 1 − e^−0,5x für x ≥ 0 (warum gerade diese, zeigt der Teil über Verteilungen). Eine Wahrscheinlichkeitsfunktion hilft hier nicht — sie wäre in jedem Punkt null. Versuchen wir also statt eines Punkts das Intervall [2, 2 + h] und machen es immer schmaler:

Definition — Exponentialverteilung

Sei λ ∈ ℝ, λ > 0, und X eine Zufallsvariable mit der Verteilungsfunktion F : ℝ → [0, 1]. X ist genau dann exponentialverteilt mit dem Parameter (der Rate) λ, wenn für jedes x ∈ ℝ

F(x) = 1 − e^−λx   für x ≥ 0   und   F(x) = 0   für x < 0.

Die Zahl e = lim_n→∞ (1 + 1/n)ⁿ ≈ 2,718 ist die Basis des natürlichen Logarithmus. Die Zufallsvariable nimmt also nur nichtnegative Werte an, und die Wahrscheinlichkeit, dass sie x ≥ 0 überschreitet, ist 1 − F(x) = e^−λx.

Breite h	P(2 < X ≤ 2 + h)	P / h
2	0,2325	0,1163
1	0,1447	0,1447
0,5	0,0814	0,1627
0,1	0,0179	0,1794
0,01	0,0018	0,1835
→ 0	→ 0	→ f(2) ≈ 0,1839

Die Wahrscheinlichkeit des Intervalls geht gegen null — 0,2325, 0,1447, …, 0,0018 —, und deshalb kommt in einem einzelnen Punkt null heraus. Aber die Wahrscheinlichkeit pro Längeneinheit, also P/h, pendelt sich ein: 0,1163, 0,1447, 0,1627, 0,1794, 0,1835 … und nähert sich 0,1839. Diese Zahl sagt über den Punkt 2 tatsächlich etwas aus: wie viel Wahrscheinlichkeit auf eine Minute rund um die zweite Minute entfällt. Das ist die Dichte.

f(x) = lim_{h → 0⁺} P(x < X ≤ x + h)/h

f(x)

die Dichte im Punkt x — eine Zahl, die etwas über einen einzelnen Punkt aussagen soll, obwohl seine Wahrscheinlichkeit null ist

lim_{h → 0⁺}

das Schmalermachen des Intervalls — solange das Intervall eine positive Breite hat, beschreibt es einen ganzen Abschnitt, nicht den Punkt x; im Grenzwert bleibt nur der Punkt übrig

P(x < X ≤ x + h)

die Wahrscheinlichkeit eines schmalen Intervalls hinter dem Punkt — sie selbst geht gegen null, deshalb können wir sie nicht direkt nehmen

h

die Breite des Intervalls — durch die Division machen wir aus der Wahrscheinlichkeit eine Wahrscheinlichkeit pro Längeneinheit, und die geht nicht gegen null

Beispiel — die erste Zeile der Tabelle und der Grenzwert

P(2 < X ≤ 3) = F(3) − F(2) = (1 − e^−1,5) − (1 − e⁻¹) = e⁻¹ − e^−1,5 ≈ 0,3679 − 0,2231 = 0,1447

h = 1,   also P/h = 0,1447/1 = 0,1447

Im Grenzwert h → 0⁺ ist das die Ableitung von F im Punkt 2: (1 − e^−0,5x)′ = 0,5 · e^−0,5x,   f(2) = 0,5 · e⁻¹ ≈ 0,1839

(Farben wie in der Formel oben)

Satz — eine stetige Zufallsvariable hat in jedem Punkt die Wahrscheinlichkeit null

Sei X eine Zufallsvariable, deren Verteilungsfunktion F : ℝ → [0, 1] in jedem Punkt von ℝ stetig ist. Dann gilt

∀x ∈ ℝ :   P(X = x) = 0.

Beweis. Für jedes h > 0 ist das Ereignis {X = x} ein Teil des Ereignisses {x − h < X ≤ x}, also gilt 0 ≤ P(X = x) ≤ F(x) − F(x − h). Die rechte Seite geht für h → 0 wegen der Stetigkeit von F gegen null, und deshalb ist P(X = x) = 0. ∎

3. Fläche unter der Kurve: das bestimmte Integral

Definition — bestimmtes Integral

Seien a, b ∈ ℝ, a < b, und f : [a, b] → ℝ eine Funktion. Für n ∈ ℕ, n ≥ 1, zerlegen wir [a, b] in n Teilstücke [t_i−1, t_i], i = 1, …, n, mit

Δx = b − a/n,   t_i = a + i · Δx   (i = 0, 1, …, n),

und wählen in jedem Teilstück einen beliebigen Punkt x_i ∈ [t_i−1, t_i]. Die Funktion f ist genau dann (Riemann-)integrierbar auf [a, b], wenn es eine Zahl I ∈ ℝ gibt, sodass bei jeder Wahl der Punkte x_i (für jedes n gesondert)

lim_n→∞ ∑_i=1ⁿ f(x_i) · Δx = I.

Die Zahl I ist dann das bestimmte Integral der Funktion f von a bis b und wird ∫_a^b f(x) dx geschrieben. Das Integral ist also der Grenzwert der Summen von Rechteckflächen, sofern er existiert und nicht davon abhängt, wo in den Teilstücken wir die Höhe messen. (Die übliche Riemann-Definition lässt auch ungleich breite Teilstücke zu, deren größte Breite gegen null geht; sie ergibt denselben Begriff.) Für x ∈ ℝ und eine auf jedem [a, x] integrierbare Funktion definiert man das uneigentliche Integral ∫_−∞^x f(t) dt = lim_a→−∞ ∫_a^x f(t) dt, sofern der Grenzwert existiert; ebenso ∫_a^∞ und ∫_−∞^∞.

∫_a^b f(x) dx = lim_n→∞ ∑_i=1ⁿ f(x_i) · Δx

∫_a^b f(x) dx

die Fläche unter dem Graphen zwischen a und b — das, was wir wollen; das Zeichen ∫ ist ein langgezogenes S wie „Summe“

lim_n→∞

je mehr Teilstücke, desto schmaler die Rechtecke und desto weniger ragen sie über die Kurve hinaus oder fehlen unter ihr; die genaue Fläche ist das, wogegen die Summen streben

∑_i=1ⁿ

das Addieren aller Teilstücke — die Fläche des Ganzen ist die Summe der Flächen der Stücke

f(x_i)

die Höhe des Rechtecks — auf einem schmalen Teilstück ändert die Funktion ihren Wert kaum, also ersetzen wir sie durch einen einzigen Wert innerhalb des Teilstücks

Δx

die Breite des Teilstücks — Höhe mal Breite ist die Fläche des Rechtecks; in der Schreibweise des Integrals bleibt davon dx übrig

Die Definition ist zugleich eine Anleitung, wie man das Integral mit dem Computer berechnet — die Mittelpunktsregel nimmt die Höhe in der Mitte jedes Teilstücks:

def integral(f, a, b, n):
    dx = (b - a) / n
    plocha = 0
    for i in range(n):
        x = a + (i + 0.5) * dx    # Mitte des i-ten Teilstücks
        plocha += f(x) * dx       # Höhe mal Breite
    return plocha

Beispiel — Fläche unter der Dichte der Wartezeit zwischen 1 und 3 mit vier Rechtecken

f(x) = 0,5 · e^−0,5x,   a = 1,   b = 3,   n = 4,   Δx = 3 − 1/4 = 0,5

Mitten der Teilstücke x_i = 1,25; 1,75; 2,25; 2,75   →   Höhen f(x_i) = 0,2676; 0,2084; 0,1623; 0,1264

(0,2676 + 0,2084 + 0,1623 + 0,1264) · 0,5 = 0,7647 · 0,5 ≈ 0,3824

mit 10 Teilstücken 0,3832, mit 100 Teilstücken 0,3834 — der genaue Wert (wir berechnen ihn weiter unten) ist 0,3834   (Farben wie in der Formel oben)

Satz — Hauptsatz der Differential- und Integralrechnung (Newton–Leibniz)

Seien a, b ∈ ℝ, a < b, f : [a, b] → ℝ eine stetige Funktion und F : [a, b] → ℝ eine Funktion mit F′(x) = f(x) für jedes x ∈ [a, b] (in den Randpunkten die einseitige Ableitung); ein solches F heißt Stammfunktion von f. Dann ist f auf [a, b] integrierbar, und es gilt

∫_a^b f(x) dx = F(b) − F(a).

4. Dichtefunktion

Definition — Wahrscheinlichkeitsdichte

Sei X eine Zufallsvariable mit der Verteilungsfunktion F_X : ℝ → [0, 1] und f : ℝ → [0, ∞) eine auf jedem beschränkten Intervall integrierbare Funktion. f ist genau dann eine Dichte von X, wenn

∀x ∈ ℝ :   F_X(x) = ∫_−∞^x f(t) dt,

wobei rechts das uneigentliche Integral aus der Definition oben steht. Eine Zufallsvariable, die eine Dichte hat, heißt absolut stetig; ihre Verteilungsfunktion ist stetig, also ist sie auch im Sinne des Teils Zufallsvariable stetig. Die Dichte ist nicht eindeutig bestimmt: Ändern wir f in endlich vielen Punkten, ändern sich die Integrale nicht.

Satz — Wahrscheinlichkeit als Fläche

Sei X eine Zufallsvariable mit der Verteilungsfunktion F und der Dichte f. Dann gilt:

1. für alle a, b ∈ ℝ, a < b, gilt P(a < X ≤ b) = ∫_a^b f(x) dx = F(b) − F(a);
2. ∫_−∞^∞ f(x) dx = 1;
3. ist f im Punkt x ∈ ℝ stetig, dann ist F im Punkt x differenzierbar und F′(x) = f(x).

Beweis. 1: F(b) − F(a) = ∫_−∞^b f − ∫_−∞^a f = ∫_a^b f, und nach dem Satz über die Wahrscheinlichkeit eines Intervalls ist das P(a < X ≤ b). 2: ∫_−∞^∞ f = lim_x→∞ F(x) = 1. 3: F(x + h) − F(x)/h = 1/h ∫_x^x+h f(t) dt ist der Mittelwert von f auf einem Intervall der Länge |h|, und der geht wegen der Stetigkeit von f in x gegen f(x). ∎

Beispiel — die Dichte der Exponentialverteilung und die Fläche unter ihr

Für x > 0:   f(x) = F′(x) = (1 − e^−λx)′ = 0 − (−λ) · e^−λx = λ · e^−λx;   für x < 0 ist f(x) = 0.

Gesamtfläche: ∫₀^∞ λ e^−λx dx = lim_b→∞ (F(b) − F(0)) = lim_b→∞ (1 − e^−λb) − 0 = 1

Für λ = 0,5:   f(0) = 0,5,   f(2) ≈ 0,1839,   f(4) ≈ 0,0677 — alle 2 Minuten fällt die Dichte auf e⁻¹ ≈ 37 %.

Dass die E-Mail zwischen der ersten und der dritten Minute ankommt, ist die Fläche unter der Kurve zwischen 1 und 3. Nach dem Hauptsatz müssen wir sie nicht Rechteck für Rechteck addieren: F(3) − F(1) = (1 − e^−1,5) − (1 − e^−0,5) = e^−0,5 − e^−1,5 ≈ 0,6065 − 0,2231 ≈ 0,383.

5. Dichte ist keine Wahrscheinlichkeit

Der Wert der Dichte in einem Punkt ist keine Wahrscheinlichkeit — er ist eine Wahrscheinlichkeit pro Einheit. Eine Wahrscheinlichkeit bekommst du erst, wenn du ihn mit der Breite eines Intervalls multiplizierst: Für ein schmales Intervall gilt P(x < X ≤ x + h) ≈ f(x) · h. Für x = 2 und h = 0,1 ist das 0,1839 · 0,1 ≈ 0,0184, tatsächlich sind es 0,0179 (Farben wie in der Formel unten).

P(x < X ≤ x + h) ≈ f(x) · h

P(x < X ≤ x + h)

die tatsächliche Wahrscheinlichkeit — genau ist das die Fläche unter der Dichte über dem schmalen Intervall

f(x)

die Dichte — Wahrscheinlichkeit pro Längeneinheit; auf einem schmalen Intervall ändert sie sich kaum, also nehmen wir sie als Höhe eines Rechtecks

h

die Breite des Intervalls — erst durch die Multiplikation mit der Länge wird aus „pro Einheit“ eine Wahrscheinlichkeit; deshalb kann f groß und das Produkt trotzdem klein sein

Deshalb kann eine Dichte größer als 1 sein. Wenn du an eine Haltestelle kommst, an der alle halbe Minute ein Bus fährt, ist die Wartezeit gleichverteilt auf dem Intervall [0; 0,5], und die Dichte ist dort überall 2 — die Fläche des Rechtecks 0,5 × 2 ist immer noch 1. Das ist wie bei der Bevölkerungsdichte: 2 000 Einwohner pro km² sagen nicht, wie viele Menschen in einem Haus wohnen — eine Anzahl bekommst du erst, wenn du die Dichte mit einer Fläche multiplizierst.

Definition — Gleichverteilung

Seien a, b ∈ ℝ, a < b, und X eine Zufallsvariable. X ist genau dann gleichverteilt auf dem Intervall [a, b], wenn sie die Dichte f : ℝ → [0, ∞) hat,

f(x) = 1/b − a   für x ∈ [a, b],    f(x) = 0   für x ∉ [a, b].

Durch Integration erhalten wir F(x) = x − a/b − a für x ∈ [a, b], 0 links und 1 rechts — dieselbe Verteilungsfunktion wie in der Definition aus dem Teil Zufallsvariable; beide Definitionen stimmen also überein.

6. Dichte aus Daten schätzen: das Histogramm

Definition — Histogramm als Dichteschätzung

Sei n ∈ ℕ, n ≥ 1, seien x₁, …, x_n ∈ ℝ Daten, w > 0 die Klassenbreite und c ∈ ℝ der Startpunkt. Die Klassen sind die Intervalle

B_k = [c + kw, c + (k + 1)w),   k ∈ ℤ;

sie überlappen sich nicht und überdecken ganz ℝ, also liegt jedes x ∈ ℝ in genau einer Klasse B(x). Für eine Klasse B bezeichne n_B = |{i ∈ {1, …, n} : x_i ∈ B}| die Anzahl der Daten in ihr. Das Histogramm (die Dichteschätzung) ist die Funktion f̂ : ℝ → [0, ∞),

f̂(x) = n_B(x)/n · w   für x ∈ ℝ.

Auf jeder Klasse ist das Histogramm also konstant und gleich dem Anteil der Daten in der Klasse geteilt durch die Klassenbreite.

f̂(x) = n_B/n · w

f̂(x)

die Dichteschätzung im Punkt x — das Dach sagt „aus Daten berechnet“, nicht die wahre f

n_B

die Anzahl der Messungen in der Klasse B, in die x fällt — je mehr Daten in der Umgebung von x, desto höher ist dort die Dichte

n

die Anzahl aller Messungen — macht aus der Anzahl den Anteil n_B/n, eine Schätzung der Wahrscheinlichkeit der Klasse; sonst ergäben mehr Daten höhere Säulen

w

die Klassenbreite — macht aus der Wahrscheinlichkeit der Klasse eine Wahrscheinlichkeit pro Längeneinheit, genau wie h im Verhältnis P/h; ohne sie ergäben breitere Klassen höhere Säulen

Die Daten für das Histogramm haben wir selbst erzeugt. Ein Computer kann nur gleichverteilt aus dem Intervall [0, 1) ziehen; exponentialverteilte Wartezeiten bekommen wir daraus mit folgender Umrechnung:

Satz — Inversionsmethode

Sei λ ∈ ℝ, λ > 0, und U : Ω → [0, 1) eine auf [0, 1] gleichverteilte Zufallsvariable (der Wert 1 hat die Wahrscheinlichkeit 0, wir dürfen ihn also weglassen). Dann ist die Zufallsvariable

X = −ln(1 − U)/λ

exponentialverteilt mit dem Parameter λ.

Beweis. Da 1 − U ∈ (0, 1], ist ln(1 − U) ≤ 0 und X ≥ 0, also ist für x < 0 P(X ≤ x) = 0. Für x ≥ 0 gilt −ln(1 − U)/λ ≤ x ⇔ 1 − U ≥ e^−λx ⇔ U ≤ 1 − e^−λx, also P(X ≤ x) = P(U ≤ 1 − e^−λx) = 1 − e^−λx = F(x). ∎

def histogram(n, lam=0.5, w=0.5, konec=10):
    pocty = [0] * int(konec / w)
    for _ in range(n):
        u = nahodne()                    # gleichverteilt aus [0, 1)
        x = -log(1 - u) / lam            # Inversionsmethode
        if x < konec:
            pocty[int(x / w)] += 1       # in welche Klasse x fällt
    return [c / (n * w) for c in pocty]  # Höhen: die Fläche der Säulen ist 1

So haben wir 100, 1 000 und 10 000 Wartezeiten auf eine E-Mail simuliert (mit einer Klassenbreite von 0,5 Minuten) und die wahre Dichte über die Histogramme gezeichnet:

Bei 100 Wartezeiten weicht eine Säule um bis zu 0,098 von der Wirklichkeit ab, bei 1 000 um 0,017 und bei 10 000 um 0,008. Der Anteil der Wartezeiten bis zu einer Minute lag bei 0,440, 0,397 und 0,390 — die wahre Wahrscheinlichkeit ist F(1) ≈ 0,393. Mit wachsender Datenmenge schmiegt sich das Histogramm an die Dichte an, genauso wie sich die empirische Verteilungsfunktion an die wahre angeschmiegt hat.

Beispiel — die erste Säule des Histogramms

Klasse [0; 0,5), w = 0,5. Von 100 Wartezeiten fielen 27 hinein:   f̂ = 27/100 · 0,5 = 0,54

Von 10 000 Wartezeiten fielen 2 172 hinein:   f̂ = 2 172/10 000 · 0,5 ≈ 0,434   (Farben wie in der Formel oben)

Das Histogramm schätzt die mittlere Dichte auf der Klasse: F(0,5) − F(0)/0,5 = 1 − e^−0,25/0,5 ≈ 0,442

Bei 100 Wartezeiten ist die erste Säule um 0,098 höher, als sie sein sollte — das ist die größte Abweichung aus dem Text oben.

7. Diskret und stetig im Vergleich

8. Dichten und Wahrscheinlichkeitsfunktionen in der künstlichen Intelligenz

• Klassifikatoren und Sprachmodelle liefern eine Wahrscheinlichkeitsfunktion. Die letzte Schicht (Softmax) gibt jeder Klasse oder jedem Wort eine Zahl zwischen 0 und 1, und alle zusammen ergeben 1 — genau die Eigenschaften einer Wahrscheinlichkeitsfunktion.
• Likelihood. Ein Modell lernt so, dass die Trainingsdaten eine möglichst große Wahrscheinlichkeit (bei diskreten Daten) oder Dichte (bei stetigen) bekommen. Der negative Logarithmus dieser Zahl ist eine gängige Verlustfunktion.
• Anomalieerkennung. Ein Modell schätzt die Dichte des normalen Betriebs; eine Transaktion oder Messung an einer Stelle mit sehr kleiner Dichte ist verdächtig.
• Generative Modelle lernen die Dichte von Bildern, Klängen oder Texten — und ein neues Bild ist eine Stichprobe aus dieser gelernten Dichte.

Likelihood an einem Beispiel

Definition — Likelihood und negative Log-Likelihood

Sei Θ eine Parametermenge, und für jedes θ ∈ Θ sei f_θ : ℝ → [0, ∞) die Dichte (oder Wahrscheinlichkeitsfunktion) irgendeiner Verteilung — ein Modell. Sei n ≥ 1, und seien x₁, …, x_n ∈ ℝ Daten, die wir als Werte unabhängiger Zufallsvariablen X₁, …, X_n mit derselben Verteilung betrachten. Die Likelihood ist die Funktion L : Θ → [0, ∞),

L(θ) = ∏_i=1ⁿ f_θ(x_i) = f_θ(x₁) · f_θ(x₂) · … · f_θ(x_n).

Für θ mit L(θ) > 0 ist die negative Log-Likelihood (NLL)

NLL(θ) = −ln L(θ) = −∑_i=1ⁿ ln f_θ(x_i).

Der Maximum-Likelihood-Schätzer ist ein θ̂ ∈ Θ mit L(θ̂) ≥ L(θ) für alle θ ∈ Θ (sofern ein solches existiert). Da −ln fallend ist, ist das dasselbe wie NLL(θ̂) ≤ NLL(θ) für alle θ mit L(θ) > 0 — die Methode wählt die Parameter, die die NLL minimieren.

Wir haben drei Wartezeiten auf eine E-Mail gemessen: 1, 2 und 3 Minuten. Welche Rate λ haben sie? Für die Exponentialdichte ist ln(λ e^−λx) = ln λ − λx, also

NLL(λ) = −n · ln λ + λ · ∑_i x_i

NLL(λ)

der Verlust — je kleiner, desto höhere Dichte gibt das Modell den gemessenen Daten

−n · ln λ

die Höhe der Dichte bei null ist λ — dieser Term drückt λ nach oben, weil eine höhere Kurve den Daten eine höhere Dichte gibt

λ · ∑_i x_i

die Strafe für lange Wartezeiten — bei großem λ fällt die Dichte schnell ab, und die gemessenen längeren Wartezeiten wären unwahrscheinlich; drückt λ nach unten

Beispiel — der Verlust für drei Wartezeiten von 1, 2 und 3 Minuten

n = 3,   ∑ x_i = 6

NLL(0,25) = −3 · ln 0,25 + 0,25 · 6 ≈ 4,159 + 1,5 = 5,659

NLL(0,5) = −3 · ln 0,5 + 0,5 · 6 ≈ 2,079 + 3 = 5,079

NLL(1) = −3 · ln 1 + 1 · 6 = 0 + 6 = 6,000   (Farben wie in der Formel oben)

Minimum: λ̂ = 3/6 = 0,5 — eine E-Mail alle 2 Minuten, genau der Mittelwert der Daten

9. Zusammenfassung

• Eine diskrete Zufallsvariable wird durch die Wahrscheinlichkeitsfunktion p(x) = P(X = x) beschrieben; die Säulen ergeben zusammen 1.
• Eine stetige Zufallsvariable hat in jedem Punkt die Wahrscheinlichkeit 0; sinnvoll ist die Wahrscheinlichkeit pro Längeneinheit — die Dichte.
• Die Dichte f ist die Ableitung der Verteilungsfunktion, und die Wahrscheinlichkeit eines Intervalls ist die Fläche unter ihr — ein Integral.
• Dichte ist keine Wahrscheinlichkeit und kann größer als 1 sein; die Gesamtfläche unter ihr ist immer 1.
• Ein Histogramm, geteilt durch die Anzahl der Daten und die Klassenbreite, schätzt die Dichte aus Daten.

Siehst du das anders? Schreib an support@coden-app.com.