Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird

Der Vorwärtsprozess, der Rauschen hinzufügt, ein Netz, das das Rauschen schätzt, DDPM und DDIM von Grund auf geschrieben, acht Cluster ohne Moduskollaps, wie viele Sampling-Schritte nötig sind, ein Vergleich mit VAE und GAN auf Ziffern und der Weg zu Bildern nach Text.

12 Minuten Matěj Žalmánek 2026-10-16

Serie KI-Grundlagen Teil 46 von 52

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

Was du mitnimmst

Wie der Vorwärts- und der Rückwärtsprozess der Diffusion funktionieren.
Warum Diffusion stabiler lernt als ein GAN und was die Anzahl der Schritte kostet.
Wie aus Diffusion ein Bildgenerator nach Text wird.

Vorher gut zu wissen: Generative Adversarial Networks (GAN): der Fälscher gegen den Detektiv, Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum

Stable Diffusion, Midjourney, DALL·E 3 und auch die Modelle, die Videos erzeugen, beruhen auf derselben Idee, und die ist überraschend einfach. Ein Bild zu zerstören ist leicht — man fügt ihm nach und nach Rauschen hinzu, bis nur noch Rauschen übrig ist. Wenn wir lernten, jeden kleinen Schritt rückgängig zu machen, könnten wir mit reinem Rauschen beginnen und Schritt für Schritt ein Bild daraus herausschälen. In diesem Teil programmieren wir das von Grund auf und vergleichen es auf denselben Daten mit VAE und GAN.

Er baut auf den Teilen Generative Adversarial Networks und Variational Autoencoder auf.

1. Vorwärtsprozess: ein Bild löst sich im Rauschen auf

Definition — Vorwärtsprozess (Diffusionsprozess)

Man wählt eine Anzahl von Schritten T und einen Plan kleiner Varianzen β₁, …, β_T. In jedem Schritt kommt etwas Rauschen hinzu: x_t = √(1 − β_t) · x_t−1 + √β_t · ε, ε ~ N(0, I). Setzt man die Schritte zusammen, ergibt sich die geschlossene Form x_t = √ᾱ_t · x₀ + √(1 − ᾱ_t) · ε mit ᾱ_t = ∏_{s ≤ t} (1 − β_s). Für hinreichend großes t ist ᾱ_t ≈ 0 und x_t reines Rauschen.

Einfach gesagt

Ein Tropfen Tinte in einem Glas Wasser: Eine Weile siehst du die Form des Tropfens, dann verschwimmt er, am Ende ist das Wasser gleichmäßig gefärbt und die ursprüngliche Form nicht mehr zu erkennen. Die geschlossene Formel sagt, dass man zu jedem beliebigen Zeitpunkt direkt springen kann — man muss nicht alle Schritte simulieren.

x_t = √ᾱ_t · x₀ + √(1 − ᾱ_t) · ε

x_t: das verrauschte Bild in Schritt t — genau das, was das Netz beim Training als Eingabe bekommt
√ᾱ_t: wie viel vom ursprünglichen Bild übrig ist; ᾱ_t ist das Produkt aller (1 − β_s) bis Schritt t und sinkt daher mit jedem Schritt
x₀: das ursprüngliche Bild aus den Daten
√(1 − ᾱ_t): wie viel Rauschen darin ist; die Wurzeln stehen da, weil sich die Varianzen addieren: (√ᾱ)² + (√(1 − ᾱ))² = 1, Daten mit Varianz 1 haben also in jedem Schritt Varianz 1 und gehen am Ende fließend in N(0, I) über
ε: eine Stichprobe Rauschen aus N(0, I) — genau sie wird das Netz erraten; dass wir sie kennen, macht aus dem Training eine gewöhnliche Regression

Satz — warum ein Sprung genügt

Gilt x_t−1 = √ᾱ_t−1 x₀ + √(1 − ᾱ_t−1) ε′ mit ε′ ~ N(0, I), dann gilt auch x_t = √ᾱ_t x₀ + √(1 − ᾱ_t) ε mit einem neuen ε ~ N(0, I).

Beweis. Wir setzen in einen Schritt ein: x_t = √(1 − β_t) √ᾱ_t−1 x₀ + √(1 − β_t) √(1 − ᾱ_t−1) ε′ + √β_t ε″. Der erste Term ist √ᾱ_t x₀, weil ᾱ_t = (1 − β_t) ᾱ_t−1. Die beiden übrigen sind unabhängige normalverteilte Rauschterme mit Mittelwert 0; ihre Summe ist wieder normalverteilt und die Varianzen addieren sich: (1 − β_t)(1 − ᾱ_t−1) + β_t = 1 − (1 − β_t) ᾱ_t−1 = 1 − ᾱ_t. Für t = 1 gilt die Aussage direkt (ᾱ₀ = 1), weiter per Induktion. ∎

Beispiel — unser Rauschplan in Zahlen

β wächst linear: β_t = β₁ + (β_T − β₁) · (t − 1)/(T − 1), also um 0,00101 pro Schritt.

`t`	β_t	ᾱ_t	√ᾱ_t (Signal)	√(1 − ᾱ_t) (Rauschen)
1	0,00010	0,9999	1,000	0,010
2	0,00111	0,9988	0,999	0,035
25	0,02432	0,7351	0,857	0,515
37	0,03643	0,5045	0,710	0,704
38	0,03744	0,4856	0,697	0,717
50	0,04955	0,2830	0,532	0,847
100	0,10000	0,0056	0,075	0,997

Die zweite Zeile prüfen wir von Hand: ᾱ₂ = (1 − β₁)(1 − β₂) = 0,9999 · 0,99889 = 0,99879. Signal und Rauschen halten sich (ᾱ = 0,5) zwischen den Schritten 37 und 38 die Waage; in Schritt 100 hat das ursprüngliche Bild nur noch das Gewicht 0,075 gegenüber 0,997 beim Rauschen.

Bei uns ist T = 100 und β wächst linear von 0,0001 bis 0,1. Der Anteil des ursprünglichen Signals √ᾱ_t beträgt in Schritt 25 0,86, in Schritt 50 0,53 und in Schritt 100 nur noch 0,07.

Eine Drei im Vorwärtsprozess (von links t = 0, 10, 25, 50, 75, 100)

2. Rückwärtsprozess: ein Netz, das das Rauschen errät

Definition — DDPM (Denoising Diffusion Probabilistic Model)

DDPM (Jonathan Ho, Ajay Jain und Pieter Abbeel, 2020; die Idee stammt von Jascha Sohl-Dickstein u. a., 2015) trainiert ein Netz ε_θ(x_t, t) darauf, aus einem verrauschten Bild und der Schrittnummer zu schätzen, welches Rauschen ε hinzugefügt wurde. Der Verlust ist der gewöhnliche mittlere quadratische Fehler E ‖ε − ε_θ(√ᾱ_t x₀ + √(1 − ᾱ_t) ε, t)‖² mit zufälligem t. Gesampelt wird von x_T ~ N(0, I) rückwärts: x_t−1 = (x_t − β_t/√(1 − ᾱ_t) · ε_θ) / √(1 − β_t) + √β_t · z.

Einfach gesagt

Das Netz bekommt ein unscharfes, verrauschtes Foto und die Frage „Wie viel Rauschen steckt darin und wie sieht es aus?“. Wenn es das Rauschen schätzen kann, kann es auch ein wenig davon abziehen. Das wiederholen wir hundertmal, jedes Mal mit etwas frischem Zufall — und aus dem Rauschen taucht ein Bild auf. Das Training ist dabei eine gewöhnliche Regression: kein Gegenspieler wie beim GAN, keine Kompromisse wie beim VAE.

L(θ) = E_{x₀, t, ε} ‖ε − ε_θ(√ᾱ_t x₀ + √(1 − ᾱ_t) ε, t)‖²

ε: das Rauschen, das wir selbst ins Bild gegeben haben — die richtige Antwort, deshalb kennen wir sie ohne jedes Annotieren der Daten
ε_θ(…, t): die Schätzung des Rauschens durch das Netz; es bekommt auch die Schrittnummer t, weil es bei t = 2 wenig Rauschen finden muss und bei t = 100 in x_t fast nur Rauschen ist
√ᾱ_t x₀ + √(1 − ᾱ_t) ε: das verrauschte Bild x_t, mit einem Sprung erzeugt — dank der geschlossenen Formel genügt es, für jedes Beispiel t und ε zu ziehen; nichts wird Schritt für Schritt simuliert

Der Erwartungswert läuft über Bilder aus den Daten, einen gleichverteilt gezogenen Schritt t ∈ {1, …, T} und Rauschen ε ~ N(0, I); in der Praxis ein Mittelwert über den Batch. Ho u. a. haben diesen einfachen Verlust durch Vereinfachung der variationellen unteren Schranke erhalten (derselben, die auch der VAE optimiert) — sie haben darin die Gewichte der einzelnen Schritte weggelassen.

x_t−1 = 1/√(1 − β_t) · (x_t − β_t/√(1 − ᾱ_t) · ε_θ(x_t, t)) + √β_t · z

x_t: der aktuelle verrauschte Zustand — man beginnt mit reinem Rauschen x_T ~ N(0, I)
ε_θ(x_t, t): die Schätzung des Rauschens, das in x_t steckt
β_t/√(1 − ᾱ_t): wie großes Stück des geschätzten Rauschens abgezogen wird — nur der Anteil, der zu einem Schritt gehört (β_t), umgerechnet auf das gesamte Rauschniveau √(1 − ᾱ_t); bei uns 0,01 in Schritt 1 und 0,10 in Schritt 100
1/√(1 − β_t): macht die Verkleinerung aus dem Vorwärtsschritt rückgängig (dort wurde mit √(1 − β_t) multipliziert); in Schritt 100 ist das 1,054
√β_t · z: frisches Rauschen z ~ N(0, I) (im letzten Schritt z = 0) — der Rückwärtsprozess ist zufällig wie der Vorwärtsprozess; ohne es würden die Stichproben zu Durchschnittsbildern hingezogen. Die Größe √β_t ist eine der beiden Varianten, die Ho u. a. ausprobiert haben

Die mit dem ersten Faktor multiplizierte Klammer ist eine Schätzung des Mittelwerts eines um einen Schritt weniger verrauschten Bildes; dann kommt so viel Zufall hinzu, wie zu dem Schritt gehört.

# Training (DDPM)
wiederhole 16 000×:
    für jedes der 64 Beispiele im Batch:
        x₀ = zufälliges Beispiel aus den Daten
        t  = zufällig aus 1 … 100
        ε  = Vektor von Zufallszahlen aus N(0, 1)
        x_t = √ᾱ_t · x₀ + √(1 − ᾱ_t) · ε
        Fehler = ‖ε − ε_θ(x_t, Kode(t))‖² / Dimension
    Adam-Schritt auf dem mittleren Fehler

# Sampling (DDPM, 100 Schritte)
x = Vektor aus N(0, 1)
für t = 100, 99, …, 1:
    ε̂ = ε_θ(x, Kode(t))
    z = Vektor aus N(0, 1), im Schritt t = 1 null
    x = (x − β_t / √(1 − ᾱ_t) · ε̂) / √(1 − β_t) + √β_t · z
gib x zurück

Definition — sinusförmige Zeitkodierung

Das Netz bekommt die Zahl t nicht direkt, sondern acht Zahlen Kode(t) = (sin(fπt/T), cos(fπt/T)) für f = 1, 2, 4, 8. Die langsamen Frequenzen sagen „ungefähr wo im Prozess wir sind“, die schnellen unterscheiden benachbarte Schritte; alle Zahlen liegen zwischen −1 und 1, sodass keine Eingabe die anderen überwiegt.

Für t = 25 (ein Viertel des Prozesses, Winkel π/4, π/2, π und 2π): Kode(25) = (0,707; 0,707; 1,000; 0,000; 0,000; −1,000; 0,000; 1,000).

Unser Netz ist das gewöhnliche mehrschichtige Netz aus dem Teil über GANs: Am Eingang stehen x_t und acht Zahlen der sinusförmigen Kodierung der Zeit t (wie die Positionskodierung im Transformer), am Ausgang die Schätzung des Rauschens. Auf dem Kreis hat es zwei verborgene Schichten mit je 64 Neuronen, auf den Ziffern mit je 128. Trainiert wird mit Adam über 16 000 Schritte.

3. Acht Cluster ohne Kollaps

Dieselben Daten wie im vorigen Teil: acht Cluster auf einem Kreis. So sehen 400 Stichproben während des Rückwärtsprozesses aus:

Rückwärtsprozess: vom Rauschen (t = 100) zu den Daten (t = 0)

Noch in Schritt 25 sind die Punkte fast gleichmäßig verstreut (Qualität 3 %), in Schritt 10 zeichnet sich der Kreis ab, und in den letzten zehn Schritten laufen die Punkte in den Clustern zusammen. Am Ende sind alle 8 Cluster abgedeckt und jeder bekam 28 bis 50 von 500 Stichproben. Die Qualität (Anteil innerhalb von 3σ um ein Zentrum) beträgt 63 %.

Der Unterschied zum GAN liegt nicht in der Qualität, sondern in der Zuverlässigkeit. Der GAN hat alle acht Cluster nur in einem von vier Läufen abgedeckt; die Diffusion hat es in dem einzigen Lauf geschafft, den wir gestartet haben (ein Lauf ist kein Beweis, passt aber zu dem, was man über Diffusion weiß). Der Verlust der Diffusion ist nämlich kein Spiel, sondern eine Regression, und das Netz wird für jede Stichprobe der Daten bestraft — keinen Cluster kann es „sausen lassen“.

4. Wie viele Schritte nötig sind

Definition — DDIM

DDIM (Jiaming Song, Chenlin Meng und Stefano Ermon, 2020) verwendet dasselbe trainierte Netz, sampelt aber deterministisch und in größeren Sprüngen: Aus der Schätzung des Rauschens berechnet es eine Schätzung des sauberen Bildes x̂₀ = (x_t − √(1 − ᾱ_t) ε_θ) / √ᾱ_t und daraus direkt x_s = √ᾱ_s x̂₀ + √(1 − ᾱ_s) ε_θ für einen beliebigen früheren Zeitpunkt s < t.

Einfach gesagt

Statt hundert winziger Schrittchen machen wir zwanzig größere. In jedem fragt das Netz „Wie würde das fertige Bild wohl aussehen?“ und springt entsprechend ein Stück des Weges. Sind die Sprünge zu groß, trifft das Netz daneben.

x_s = √ᾱ_s · x̂₀ + √(1 − ᾱ_s) · ε_θ(x_t, t), x̂₀ = (x_t − √(1 − ᾱ_t) ε_θ) / √ᾱ_t

x_t: der Zustand, in dem wir gerade sind
ε_θ: die Schätzung des Rauschens — dasselbe Netz wie bei DDPM, nichts wird neu trainiert
x̂₀: die Schätzung des fertigen Bildes: die geschlossene Formel des Vorwärtsprozesses, nach x₀ aufgelöst; geteilt wird durch √ᾱ_t, das am Anfang klein ist, daher ist die Schätzung hier am ungenauesten
√ᾱ_s: wie viel Bild zum Zielzeitpunkt s da sein soll — derselbe Faktor wie im Vorwärtsprozess, nur für einen anderen Zeitpunkt
√(1 − ᾱ_s): wie viel Rauschen bleiben soll; DDIM verwendet dabei dasselbe geschätzte Rauschen und zieht kein neues — deshalb ist es deterministisch

Ein Schritt lautet „vollständig entrauschen und dann wieder auf das Niveau des Zeitpunkts s verrauschen“. So kann DDIM beliebig weit springen.

Beispiel — warum zwei Schritte nicht reichen (vereinfacht)

DDIM mit n Schritten geht über gleichmäßig verteilte Zeitpunkte: mit 5 Schritten 100 → 80 → 60 → 40 → 20 → 0, mit 2 Schritten 100 → 50 → 0. Der erste Sprung geht immer von t = 100 aus, wo √ᾱ₁₀₀ = 0,075.

Irrt sich das Netz bei der Schätzung des Rauschens um δ, irrt sich die Schätzung x̂₀ um δ · √(1 − ᾱ₁₀₀)/√ᾱ₁₀₀ = 13,3 δ — der Fehler wird mehr als verzehnfacht. Nach Einsetzen in den Sprung zum Zeitpunkt s weicht der neue Zustand vom richtigen um δ · (√(1 − ᾱ_s) − √ᾱ_s · 13,3) ab:

5 Schritte, Sprung 100 → 80: Faktor −1,59,
2 Schritte, Sprung 100 → 50: Faktor −6,23,

Bei einem kleinen Sprung wird die schlechte Schätzung x̂₀ mit dem kleinen Gewicht √ᾱ₈₀ = 0,19 beigemischt und die weiteren Schritte korrigieren sie. Bei einem Sprung in die Mitte des Prozesses geht sie mit dem Gewicht √ᾱ₅₀ = 0,53 ein, und es bleibt nur ein einziger Schritt. Die Überlegung verfolgt nur einen Fehler in einem Schritt und nimmt an, dass das Netz sonst genau schätzt; sie zeigt aber, warum die ersten, am stärksten verrauschten Schritte am empfindlichsten sind.

Qualität und Abdeckung auf dem Kreis nach Anzahl der Sampling-Schritte DDPM (100 Schritte) DDIM bester GAN-Lauf

DDIM mit 50 Schritten erreicht eine Qualität von 79 % — mehr als DDPM mit 100 Schritten (63 %), vermutlich weil es kein zufälliges Rauschen hinzufügt, das unser ungenaues Netz in den letzten Schritten nicht mehr entfernen kann. Mit 10 Schritten sind es noch 70 %, mit 5 Schritten 60 %. Bei 2 Schritten bricht das Sampling zusammen (0 %). Die Anzahl der Schritte ist der Hauptpreis der Diffusion: Jeder Schritt ist ein Durchlauf durch das Netz, während ein GAN ein Bild in einem einzigen Durchlauf erzeugt.

5. Ziffern: drei Generatoren im Vergleich

Auf Ziffern 8 × 8 (Pixel in den Bereich −1 bis 1 umgerechnet) wird das Netz 16 000 Schritte lang trainiert.

Die ersten zehn Stichproben

Modell	Abstand zur nächsten Ziffer	am seltensten vertretene Ziffer (von 200)	Ziffern mit weniger als 10 Stichproben
VAE (k = 8)	0,054	10	0
GAN, Seed 1	0,049	3	3
GAN, Seed 2	0,042	0	6
Diffusion (100 Schritte)	0,063	12	0

Hier muss man ehrlich sein: Unsere Diffusion hat einen Abstand von 0,063, schlechter als der VAE (0,054) und der GAN (0,042). In den Bildern ist Restrauschen zu sehen. Die Ziffern sind aber ausgewogen vertreten — die seltenste Ziffer hat 12 Stichproben, beim GAN mit Seed 2 fehlen zwei Ziffern ganz.

Warum ist die Schärfe schlechter? Ein kleines mehrschichtiges Netz muss Bilder auf allen hundert Rauschstufen zugleich entrauschen, und das ist eine schwerere Aufgabe als die eine Abbildung Rauschen → Bild beim GAN. Dafür verbessert es sich verlässlich mit mehr Rechenaufwand: Der Abstand der Stichproben sank während des Trainings 0,096 (Schritt 4 000), 0,082 (Schritt 8 000), 0,068 (Schritt 12 000), 0,063 (Schritt 16 000) (schnelle Schätzung aus 100 DDIM-Stichproben mit 20 Schritten). Kein Kollaps und keine Ausreißer. Echte Diffusionsmodelle verwenden konvolutionale U-Net-Netze oder Transformer mit Hunderten Millionen Parametern und trainieren wochenlang — und dann gewinnen sie auch bei der Schärfe.

6. Von Ziffern zu Bildern nach Text

Konditionierung. Das Netz ε_θ(x_t, t, c) bekommt zusätzlich eine Beschreibung c — ein Text-Embedding aus einem Sprachmodell, angebunden über Attention (Teil über Attention). Trainiert wird auf Milliarden von Bild-Beschreibung-Paaren.
Classifier-free Guidance (Jonathan Ho und Tim Salimans, 2021). Das Netz lernt mit und ohne Beschreibung, und beim Sampling wird die Schätzung in Richtung „mit Beschreibung minus ohne Beschreibung“ verschoben, verstärkt durch einen Koeffizienten. Das Bild entspricht dann besser der Vorgabe, auf Kosten der Vielfalt.
Latente Diffusion. Die Diffusion läuft im kleinen latenten Raum eines Autoencoders, nicht in Pixeln — siehe Teil über VAE. Dadurch läuft Stable Diffusion (2022) sogar auf einer Gaming-Grafikkarte.
Weniger Schritte. Bessere Sampler und Destillation (ein Netz lernt, viele Schritte in einem oder wenigen nachzuahmen) haben die Generierung von Hunderten Schritten auf eine Handvoll verkürzt.

ε̃ = ε_θ(x_t, t, ∅) + w · (ε_θ(x_t, t, c) − ε_θ(x_t, t, ∅))

ε_θ(…, ∅): die Schätzung des Rauschens ohne Beschreibung (leere Bedingung ∅) — „wie ein beliebiges Bild aussieht“; das Netz lernt sie, indem beim Training die Beschreibung ab und zu zufällig weggelassen wird
ε_θ(…, c) − ε_θ(…, ∅): um wie viel sich die Schätzung ändert, wenn das Netz die Beschreibung kennt — die Richtung, in die die Beschreibung das Bild zieht
w: Stärke der Guidance: w = 0 ignoriert die Beschreibung, w = 1 ist ein gewöhnliches bedingtes Modell, w > 1 übertreibt den Einfluss der Beschreibung — das Bild entspricht besser der Vorgabe, aber die Stichproben ähneln sich stärker

Beim Sampling wird ε̃ anstelle von ε_θ eingesetzt; der Preis sind zwei Durchläufe durch das Netz pro Schritt. Ho und Salimans schreiben dieselbe Formel als (1 + w′) ε_θ(…, c) − w′ ε_θ(…, ∅), also w = 1 + w′. Die Bibliothek diffusers verwendet für Stable Diffusion standardmäßig w = 7,5.

7. Zusammenfassung

Der Vorwärtsprozess fügt nach und nach Rauschen hinzu; zu jedem Schritt kann man mit der Formel √ᾱ x₀ + √(1 − ᾱ) ε springen.
Das Netz lernt, das hinzugefügte Rauschen zu schätzen — eine gewöhnliche Regression. Erzeugt wird rückwärts aus reinem Rauschen.
Auf den acht Clustern hat die Diffusion alle in einem einzigen Lauf abgedeckt (DDIM mit 50 Schritten 79 %); der GAN nur in einem von vier Läufen.
Weniger Schritte (DDIM) beschleunigen das Sampling; mit 10 Schritten liegt die Qualität bei 70 %, mit 2 Schritten bricht sie zusammen.
Auf den Ziffern deckt die Diffusion alle Ziffern ab, bei der Schärfe bleibt sie mit unserem kleinen Netz zurück; sie verbessert sich aber stetig mit mehr Rechenaufwand.

Willst du es selbst ausprobieren? Lass einen KI-Agenten ein kleines DDPM auf zweidimensionalen Daten trainieren (etwa Punkte in Form deiner Initialen) und zeichnen, wie sich die Punkte während des Rückwärtsprozesses zu Buchstaben zusammensetzen.

Siehst du das anders? Schreib an support@coden-app.com.

Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird

1. Vorwärtsprozess: ein Bild löst sich im Rauschen auf

2. Rückwärtsprozess: ein Netz, das das Rauschen errät

3. Acht Cluster ohne Kollaps

4. Wie viele Schritte nötig sind

5. Ziffern: drei Generatoren im Vergleich

6. Von Ziffern zu Bildern nach Text

7. Zusammenfassung

Ein Agent auf deinem Rechner, vom Telefon aus gesteuert