Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum

Generatives Modell mit latenter Variable, ein VAE von Grund auf mit Reparametrisierungstrick, ein geordneter latenter Raum, Ziffern aus Rauschen im Vergleich zum gewöhnlichen Autoencoder, der Einfluss von β und der Kollaps, Interpolation und wo VAEs eingesetzt werden.

12 Minuten Matěj Žalmánek 2026-10-16

Serie KI-Grundlagen Teil 44 von 52

1. Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst
2. Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen
3. Daten, Modell, Training, Inferenz: die Grundbegriffe an einem einzigen Beispiel
4. Mathematische Notation lesen: Symbole, Indizes, Summen und Quantoren
5. Mengen und Relationen: der Baukasten, aus dem Definitionen in der KI bestehen
6. Funktionen und Abbildungen: warum jedes KI-Modell eine Funktion ist
7. Logik und Beweise: die Regeln, nach denen KI schließt
8. Graphen und Bäume: die Struktur, auf der Suche und neuronale Netze stehen
9. Lineare Algebra für maschinelles Lernen: Vektoren, Matrizen und warum KI vor allem multipliziert
10. Ableitungen, Gradient und Kettenregel: wie ein Modell herausfindet, in welche Richtung es lernen soll
11. Gradientenabstieg: wie ein Modell lernt
12. Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen
13. Bedingte Wahrscheinlichkeit und der Satz von Bayes: wie du deine Einschätzung änderst, wenn du etwas Neues erfährst
14. Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät
15. Dichtefunktion und Wahrscheinlichkeitsfunktion: warum eine stetige Zufallsvariable in einem Punkt die Wahrscheinlichkeit null hat
16. Erwartungswert, Varianz und Kovarianz: wo eine Verteilung liegt, wie breit sie ist und was womit zusammenhängt
17. Überblick über Wahrscheinlichkeitsverteilungen: Bernoulli-, Binomial-, Poisson-, Gleich-, Normal- und Exponentialverteilung
18. Gesetz der großen Zahlen und zentraler Grenzwertsatz: Warum sich Durchschnitte so vorhersagbar verhalten
19. Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle
20. Informationstheorie: Entropie, Kreuzentropie und KL-Divergenz — woher Verlustfunktionen kommen
21. Zustandsraumsuche: BFS, DFS, UCS und A* mit Animationen
22. Spiele und Gegner: Minimax, Alpha-Beta-Suche und Monte Carlo Tree Search
23. Constraint Satisfaction: Backtracking, Constraint-Propagierung und AC-3 an Sudoku und einer Karte tschechischer Regionen
24. Logik und wissensbasierte Systeme: Vorwärts- und Rückwärtsverkettung, Resolution und Expertensysteme
25. Planung: STRIPS, die Blockwelt, Heuristiken aus Relaxierung und Planung in KI-Agenten
26. Lokale Suche und simulierte Abkühlung: ein Handlungsreisender durch die tschechischen Regionalhauptstädte
27. Genetische Algorithmen: Population, Kreuzung, Mutation und Selektion am Rucksack für die Wanderung
28. Evolutionsstrategien und genetische Programmierung: von der 1/5-Erfolgsregel zum Keplerschen Gesetz
29. Ameisenkolonieoptimierung: wie eine Pheromonspur einen kurzen Weg findet
30. Partikelschwarmoptimierung: Trägheit, eigene Erfahrung und die Erfahrung des Schwarms
31. Neuroevolution: Evolution der Gewichte und der Gestalt neuronaler Netze und der Algorithmus NEAT
32. Fuzzy-Mengen und Zugehörigkeitsfunktionen: wie man „etwas warm“ aufschreibt
33. Fuzzy-Logik und Wahrscheinlichkeit: warum „etwas warm“ nicht „wahrscheinlich warm“ bedeutet
34. Fuzzy-Logik: t-Normen, Implikationen und WENN–DANN-Regeln
35. Fuzzy-Regelung: Mamdani und Sugeno vom Ventilator bis zum Pendel auf dem Wagen
36. Fuzzy-Clustering: der Algorithmus fuzzy c-means und Punkte zwischen den Clustern
37. Neuro-Fuzzy-Systeme (ANFIS): Fuzzy-Regeln, die aus Daten lernen
38. Markow-Ketten: Übergangsmatrix, stationäre Verteilung und PageRank
39. Hidden-Markov-Modelle: der Viterbi-Algorithmus und das unehrliche Kasino
40. Bayessche Netze: warum das Gras nass ist und was das für den Rasensprenger bedeutet
41. Der Kalman-Filter: wie man aus ungenauen Messungen schätzt, wo ein Auto ist und wie schnell es fährt
42. Arten des maschinellen Lernens: überwacht, unüberwacht, halbüberwacht und mehr
43. Prompts, Kontext und RAG: wie man einem Modell die richtigen Informationen gibt
44. Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum
45. Generative Adversarial Networks (GAN): der Fälscher gegen den Detektiv
46. Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird
47. Markow-Entscheidungsprozesse: Zustände, Aktionen, Belohnungen und Bellman-Gleichungen
48. Q-Learning und DQN: den Wert von Aktionen lernen, von der Tabelle bis zum neuronalen Netz
49. Policy Gradient und PPO: die Strategie direkt lernen
50. Wie ein KI-Agent funktioniert: ein Sprachmodell in einer Schleife mit Werkzeugen
51. Programmieren mit KI-Agenten: Auftrag, Tests und Kontrolle
52. Bewertung und Sicherheit von KI-Systemen: wie man misst und wie man überwacht

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

Der Autoencoder aus dem Teil über Repräsentationen kann ein Bild in ein paar Zahlen pressen und es aus ihnen wieder zusammensetzen. Da liegt eine Frage nahe: Wenn der Decoder aus einem Code eine Ziffer machen kann, könnten wir ihm dann nicht einen Code geben, den wir uns ausgedacht haben, und eine neue Ziffer bekommen, die niemand gezeichnet hat? Beim gewöhnlichen Autoencoder funktioniert das kaum. Der Variational Autoencoder ist eine Abwandlung davon, die genau das möglich macht — und er ist das erste der generativen Modelle, mit denen wir uns in diesem Abschnitt der Serie beschäftigen.

Er baut auf den Teilen Autoencoder und Repräsentationen und Informationstheorie (KL-Divergenz) auf.

1. Von der Kompression zur Generierung

Definition — generatives Modell

Ein generatives Modell lernt aus Daten x₁, …, x_n eine Verteilung p(x), aus der man Stichproben ziehen kann — also neue x erzeugen, die wie die Daten aussehen, aber keine Kopien davon sind. Modelle mit einer latenten Variable tun das in zwei Schritten: Sie ziehen einen Code z aus einer einfachen Verteilung p(z) (etwa der Normalverteilung), und der Decoder berechnet daraus x.

p(x) = ∫ p(x | z) · p(z) dz

p(z)

Verteilung des Codes (Prior) — wir wählen sie selbst und einfach, bei uns N(0, I), weil wir beim Generieren dann aus ihr ziehen können

p(x | z)

Decoder — wie wahrscheinlich das Bild x ist, wenn wir den Code z bekommen; bei uns ein Netz, das für jedes Pixel die Wahrscheinlichkeit liefert, dass es leuchtet

∫ … dz

Summe über alle möglichen Codes — das Bild könnte aus jedem beliebigen Code entstanden sein; das Integral über den ganzen latenten Raum können wir aber nicht berechnen, deshalb ersetzt der VAE es durch eine Schätzung (unten)

Der Haken beim gewöhnlichen Autoencoder: Wir wissen nicht, woher wir den Code ziehen sollen. Der Encoder legt die Ziffern im latenten Raum ab, wo es ihm gefällt. Bei unserem Netz mit zweidimensionalem Code liegen die Codes der Testziffern um den Punkt (-3,9; -0,9) mit der Standardabweichung 4,3 und 6,0, und zwischen den Gruppen gibt es Löcher, in denen der Decoder nie etwas gesehen hat.

2. Variational Autoencoder

Definition — Variational Autoencoder (VAE)

Ein VAE (Diederik Kingma und Max Welling, 2013) hat einen Encoder, der für ein Bild x nicht einen Punkt liefert, sondern eine Normalverteilung q(z | x) = N(μ(x), diag σ²(x)). Er lernt, indem er den Verlust

L = −E_{z ~ q}[log p(x | z)] + β · KL(q(z | x) ‖ N(0, I))

minimiert, wobei der erste Term der Rekonstruktionsfehler ist (bei uns die binäre Kreuzentropie der Pixel) und der zweite eine Strafe dafür, wie stark sich die Verteilung des Codes von der Standardnormalverteilung unterscheidet. Für Normalverteilungen gilt KL = ½ ∑_j (μ_j² + σ_j² − log σ_j² − 1). Mit β = 1 ist −L eine untere Schranke der Log-Likelihood der Daten (ELBO).

L(x) = −E_{z ~ q(z | x)}[ log p(x | z) ] + β · KL( q(z | x) ‖ N(0, I) )

−E_{z ~ q}[log p(x | z)]

Rekonstruktionsfehler — wie schlecht der Decoder x aus einem Code zeichnet, der aus dem Wölkchen gezogen wurde. Der Erwartungswert über das ganze Wölkchen (nicht nur seine Mitte) zwingt den Decoder, in der ganzen Umgebung des Codes richtig zu zeichnen; das Minus steht da, weil wir den Logarithmus der Wahrscheinlichkeit möglichst groß und den Verlust möglichst klein haben wollen

β

Gewicht der Strafe — stellt den Kompromiss zwischen Genauigkeit und Ordnung im Raum ein; β = 1 ist genau der ELBO, andere Werte probieren wir im Abschnitt über β aus

KL(q(z | x) ‖ N(0, I))

Abstand des Wölkchens von der Verteilung, aus der wir ziehen werden — ohne ihn würde der Encoder die Wölkchen zu Punkten schrumpfen und weit auseinander verstreuen (die Rekonstruktion wäre besser), und wir hätten wieder einen gewöhnlichen Autoencoder

KL = ½ ∑_j=1^k ( μ_j² + σ_j² − log σ_j² − 1 )

KL

Strafterm aus der vorigen Formel, für Normalverteilungen exakt berechnet; die Koordinaten des Codes sind unabhängig, deshalb ist es eine Summe über j

μ_j²

Verschiebung der Wölkchenmitte vom Ursprung — wächst quadratisch, sodass weit entfernte Codes viel kosten und der Encoder sie zur Null zieht, wo wir ziehen werden

σ_j² − log σ_j²

Breite des Wölkchens — die Funktion s − log s hat ihr Minimum 1 genau bei s = 1; sie bestraft ein zu breites Wölkchen, vor allem aber ein zu schmales (−log σ² → ∞ für σ → 0), damit aus dem Wölkchen kein Punkt wird

Satz — der ELBO ist eine untere Schranke der Log-Likelihood

Für jede Verteilung q(z | x) gilt

log p(x) = E_q[log p(x | z)] − KL(q(z | x) ‖ p(z)) + KL(q(z | x) ‖ p(z | x)) ≥ E_q[log p(x | z)] − KL(q(z | x) ‖ p(z)).

Beweis. log p(x) hängt nicht von z ab, ist also gleich seinem Erwartungswert über q. Nach dem Satz von Bayes ist p(x) = p(x | z) p(z) / p(z | x); den Bruch erweitern wir mit q(z | x) / q(z | x):

log p(x) = E_q[log p(x | z)] + E_q[log (p(z) / q(z | x))] + E_q[log (q(z | x) / p(z | x))].

Der zweite Term ist −KL(q ‖ p(z)), der dritte KL(q ‖ p(z | x)). Die KL-Divergenz ist immer nichtnegativ (Gibbs-Ungleichung aus dem Teil über Informationstheorie), also erhalten wir durch Weglassen des dritten Terms die Ungleichung. ∎

Die rechte Seite ist der ELBO (evidence lower bound), und mit β = 1 ist das genau −L. Indem wir L minimieren, heben wir also die untere Schranke von log p(x) an, ohne das Integral berechnen zu müssen. Gleichheit tritt ein, wenn q(z | x) mit der tatsächlichen A-posteriori-Verteilung p(z | x) übereinstimmt.

Definition — binäre Kreuzentropie der Pixel

Der Decoder liefert für jedes der 64 Pixel eine Zahl y_j ∈ (0, 1) und fasst sie als Wahrscheinlichkeit auf, dass das Pixel leuchtet. Für ein Bild mit Helligkeiten x_j ∈ [0, 1] ist

−log p(x | z) = −∑_j=1⁶⁴ [ x_j log y_j + (1 − x_j) log(1 − y_j) ].

Beispiel für ein Pixel: Es leuchtet (x = 1), und der Decoder sagt 0,9 → −ln 0,9 ≈ 0,105; er sagt 0,5 → ln 2 ≈ 0,693; es leuchtet nicht (x = 0), und der Decoder sagt 0,9 → −ln 0,1 ≈ 2,303. Ein selbstsicherer Irrtum kostet am meisten. Weil die Ausgabe eine Sigmoidfunktion ist, ist die Ableitung nach dem Eingang der Sigmoidfunktion einfach y_j − x_j — genau wie bei der logistischen Regression.

Definition — Reparametrisierungstrick (reparameterization trick)

Das Ziehen z ~ N(μ, σ²) lässt sich nicht nach μ und σ ableiten. Man schreibt es deshalb als z = μ + σ · ε, wobei ε ~ N(0, 1) ein von den Parametern unabhängiges Rauschen ist. Dann ist ∂z/∂μ = 1 und ∂z/∂σ = ε, und der Gradient gelangt per Backpropagation bis in den Encoder.

z_j = μ_j(x) + σ_j(x) · ε_j,   σ_j = exp(½ · log σ_j²),   ε_j ~ N(0, 1)

μ_j(x)

Mitte des Wölkchens, Ausgabe des Encoders — ∂z/∂μ = 1, der Gradient des Decoders gelangt unverändert in den Encoder

σ_j(x)

Breite des Wölkchens — der Encoder liefert nicht σ, sondern log σ², das jede reelle Zahl sein darf; die Exponentialfunktion macht daraus immer eine positive Breite, sodass das Netz keine Nebenbedingung einhalten muss. ∂z/∂σ = ε

ε_j ~ N(0, 1)

der gesamte Zufall — hängt von keinem Parameter ab, also müssen wir durch ihn nichts ableiten; beim Generieren lassen wir den Encoder weg und ziehen z direkt aus N(0, I)

Beispiel — eine Testziffer (0) im trainierten VAE mit k = 2

Encoder: μ = (0,285; 1,587),   log σ² = (−2,695; −1,931) → σ = (0,260; 0,381)

KL₁ = ½ (0,081 + 0,068 + 2,695 − 1) ≈ 0,922

KL₂ = ½ (2,518 + 0,145 + 1,931 − 1) ≈ 1,797   → KL ≈ 2,72 Nat

Reparametrisierung mit ε = (0,5; −1,0): z = (0,285 + 0,260 · 0,5; 1,587 − 0,381 · 1,0) = (0,415; 1,206)

Den Großteil der Strafe macht hier nicht der Abstand vom Ursprung aus, sondern die Schmalheit des Wölkchens: Der Term −log σ² trägt 2,695 und 1,931 bei. Der Encoder hätte den Code gern möglichst genau, die KL hält ihn breiter. Die durchschnittliche KL über die Testziffern beträgt 3,42 Nat. Der Rekonstruktionsfehler dieser Ziffer (aus der Mitte μ) beträgt 34,6 Nat auf 64 Pixel.

def krok_vae(davka, beta=1.0):
    for x in davka:
        mu, logvar = koder(x)                  # k + k Zahlen
        sigma = exp(0.5 * logvar)
        eps = normal(0, 1, size=len(mu))       # Zufall von außen
        z = mu + sigma * eps                   # Reparametrisierungstrick
        y = dekoder(z)                         # Pixelwahrscheinlichkeiten
        rek = -sum(x * log(y) + (1 - x) * log(1 - y))
        kl = 0.5 * sum(mu**2 + exp(logvar) - logvar - 1)
        zpetne_sireni(rek + beta * kl)         # Gradient fließt z → mu, sigma → Encoder
    adam_krok()                                # mittlerer Gradient des Batches

Unser Netz: 64 Pixel → 32 Neuronen (tanh) → μ und log σ² (je k Zahlen) → 32 Neuronen → 64 Pixel (Sigmoidfunktion), trainiert mit Adam über 150 Epochen auf 600 synthetischen Ziffern. Dasselbe Netz, nur ohne das Rauschen ε und ohne den KL-Strafterm, ist ein gewöhnlicher Autoencoder — der Vergleich ist also fair.

3. Ein geordneter latenter Raum

Beide Netze gruppieren gleiche Ziffern zusammen. Der Autoencoder verstreut sie aber über eine große Fläche — beide Kreise der Normalverteilung sind im Vergleich dazu klein. Die Codes des VAE liegen um den Ursprung mit der Standardabweichung 1,14 und 1,04, also genau dort, woher wir ziehen werden.

Wie der ganze Raum aussieht, zeigt ein Gitter: regelmäßig verteilte Punkte des latenten Raums, jeder durch den Decoder geschickt.

Beim VAE gehen die Ziffern fließend ineinander über, und fast jedes Feld ist eine lesbare Ziffer. Um ehrlich zu sein: In der Ebene ist auch der Decoder des Autoencoders recht glatt, und sein Gitter enthält ebenfalls hauptsächlich Ziffern. Den Unterschied zeigt erst ein Code mit mehr Dimensionen in voller Deutlichkeit.

4. Generieren: neue Ziffern aus Rauschen

Wir ziehen 200 Codes und lassen sie decodieren: beim VAE aus N(0, I), beim Autoencoder (damit er eine faire Chance hat) aus einer Normalverteilung, die an seine tatsächlichen Codes angepasst ist. Die Qualität messen wir am Abstand (mittlere quadratische Abweichung) der Stichprobe zur nächstgelegenen Trainingsziffer. Echte Testziffern haben zur nächstgelegenen Trainingsziffer durchschnittlich 0,017, zufälliges Rauschen 0,159.

Definition — Abstand zur nächstgelegenen Trainingsziffer und angepasste Verteilung

Für eine Stichprobe y ∈ [0, 1]⁶⁴ und Trainingsziffern x⁽¹⁾, …, x⁽⁶⁰⁰⁾ ist

d(y) = min_i (1/64) ∑_j=1⁶⁴ (y_j − x⁽ⁱ⁾_j)²,

also die mittlere quadratische Abweichung (MSE) zur ähnlichsten Ziffer; die Qualität des Generators ist der Durchschnitt von d über 200 Stichproben. Ein kleines d bedeutet „sieht aus wie eine echte Ziffer“ — Vorsicht: Null bekäme auch ein Generator, der nur die Trainingsdaten kopiert.

Der Autoencoder zieht aus z_j = m_j + s_j · ε_j, wobei m_j und s_j Mittelwert und Standardabweichung der j-ten Koordinate der Codes der Testziffern sind (für k = 2: m = (−3,9; −0,9), s = (4,3; 6,0)). Die Koordinaten werden unabhängig gezogen — eine etwaige Abhängigkeit zwischen ihnen erfasst die angepasste Verteilung nicht.

Mit zweidimensionalem Code schneiden beide Netze ähnlich ab (0,042 gegenüber 0,044). Mit acht Dimensionen bricht der Autoencoder ein: Seine Stichproben haben den Abstand 0,090, mehr als auf halbem Weg zum Rauschen, während der VAE bei 0,054 bleibt. Mit sechzehn sind es 0,112 gegenüber 0,055. Die Codes des Autoencoders liegen in vielen Dimensionen auf einer dünnen, verbogenen Fläche, und ein zufälliger Punkt aus der angepassten Normalverteilung trifft sie praktisch nie.

Der Preis: Der VAE rekonstruiert schlechter. Mit k = 16 beträgt sein Rekonstruktionsfehler 0,039 gegenüber 0,017 beim Autoencoder, und seine Bilder sind unschärfer. Der Code ist verrauscht, also lernt der Decoder, den „Durchschnitt“ dessen zu zeichnen, was in der Umgebung des Codes sein könnte. Die Unschärfe ist eine bekannte Schwäche von VAEs.

5. Rekonstruktion gegen Ordnung: β

Das Gewicht β bestimmt, wie stark der KL-Strafterm die Codes zur Normalverteilung drückt. Fünf VAEs mit Code k = 2 und verschiedenem β:

Ein kleines β lässt den Codes mehr Freiheit (KL 8,2), und die Rekonstruktion ist genauer. Ein großes β drückt sie zur Null. Bei β = 5 sinkt die KL auf 0,05: Der Encoder hat aufgehört, irgendetwas im Code zu speichern, und der Decoder zeichnet immer ungefähr dasselbe, egal welchen Code er bekommt. Das nennt man Posterior-Kollaps (posterior collapse).

Definition — Nat und KL als Preis des Codes

Das Nat ist die Informationseinheit mit dem natürlichen Logarithmus: 1 Nat = 1 / ln 2 ≈ 1,443 Bit. Die durchschnittliche KL über die Daten beschränkt die gegenseitige Information zwischen Bild und Code nach oben:

E_x KL(q(z | x) ‖ p(z)) = I(x; z) + KL(q(z) ‖ p(z)) ≥ I(x; z),

wobei q(z) = E_x q(z | x) die Verteilung der Codes aller Bilder zusammen ist. Die KL ist also der „Preis“, den der Encoder für das bezahlt, was er über das Bild im Code speichert.

Bei β = 0,1 sind das höchstens 8,18 Nat ≈ 11,8 Bit pro Bild, bei β = 5 nur 0,05 Nat ≈ 0,07 Bit — weniger als ein Zehntel Bit; der Code sagt also fast nichts über das Bild, und dem Decoder bleibt nichts anderes übrig, als immer dasselbe zu zeichnen.

Umgekehrt setzt der β-VAE (Irina Higgins u. a., 2017) bewusst β größer als 1 ein: Der stärkere Druck auf unabhängige Koordinaten des Codes führt dazu, dass einzelne Dimensionen oft verständlichen Eigenschaften entsprechen (Drehung, Strichstärke).

6. Fließende Übergänge

Wir nehmen die Codes zweier Testziffern (Netze mit achtdimensionalem Code, von jeder Ziffer das Bild, das der VAE am besten rekonstruiert) und gehen in acht Schritten die Gerade zwischen ihnen entlang: z(t) = (1 − t) · z_a + t · z_b für t = 0, 1/7, 2/7, …, 1, wobei z_a, z_b die Mitten μ beider Ziffern sind. Jeden Zwischenpunkt decodieren wir.

Der Übergang ist bei beiden Netzen fließend: Die Zwischenschritte sind glaubwürdige Formen zwischen beiden Ziffern. Auf der Geraden zwischen zwei echten Codes entfernen wir uns nicht weit von den Daten, deshalb fällt der gewöhnliche Autoencoder hier nicht zurück — seine Schwäche ist nur das blinde Ziehen. Dasselbe Prinzip erlaubt es bei großen Modellen, etwa den Gesichtsausdruck oder den Bildstil fließend zu verändern.

7. Wo VAEs eingesetzt werden

• Kompression für andere Generatoren. Stable Diffusion (latente Diffusion, Robin Rombach u. a., 2022) arbeitet nicht mit Pixeln, sondern mit dem Code eines Autoencoders mit kleinem KL-Strafterm: Ein Bild 512 × 512 × 3 wird auf 64 × 64 × 4 gepresst, und die Diffusion läuft in diesem kleineren Raum. Der Diffusion widmet sich einer der nächsten Teile.
• Diskrete Codes. VQ-VAE (Aäron van den Oord u. a., 2017) wählt statt eines stetigen Codes Einträge aus einem gelernten Wörterbuch. Ein Bild wird so zu einer Folge von „Tokens“, die ein Transformer generieren kann.
• Wissenschaftliche Daten. Moleküle, Zelldaten, Audio — überall, wo ein glatter Raum nützlich ist, in dem man suchen und interpolieren kann.

Bei der Bildschärfe verlieren VAEs gegen GANs und Diffusionsmodelle. Dafür haben sie ein stabiles Training, eine echte probabilistische Interpretation und einen Encoder gratis dazu.

8. Zusammenfassung

• Ein generatives Modell lernt die Verteilung der Daten, um aus ihr Stichproben ziehen zu können; mit einer latenten Variable zieht es einen Code und decodiert ihn.
• Der VAE codiert in eine Verteilung N(μ, σ²), und der Verlust = Rekonstruktion + β · KL zu N(0, I). Der Trick z = μ + σε macht das Ziehen ableitbar.
• Die Codes des VAE liegen um den Ursprung und füllen den Raum aus; die Codes des Autoencoders sind verstreut und voller Löcher.
• Mit 8 Dimensionen des Codes: Stichproben des Autoencoders 0,090, des VAE 0,054 (echte Ziffern 0,017, Rauschen 0,159).
• Der Preis sind schlechtere Rekonstruktion und Unschärfe; ein zu großes β führt zum Kollaps (KL 0,05).

Willst du es selbst ausprobieren? Lass einen KI-Agenten einen VAE mit zweidimensionalem Code auf dem Datensatz MNIST trainieren und ein Gitter decodierter Bilder zeichnen — du siehst dann die ganze „Landkarte“ handgeschriebener Ziffern.

Siehst du das anders? Schreib an support@coden-app.com.