Difúzní modely: jak se z čistého šumu stane obrázek

Dopředný proces přidávání šumu, síť, která odhaduje šum, DDPM a DDIM napsané od nuly, osm shluků bez zhroucení módů, kolik kroků vzorkování je potřeba, srovnání s VAE a GAN na číslicích a cesta k obrázkům podle textu.

12 minut Matěj Žalmánek 2026-10-16

Série Základy AI Díl 77 z 83

Celá osnova série 83 z 83 témat hotovo

Co si odnesete

Jak funguje dopředný a zpětný proces difúze.
Proč se difúze učí stabilněji než GAN a co stojí počet kroků.
Jak se z difúze stane generátor obrázků podle textu.

Co se hodí znát předem: Generativní adversariální sítě (GAN): padělatel proti detektivovi, Variační autoenkodéry (VAE): nové obrázky ze spojitého latentního prostoru

Stable Diffusion, Midjourney, DALL·E 3 i modely, které generují video, stojí na stejném nápadu, a ten je překvapivě prostý. Je snadné obrázek zničit — stačí do něj postupně přidávat šum, až zbude jen šum. Kdybychom se naučili každý malý krok vrátit, mohli bychom začít z čistého šumu a krok po kroku z něj vyloupnout obrázek. V tomhle dílu to naprogramujeme od nuly a porovnáme s VAE a GAN na stejných datech.

Navazuje na díly Generativní adversariální sítě a Variační autoenkodéry.

1. Dopředný proces: obrázek se rozpouští v šumu

Definice — dopředný (difúzní) proces

Nechť d ≥ 1 je rozměr dat, x₀ ∈ ℝ^d obrázek z dat, T ≥ 1 počet kroků a β₁, …, β_T ∈ (0, 1) plán rozptylů. Nechť ε₁, …, ε_T ~ N(0, I) jsou navzájem nezávislé náhodné vektory, nezávislé na x₀ (I je jednotková matice d × d). Dopředný (difúzní) proces je posloupnost náhodných vektorů x₁, …, x_T ∈ ℝ^d daná rekurencí

x_t = √1 − β_t · x_t−1 + √β_t · ε_t, t = 1, …, T.

Označme

ᾱ_t = ∏_s=1^t (1 − β_s) pro t = 1, …, T, ᾱ₀ = 1.

Pak pro každé t platí uzavřený tvar (věta níže)

x_t = √ᾱ_t · x₀ + √1 − ᾱ_t · ε, ε ~ N(0, I) nezávislé na x₀,

tj. při daném x₀ má x_t rozdělení N(√ᾱ_t x₀, (1 − ᾱ_t) I). Posloupnost ᾱ_t je klesající, a když je pro dost velké t téměř nulová, má x_t téměř rozdělení N(0, I) — čistý šum, ve kterém po x₀ nezůstala skoro žádná stopa.

Laicky řečeno

Kapka inkoustu ve sklenici vody: chvíli je vidět tvar kapky, pak se rozplývá, nakonec je voda rovnoměrně nabarvená a původní tvar se nedá poznat. Uzavřený vzorec říká, že ke kterémukoli okamžiku se dá skočit přímo — nemusíme simulovat všechny kroky.

x_t = √ᾱ_t · x₀ + √1 − ᾱ_t · ε

x_t: zašuměný obrázek v kroku t — přesně to, co síť při učení dostane na vstup
√ᾱ_t: kolik zbylo z původního obrázku; ᾱ_t je součin všech (1 − β_s) do kroku t, takže s každým krokem klesá
x₀: původní obrázek z dat
√1 − ᾱ_t: kolik je tam šumu; odmocniny jsou proto, že se sčítají rozptyly: (√ᾱ)² + (√1 − ᾱ)² = 1, takže data s rozptylem 1 mají rozptyl 1 v každém kroku a na konci plynule přejdou v N(0, I)
ε: jeden vzorek šumu z N(0, I) — právě ten bude síť hádat; že ho známe, dělá z učení obyčejnou regresi

Věta — proč stačí jeden skok

Nechť x₀, x₁, …, x_T je dopředný proces s plánem β₁, …, β_T ∈ (0, 1) a ᾱ_t = ∏_s=1^t (1 − β_s). Pak pro každé t = 1, …, T existuje náhodný vektor ε ~ N(0, I) nezávislý na x₀ takový, že

x_t = √ᾱ_t x₀ + √1 − ᾱ_t ε.

Důkaz. Indukcí podle t. Pro t = 1 je to přímo definice kroku, protože ᾱ₁ = 1 − β₁. Nechť tvrzení platí pro t − 1, tj. x_t−1 = √ᾱ_t−1 x₀ + √1 − ᾱ_t−1 ε′ s ε′ ~ N(0, I) nezávislým na x₀. Dosadíme do kroku t:

x_t = √1 − β_t √ᾱ_t−1 x₀ + √1 − β_t √1 − ᾱ_t−1 ε′ + √β_t ε_t.

První člen je √ᾱ_t x₀, protože ᾱ_t = (1 − β_t) ᾱ_t−1. Zbylé dva jsou nezávislé normální vektory se středem 0 (ε′ závisí jen na x₀ a ε₁, …, ε_t−1); jejich součet je opět normální se středem 0 a rozptyly se sečtou:

(1 − β_t)(1 − ᾱ_t−1) + β_t = 1 − (1 − β_t) ᾱ_t−1 = 1 − ᾱ_t.

Součet je tedy roven √1 − ᾱ_t ε pro ε ~ N(0, I) nezávislé na x₀. ∎

Příklad — náš plán šumu v číslech

β roste lineárně: β_t = β₁ + (β_T − β₁) · t − 1/T − 1, tedy o β_T − β₁/T − 1 = 0,00101 na krok.

`t`	β_t	ᾱ_t	√ᾱ_t (signál)	√1 − ᾱ_t (šum)
1	0,00010	0,9999	1,000	0,010
2	0,00111	0,9988	0,999	0,035
25	0,02432	0,7351	0,857	0,515
37	0,03643	0,5045	0,710	0,704
38	0,03744	0,4856	0,697	0,717
50	0,04955	0,2830	0,532	0,847
100	0,10000	0,0056	0,075	0,997

Druhý řádek ověříme ručně: ᾱ₂ = (1 − β₁)(1 − β₂) = 0,9999 · 0,99889 = 0,99879. Signál a šum se vyrovnají (ᾱ = 0,5) mezi kroky 37 a 38; v kroku 100 má původní obrázek váhu jen 0,075 proti 0,997 u šumu (barvy podle vzorce výše).

U nás T = 100 a β roste lineárně od 0,0001 do 0,1. Podíl původního signálu √ᾱ_t je v kroku 25 0,86, v kroku 50 0,53 a v kroku 100 už jen 0,07.

Trojka v dopředném procesu (zleva t = 0, 10, 25, 50, 75, 100)

2. Zpětný proces: síť, která hádá šum

Definice — DDPM (denoising diffusion probabilistic model)

Nechť T, β₁, …, β_T a ᾱ_t jsou jako v dopředném procesu, p_data je rozdělení dat na ℝ^d a ε_θ : ℝ^d × {1, …, T} → ℝ^d je neuronová síť s parametry θ, která ze zašuměného obrázku a čísla kroku odhaduje přidaný šum. DDPM (denoising diffusion probabilistic model; Jonathan Ho, Ajay Jain a Pieter Abbeel, 2020; myšlenka Jaschy Sohl-Dicksteina a kol., 2015) je dvojice postupů:

Učení: parametry θ se volí minimalizací střední kvadratické chyby L(θ) = E_{x₀, t, ε} ‖ε − ε_θ(√ᾱ_t x₀ + √1 − ᾱ_t ε, t)‖², kde x₀ ~ p_data, t je rovnoměrně rozdělené na {1, …, T}, ε ~ N(0, I) a všechny tři jsou nezávislé.
Vzorkování (vstup: naučená síť ε_θ; výstup: vzorek x₀ ∈ ℝ^d):
1. vylosuj x_T ~ N(0, I);
2. pro t = T, T − 1, …, 1 vylosuj z ~ N(0, I) (pro t = 1 polož z = 0) a spočítej x_t−1 = 1/√1 − β_t (x_t − β_t/√1 − ᾱ_t · ε_θ(x_t, t)) + √β_t · z;
3. po kroku t = 1 vrať x₀.

Síť se tedy učí obyčejnou regresí odhadnout šum a při vzorkování ho krok po kroku odečítá.

Laicky řečeno

Síť dostane rozmazanou, zašuměnou fotku a otázku „kolik šumu v ní je a jak vypadá?“. Když ho umí odhadnout, umí ho i trochu odečíst. Opakujeme stokrát, pokaždé s trochou čerstvé náhody — a ze šumu se vynoří obrázek. Učení je přitom obyčejná regrese: žádný soupeř jako u GAN, žádné kompromisy jako u VAE.

L(θ) = E_{x₀, t, ε} ‖ε − ε_θ(√ᾱ_t x₀ + √1 − ᾱ_t ε, t)‖²

ε: šum, který jsme do obrázku sami přidali — správná odpověď, proto ho známe bez jakéhokoli označování dat
ε_θ(…, t): odhad šumu sítí; dostává i číslo kroku t, protože při t = 2 má šumu najít málo a při t = 100 je v x_t skoro jen šum
√ᾱ_t x₀ + √1 − ᾱ_t ε: zašuměný obrázek x_t vyrobený jedním skokem — díky uzavřenému vzorci se pro každý příklad stačí vylosovat t a ε, nic se nesimuluje krok po kroku

Střední hodnota je přes obrázky z dat, rovnoměrně vylosovaný krok t ∈ {1, …, T} a šum ε ~ N(0, I); v praxi průměr přes dávku. Ho a kol. tuhle jednoduchou ztrátu dostali zjednodušením variační dolní meze (té, kterou optimalizuje i VAE) — vypustili v ní váhy jednotlivých kroků.

x_t−1 = 1/√1 − β_t · (x_t − β_t/√1 − ᾱ_t · ε_θ(x_t, t)) + √β_t · z

x_t: současný zašuměný stav — začíná se od čistého šumu x_T ~ N(0, I)
ε_θ(x_t, t): odhad šumu, který v x_t je
β_t/√1 − ᾱ_t: jak velký kus odhadnutého šumu odečíst — jen podíl odpovídající jednomu kroku (β_t), přepočtený na celkovou úroveň šumu √1 − ᾱ_t; u nás 0,01 v kroku 1 a 0,10 v kroku 100
1/√1 − β_t: vrací zmenšení z dopředného kroku (tam se násobilo √1 − β_t); v kroku 100 je to 1,054
√β_t · z: čerstvý šum z ~ N(0, I) (v posledním kroku z = 0) — zpětný proces je náhodný jako dopředný; bez něj by se vzorky stahovaly k průměrným obrázkům. Velikost √β_t je jedna ze dvou voleb, které Ho a kol. zkoušeli

Závorka vynásobená prvním činitelem je odhad středu obrázku o krok méně zašuměného; pak se k němu přidá tolik náhody, kolik jí do kroku patří.

# učení (DDPM)
opakuj 16 000×:
    pro každý z 64 příkladů dávky:
        x₀ = náhodný příklad z dat
        t  = náhodně z 1 … 100
        ε  = vektor náhodných čísel z N(0, 1)
        x_t = √ᾱ_t · x₀ + √(1 − ᾱ_t) · ε
        chyba = ‖ε − ε_θ(x_t, kód(t))‖² / rozměr
    krok Adamu na průměrné chybě

# vzorkování (DDPM, 100 kroků)
x = vektor z N(0, 1)
pro t = 100, 99, …, 1:
    ε̂ = ε_θ(x, kód(t))
    z = vektor z N(0, 1), v kroku t = 1 nula
    x = (x − β_t / √(1 − ᾱ_t) · ε̂) / √(1 − β_t) + √β_t · z
vrať x

Definice — sinusový kód času

Nechť T ≥ 1 je počet kroků a t ∈ {1, …, T}. Sinusový kód času je vektor kód(t) ∈ [−1, 1]⁸,

kód(t) = (sin πt/T, cos πt/T, sin 2πt/T, cos 2πt/T, sin 4πt/T, cos 4πt/T, sin 8πt/T, cos 8πt/T),

tj. dvojice (sin fπt/T, cos fπt/T) pro frekvence f = 1, 2, 4, 8. Síť dostane místo čísla t těchto osm čísel. Pomalé frekvence říkají „zhruba kde v procesu jsme“, rychlé rozliší sousední kroky; všechna čísla jsou mezi −1 a 1, takže žádný vstup nepřeváží ostatní.

Pro t = 25 (čtvrtina procesu, úhly π/4, π/2, π a 2π): kód(25) = (0,707; 0,707; 1,000; 0,000; 0,000; −1,000; 0,000; 1,000).

Naše síť je obyčejná vícevrstvá síť z dílu o GAN: na vstupu x_t a osm čísel sinusového kódu času t (jako poziční kódování v transformeru), na výstupu odhad šumu. Na kružnici má dvě skryté vrstvy po 64 neuronech, na číslicích po 128. Učí se Adamem 16 000 kroků.

3. Osm shluků bez zhroucení

Stejná data jako v minulém dílu: osm shluků na kružnici. Takhle vypadá 400 vzorků během zpětného procesu:

Zpětný proces: od šumu (t = 100) k datům (t = 0)

Ještě v kroku 25 jsou body skoro rovnoměrně rozházené (kvalita 3 %), v kroku 10 se rýsuje kružnice a v posledních deseti krocích se body seběhnou do shluků. Na konci jsou pokryté všechny 8 shluky a každý dostal 28 až 50 z 500 vzorků. Kvalita (podíl do 3σ od středu) je 63 %.

Rozdíl proti GAN není v kvalitě, ale ve spolehlivosti. GAN pokryl všech osm shluků jen v jednom ze čtyř běhů; difúze to udělala v jediném běhu, který jsme pustili (jeden běh není důkaz, ale je to v souladu s tím, co se o difúzi ví). Ztráta difúze totiž není hra, ale regrese, a síť je trestána za každý vzorek dat — za žádný shluk se nedá „vykašlat“.

4. Kolik kroků je potřeba

Definice — DDIM

Nechť ε_θ je naučená síť DDPM, ᾱ_t jako v dopředném procesu a ᾱ₀ = 1. Pro časy 0 ≤ s < t ≤ T a stav x_t ∈ ℝ^d definujeme odhad čistého obrázku a krok DDIM z času t do času s:

x̂₀ = x_t − √1 − ᾱ_t ε_θ(x_t, t)/√ᾱ_t, x_s = √ᾱ_s x̂₀ + √1 − ᾱ_s ε_θ(x_t, t).

Vzorkování DDIM s n kroky (Jiaming Song, Chenlin Meng a Stefano Ermon, 2020):

zvol časy T = t_n > t_n−1 > … > t₀ = 0 (u nás rovnoměrně rozložené);
vylosuj x_T ~ N(0, I);
pro i = n, n − 1, …, 1 proveď krok DDIM z času t_i do času t_i−1;
vrať x₀ (v posledním kroku je ᾱ₀ = 1, takže x₀ = x̂₀).

DDIM tedy používá stejnou naučenou síť jako DDPM, ale po volbě x_T už nic nelosuje (je deterministické) a může skákat po libovolně velkých krocích.

Laicky řečeno

Místo sta drobných krůčků uděláme dvacet větších. V každém se síť zeptá „jak by asi vypadal hotový obrázek?“ a podle toho skočí kus cesty. Když jsou skoky moc velké, síť se netrefí.

x_s = √ᾱ_s · x̂₀ + √1 − ᾱ_s · ε_θ(x_t, t), x̂₀ = x_t − √1 − ᾱ_t ε_θ/√ᾱ_t

x_t: stav, ve kterém právě jsme
ε_θ: odhad šumu — tatáž síť jako u DDPM, nic se nepřeučuje
x̂₀: odhad hotového obrázku: uzavřený vzorec dopředného procesu obrácený pro x₀; dělí se √ᾱ_t, které je na začátku malé, takže tady je odhad nejméně přesný
√ᾱ_s: kolik obrázku má být v cílovém čase s — stejný činitel jako v dopředném procesu, jen pro jiný čas
√1 − ᾱ_s: kolik šumu má zůstat; DDIM přitom použije tentýž odhadnutý šum, žádný nový nelosuje — proto je deterministické

Krok je „odšumuj úplně a pak znovu zašum na úroveň času s“. DDIM tak může skočit libovolně daleko.

Příklad — proč dva kroky nestačí (zjednodušeně)

DDIM s n kroky jde po rovnoměrně rozložených časech: s 5 kroky 100 → 80 → 60 → 40 → 20 → 0, se 2 kroky 100 → 50 → 0. První skok je vždy z t = 100, kde √ᾱ₁₀₀ = 0,075.

Když se síť v odhadu šumu splete o δ, splete se odhad x̂₀ o δ · √1 − ᾱ₁₀₀/√ᾱ₁₀₀ = 13,3 δ — chyba se zesílí víc než desetkrát. Po dosazení do skoku do času s se nový stav liší od správného o δ · (√1 − ᾱ_s − √ᾱ_s · 13,3) (barvy podle vzorce DDIM výše):

5 kroků, skok 100 → 80: činitel −1,59,
2 kroky, skok 100 → 50: činitel −6,23,

Při malém skoku se špatný odhad x̂₀ přimíchá s malou vahou √ᾱ₈₀ = 0,19 a další kroky ho opravují. Při skoku do poloviny procesu vejde s vahou √ᾱ₅₀ = 0,53 a zbývá jediný krok. Úvaha sleduje jen jednu chybu v jednom kroku a předpokládá, že jinak síť odhaduje přesně; ukazuje ale, proč jsou první, nejzašuměnější kroky nejcitlivější.

Kvalita a pokrytí na kružnici podle počtu kroků vzorkování DDPM (100 kroků) DDIM nejlepší běh GAN

DDIM s 50 kroky dosáhne kvality 79 % — víc než DDPM se 100 kroky (63 %), nejspíš proto, že nepřidává náhodný šum, který naše nepřesná síť nestihne v posledních krocích odstranit. Ještě s 10 kroky je to 70 %, s 5 kroky 60 %. Při 2 krocích se vzorkování rozpadne (0 %). Počet kroků je hlavní cena difúze: každý krok je jeden průchod sítí, kdežto GAN vygeneruje obrázek jedním průchodem.

5. Číslice: srovnání tří generátorů

Na číslicích 8 × 8 (pixely převedené do rozsahu −1 až 1) se síť učí 16 000 kroků.

Prvních deset vzorků

model	vzdálenost k nejbližší číslici	nejméně zastoupená cifra (z 200)	cifer s méně než 10 vzorky
VAE (k = 8)	0,054	10	0
GAN, semínko 1	0,049	3	3
GAN, semínko 2	0,042	0	6
difúze (100 kroků)	0,063	12	0

Tady je potřeba být poctivý: naše difúze má vzdálenost 0,063, hůř než VAE (0,054) i GAN (0,042). Na obrázcích je vidět zbytkový šum. Zastoupení cifer je ale vyrovnané — nejméně častá cifra má 12 vzorků, u GAN se semínkem 2 chybí dvě cifry úplně.

Proč je ostrost horší? Malá vícevrstvá síť musí odšumovat obrázky ve všech sto úrovních šumu najednou, a to je těžší úloha než jedno zobrazení šum → obrázek u GAN. Zato se poctivě zlepšuje s výpočtem: vzdálenost vzorků klesala během učení 0,096 (krok 4 000), 0,082 (krok 8 000), 0,068 (krok 12 000), 0,063 (krok 16 000) (rychlý odhad z 100 vzorků DDIM s 20 kroky). Žádné zhroucení ani výkyvy. Skutečné difúzní modely používají konvoluční sítě U-Net nebo transformery se stovkami milionů parametrů a učí se týdny — a pak vyhrávají i ostrostí.

6. Od číslic k obrázkům podle textu

Podmínka. Síť ε_θ(x_t, t, c) dostane navíc popis c — embedding textu z jazykového modelu, připojený přes pozornost (díl o pozornosti). Učí se na miliardách dvojic obrázek–popisek.
Navádění bez klasifikátoru (classifier-free guidance, Jonathan Ho a Tim Salimans, 2021). Síť se učí s popisem i bez něj a při vzorkování se odhad posune ve směru „s popisem minus bez popisu“, zesílený koeficientem. Obrázek pak víc odpovídá zadání za cenu menší pestrosti.
Latentní difúze. Difúze běží v malém latentním prostoru autoenkodéru, ne v pixelech — viz díl o VAE. Stable Diffusion (2022) díky tomu běží i na herní kartě.
Méně kroků. Lepší vzorkovače a destilace (síť se naučí napodobit mnoho kroků v jednom či několika) zkrátily generování ze stovek kroků na jednotky.

ε̃ = ε_θ(x_t, t, ∅) + w · (ε_θ(x_t, t, c) − ε_θ(x_t, t, ∅))

ε_θ(…, ∅): odhad šumu bez popisu (prázdná podmínka ∅) — „jak vypadá libovolný obrázek“; síť se ho naučí tím, že při učení popis občas náhodně zahodí
ε_θ(…, c) − ε_θ(…, ∅): o co se odhad změní, když síť popis zná — směr, kterým popis obrázek táhne
w: síla navádění: w = 0 ignoruje popis, w = 1 je obyčejný podmíněný model, w > 1 vliv popisu přehání — obrázek víc odpovídá zadání, ale vzorky jsou si podobnější

Při vzorkování se ε̃ dosadí místo ε_θ; cena jsou dva průchody sítí na krok. Ho a Salimans píší tentýž vzorec jako (1 + w′) ε_θ(…, c) − w′ ε_θ(…, ∅), tedy w = 1 + w′. Knihovna diffusers má pro Stable Diffusion výchozí w = 7,5.

7. Shrnutí

Dopředný proces postupně přidává šum; ke kterémukoli kroku se dá skočit vzorcem √ᾱ x₀ + √1 − ᾱ ε.
Síť se učí odhadnout přidaný šum — obyčejná regrese. Generuje se zpětně od čistého šumu.
Na osmi shlucích pokryla difúze všechny v jediném běhu (DDIM s 50 kroky 79 %); GAN jen v jednom ze čtyř běhů.
Méně kroků (DDIM) zrychlí vzorkování; s 10 kroky je kvalita 70 %, s 2 kroky se rozpadne.
Na číslicích pokrývá difúze všechny cifry, ostrostí s naší malou sítí zaostává; zlepšuje se ale stabilně s výpočtem.

Chcete si to osahat? Nechte AI agenta naučit malý DDPM na dvourozměrných datech (třeba body ve tvaru vašich iniciál) a vykreslit, jak se body během zpětného procesu skládají do písmen.

Máte na to jiný názor? Napište na support@coden-app.com.

Difúzní modely: jak se z čistého šumu stane obrázek

1. Dopředný proces: obrázek se rozpouští v šumu

2. Zpětný proces: síť, která hádá šum

3. Osm shluků bez zhroucení

4. Kolik kroků je potřeba

5. Číslice: srovnání tří generátorů

6. Od číslic k obrázkům podle textu

7. Shrnutí

Agent na vašem počítači, ovládaný z telefonu