Autoenkodéry: síť, která se učí data stlačit a zase rozbalit

Nechť n, k ≥ 1 jsou celá čísla, obvykle k < n, a x₁, …, x_N ∈ ℝⁿ (N ≥ 1) jsou trénovací data. Autoenkodér je dvojice zobrazení

e : ℝⁿ → ℝ^k (kodér),   d : ℝ^k → ℝⁿ (dekodér),

obvykle neuronových sítí s parametry θ_e, θ_d, které se učí společně tak, aby minimalizovaly chybu rekonstrukce

L(θ_e, θ_d) = 1/N ∑_i=1^N ‖x_i − d(e(x_i))‖².

Vektor z = e(x) ∈ ℝ^k je kód vstupu x a x̂ = d(z) ∈ ℝⁿ jeho rekonstrukce. Slovy: kodér stlačí vstup do k čísel, dekodér z nich vstup obnoví, a protože správnou odpovědí je vstup sám, jde o učení bez učitele.

Nechť k ≥ 1 je velikost kódu (v tomto dílu k ∈ {2, 4, 8, 16}) a nechť jsou dány parametry

• W₁ ∈ ℝ^32×64, b₁ ∈ ℝ³² a W₂ ∈ ℝ^k×32, b₂ ∈ ℝ^k (kodér),
• W₃ ∈ ℝ^32×k, b₃ ∈ ℝ³² a W₄ ∈ ℝ^64×32, b₄ ∈ ℝ⁶⁴ (dekodér).

Nechť tanh a sigmoida σ(u) = 1/1 + e^−u působí na vektory po složkách. Vstup x ∈ [0, 1]⁶⁴ je 64 jasů pixelů. Kodér e : [0, 1]⁶⁴ → ℝ^k a dekodér d : ℝ^k → (0, 1)⁶⁴ naší sítě jsou

Kodér i dekodér mají tedy každý jednu skrytou vrstvu o 32 neuronech; b₁ až b₄ jsou posuny. Kód z = e(x) je lineární (bez aktivace), aby jeho složky mohly nabývat libovolných hodnot; sigmoida σ na výstupu drží jasy mezi 0 a 1 jako u skutečných pixelů. Bez tanh ve skrytých vrstvách by se celá síť složila do násobení maticemi — a to umí i PCA (viz další oddíl).

Každá vrstva z n_in do n_out neuronů má n_out · n_in vah a n_out posunů:

Nechť n ≥ 1 (u obrázků 8 × 8 je n = 64) a x, x̂ ∈ ℝⁿ. Střední kvadratická chyba (MSE, mean squared error) vektoru x̂ vůči x je číslo

MSE(x, x̂) = 1/n ∑_j=1ⁿ (x̂_j − x_j)² = 1/n ‖x̂ − x‖²,

tj. průměr druhých mocnin rozdílů přes všechny pixely. Pro testovací obrázky x₁, …, x_M a autoenkodér (e, d) je chyba rekonstrukce průměr 1/M ∑_i=1^M MSE(x_i, d(e(x_i))); všechna čísla „chyby“ v tomto dílu jsou takto zprůměrovaná MSE. Protože jasy leží mezi 0 a 1, odpovídá chyba 0,01 typické odchylce asi √0,01 = 0,1 jasu na pixel.

• Vstup: trénovací obrázky X = (x₁, …, x₆₀₀), x_i ∈ [0, 1]⁶⁴; velikost kódu k ≥ 1; počet epoch (80), krok učení η = 0,003 a síla šumu σ ≥ 0 (0 = obyčejný autoenkodér).
• Výstup: parametry W₁, …, W₄, b₁, …, b₄ kodéru a dekodéru z definice výše.
• Kroky: (1) váhy náhodně z N(0, 1/n_in), posuny 0; (2) v každé epoše data zamíchat a rozdělit na dávky po 20; (3) pro každou dávku sečíst gradient chyby MSE(x, d(e(x̃))) přes její obrázky (x̃ = x, nebo zašuměné x u odšumovací varianty), vydělit 20 a udělat krok Adam.
• Zastavení: po pevném počtu epoch.

def uc_autoenkoder(X, k, epoch=80, eta=0.003, sum=0):
    sit = [64, 32, k, 32, 64], váhy náhodně ~ N(0, 1/n_in), posuny 0
    for e in range(epoch):
        zamíchej X
        for davka in po_20(X):
            G = 0
            for x in davka:
                vstup = x if sum == 0 else orez(x + sum · N(0, 1), 0, 1)   # odšumovací varianta
                x̂ = d(e(vstup))                       # dopředu
                G += gradient (1/64) ∑ (x̂ − x)²        # zpětné šíření; cílem je čisté x
            krok Adam s G / 20 (β1 = 0,9, β2 = 0,999)
    return sit

Krok Adam je popsaný v dílu o gradientním sestupu. Proti učení klasifikátoru se změnil jediný řádek: cílem není štítek, ale obrázek x.

Nechť x₁, …, x_N ∈ ℝⁿ jsou data, μ = 1/N ∑_i=1^N x_i jejich průměr, 1 ≤ k ≤ n a nechť W ∈ ℝ^n×k má za sloupce k hlavních komponent dat (ortonormální vlastní vektory výběrové kovarianční matice k k největším vlastním číslům, viz díl Shlukování a snížení dimenze). Pro matice E ∈ ℝ^k×n a D ∈ ℝ^n×k označme

J(D, E) = 1/N ∑_i=1^N ‖x_i − μ − DE(x_i − μ)‖²

průměrnou kvadratickou chybu lineárního autoenkodéru x ↦ μ + DE(x − μ). Pak pro všechny takové D, E platí J(D, E) ≥ J(W, W^T), tj. žádný lineární autoenkodér s kódem velikosti k nemá menší chybu než PCA s k komponentami.

Důkaz (náčrt). Plyne to z Eckartovy–Youngovy věty (1936) o nejlepší aproximaci matice maticí hodnosti k: součin DE má hodnost nejvýš k, takže matice rekonstrukcí centrovaných dat má hodnost nejvýš k, a nejlepší taková aproximace (ve smyslu součtu čtverců) je průmět do k hlavních směrů, tj. WW^T. ∎

Pierre Baldi a Kurt Hornik (1989) navíc ukázali, že ztráta lineárního autoenkodéru nemá jiná lokální minima než to globální, takže gradientní sestup najde tentýž podprostor jako PCA (jen v něm může zvolit jiné, ne nutně kolmé souřadnice).

Lineární autoenkodér by proto v grafu nikdy nebyl pod modrým sloupcem. Že je ten náš (zelený) pod ním, je zásluha nelinearit tanh a sigmoidy.

Nechť x₁, …, x_N ∈ [0, 1]⁶⁴ jsou tréninkové obrázky (N = 600) a x_ij jas j-tého pixelu i-tého obrázku. Označme

p̄ = 1/64N ∑_i=1^N ∑_j=1⁶⁴ x_ij   (u nás 0,351)

průměrný jas všech tréninkových pixelů. Stejně šedý obrázek je konstantní rekonstrukce x̂ = (p̄, …, p̄) ∈ ℝ⁶⁴, stejná pro každý vstup — pro každou číslici stejný šedý čtverec. Čárkovaná čára v grafu je jeho chyba rekonstrukce na testovacích číslicích, 0,143; je to zhruba rozptyl jasu pixelů. Kdo by místo šedého čtverce kreslil skutečný průměrný obrázek μ = 1/N ∑_i=1^N x_i ∈ [0, 1]⁶⁴ (každý pixel zvlášť zprůměrovaný; PCA s k = 0), dostal by 0,135.

Za základ vezmeme šedý čtverec (0,143) a spočítáme, jakou část jeho chyby rekonstrukce se dvěma čísly odstraní:

S přesnými, nezaokrouhlenými hodnotami vyjde 28,5 % a 57,5 %.

Nechť X ⊆ ℝⁿ je množina možných dat (u nás obrázků). Reprezentace dat je zobrazení r : X → ℝ^k, které každému x ∈ X přiřadí jiný popis r(x) — soubor k čísel. Zavádí se proto, aby z r(x) šlo podstatné vyčíst snáz než z původních hodnot x; tahle vlastnost se formálně nedefinuje, ale měří úlohou, ke které reprezentaci použijeme (dál třeba čistotou sousedů).

Nechť (e, d) je autoenkodér s kodérem e : ℝⁿ → ℝ^k. Jeho reprezentací je r = e a prostor kódů ℝ^k, do kterého kodér zobrazuje, se nazývá latentní prostor; kód e(x) je bod latentního prostoru.

Nechť N ≥ 6, z₁, …, z_N ∈ ℝ^k jsou body mapy (kódy obrázků) a y₁, …, y_N ∈ {0, 1, …, 9} skutečné číslice, které obrázky zobrazují. Pro každé i ∈ {1, …, N} nechť S₅(i) ⊆ {1, …, N} ∖ {i} je množina indexů pěti bodů nejbližších k z_i, tj. |S₅(i)| = 5 a ‖z_j − z_i‖ ≤ ‖z_l − z_i‖ pro všechna j ∈ S₅(i) a l ∉ S₅(i) ∪ {i} (‖·‖ je eukleidovská norma; při shodných vzdálenostech se vybere kterýkoli z nich). Čistota sousedů je číslo

Č = 1/N ∑_i=1^N |{ j ∈ S₅(i) : y_j = y_i }|/5 ∈ [0, 1],

tedy průměrný podíl sousedů se stejnou číslicí. Štítky y se tu použijí jen k hodnocení mapy, autoenkodér ani PCA je nikdy neviděly.

V testu je každá číslice 20krát. Kdyby mapa body rozházela náhodně, byl by každý soused náhodný z ostatních 199 bodů a stejnou číslici by měl s pravděpodobností

PCA (44,8 %) i autoenkodér (56,0 %) jsou tedy daleko nad náhodou; autoenkodér má mezi sousedy o 11,2 procentního bodu víc správných číslic.

Nechť x₁, …, x_N ∈ ℝⁿ jsou trénovací data a nechť je dán náhodný poškozovací proces, který z každého x ∈ ℝⁿ vyrobí náhodný vektor x̃ ∈ ℝⁿ (přičtený šum, zakryté části). Odšumovací autoenkodér (Pascal Vincent a kol., 2008) je autoenkodér (e, d), jehož parametry minimalizují očekávanou chybu

L = 1/N ∑_i=1^N E_x̃i ‖x_i − d(e(x̃_i))‖²,

kde E_x̃i je střední hodnota přes poškození x̃_i vstupu x_i (při učení se nahrazuje novým losem šumu v každé epoše). Slovy: síť vidí jen poškozený vstup x̃, ale porovnává se s čistým x. U nás je poškození x̃ = ořež_{[0, 1]}(x + σε) s ε ~ N(0, I₆₄), kde ořež_{[0, 1]} nahradí každou složku u_j číslem min(1, max(0, u_j)).

Bez ořezání by šum přidal ke každému pixelu chybu se střední hodnotou σ² = 0,3² = 0,09. Jenže asi pětina pixelů je přesně 0 (pozadí) a další jsou blízko 0 nebo 1:

Nechť (e, d) je naučený autoenkodér a x ∈ [0, 1]⁶⁴ obrázek. Skóre podivnosti obrázku x je jeho chyba rekonstrukce

s(x) = MSE(x, d(e(x))).

Nechť τ ∈ ℝ je práh. Obrázek x označíme za podivný, právě když s(x) > τ.

Práh volíme podle normálních dat: nechť c₁, …, c_M jsou testovací číslice (M = 200) a s₍₁₎ ≤ s₍₂₎ ≤ … ≤ s_(M) jejich skóre seřazená vzestupně. Bereme τ = s₍₁₉₁₎, u nás 0,059; nad ním leží 9 číslic (4,5 %) — to je zhruba těch „5 % skutečných číslic“, které jsme ochotni označit omylem.

Nechť A je konečná neprázdná množina podivných obrázků a C konečná neprázdná množina skutečných číslic. Pro výrok V označme [V] = 1, pokud V platí, a [V] = 0 jinak (Iversonova závorka). AUC skóre s na množinách A, C je číslo

AUC = 1/|A| · |C| ∑_{a ∈ A} ∑_{c ∈ C} ( [s(a) > s(c)] + 1/2 · [s(a) = s(c)] ) ∈ [0, 1],

tj. podíl dvojic (a, c), ve kterých dostal podivný obrázek vyšší skóre než číslice, s remízami za polovinu (rozbor níže).

Barvy podle vzorce výše: 40 000 = |A| · |C| = 200 · 200 dvojic, 39 997 a 35 487 jsou body za dvojice se s(a) > s(c); remízy (přesně shodné skóre dvou různých obrázků) u spojitých chyb rekonstrukce prakticky nenastávají, takže půlbody nic nepřidávají.

„AUC 1,000“ je tedy zaokrouhlené: tři dvojice jsou obráceně. Tři cizí obrázky mají nižší skóre než nejhůř rekonstruovaná testovací číslice (0,140) — ta ale leží nad prahem, a tak všech 200 cizích obrázků práh přesto překročí.

Nechť k ≥ 1 je velikost kódu a x ∈ ℝⁿ vstup. Kodér variačního autoenkodéru nevrací jeden bod, ale dvojici vektorů

μ(x) ∈ ℝ^k,   σ(x) ∈ (0, ∞)^k

— střed a směrodatné odchylky normálního rozdělení N(μ(x), diag σ(x)²) v latentním prostoru ℝ^k. Kód se z něj losuje jako

z = μ(x) + σ(x) ⊙ ε,   ε ~ N(0, I_k)

(⊙ je násobení po složkách, I_k jednotková matice k × k). Ke ztrátě rekonstrukce ‖x − d(z)‖² se přičte Kullbackova–Leiblerova divergence rozdělení kódu od standardního normálního rozdělení N(0, I_k), která pro μ = μ(x), σ = σ(x) vychází

a je nulová, právě když μ_i = 0 a σ_i = 1 pro všechna i = 1, …, k. Táhne tedy kódy všech příkladů k jednomu společnému rozdělení, ze kterého se pak dá losovat (Kingma a Welling, 2013; tady zjednodušeně, s kvadratickou chybou místo logaritmu věrohodnosti). Podrobně v dílu Variační autoenkodéry.