Neuronová síť od nuly: zpětné šíření chyby krok za krokem

Nechť n ∈ ℕ, n ≥ 1, je počet vrstev, d₀, d₁, …, d_n ≥ 1 jsou šířky vrstev (d₀ je počet vstupů, d_n počet výstupů), x ∈ ℝ^d₀ je vstup a pro ℓ = 1, …, n jsou W^(ℓ) ∈ ℝ^{d_ℓ×d_ℓ−1} váhy a b^(ℓ) ∈ ℝ^d_ℓ prahy vrstvy ℓ. Nechť f : ℝ → ℝ je diferencovatelná aktivační funkce; na vektor ji používáme po složkách, f((z₁, …, z_k)) = (f(z₁), …, f(z_k)). (Každá vrstva smí mít vlastní aktivaci f_ℓ; pro stručnost píšeme f.) Vícevrstvá síť (vícevrstvý perceptron, MLP) s těmito parametry je funkce ℝ^d₀ → ℝ^d_n, x ↦ ŷ = a⁽ⁿ⁾, kde a⁽⁰⁾ = x a pro ℓ = 1, …, n

z^(ℓ) = W^(ℓ)a^(ℓ−1) + b^(ℓ) ∈ ℝ^d_ℓ,   a^(ℓ) = f(z^(ℓ)) ∈ ℝ^d_ℓ,

po složkách z_i^(ℓ) = ∑_j=1^d_ℓ−1 W_ij^(ℓ)a_j^(ℓ−1) + b_i^(ℓ) pro i = 1, …, d_ℓ. Číslo W_ij^(ℓ) je tedy váha spojení z neuronu j vrstvy ℓ − 1 do neuronu i vrstvy ℓ; protože je matice W^(ℓ) plná, je každý neuron spojený se všemi neurony předchozí vrstvy. Vrstvy 1, …, n − 1 jsou skryté, vrstva n výstupní. Výpočet a⁽¹⁾, a⁽²⁾, …, a⁽ⁿ⁾ v tomto pořadí (vrstvu po vrstvě od vstupu k výstupu) je dopředný průchod.

Sigmoida (logistická funkce) je funkce σ : ℝ → (0, 1),

σ(z) = 1/1 + e^−z.

Pro každé z ∈ ℝ platí 0 < σ(z) < 1, σ(0) = 1/2, σ(−z) = 1 − σ(z), lim_z→∞ σ(z) = 1 a lim_z→−∞ σ(z) = 0 — pro velká |z| se tedy blíží skoku z perceptronu. Její derivace je σ′(z) = σ(z)(1 − σ(z)) (odvození v dílu Derivace a gradient) a největší hodnotu 1/4 má v z = 0.

Nechť k ≥ 1, y ∈ ℝ^k je požadovaný výstup (cíl) a ŷ ∈ ℝ^k výstup sítě pro jeden příklad. Kvadratická ztráta tohoto příkladu je číslo

E = 1/2 ∑_i=1^k (ŷ_i − y_i)²,   pro k = 1 tedy E = 1/2(ŷ − y)².

Polovina je tam jen kvůli pohodlí: derivace pak vyjde ∂E/∂ŷ_i = ŷ_i − y_i bez dvojky.

Barvy podle vzorce a^(ℓ) = f(W^(ℓ)a^(ℓ−1) + b^(ℓ)) výše, s f = σ; ve druhé vrstvě jsou vstupem a^(ℓ−1) výstupy první vrstvy.

Druhý sloupec W⁽¹⁾ (váhy ze vstupu x₂) se násobí nulou — na výstup teď nemá vliv, a uvidíme, že se proto ani nebude učit.

Vrstva ℓ s d_ℓ neurony nad vrstvou s d_ℓ−1 výstupy má d_ℓ · d_ℓ−1 vah (prvků matice W^(ℓ)) a d_ℓ prahů (složek b^(ℓ)), celkem d_ℓ(d_ℓ−1 + 1). Síť s n vrstvami má ∑_ℓ=1ⁿ d_ℓ(d_ℓ−1 + 1) parametrů; síť „d₀-d₁-d₂“ tedy:

Počet roste se součinem šířek sousedních vrstev: dvě vrstvy po tisíci neuronech spojí milion vah.

Nechť z, g, E : ℝ → ℝ jsou funkce a w₀ ∈ ℝ; nechť z je diferencovatelná v bodě w₀, g v bodě z(w₀) a E v bodě g(z(w₀)). Píšeme ŷ = g(z) a chybu chápeme jako funkci váhy, w ↦ E(g(z(w))). Pak je tato složená funkce diferencovatelná v w₀ a

∂E/∂w = ∂E/∂ŷ · ∂ŷ/∂z · ∂z/∂w,

kde každá derivace je vzata v odpovídajícím bodě (E′ v ŷ = g(z(w₀)), g′ v z(w₀), z′ v w₀). Derivace řetězce funkcí je tedy součin derivací jednotlivých článků. Závisí-li veličina na w po několika cestách, příspěvky všech cest se sečtou (vícerozměrné řetízkové pravidlo, viz díl Gradientní sestup); v síti níže ostatní parametry vždy považujeme za pevné, proto píšeme parciální derivace ∂. Pro sigmoidu platí σ′(z) = σ(z)(1 − σ(z)).

Nechť je dána vícevrstvá síť z definice výše s n vrstvami, šířkami d₀, …, d_n, parametry W^(ℓ), b^(ℓ) (ℓ = 1, …, n) a sigmoidou σ jako aktivací ve všech vrstvách, dále příklad (x, y) se vstupem x ∈ ℝ^d₀ a cílem y ∈ ℝ^d_n a kvadratická ztráta E = 1/2 ∑_k=1^d_n (a_k⁽ⁿ⁾ − y_k)². Chybový signál neuronu i ve vrstvě ℓ je

δ_i^(ℓ) = ∂E/∂z_i^(ℓ),   ℓ = 1, …, n,   i = 1, …, d_ℓ.

Zpětné šíření je algoritmus:

• vstup: parametry sítě W^(ℓ), b^(ℓ) a příklad (x, y);
• výstup: ztráta E a všechny parciální derivace ∂E/∂W_kj^(ℓ) a ∂E/∂b_k^(ℓ).

1. Dopředný průchod: spočti a ulož a⁽⁰⁾ = x, a⁽¹⁾, …, a⁽ⁿ⁾ a ztrátu E.
2. Výstupní vrstva: pro k = 1, …, d_n polož δ_k⁽ⁿ⁾ = (a_k⁽ⁿ⁾ − y_k) · a_k⁽ⁿ⁾(1 − a_k⁽ⁿ⁾).
3. Pro ℓ = n, n − 1, …, 1 (odzadu): pro všechna k = 1, …, d_ℓ a j = 1, …, d_ℓ−1 polož ∂E/∂W_kj^(ℓ) = δ_k^(ℓ) · a_j^(ℓ−1),   ∂E/∂b_k^(ℓ) = δ_k^(ℓ), a je-li ℓ ≥ 2, spočti chybové signály o vrstvu níž: pro j = 1, …, d_ℓ−1 δ_j^(ℓ−1) = (∑_k=1^d_ℓ W_kj^(ℓ) δ_k^(ℓ)) · a_j^(ℓ−1)(1 − a_j^(ℓ−1)).
4. Vrať E a spočtené derivace.

Vzorce v krocích 2 a 3 plynou z řetízkového pravidla (∂E/∂a_k⁽ⁿ⁾ = a_k⁽ⁿ⁾ − y_k, σ′ = σ(1 − σ) a z_k^(ℓ) závisí na W_kj^(ℓ) a a_j^(ℓ−1) lineárně); obecné odvození je v dílu Gradientní sestup (odkaz níže). Algoritmus tedy počítá chybové signály od výstupu ke vstupu a každý gradient váhy dostane jako součin chybového signálu cílového neuronu a aktivace zdrojového neuronu. V rozboru níže píšeme zkráceně w_kj = W_kj^(ℓ), δ_k = δ_k^(ℓ), δ_j = δ_j^(ℓ−1) a a_j = a_j^(ℓ−1).

Krok θ ← θ − η · ∂E/∂θ s η = 1:

Nejvíc se pohnul práh výstupu, protože jeho „vstup“ je vždy 1. Dolní skrytý neuron má kladné δ: přes zápornou váhu −0,6 výstup tlumí, a tak se jeho práh sníží, aby tlumil méně.

Nechť θ ∈ ℝ^p je vektor všech p parametrů sítě, E : ℝ^p → ℝ ztráta jako funkce parametrů, i ∈ {1, …, p}, e_i ∈ ℝ^p i-tý jednotkový vektor (1 na místě i, jinde 0) a h > 0. Centrální diference ztráty podle parametru θ_i je číslo

D_i,h(θ) = E(θ + he_i) − E(θ − he_i)/2h,

tedy změna ztráty, když jedním parametrem pohneme o h nahoru a dolů a ostatní necháme pevné. Je-li E diferencovatelná, pak D_i,h(θ) → ∂E/∂θ_i(θ) pro h → 0. Numerická kontrola gradientu spočte D_i,h(θ) pro malé h a všechna i = 1, …, p a porovná je s derivacemi ∂E/∂θ_i(θ) ze zpětného šíření; implementaci považujeme za správnou, jsou-li rozdíly řádově na úrovni zaokrouhlovací chyby. Je to standardní test, ne důkaz — ověřuje gradient jen v testovaném bodě θ.

Nechť E : ℝ → ℝ je na okolí bodu w ∈ ℝ třikrát spojitě diferencovatelná (ztráta jako funkce jedné váhy, ostatní parametry pevné) a h > 0. Dopředná diference je E(w + h) − E(w)/h, centrální diference E(w + h) − E(w − h)/2h. Pak pro h → 0 platí

Důkaz. Taylorův rozvoj dává E(w ± h) = E(w) ± hE′(w) + h²/2 E″(w) ± h³/6 E‴(w) + o(h³). Dosazením „+“ do dopředné diference vyjde první řádek; odečtením obou rozvojů se členy se sudou mocninou h zruší, zůstane 2hE′(w) + h³/3 E‴(w) + o(h³), a po vydělení 2h druhý řádek. ∎

V centrální diferenci se tedy členy se sudou mocninou h odečtou. Ověření na váze W₁₁⁽²⁾ naší sítě (odchylka od gradientu ze zpětného šíření, −0,0725):

Desetkrát menší h zmenší chybu dopředné diference desetkrát, centrální stokrát. Příliš malé h ale také nepomůže: rozdíl dvou skoro stejných čísel ztratí platné číslice a zaokrouhlovací chyba roste jako 1/h. Proto se bere něco kolem 10⁻⁵.

Nechť y ∈ {0, 1} je cíl a ŷ ∈ (0, 1) výstup sítě (odhad pravděpodobnosti třídy 1). (Binární) křížová entropie je číslo

L(ŷ, y) = −[y ln ŷ + (1 − y) ln(1 − ŷ)] ≥ 0,

měřené v natech (ln je přirozený logaritmus). Pro y = 1 je tedy L = −ln ŷ, pro y = 0 je L = −ln(1 − ŷ).

Nechť N ≥ 1 a (x_i, y_i), i = 1, …, N, jsou trénovací příklady, θ ∈ ℝ^p vektor všech parametrů sítě a L_i(θ) ztráta sítě s parametry θ na příkladu i. Celková ztráta je průměr

J(θ) = 1/N ∑_i=1^N L_i(θ).

Dávkový gradientní sestup je gradientní sestup (viz díl Gradientní sestup) použitý na J:

• vstup: počáteční parametry θ₀ ∈ ℝ^p, rychlost učení η > 0 a počet epoch T ∈ ℕ;
• výstup: parametry θ_T ∈ ℝ^p.

1. Pro t = 0, 1, …, T − 1 (jedna epocha): spočti zpětným šířením ∇L_i(θ_t) pro každý příklad i = 1, …, N a polož θ_t+1 = θ_t − η ∇J(θ_t),   kde ∇J(θ_t) = 1/N ∑_i=1^N ∇L_i(θ_t).
2. Po T epochách zastav a vrať θ_T.

Na rozdíl od učení po jednom příkladu tedy udělá za epochu jediný krok, s gradientem zprůměrovaným přes všechna data. Tady N = 4, η = 1 a T = 3 000.

První uvízlá síť z obrázku dává pro vstupy (0, 0), (0, 1), (1, 0), (1, 1) výstupy 0,002; 0,499; 0,997; 0,501. Dva body zařazuje skoro jistě správně, u dvou říká „nevím“ (≈ 0,5). Ztráta „nevím“ je pro libovolný cíl −ln 0,5 = ln 2, takže průměr přes čtyři body je

Hodnotu 1/2 ln 2 si tedy můžete pamatovat jako podpis tohohle uvíznutí: síť se vzdala dvou bodů ze čtyř.

Hyperbolický tangens je funkce tanh : ℝ → (−1, 1),

tanh z = e^z − e^−z/e^z + e^−z = 2σ(2z) − 1.

Je to sigmoida roztažená na interval (−1, 1) a vycentrovaná na nulu (tanh 0 = 0); derivace je tanh′ z = 1 − tanh² z, v nule 1 (u sigmoidy jen 1/4). Ve zpětném šíření se pak u neuronu s aktivací a = tanh z místo a(1 − a) násobí 1 − a². Výstupní neuron má dál sigmoidu, protože jeho výstup čteme jako pravděpodobnost.

Nechť M ≥ 1 a (x_i, y_i), i = 1, …, M, jsou testovací body s třídami y_i ∈ {0, 1}, na kterých se síť neučila (nové body ze stejného rozdělení), a ŷ_i ∈ (0, 1) výstup sítě pro x_i. Bod zařadíme do třídy c_i = 1, je-li ŷ_i > 0,5, jinak do c_i = 0. Přesnost je podíl správně zařazených bodů,

přesnost = |{i ∈ {1, …, M} : c_i = y_i}|/M ∈ [0, 1].