Aktivace, inicializace a normalizace: drobnosti, na kterých hluboká síť stojí

Aktivační funkce je funkce f : ℝ → ℝ, kterou neuron použije na svůj vážený součet z ∈ ℝ; na vektor z ∈ ℝ^d ji používáme po složkách, f(z) = (f(z₁), …, f(z_d)) (viz definici vícevrstvé sítě v dílu Neuronová síť od nuly). Běžné aktivační funkce jsou:

1. sigmoida σ : ℝ → (0, 1), σ(z) = 1/1 + e^−z, s derivací σ′(z) = σ(z)(1 − σ(z)), pro kterou platí 0 < σ′(z) ≤ 1/4 pro všechna z ∈ ℝ (rovnost právě když z = 0);
2. hyperbolický tangens tanh : ℝ → (−1, 1), tanh z = e^z − e^−z/e^z + e^−z, s derivací tanh′ z = 1 − tanh² z, pro kterou platí 0 < tanh′ z ≤ 1 (rovnost právě když z = 0);
3. ReLU (rectified linear unit) ReLU : ℝ → [0, ∞), ReLU(z) = max(0, z), s derivací ReLU′(z) = 1 pro z > 0 a ReLU′(z) = 0 pro z < 0; v bodě z = 0 derivace neexistuje a dodefinovává se (u nás i v běžných knihovnách) hodnotou 0;
4. GELU (Gaussian error linear unit) GELU : ℝ → ℝ, GELU(z) = z · Φ(z), kde Φ je distribuční funkce normálního rozdělení N(0, 1) (přesně v definici GELU níže) — hladká varianta ReLU.

Nechť n ∈ ℕ, n ≥ 1, je počet vrstev, d₀, …, d_n ≥ 1 jsou šířky vrstev a pro ℓ = 1, …, n jsou W^(ℓ) ∈ ℝ^{d_ℓ×d_ℓ−1} váhy a b^(ℓ) ∈ ℝ^d_ℓ prahy vrstvy ℓ. Nechť síť nemá aktivaci (f je identita), tj. pro vstup x ∈ ℝ^d₀ je a⁽⁰⁾ = x a

a^(ℓ) = W^(ℓ)a^(ℓ−1) + b^(ℓ),   ℓ = 1, …, n.

Pak existují W ∈ ℝ^d_n×d₀ a b ∈ ℝ^d_n takové, že a⁽ⁿ⁾ = Wx + b pro všechna x ∈ ℝ^d₀; celá síť tedy počítá totéž co jediná vrstva.

Důkaz indukcí podle n. Pro n = 1 stačí W = W⁽¹⁾, b = b⁽¹⁾. Platí-li tvrzení pro n − 1 vrstev s maticí W′ a prahem b′, je

a⁽ⁿ⁾ = W⁽ⁿ⁾(W′x + b′) + b⁽ⁿ⁾ = (W⁽ⁿ⁾W′)x + (W⁽ⁿ⁾b′ + b⁽ⁿ⁾),

takže stačí W = W⁽ⁿ⁾W′ a b = W⁽ⁿ⁾b′ + b⁽ⁿ⁾. Celkem W = W⁽ⁿ⁾W⁽ⁿ⁻¹⁾ ⋯ W⁽¹⁾: složení afinních zobrazení je afinní. ∎

Teprve nelineární f mezi vrstvami tenhle součin „rozbije“.

Z σ(z) = (1 + e^−z)⁻¹ podle pravidla pro derivaci složené funkce:

σ′(z) = e^−z/(1 + e^−z)² = 1/1 + e^−z · e^−z/1 + e^−z = σ(z) · (1 − σ(z)),

protože e^−z/1 + e^−z = 1 − 1/1 + e^−z. Pro tanh vyjde stejným postupem tanh′(z) = 1 − tanh²(z); tanh je jen natažená a posunutá sigmoida, tanh(z) = 2σ(2z) − 1, a odtud i čtyřikrát vyšší strop derivace (dvojka uvnitř a dvojka venku).

Ve sloupci σ′(z) barvy podle vzorce σ′(z) = σ(z) · (1 − σ(z)) výše.

Sigmoida i tanh se pro velké z nasytí a signál skoro zastaví; ReLU pustí pro každé kladné z celý signál. (V bodě 0 ReLU derivaci nemá; knihovny i náš kód tam berou 0.)

Nechť Z je náhodná veličina se standardním normálním rozdělením N(0, 1) (střední hodnota 0, rozptyl 1). Její distribuční funkce je funkce Φ : ℝ → (0, 1),

Φ(z) = P(Z ≤ z) = 1/√2π ∫_−∞^z exp(−t²/2) dt = 1/2(1 + erf(z/√2)),

kde erf(u) = 2/√π ∫₀^u exp(−t²) dt je chybová funkce. GELU je funkce GELU : ℝ → ℝ,

GELU(z) = z · Φ(z).

Neuron tedy svůj vstup z vynásobí pravděpodobností, že standardní normální veličina nepřesáhne z. Hendrycks a Gimpel (2016) uvádějí i rychlejší přiblížení

GELU(z) ≈ 1/2 z (1 + tanh(√2/π · (z + 0,044715 z³))),

které kreslí obrázek. Například GELU(1) = 1 · Φ(1) = 0,8413 (přiblížení dá 0,8412) a GELU(−1) = −0,159: na rozdíl od ReLU propustí i kousek záporných hodnot a nemá v nule zlom.

Nechť je dána vícevrstvá síť s n ≥ 2 vrstvami, šířkami d₀, …, d_n, váhami W^(ℓ) ∈ ℝ^{d_ℓ×d_ℓ−1} a aktivací f (definice v dílu Neuronová síť od nuly), příklad se vstupem x a ztráta E. Nechť δ^(ℓ) = ∂E/∂z^(ℓ) ∈ ℝ^d_ℓ je chybový signál vrstvy ℓ = 1, …, n a D^(ℓ) ∈ ℝ^d_ℓ×d_ℓ diagonální matice s čísly f′(z₁^(ℓ)), …, f′(z_dℓ^(ℓ)) na diagonále. Z rekurence zpětného šíření (níže) plyne

δ⁽¹⁾ = D⁽¹⁾(W⁽²⁾)^T D⁽²⁾(W⁽³⁾)^T ⋯ D⁽ⁿ⁻¹⁾(W⁽ⁿ⁾)^T δ⁽ⁿ⁾,

tedy chybový signál první vrstvy vznikne ze signálu poslední vrstvy vynásobením n − 1 činiteli D^(ℓ)(W^(ℓ+1))^T. Velikost signálu měříme eukleidovskou normou ‖·‖ a jeho zesílení poměrem

r = ‖δ⁽¹⁾‖/‖δ⁽ⁿ⁾‖   (pro δ⁽ⁿ⁾ ≠ 0).

1. Gradient mizí, když r ≪ 1, takže váhy prvních vrstev dostávají proti posledním zanedbatelně malé gradienty.
2. Gradient exploduje, když r ≫ 1, takže krok gradientního sestupu v prvních vrstvách je proti posledním obrovský.

Pevná hranice („≪“) se v literatuře nestanovuje; podstatné je, že r se s počtem vrstev mění exponenciálně. Například platí-li pro všechna ℓ = 1, …, n − 1 odhad ‖D^(ℓ)(W^(ℓ+1))^T‖ ≤ q s konstantou q < 1 (‖·‖ je tu maticová norma indukovaná eukleidovskou), pak r ≤ qⁿ⁻¹, protože norma součinu je nejvýš součin norem. Slovy: je-li typická velikost činitele „derivace krát váhy“ menší než 1, gradient s hloubkou exponenciálně mizí; je-li větší, exploduje.

Pro řetízek s jedním neuronem ve vrstvě je všechno číslo a signál, který dorazí k první vrstvě, je zjednodušeně signál z výstupu krát dvacet činitelů w_ℓ · f′(z_ℓ), po jednom za každou vrstvu. Když je každý z nich roven

• 0,25 (sigmoida v nejlepším bodě, váha 1): 0,25²⁰ = 9,1 · 10⁻¹³,
• 0,5: 0,5²⁰ = 9,5 · 10⁻⁷, tedy zhruba miliontina,
• 1,5: 1,5²⁰ ≈ 3 325 — gradient první vrstvy přes tři tisíce krát větší než poslední.

Jen činitel velmi blízký 1 udrží signál celý. Ve skutečné síti se místo čísel násobí matice, ale princip je stejný: rozhoduje typická velikost součinu „váhy krát derivace“.

Nechť ℓ je vrstva sítě s n = d_ℓ−1 ≥ 1 vstupy a d_ℓ ≥ 1 neurony, s vahami W^(ℓ) ∈ ℝ^{d_ℓ×d_ℓ−1} a prahy b^(ℓ) ∈ ℝ^d_ℓ. Inicializace s rozptylem v > 0 nastaví před učením

1. každou váhu W_ij^(ℓ), i = 1, …, d_ℓ, j = 1, …, d_ℓ−1, na hodnotu nezávisle vylosovanou z rozdělení se střední hodnotou 0 a rozptylem v (u nás normálního N(0, v), knihovny používají i rovnoměrné);
2. prahy na nulu, b^(ℓ) = 0.

Rozptyl se volí podle aktivace tak, aby si aktivace vrstvu za vrstvou udržely rozptyl (odvození níže):

1. Xavierova inicializace (Glorot, Bengio, 2010) pro tanh a sigmoidu: v = 1/n,   tj. směrodatná odchylka √1/n;
2. Heova inicializace (He a kol., 2015) pro ReLU: v = 2/n,   tj. směrodatná odchylka √2/n.

Dvojka u Heovy inicializace vyrovná to, že ReLU polovinu vstupů vynuluje. Glorot a Bengio v původním článku navrhli obecněji v = 2/d_ℓ−1 + d_ℓ; pro vrstvy stejné šířky (d_ℓ−1 = d_ℓ), jako jsou naše, je to totéž co 1/n.

Nechť n ∈ ℕ, n ≥ 1, a w₁, …, w_n, a₁, …, a_n jsou reálné náhodné veličiny s konečnými druhými momenty, pro které platí

1. w₁, …, w_n jsou navzájem nezávislé a pro každé j = 1, …, n je E[w_j] = 0 a Var(w_j) = Var(w);
2. vektor (w₁, …, w_n) je nezávislý na vektoru (a₁, …, a_n);
3. E[a_j²] = E[a²] pro každé j = 1, …, n.

Označme z = ∑_j=1ⁿ w_j a_j. Pak E[z] = 0 a

Var(z) = n · Var(w) · E[a²].

Důkaz. Z předpokladu 2 je E[z] = ∑_j E[w_j] E[a_j] = 0. V součtu E[z²] = ∑_j,k E[w_jw_k] E[a_ja_k] (opět předpoklad 2) jsou pro j ≠ k členy nulové, protože podle předpokladu 1 je E[w_jw_k] = E[w_j] E[w_k] = 0, a zbude n členů E[w_j²] E[a_j²] = Var(w) E[a²] (předpoklady 1 a 3). Tedy Var(z) = E[z²] − E[z]² = n · Var(w) · E[a²]. ∎

• Xavier: směrodatná odchylka vah √1/50 = 0,141; He: √2/50 = 0,200.
• Tanh s malými vahami (0,05): zesílení 50 · 0,05² = 0,125, takže směrodatná odchylka aktivací klesne v každé vrstvě √0,125 = 0,354krát. Za 19 vrstev z 0,31: 0,31 · 0,354¹⁹ ≈ 8 · 10⁻¹⁰. Pokus dal 7 · 10⁻¹⁰ (v průměru 0,350 na vrstvu).
• Tanh s N(0, 1): zesílení 50 · 1 = 50 — vážené součty mají směrodatnou odchylku kolem √50 ≈ 7 a tanh je na ±1, v nasycení.
• ReLU s Xavierem: 50 · 1/50 · 1/2 = 1/2, rozptyl se v každé vrstvě půlí a směrodatná odchylka klesá √1/2 = 0,71krát; teorie dává 0,57 · 0,71¹⁹ ≈ 0,0008, pokus 0,0004 (v průměru 0,68 na vrstvu — s padesáti neurony a sto vzorky se náhodné odchylky násobí také).
• ReLU s He: 50 · 2/50 · 1/2 = 1 — rovnováha.

Barvy podle vzorce výše: zesílení n · Var(w); činitel 1/2 u ReLU je podíl rozptylu, který aktivace nechá v E[a²].

Nechť je dána síť s m ≥ 1 vstupy, jednou skrytou vrstvou s d ≥ 2 sigmoidními neurony a jedním sigmoidním výstupem jako v odstavci výše: pro vstup x ∈ ℝ^m je h_i = σ(∑_j=1^m w_ijx_j + b_i) pro i = 1, …, d a o = σ(∑_i=1^d v_ih_i + c). Nechť ztráta E je součet křížových entropií přes konečně mnoho trénovacích příkladů a parametry se mění gradientním sestupem s krokem η > 0,

θ ← θ − η ∂E/∂θ   pro každý parametr θ ∈ {w_ij, b_i, v_i, c}.

Nechť pro dva skryté neurony i ≠ k platí na začátku

w_ij = w_kj pro všechna j = 1, …, m,   b_i = b_k,   v_i = v_k.

Pak tyto rovnosti platí i po každém počtu t ∈ ℕ kroků gradientního sestupu.

Důkaz indukcí podle t. Pro t = 0 platí rovnosti z předpokladu. Jsou-li před krokem váhy neuronů i a k stejné, jsou stejné i h_i = h_k pro každý vstup, a podle vzorce výše tedy i gradienty ∂E/∂w_ij = ∂E/∂w_kj, ∂E/∂b_i = ∂E/∂b_k a ∂E/∂v_i = (o − y) h_i = ∂E/∂v_k, sečtené přes všechny příklady. Stejné váhy minus stejný násobek stejných gradientů dají stejné váhy. ∎

Proto v pokusu vyšel rozdíl vah přesně nula, ne jen malý. Když se váhy na začátku liší třeba jen o málo, dostanou neurony různé gradienty a rozdíly mezi nimi se učením obvykle prohloubí.

Nechť p ≥ 1 a E : ℝ^p → ℝ je kvadratická funkce (ztráta), E(w) = w^TAw + c^Tw + e se symetrickou maticí A ∈ ℝ^p×p, c ∈ ℝ^p a e ∈ ℝ. Její Hessova matice H = ∇²E = 2A nezávisí na w; nechť je pozitivně definitní, s vlastními čísly λ_max = λ₁ ≥ λ₂ ≥ … ≥ λ_p = λ_min > 0. Číslo podmíněnosti úlohy je

κ = λ_max/λ_min ≥ 1.

Číslo κ tedy říká, kolikrát je údolí ztráty v nejstrmějším směru zakřivenější než v nejplošším; κ = 1 právě když je zakřivení ve všech směrech stejné. Gradientní sestup s pevným krokem potřebuje řádově tolik kroků, kolik je κ (odvození níže).

Nechť N ≥ 2 a x₁, …, x_N ∈ ℝ jsou hodnoty jednoho příznaku na trénovacích datech, ne všechny stejné. Označme jejich průměr a směrodatnou odchylku

μ = 1/N ∑_k=1^N x_k,   s = √1/N ∑_k=1^N (x_k − μ)² > 0.

Standardizace příznaku je funkce ℝ → ℝ,

x ↦ x̃ = x − μ/s.

Standardizované trénovací hodnoty x̃₁, …, x̃_N mají průměr 0 a směrodatnou odchylku 1. Tytéž μ a s se pak použijí i na nová data. Má-li příklad víc příznaků, standardizuje se každý zvlášť se svým průměrem a směrodatnou odchylkou.

1. Data: v našem vzorku 200 bodů mají příznaky směrodatné odchylky 1,00 a 91,7. Matice C je skoro diagonální, s vlastními čísly λ_max = 8 415 a λ_min = 0,998, tedy κ = 8 434 — zhruba (91,7/1,00)², poměr rozptylů příznaků.
2. Počáteční chyba (z w = 0) leží z 33,6 % v pomalém směru.
3. Podmínka zastavení: 0,336 · (1 − 1/8 434)^2k ≤ 0,01, tedy k ≥ ln(0,336/0,01)/−2 ln(1 − 1/8 434) = 3,51479/0,000237139 ≈ 14 821,6 (zhruba κ/2 · ln 33,6). Nejmenší celé k je 14 822 — přesně tolik kroků potřeboval pokus.
4. Po standardizaci je λ_max = 1,033, λ_min = 0,967; pomalý směr ubude za jeden krok činitelem (1 − 0,967/1,033)² = 0,004, a protože v něm leželo jen 2,3 % chyby, stačí jeden krok.

Barvy podle vzorce pro E(w_k) − E* výše (chyby jsou tu v podílech počáteční chyby).

Nechť ε > 0 je malá konstanta. Pro čísla u₁, …, u_K ∈ ℝ (K ≥ 1) označme jejich průměr a rozptyl

μ = 1/K ∑_k=1^K u_k,   σ² = 1/K ∑_k=1^K (u_k − μ)².

1. Batch normalization (Ioffe, Szegedy, 2015). Nechť m ≥ 1 je velikost dávky a z₁, …, z_m ∈ ℝ jsou vážené součty jednoho neuronu pro m příkladů dávky; μ a σ² jsou jejich průměr a rozptyl (K = m, u_k = z_k). Neuron má naučené parametry γ, β ∈ ℝ. Výstup pro příklad k = 1, …, m je y_k = γ · z_k − μ/√σ² + ε + β. Totéž se dělá pro každý neuron vrstvy zvlášť, každý s vlastními γ, β.
2. Layer normalization (Ba, Kiros, Hinton, 2016). Nechť d ≥ 1 je počet neuronů vrstvy a z₁, …, z_d ∈ ℝ jsou vážené součty všech neuronů vrstvy pro jeden příklad; μ a σ² jsou jejich průměr a rozptyl (K = d, u_i = z_i). Neuron i má naučené parametry γ_i, β_i ∈ ℝ. Výstup neuronu i = 1, …, d je y_i = γ_i · z_i − μ/√σ² + ε + β_i. Totéž se dělá pro každý příklad zvlášť.

Obě normalizace tedy srovnají vážené součty na průměr 0 a rozptyl (skoro) 1 a pak přidají naučené měřítko γ a posun β; batch normalization průměruje přes příklady dávky, layer normalization přes neurony vrstvy. Při použití naučené sítě batch normalization místo μ a σ² dávky dosadí jejich klouzavé průměry z učení (pseudokód níže).

Dávka čtyř příkladů dá jednomu neuronu vážené součty z = (1, 2, 3, 6). Průměr μ = 12/4 = 3, rozptyl σ² = (−2)² + (−1)² + 0² + 3²/4 = 14/4 = 3,5, směrodatná odchylka √3,5 = 1,871 (ε zanedbáme). Normalizované hodnoty jsou

(−2, −1, 0, 3)/1,871 = (−1,069; −0,535; 0; 1,604)

— průměr 0, rozptyl 1. S počátečními γ = 1 a β = 0 jsou to rovnou výstupy. Barvy podle vzorce výše: z_i − μ jsou čísla (1, 2, 3, 6) minus 3.

Bod třídy 1 a odhad p = 0,9 stojí −ln 0,9 = 0,105; odhad p = 0,1 stojí −ln 0,1 = 2,303. Síť, která o ničem neví a na všechno odpoví p = 0,5, platí za každý bod −ln 0,5 = ln 2 = 0,693 (u bodu třídy 0 stejně −ln(1 − 0,5)) — proto je 0,693 hranice „nic jsem se nenaučil“. Barvy podle vzorce výše: u bodu třídy 1 (y = 1) zbude jen člen y ln p = ln p.

Nechť d ≥ 1 a F : ℝ^d → ℝ^d je diferencovatelná funkce, typicky složení několika obyčejných vrstev, jejichž výstup má stejný rozměr jako vstup. Reziduální blok (He a kol., 2015) je funkce R : ℝ^d → ℝ^d,

x ↦ y = R(x) = x + F(x).

Jeho Jacobiho matice (matice parciálních derivací ∂y_i/∂x_j, i, j = 1, …, d) je

∂y/∂x = I + ∂F/∂x,

kde I ∈ ℝ^d×d je jednotková matice. Zpětný signál se v bloku nenásobí jen derivací F, ale dostane i nezměněnou kopii přes jednotkovou matici I. I když jsou derivace uvnitř F skoro nulové, jako u nasycené sigmoidy výše, signál projde celý a součin přes desítky bloků nespadne k nule.