Konvoluční sítě: jak síť poznává obrázky

Nechť K ≥ 2 je počet tříd a z = (z₁, …, z_K) ∈ ℝ^K jsou výstupy poslední vrstvy. Softmax je funkce softmax : ℝ^K → (0, 1)^K, z ↦ p = (p₁, …, p_K), kde

p_k = e^z_k/∑_m=1^K e^z_m,   k = 1, …, K.

Platí p_k > 0 pro všechna k a p₁ + … + p_K = 1, takže p je rozdělení pravděpodobnosti na třídách.

Nechť c ∈ {1, …, K} je správná třída příkladu. Křížová entropie příkladu je číslo

E = −ln p_c ≥ 0.

Jako funkce z má složení softmaxu a křížové entropie jednoduchý gradient

∂E/∂z_k = p_k − [k = c],   k = 1, …, K,

kde [k = c] je 1, je-li k = c, a 0 jinak — odtud začíná zpětné šíření v obou našich sítích.

Výstupy z = (2, 1, 0): e² = 7,389, e¹ = 2,718, e⁰ = 1, součet 11,107, tedy

p = (7,389/11,107; 2,718/11,107; 1/11,107) = (0,665; 0,245; 0,090)

(barvy podle vzorce výše). Je-li správná třída první, ztráta je −ln 0,665 = 0,408 a gradient (0,665 − 1; 0,245; 0,090) = (−0,335; 0,245; 0,090): správný výstup se má zvednout, ostatní snížit, každý tím víc, čím víc se mýlí.

Plně propojená vrstva z n vstupů na m neuronů má n · m vah a m prahů. Skrytá vrstva 144 · 32 + 32 = 4 640, výstupní 32 · 10 + 10 = 330, celkem 4 970. Každá z 4 608 vah první vrstvy patří k jednomu konkrétnímu pixelu — a to je ten problém.

Nechť C ≥ 1 je počet vstupních kanálů, F ≥ 1 počet filtrů, k ≥ 1 velikost filtru a n ≥ k velikost vstupu. Vstup je X ∈ ℝ^C×n×n s prvky X[c, i, j], c = 1, …, C, i, j = 0, …, n − 1 (u šedého obrázku C = 1). Pro f = 1, …, F je K_f ∈ ℝ^C×k×k filtr (jádro) s prvky K_f[c, u, v], u, v = 0, …, k − 1, a b_f ∈ ℝ jeho práh. Označme m = n − k + 1. Konvoluční vrstva (bez doplnění okrajů, s krokem 1) je zobrazení ℝ^C×n×n → ℝ^F×m×m, X ↦ Y, kde pro f = 1, …, F a i, j = 0, …, m − 1

Y_f[i, j] = b_f + ∑_c=1^C ∑_u=0^k−1 ∑_v=0^k−1 K_f[c, u, v] · X[c, i + u, j + v].

Matice Y_f ∈ ℝ^m×m je mapa příznaků filtru f; výstup vrstvy je F map nad sebou. V naší síti se na každý prvek Y ještě použije ReLU. Filtr se tedy posouvá po vstupu a v každé poloze spočte vážený součet okénka k × k přes všechny kanály a přičte práh; jeho váhy K_f nezávisí na poloze (i, j) — jsou ve všech polohách stejné (sdílené).

Nechť n, k, s ∈ ℕ jsou velikost vstupu n × n, velikost okénka k × k a krok s ≥ 1 a p ∈ ℕ₀ je počet nul, kterými se vstup doplní na každé straně, přičemž k ≤ n + 2p. Okénko se klade levým horním rohem do poloh t · s (v každém směru zvlášť), t = 0, 1, 2, …, dokud se celé vejde do doplněného vstupu, tj. pokud t · s + k ≤ n + 2p. Rozměr výstupu na stranu je počet takových poloh,

m = |{t ∈ ℕ₀ : ts + k ≤ n + 2p}| = ⌊n + 2p − k/s⌋ + 1,

kde ⌊x⌋ je dolní celá část (největší celé číslo nejvýš x). Naše síť okraje nedoplňuje (p = 0): konvoluce 3 × 3 s krokem 1 dá z obrázku 12 × 12 mapy 10 × 10 (12 − 3 + 1 = 10), max-pooling 2 × 2 s krokem 2 z nich 10 − 2/2 + 1 = 5 a druhá konvoluce 5 − 3 + 1 = 3 — rozměry ze schématu níže.

Obrázek 4 × 4 se svislou čárkou, filtr „svislá čára“ a práh b = −1:

X = 0110001000100111   K = −12−1−12−1−12−1

Výstup má 4 − 3 + 1 = 2 řádky i sloupce. V poloze (0, 1) leží pod filtrem okénko se sloupci 1 až 3; po řádcích dává

((−1) · 1 + 2 · 1 + (−1) · 0) + ((−1) · 0 + 2 · 1 + (−1) · 0) + ((−1) · 0 + 2 · 1 + (−1) · 0) = 1 + 2 + 2 = 5,

s prahem 5 + (−1) = 4. V poloze (0, 0) vyjde (1 − 1 − 1) + (−1) = −2 a ReLU z toho udělá 0. Barvy podle vzorce konvoluční vrstvy výše: váhy filtru, pixely okénka, práh a hodnota mapy. Celá mapa po ReLU:

Y = 0403

Filtr „zabral“ v pravém sloupci, kde čárka opravdu je; vlevo, kde je čárka na kraji okénka, dává záporný příspěvek.

Nechť n ≥ 2 a A ∈ ℝ^n×n je mapa příznaků s prvky A[i, j], i, j = 0, …, n − 1. Označme m = ⌊n/2⌋.

1. Max-pooling 2 × 2 s krokem 2 je zobrazení ℝ^n×n → ℝ^m×m, A ↦ P, kde pro i, j = 0, …, m − 1 P[i, j] = max {A[2i + u, 2j + v] : u, v ∈ {0, 1}}. Rozdělí tedy mapu na čtverečky 2 × 2 a z každého ponechá jen největší hodnotu; mapa se zmenší na polovinu v každém směru.
2. Globální max-pooling je funkce ℝ^n×n → ℝ, A ↦ max {A[i, j] : i, j = 0, …, n − 1}; z celé mapy ponechá jediné číslo.

Má-li vrstva F map, použije se pooling na každou zvlášť.

Nechť je dána síť z konvolučních a poolingových vrstev ℓ = 1, 2, … se vstupním obrázkem X ∈ ℝ^n×n; neuronem rozumíme jeden prvek některé mapy a jeho okénko je množina prvků předchozí vrstvy (u vrstvy 1 pixelů X), ze kterých se jeho hodnota počítá. Receptivní pole R(y) ⊆ {0, …, n − 1}² neuronu y je definováno po vrstvách:

1. je-li y ve vrstvě 1, je R(y) množina poloh (i, j) pixelů v jeho okénku;
2. je-li y ve vrstvě ℓ ≥ 2, je R(y) = ⋃ {R(y′) : y′ je v okénku y}.

Hodnota y je tedy funkcí jen pixelů z R(y) a změna pixelu mimo R(y) ji nijak nezmění. V sítích, jako je naše, je R(y) čtverec r × r pixelů; jeho stranu r počítá vzorec níže.

1. vstup: r = 1, Δ = 1;
2. konvoluce 3 × 3: r = 1 + 2 · 1 = 3, Δ = 1 · 1 = 1;
3. max-pooling 2 × 2, krok 2: r = 3 + 1 · 1 = 4, Δ = 1 · 2 = 2;
4. konvoluce 3 × 3: r = 4 + 2 · 2 = 8, Δ = 2 · 1 = 2 — výřez 8 × 8, velikost číslice;
5. globální max přes mapu 3 × 3: r = 8 + 2 · 2 = 12 — celé plátno.

Barvy podle vzorce výše.

Nechť q ≥ 1 a P : ℝ^q → ℝ, P(a) = max(a₁, …, a_q). Nechť a ∈ ℝ^q má jediné maximum v prvku a_m, tj. a_m > a_t pro všechna t ≠ m. Pak je P v bodě a diferencovatelná a

∂P/∂a_m(a) = 1,   ∂P/∂a_t(a) = 0 pro t ≠ m.

Důkaz. Pro q = 1 je P(a) = a₁. Pro q ≥ 2 položme ε = min_{t ≠ m} (a_m − a_t) > 0. Pro každé h ∈ ℝ^q s |h_t| < ε/2 pro všechna t je a_m + h_m > a_t + h_t pro t ≠ m, takže P(a + h) = a_m + h_m. V okolí bodu a je tedy P lineární funkce, která závisí jen na m-té složce, a odtud plynou uvedené derivace. ∎

Slovy: malá změna kteréhokoli prvku kromě maxima výsledek nezmění, změna maxima se přenese beze změny. Pooling proto při zpětném šíření pošle celý signál jen do polohy, odkud maximum přišlo; ostatní tři ze čtverečku 2 × 2 dostanou nulu. Náš kód si tu polohu při dopředném průchodu zapamatuje.

Obrázky a mapy zde chápeme jako funkce na celé mřížce ℤ², které mimo plátno mají hodnotu 0: obrázek s C kanály je funkce X : {1, …, C} × ℤ² → ℝ. Pro vektor a = (a₁, a₂) ∈ ℤ² je posun o a zobrazení X ↦ T_aX,

(T_aX)[c, i, j] = X[c, i − a₁, j − a₂]

(obsah, který byl v poloze (i, j), se přesune do (i + a₁, j + a₂)). Nechť g je zobrazení, které obrázku přiřadí výstup.

1. Je-li výstupem opět obrázek (mapa), je g vůči posunu ekvivariantní, právě když ∀a ∈ ℤ² ∀X :   g(T_aX) = T_ag(X) — posun vstupu posune výstup o totéž.
2. g je vůči posunu invariantní, právě když ∀a ∈ ℤ² ∀X :   g(T_aX) = g(X) — posun výstup nezmění.

Na konečném plátně se posun nedá provést beze ztrát (něco vypadne přes okraj), věta proto mluví o polohách uvnitř. Nechť X ∈ ℝ^C×n×n je vstup, a ∈ ℤ² a T_aX ∈ ℝ^C×n×n obrázek posunutý o a na témž plátně (pixely, které by ležely mimo plátno, vypadnou; prázdná místa jsou 0). Nechť Y[X] je jedna mapa konvoluční vrstvy z definice výše (s filtrem K a prahem b, před ReLU i po něm) a M = {0, …, m − 1}² množina jejích poloh. Pak

1. pro každé (i, j) ∈ M, pro které je i (i − a₁, j − a₂) ∈ M, platí Y[T_aX][i, j] = Y[X][i − a₁, j − a₂];
2. označme G(X) = max_{(i, j) ∈ M} Y[X][i, j] globální maximum mapy. Nabývá-li mapa Y[X] maxima v poloze (i′, j′), pro kterou je (i′ + a₁, j′ + a₂) ∈ M, a mapa Y[T_aX] maxima v poloze (i, j), pro kterou je (i − a₁, j − a₂) ∈ M (maximum se posunem nedostalo přes okraj), pak G(T_aX) = G(X).

Důkaz. (1) Pro u, v = 0, …, k − 1 leží (i − a₁ + u, j − a₂ + v) i (i + u, j + v) na plátně, a proto (T_aX)[c, i + u, j + v] = X[c, i − a₁ + u, j − a₂ + v]; dosazením do vzorce konvoluční vrstvy dostaneme se stejnými vahami K přesně součet pro polohu (i − a₁, j − a₂). Jde to jen proto, že K na poloze nezávisí. ReLU působí na každé číslo zvlášť, takže rovnost nezkazí. (2) Podle (1) je Y[T_aX][i′ + a₁, j′ + a₂] = Y[X][i′, j′] = G(X), tedy G(T_aX) ≥ G(X), a G(T_aX) = Y[T_aX][i, j] = Y[X][i − a₁, j − a₂] ≤ G(X). ∎

Max-pooling 2 × 2 s krokem 2 je ekvivariantní jen vůči posunům o sudý počet pixelů (posun o 2 v obrázku je posun o 1 v menší mapě); posun o 1 pixel rozdělí hodnoty do čtverečků jinak. I proto naše síť přesně invariantní není.

Obrázek z příkladu v oddílu o konvoluční vrstvě posunutý o pixel doleva a jeho mapa s týmž filtrem a prahem:

T_{(0, −1)}X = 1100010001001110   Y = 4030

Mapa 0403 se posunula o sloupec doleva spolu s obrázkem — ekvivariance. Její maximum je v obou případech 4 — invariance: vrstva, která se ptá jen „je tu někde svislá čárka?“, dá stejnou odpověď.

Nechť 𝒳 je množina vstupů (obrázků), D = ((x₁, y₁), …, (x_N, y_N)) trénovací data s x_k ∈ 𝒳 a třídami y_k a 𝒯 množina transformací t : 𝒳 → 𝒳 (posuny, otočení, zrcadlení, změny jasu …), o kterých předpokládáme, že správnou třídu nemění: pro každé t ∈ 𝒯 má t(x) touž třídu jako x. Augmentace dat učí síť místo na D na datech

D′ = ((t₁(x₁), y₁), …, (t_N(x_N), y_N)),   t₁, …, t_N ∈ 𝒯 vylosované náhodně,

případně na sjednocení D a takových upravených kopií. Síť tak uvidí tytéž příklady v různých podobách, u kterých se správná odpověď nemění. V našem pokusu je 𝒯 množina posunů o −2 až 2 pixely v každém směru; 500 trénovacích číslic jsme vygenerovali znovu, každou s náhodně vylosovaným posunem z 𝒯.