LSTM a GRU: brány, které rozhodují, co si síť zapamatuje

Brány a paměťová buňka LSTM, ručně nastavená buňka, která si podrží symbol přes sto kroků, jednodušší GRU, útlum chybového signálu podle nastavení zapomínací brány a poctivý pokus s učením — na buňkách napsaných od nuly.

12 minut Matěj Žalmánek 2026-10-16

Série Základy AI Díl 66 z 83

Celá osnova série 83 z 83 témat hotovo

Co si odnesete

Co dělají brány a paměťová buňka LSTM a jak se liší GRU.
Proč po paměťové buňce projde chybový signál mnoho kroků — a proč jen tehdy, když je zapomínací brána otevřená.
Co brány na malé úloze opravdu přinesou a proč se prosadily na skutečných datech.

Co se hodí znát předem: Rekurentní sítě: paměť pro posloupnosti a mizející gradient

Obyčejná rekurentní síť z minulého dílu zapomínala rychle: chybový signál slábl s každým krokem a vzdálené souvislosti se nenaučila. V roce 1997 navrhli Sepp Hochreiter a Jürgen Schmidhuber buňku, která má vedle obvyklého stavu ještě jednu, chráněnou paměť — a brány, které rozhodují, kdy do ní zapsat, kdy ji smazat a kdy z ní číst. Síti LSTM trvalo dvacet let, než se naplno prosadila; v letech 2015–2017 pak překládala v Google Translate, rozpoznávala řeč v telefonech a našeptávala slova na klávesnici. V tomhle dílu ji postavíme od nuly, podíváme se dovnitř a poctivě změříme, co na malé úloze opravdu přinese.

Navazuje na díl Rekurentní sítě (RNN).

1. Brána: neuron, který pouští dál

Definice — brána

Nechť m, n ≥ 1 jsou celá čísla (m je počet složek stavu, n počet složek vstupu), h_t−1 ∈ ℝ^m je stav sítě po kroku t − 1, x_t ∈ ℝⁿ je vstup v kroku t, W ∈ ℝ^m×(m+n) je matice vah a b ∈ ℝ^m vektor prahů. Sigmoida σ, spojení [·, ·] a násobení po složkách ⊙ jsou definované v dalším bloku. Brána je vektor

g = σ(W[h_t−1, x_t] + b) ∈ (0, 1)^m,

který se používá jen jako činitel v násobení po složkách g ⊙ v s jiným vektorem v ∈ ℝ^m. Složka (g ⊙ v)_k = g_kv_k je tedy v_k zmenšená na podíl g_k ∈ (0, 1): pro g_k blízké 1 projde skoro beze změny, pro g_k blízké 0 se skoro zastaví.

Rozdělíme-li matici na bloky W = (W_h | U) s W_h ∈ ℝ^m×m a U ∈ ℝ^m×n, je W[h_t−1, x_t] = W_hh_t−1 + Ux_t — stejný tvar jako v obyčejné RNN z minulého dílu.

Laicky řečeno

Kohoutek, který síť sama otáčí podle toho, co právě vidí. Na rozdíl od váhy, která je po naučení pevná, se brána mění krok od kroku: u důležitého slova se otevře, u nedůležitého zavře.

Definice — sigmoida, spojení vektorů, násobení po složkách

Sigmoida je funkce

σ : ℝ → (0, 1), σ(z) = 1/1 + e^−z.

Převede libovolné reálné číslo do intervalu (0, 1): σ(0) = 0,5, σ(1) = 0,731, σ(3) = 0,953, σ(6) = 0,9975, σ(−5) = 0,007. Je rostoucí a její derivace je σ′(z) = σ(z)(1 − σ(z)) pro každé z ∈ ℝ.

Hyperbolický tangens je funkce tanh : ℝ → (−1, 1), tanh z = e^z − e^−z/e^z + e^−z, s derivací tanh′ z = 1 − tanh² z.

Obě funkce používáme i na vektory, a to po složkách: pro v ∈ ℝ^m je σ(v) = (σ(v₁), …, σ(v_m)) a stejně tanh v.

Nechť h ∈ ℝ^m a x ∈ ℝⁿ. Jejich spojení je vektor

[h, x] = (h₁, …, h_m, x₁, …, x_n) ∈ ℝ^m+n

— nejdřív složky h, za nimi složky x (v naší síti 16 + 5 = 21 čísel).

Nechť a, b ∈ ℝ^m. Jejich násobení po složkách (Hadamardův součin) je vektor

a ⊙ b = (a₁b₁, …, a_mb_m) ∈ ℝ^m,

tj. vynásobí se odpovídající si složky: (0,9; 0,1) ⊙ (2; −3) = (1,8; −0,3). Symbolem 1 = (1, …, 1) ∈ ℝ^m značíme vektor samých jedniček.

g = σ( W [h_t−1, x_t] + b )

g: brána — vektor čísel mezi 0 a 1, jedno pro každou složku, kterou řídí
σ: sigmoida — právě ona zaručí rozsah (0, 1), takže se výsledkem dá „pouštět“: násobit jím jiný vektor a dostat 0 až 100 % jeho hodnoty
[h_t−1, x_t]: co síť právě ví a co právě vidí — podle toho se brána rozhoduje, a proto se mění krok od kroku
W: naučené váhy — určují, na které vstupy má brána reagovat
b: práh — výchozí otevření brány: na začátku učení jsou váhy malé a náhodné, W[h, x] kolísá kolem nuly a brána kolem σ(b); s b = 3 je brána otevřená na 0,953, s b = 1 jen na 0,731

2. LSTM: paměť se třemi branami

Definice — buňka LSTM

Nechť m, n, T ≥ 1 jsou celá čísla, x₁, …, x_T ∈ ℝⁿ je vstupní posloupnost a nechť jsou dány matice vah W_f, W_i, W_o, W_g ∈ ℝ^m×(m+n) a prahy b_f, b_i, b_o, b_g ∈ ℝ^m. Síť LSTM (long short-term memory) s m neurony má v každém kroku paměťovou buňku c_t ∈ ℝ^m a stav h_t ∈ ℝ^m, začíná s c₀ = h₀ = 0 a pro t = 1, …, T počítá (s z_t = [h_t−1, x_t] ∈ ℝ^m+n):

zapomínací brána f_t = σ(W_fz_t + b_f) ∈ (0, 1)^m;
vstupní brána i_t = σ(W_iz_t + b_i) ∈ (0, 1)^m;
výstupní brána o_t = σ(W_oz_t + b_o) ∈ (0, 1)^m;
kandidát g_t = tanh(W_gz_t + b_g) ∈ (−1, 1)^m;
paměť c_t = f_t ⊙ c_t−1 + i_t ⊙ g_t;
stav h_t = o_t ⊙ tanh(c_t).

Kde nehrozí záměna, index t u bran vynecháváme (f, i, o, g). Slovy: brány se počítají jen z předchozího stavu a vstupu, stará paměť se do nové dostane jen vynásobením zapomínací branou a stav je výstupní branou „přivřená“ paměť.

Laicky řečeno

Paměťová buňka je sešit. Zapomínací brána rozhodne, kolik ze starých poznámek vygumovat, vstupní brána, kolik nového zapsat, výstupní brána, co z poznámek teď prozradit navenek. Klíčová je první rovnice: stará paměť se do nové jen násobí zapomínací bránou a přičítá se k ní nové — žádná matice, žádná tanh. Když je brána blízko 1, informace i chybový signál po téhle „dálnici“ projdou mnoho kroků skoro beze ztráty.

Buňka LSTM: paměť c vede vodorovně, brány f, i, o ji řídí

c_t = f ⊙ c_t−1 + i ⊙ g

c_t−1, c_t: paměťová buňka před krokem a po něm — „dálnice“ ze schématu; nese informaci z kroku do kroku
f: zapomínací brána — kolik ze staré paměti nechat; 1 = nic nezapomenout, 0 = vymazat. Je to jediné, čím se stará paměť násobí, a proto rozhoduje, jak daleko paměť (i chyba) dosáhne
i: vstupní brána — zda tenhle krok stojí za zapsání; u nedůležitého vstupu ji síť zavře a paměť nepoškodí
g: kandidát (tanh, v intervalu (−1, 1)) — co by se zapsalo; oddělený od i, aby síť zvlášť rozhodovala „co“ a „jestli“

Stará paměť se jen násobí a sčítá — chybí tu matice i tanh, které v obyčejné RNN signál v každém kroku zeslabí.

h_t = o ⊙ tanh(c_t)

h_t: stav, který vidí zbytek sítě: výstupní vrstva i brány v příštím kroku
o: výstupní brána — co z paměti teď ukázat; síť si může něco pamatovat a přitom to ještě nepoužívat
c_t: paměť; tanh ji stlačí do (−1, 1), protože součet v paměti může přerůst 1

Jeden krok buňky LSTM jako pseudokód (W_f, … jsou čtyři matice 16 × 21, b_f, … čtyři prahy):

z = [h[t−1], x[t]]               # spojení: 16 + 5 = 21 čísel
f = σ(W_f·z + b_f)               # zapomenout?
i = σ(W_i·z + b_i)               # zapsat?
o = σ(W_o·z + b_o)               # přečíst?
g = tanh(W_g·z + b_g)            # co zapsat
c[t] = f ⊙ c[t−1] + i ⊙ g
h[t] = o ⊙ tanh(c[t])

3. LSTM nastavená ručně

Než síť budeme učit, nastavme jednu buňku LSTM ručně na úlohu z minulého dílu: na začátku posloupnosti přijde symbol A nebo B, pak 99 rušivých symbolů, a na konci má buňka vědět, co bylo na začátku. Vstupní bránu nastavíme tak, aby se otevřela jen na A nebo B, kandidáta na +1 pro A a −1 pro B, zapomínací bránu skoro na 1 (práh 6, tedy f = 0,9975) a výstupní otevřenou.

Ručně nastavená buňka LSTM: posloupnost „B, pak 99 rušivých symbolů“ vstupní brána paměťová buňka c výstup h

V prvním kroku je vstupní brána otevřená (0,993) a do paměti se zapíše −0,993 — „bylo B“. Pak se brána zavře (0,007) a rušivé symboly do paměti skoro nic nezapíšou. Paměť jen pomalu slábne násobením zapomínací branou: po 100 krocích je na −0,777, tedy zbývá 0,9975⁹⁹ = 78 % — a výstup je pořád jasně záporný (−0,65). Obyčejná RNN takové chování také umí (stav, který se sám drží), ale v LSTM je zabudované přímo v rovnici paměti a stačí ho nastavit jednou konstantou.

Příklad — ručně nastavená buňka krok za krokem

Vstup je jeden z pěti symbolů zakódovaný jako pět čísel, z nichž jedno je 1 (x_A, x_B a tři rušivé). Váhy buňky:

i = σ(10(x_A + x_B) − 5), g = tanh(4(x_A − x_B)), f = σ(6), o = σ(6).

Dosazujeme do rovnic c_t = f ⊙ c_t−1 + i ⊙ g a h_t = o ⊙ tanh(c_t) (barvy podle vzorců výše); buňka má jediný neuron, takže ⊙ je obyčejné násobení.

Krok 1, symbol B (x_B = 1): i = σ(10 − 5) = σ(5) = 0,993, g = tanh(−4) = −0,999, c₁ = 0,9975 · 0 + 0,993 · (−0,999) = −0,993.

Krok 2, rušivý symbol: i = σ(−5) = 0,007, g = tanh 0 = 0, takže c₂ = 0,9975 · c₁ + 0,007 · 0 = 0,9975 · c₁. Rušivý symbol do paměti nezapíše nic; paměť se jen vynásobí f.

Krok 100: totéž 99krát, c₁₀₀ = 0,9975⁹⁹ · c₁ = 0,783 · (−0,993) = −0,777, a výstup h₁₀₀ = 0,9975 · tanh(−0,777) = 0,9975 · (−0,651) = −0,65.

Věčnou paměť by dala f = 1, ke které se sigmoida s rostoucím prahem libovolně blíží; s prahem 6 pomalu slábne, ale po 100 krocích je znaménko — to, co si máme pamatovat — pořád jasné.

4. GRU: jednodušší sestra

Definice — buňka GRU

Nechť m, n, T ≥ 1 jsou celá čísla, x₁, …, x_T ∈ ℝⁿ je vstupní posloupnost a nechť jsou dány matice vah W_z, W_r, W_ñ ∈ ℝ^m×(m+n) a prahy b_z, b_r, b_ñ ∈ ℝ^m. Síť GRU (gated recurrent unit; Kjunghjun Čo a kol., 2014) s m neurony nemá oddělenou paměť, jen stav h_t ∈ ℝ^m. Začíná s h₀ = 0 a pro t = 1, …, T počítá:

aktualizační brána z_t = σ(W_z[h_t−1, x_t] + b_z) ∈ (0, 1)^m;
resetovací brána r_t = σ(W_r[h_t−1, x_t] + b_r) ∈ (0, 1)^m;
kandidát ñ_t = tanh(W_ñ[r_t ⊙ h_t−1, x_t] + b_ñ) ∈ (−1, 1)^m;
stav h_t = (1 − z_t) ⊙ h_t−1 + z_t ⊙ ñ_t.

Kde nehrozí záměna, index t u bran vynecháváme. Slovy: každá složka nového stavu je vážený průměr staré složky a kandidáta s vahami 1 − z_k a z_k. (V původním článku Čo a kol. mají role z a 1 − z prohozené; obě konvence jsou rovnocenné, liší se jen pojmenováním brány.)

Laicky řečeno

Jedna brána místo dvou: co se zapíše nového, o tolik se zapomene ze starého. Resetovací brána rozhodne, nakolik se kandidát ohlíží na minulost. GRU má o čtvrtinu méně vah než LSTM — u nás 1 090 proti 1 442 (obyčejná RNN 386) — a v praxi bývá podobně dobrá.

h_t = (1 − z) ⊙ h_t−1 + z ⊙ ñ

h_t−1, h_t: stav před krokem a po něm — v GRU je zároveň pamětí, oddělené c tu není
1 − z: kolik starého stavu ponechat — obdoba zapomínací brány f z LSTM
z: aktualizační brána: kolik nového zapsat — obdoba vstupní brány i; protože obě váhy dávají dohromady 1, je nový stav vážený průměr starého a kandidáta a nemůže přerůst rozsah (−1, 1)
ñ: kandidát, spočtený z r ⊙ h_t−1 a x_t — resetovací brána r v něm rozhodne, nakolik se nový obsah ohlíží na dosavadní stav

Přímá cesta ze starého stavu do nového vede přes (1 − z): když je z blízko 0, stav i chybový signál projdou krokem skoro beze změny.

Příklad — odkud jsou počty vah 386, 1 442 a 1 090

Vstup má 5 složek (symboly A, B a tři rušivé), stav 16, výstupy 2. Každá „vrstva uvnitř buňky“ (brána nebo kandidát) má matici 16 × (16 + 5) = 336 vah a 16 prahů, dohromady 352. Výstupní vrstva má 2 × 16 + 2 = 34.

RNN: jedna vrstva, 352 + 34 = 386. LSTM: čtyři (f, i, o, g), 4 · 352 + 34 = 1 442. GRU: tři (z, r, ñ), 3 · 352 + 34 = 1 090.

GRU má tedy 1 090/1 442 = 76 % vah LSTM — o čtvrtinu méně, protože jí chybí jedna ze čtyř vnitřních vrstev.

5. Kudy teče chybový signál

Hlavní slib LSTM se dá změřit ještě před učením: kolik chybového signálu doputuje zpátky přes 60 kroků v nenaučené síti. Pro každou variantu pět náhodných sítí, každá na dvaceti posloupnostech:

Útlum chybového signálu v nenaučených sítích (posloupnosti délky 60) RNNLSTM, práh zapomínání 1LSTM, práh zapomínání 3GRU

Rozhoduje nastavení zapomínací brány. S prahem 3 (brána zhruba 0,95) se LSTM drží: i 59 kroků zpět dorazí 48 % signálu. S prahem 1 (brána zhruba 0,73) slábne podobně jako obyčejná RNN — 0,16 % proti 0,29 %. GRU s nulovými prahy, kde aktualizační brána začíná na 0,5, ztrácí signál nejrychleji ze všech: 3 · 10⁻⁹. Brány samy o sobě tedy nic nezaručují; dálnici je potřeba na začátku otevřít. Proto se dnes práh zapomínací brány standardně nastavuje kladný.

Věta — chybový signál na dálnici

Nechť je dána síť LSTM podle definice výše, krok t ∈ {1, …, T} a chyba E ∈ ℝ, která je diferencovatelnou funkcí výstupů sítě. Krok t chápejme jako zobrazení (c_t−1, h_t−1, x_t) ↦ (c_t, h_t) a nechť ∂E/∂c_t, ∂E/∂h_t ∈ ℝ^m jsou derivace E podle výstupů kroku t (chybový signál, který do nich přichází z pozdějších kroků a z výstupní vrstvy). Pak derivace E podle vstupu c_t−1 kroku t je

∂E/∂c_t−1 = f_t ⊙ (∂E/∂c_t + ∂E/∂h_t ⊙ o_t ⊙ (1 − tanh² c_t)).

Důkaz. Brány f_t, i_t, o_t i kandidát g_t se počítají z z_t = [h_t−1, x_t], na c_t−1 tedy nezávisí, a c_t−1 vstupuje v kroku t jen do rovnice c_t = f_t ⊙ c_t−1 + i_t ⊙ g_t. Po složkách proto ∂c_t,k/∂c_t−1,k = f_t,k (a pro různé složky nula). Hodnota c_t působí na E přímo (signál ∂E/∂c_t) a přes h_t = o_t ⊙ tanh(c_t), kde ∂h_t,k/∂c_t,k = o_t,k(1 − tanh² c_t,k). Řetízkové pravidlo sečte obě cesty a vynásobí je f_t,k, což je tvrzení věty. ∎

Protože c_t−1 je výstupem kroku t − 1 a vstupuje jen do kroku t, je levá strana zároveň signál „podle výstupu c_t−1“ pro krok t − 1 a vzorec se dá opakovat krok za krokem dozadu. U obyčejné RNN je na odpovídajícím místě činitel W^T a derivace tanh (díl o RNN).

∂E/∂c_t−1 = f_t ⊙ ( ∂E/∂c_t + ∂E/∂h_t ⊙ o_t ⊙ (1 − tanh² c_t) )

∂E/∂c_t, ∂E/∂c_t−1: chybový signál v paměti — ten, který jede po dálnici zpátky
f_t: zapomínací brána — jediný činitel na přímé cestě; co dopředu propustí z paměti, to dozadu propustí ze signálu
∂E/∂h_t ⊙ o_t ⊙ (1 − tanh² c_t): signál, který do paměti přiteče z výstupu h_t (přes výstupní bránu a tanh) — v každém kroku se na dálnici může přidat nový

Po n krocích po samotné dálnici je signál vynásobený součinem f_t · f_t−1 ⋯ f_t−n+1 — bez matic a bez derivací tanh.

Příklad — součin bran po deseti krocích

Zjednodušeně: ať má zapomínací brána v každém kroku přesně hodnotu σ(práh). Pak po deseti krocích po dálnici zbude

práh 3: 0,953¹⁰ = 0,62, práh 1: 0,731¹⁰ = 0,044

(barvy podle vzorce výše: f_t = σ(práh) v každém z deseti kroků).

U GRU hraje roli f činitel 1 − z (barva podle vzorce GRU), s nulovým prahem 1 − σ(0) = 0,5, a 0,5¹⁰ = 0,001.

Naměřené křivky v grafu nejsou přesně tyto součiny — brány v nenaučené síti kolísají kolem σ(práh) a signál teče i jinudy (přes h a brány) — ale pořadí tří variant s branami je stejné: čím blíž je brána k 1, tím víc signálu dojde.

6. Co přinese učení: poctivý pokus

Teď stejnou úlohu „první symbol přes mezeru“ všechny čtyři varianty učíme: 16 skrytých neuronů, obyčejný gradientní sestup na 3 000 posloupnostech, tři náhodné starty. Počítáme, kolik startů se úlohu naučilo (přesnost nad 95 %):

for varianta in RNN, LSTM práh 1, LSTM práh 3, GRU:
  for mezera T in 10, 30, 60:
    for start in 1, 2, 3:                  # tři náhodné počáteční váhy
      síť = nová(varianta, start)          # 16 skrytých, vstup 5, výstup 2
      opakuj 3 000×:
        x = A nebo B, pak T − 1 rušivých symbolů
        g = zpětné šíření v čase(síť, x, cíl = první symbol)
        g = g · min(1, 5 / ‖g‖)            # ořezání gradientu
        váhy = váhy − 0,1 · g
      přesnost = podíl správných na 300 nových posloupnostech
      naučila se = přesnost > 0,95

Délka mezery	RNN	LSTM, práh 1	LSTM, práh 3	GRU
10 kroků	3 ze 3	3 ze 3	3 ze 3	3 ze 3
30 kroků	1 ze 3	0 ze 3	3 ze 3	0 ze 3
60 kroků	3 ze 3	0 ze 3	0 ze 3	0 ze 3

Výsledek je méně učebnicový, než by se čekalo, a stojí za to ho číst pozorně. Na mezeře 30 kroků se spolehlivě učí jen LSTM s otevřenou dálnicí (práh 3) — přesně podle grafu útlumu. LSTM s prahem 1 a GRU, kterým signál na začátku utíká stejně rychle jako RNN, se nenaučí nic. Obyčejná RNN je loterie: na 30 krocích uspěla jednou ze tří, na 60 krocích třikrát. Ta úspěšná si totiž vytvořila stav, který se sám drží — a když se to na začátku učení podaří, další kroky už ho jen zpevní; o vzdálenosti pak rozhoduje spíš náhoda startu než síla gradientu. Na 60 krocích nestačilo LSTM 3 000 posloupností.

Co si z toho odnést: brány dávají síti mechanismus, kterým si informaci udrží a po kterém k ní dojde chybový signál. Jestli se ho síť naučí využít, záleží na inicializaci a na množství učení. Skutečné úlohy — jazyk, řeč — mají souvislosti na desítkách až stovkách kroků a miliony příkladů, a tam se LSTM a GRU proti obyčejným RNN prosadily jasně.

7. LSTM a GRU dnes

Historie. Původní LSTM (1997) zapomínací bránu neměla — přidali ji Felix Gers, Jürgen Schmidhuber a Fred Cummins v roce 2000. Doporučení nastavit práh zapomínací brány kladný se ustálilo kolem roku 2015.
Vrchol. V letech 2014–2017 byly LSTM a GRU standardem pro strojový překlad (sekvence na sekvenci), rozpoznávání řeči a modelování jazyka.
Po transformerech. Transformery vidí celou posloupnost naráz a dají se trénovat paralelně, takže v jazyce rekurentní sítě vytlačily. LSTM ale zůstávají v časových řadách, v malých zařízeních a v řízení; a moderní architektury jako xLSTM (2024) nebo stavové modely se k myšlence řízené paměti vracejí.

8. Shrnutí

Brána je sigmoida, která po složkách pouští nebo zastavuje informaci; síť ji řídí podle vstupu.
LSTM má paměťovou buňku, do které se jen násobí zapomínací branou a přičítá — informace i chyba po ní projdou mnoho kroků.
Ručně nastavená buňka si podržela symbol přes 100 kroků (paměť z −0,993 na −0,777).
GRU má dvě brány a o čtvrtinu méně vah (1 090 proti 1 442).
Rozhoduje práh zapomínací brány: s prahem 3 doputovalo přes 59 kroků 48 % signálu a LSTM se mezeru 30 kroků naučila ve všech startech; s prahem 1 v žádném.

Chcete si to osahat? Nechte AI agenta natrénovat v PyTorchi malou LSTM a GRU na předpovídání dalšího znaku textu a porovnat je s obyčejnou RNN — a pak zkuste totéž s prahem zapomínací brány 0 a 3.

Máte na to jiný názor? Napište na support@coden-app.com.

LSTM a GRU: brány, které rozhodují, co si síť zapamatuje

1. Brána: neuron, který pouští dál

2. LSTM: paměť se třemi branami

3. LSTM nastavená ručně

4. GRU: jednodušší sestra

5. Kudy teče chybový signál

6. Co přinese učení: poctivý pokus

7. LSTM a GRU dnes

8. Shrnutí

Agent na vašem počítači, ovládaný z telefonu