Embeddingy a word2vec: jak se slovo stane vektorem

Nechť S = {s₁, …, s_V} je slovník o V ≥ 1 navzájem různých slovech v pevném pořadí. One-hot vektor slova s_i (i ∈ {1, …, V}) je vektor o(s_i) ∈ {0, 1}^V se složkami

o(s_i)_j = 1, je-li j = i,   o(s_i)_j = 0, je-li j ≠ i   (j = 1, …, V),

tj. i-tý vektor standardní báze ℝ^V: jednička na pozici daného slova a jinde nuly.

Slovník o třech slovech: „král“ = (1, 0, 0), „královna“ = (0, 1, 0), „chleba“ = (0, 0, 1).

(Barvy podle vzorce kosinové podobnosti výše.)

Pro dvojici „král“ a „chleba“ vyjde přesně totéž. Dva různé one-hot vektory nemají jedničku nikdy na stejném místě, a tak je jejich součin vždy 0 — ať jde o jakákoli slova.

Distribuční hypotéza zní: slova, která se vyskytují v podobných kontextech, mají podobný význam. Není to matematická věta, ale empirické pozorování lingvistiky (Zellig Harris, John Firth, 50. léta); „podobný kontext“ a „podobný význam“ se v ní formálně nedefinují a word2vec ji jen využívá.

Nechť S je slovník o V slovech a d ≥ 1 celé číslo, obvykle d ≪ V (řádově desítky až stovky). Embedding slovníku je zobrazení

v : S → ℝ^d,   w ↦ v_w,

které každému slovu w přiřadí hustý vektor v_w (obecně se všemi složkami nenulovými, na rozdíl od one-hot) a jehož hodnoty se naučí z textu tak, aby slova s podobnými kontexty měla podobné vektory — měřeno kosinovou podobností. Vektor v_w se nazývá embedding slova w.

Nechť w₁, …, w_T ∈ S je věta o T ≥ 1 slovech a m ≥ 1 celé číslo (velikost okna). Kontext pozice t ∈ {1, …, T} je množina pozic

K_m(t) = {t + j : j ∈ ℤ, 1 ≤ |j| ≤ m, 1 ≤ t + j ≤ T}

a slova w_s pro s ∈ K_m(t) jsou sousedé slova w_t. Učení pracuje s posloupností dvojic (slovo, soused)

D = ( (w_t, w_s) : t = 1, …, T,   s ∈ K_m(t) )

sestavenou přes všechny věty textu. Podmínka 1 ≤ t + j ≤ T znamená, že okno nepřekračuje hranici věty; tatáž dvojice slov se v D může vyskytnout víckrát.

Věta „král vládl v paláci a seděl na trůnu“ má 8 slov, okno m = 3. Slovo „paláci“ (4. slovo) má sousedy král, vládl, v, a, seděl, na — 6 dvojic. Krajní slova mají sousedy jen z jedné strany:

Nechť S = {s₁, …, s_V} je slovník, d ≥ 1 a v : S → ℝ^d embedding. Vrstva embeddingů je matice E ∈ ℝ^{V × d}, jejíž i-tý řádek je v_si^T (i = 1, …, V), spolu s lineárním zobrazením

o ↦ E^To,   ℝ^V → ℝ^d.

Pro one-hot vektor o = o(s_i) je E^To = ∑_j=1^V o_j · (j-tý řádek E)^T = v_si, protože jediná nenulová složka je o_i = 1: násobení one-hot vektorem z matice jen vybere jeden řádek. Proto se v praxi nenásobí, ale rovnou čte řádek tabulky; matematicky je to ale lineární vrstva sítě a její váhy se učí jako každé jiné.

U nás je V = 116 a d = 20: celá „slovní zásoba“ sítě je tabulka 116 × 20 = 2 320 čísel a každé slovo popisuje 20 čísel místo 116 nul a jedniček.

Nechť S je slovník, text je posloupnost vět nad S, m ≥ 1 velikost okna, D posloupnost dvojic (slovo, soused) z celého textu podle definice kontextového okna, k ≥ 1 počet negativních vzorků a d ≥ 1 rozměr vektorů. Nechť σ(s) = 1/1 + e^−s je sigmoida a P_šum rozdělení pravděpodobnosti na S (definované níže).

Skip-gram s negativními vzorky přiřadí každému slovu w ∈ S dva vektory, vlastní v_w ∈ ℝ^d a kontextový u_w ∈ ℝ^d, a hledá je tak, aby minimalizovaly součet ztrát přes všechny dvojice

L = ∑_{(w, c) ∈ D} ℓ(w, c),   ℓ(w, c) = −log σ(v_w · u_c) − ∑_i=1^k log σ(−v_w · u_ni),

kde negativní vzorky n₁, …, n_k ∈ S se pro každou dvojici losují nezávisle podle P_šum (ztráta je tedy náhodná a minimalizuje se stochastickým gradientním sestupem). Embeddingem je w ↦ v_w; kontextové vektory se po učení zahodí. Slovy: skóre v_w · u_c skutečného souseda se tlačí nahoru a skóre náhodných slov dolů.

(Barva podle vzorce výše.) „Podle frekvence“ je podíl f(w)/∑_w′ f(w′) bez mocniny.

Poměr nejčastějšího a nejvzácnějšího slova klesne ze 108 : 1 na 34 : 1.

• Vstup: text (posloupnost vět nad slovníkem S), rozměr d = 20, okno m = 3, k = 5 negativních vzorků, rozdělení P_šum, počet průchodů 6.
• Výstup: embedding v_w ∈ ℝ^d pro každé w ∈ S.
• Kroky: (1) v_w náhodně z intervalu (−0,5/d, 0,5/d) po složkách, u_w = 0; (2) v každém průchodu nastavit krok η a pro každou dvojici (w, c) ∈ D vylosovat k negativních slov a udělat jeden krok gradientního sestupu na ℓ(w, c) podle u i v (kód níže).
• Zastavení: po 6 průchodech textem.

v[w] = náhodně z (−0,5/d, 0,5/d)     # vlastní vektory (embeddingy)
u[w] = 0                              # kontextové vektory
for e in range(6):
    eta = 0,05 · (1 − e/6) + 0,001    # krok se zmenšuje
    for veta in text:
        for t, w in enumerate(veta):
            for c in sousede(veta, t, m=3):
                g = 0
                for (x, y) in [(c, 1)] + [(losuj(P_šum), 0) for _ in range(5)]:
                    chyba = σ(v[w] · u[x]) − y     # derivace ztráty podle skóre
                    g    += chyba · u[x]
                    u[x] −= eta · chyba · v[w]
                v[w] −= eta · g
return v

Derivace −log σ(s) podle s je σ(s) − 1 a derivace −log σ(−s) je σ(s); obojí je σ(s) − y, stejně jako u logistické regrese. Gradient podle v_w je to číslo krát u_x a naopak.

Dvourozměrné vektory v_w = (1; 0), u_c = (0,5; 0,5), skutečný soused (y = 1), krok η = 0,05:

(Ztráta je tu jen první, barevný člen vzorce ℓ(w, c) výše — příklad sleduje jedinou dvojici se skutečným sousedem, bez negativních vzorků.)

Oba vektory se k sobě trochu natočily. U negativního slova (y = 0) je chyba kladná a vektory se od sebe odtlačí.

Kontextové vektory začínají jako nuly, takže na začátku je každé skóre 0 a σ(0) = 1/2 pro skutečného souseda i pro všech pět negativních slov (barvy podle vzorce ℓ(w, c) výše):

K nule nedojde: totéž slovo má v textu mnoho různých sousedů a některá vylosovaná „negativní“ slova jsou ve skutečnosti také jeho sousedé, takže dokonale odpovídat nejde.

Nechť S je slovník o V ≥ 2 slovech, v : S → ℝ^d ∖ {0} embedding, w ∈ S a r ∈ {1, …, V − 1}. r nejbližších slov ke slovu w je posloupnost navzájem různých slov x₁, …, x_r ∈ S ∖ {w} taková, že

1. cos(v_w, v_x1) ≥ cos(v_w, v_x2) ≥ … ≥ cos(v_w, v_xr);
2. cos(v_w, v_xr) ≥ cos(v_w, v_y) pro každé y ∈ S ∖ {w, x₁, …, x_r}.

Slovy: r slov různých od w s největší kosinovou podobností, seřazených sestupně (při shodě podobností rozhodne pořadí ve slovníku). V tabulce je r = 4 a čísla v závorkách jsou ty podobnosti. Kontextové vektory u se k tomu nepoužívají.

Nechť S je slovník o aspoň čtyřech slovech, v : S → ℝ^d ∖ {0} embedding a a, b, c ∈ S navzájem různá slova taková, že q = v_b − v_a + v_c ≠ 0. Odpověď vektorové analogie „a je k b jako c k ?“ (zapisujeme a : b = c : ?) je slovo

d* = arg max_{w ∈ S ∖ {a, b, c}} cos(v_w, q),

tj. slovo různé od a, b, c, jehož vektor je kosinově nejbližší bodu q (rozbor níže). Analogie s očekávanou odpovědí d ∈ S je vyřešena správně, právě když d* = d.

V našem malém korpusu by tedy královna vyhrála i bez vynechání, „žena“ (slovo b) by byla hned druhá.