Vícetřídní klasifikace a softmax: od dvou tříd k mnoha

Čtyři třídy v rovině: jeden proti všem, jeden proti jednomu a softmaxová regrese, matice záměn, vlastnosti softmaxu, teplota při výběru dalšího slova a klasifikace s více štítky.

12 minut Matěj Žalmánek 2026-10-16

Série Základy AI Díl 50 z 83

Celá osnova série 83 z 83 témat hotovo

Co si odnesete

Jak z binárních klasifikátorů složit vícetřídní a kde to selhává.
Co dělá softmax a proč vrací skutečné rozdělení pravděpodobnosti.
Jak teplota ovlivňuje, které slovo jazykový model vybere.

Co se hodí znát předem: Logistická regrese: sigmoida, šance a křížová entropie

Logistická regrese umí rozhodnout mezi dvěma možnostmi. Svět jich ale nabízí víc: deset číslic, tisíc druhů objektů na fotce, desítky tisíc slov, kterými může pokračovat věta. Jak z dvoutřídního klasifikátoru udělat vícetřídní? Buď poskládat několik dvoutřídních dohromady, nebo vzít funkci, která umí rozdělit pravděpodobnost mezi libovolně mnoho tříd najednou — softmax. Tu potkáte na konci téměř každé neuronové sítě, včetně jazykových modelů.

Navazuje na díl Logistická regrese.

1. Čtyři třídy v rovině

Definice — vícetřídní klasifikace

Nechť 𝒳 je množina možných vstupů (u nás 𝒳 = ℝ²) a K ∈ ℕ, K > 2, je počet tříd, které očíslujeme 1, …, K. Vícetřídní klasifikace je úloha, ve které

každý příklad má vstup x ∈ 𝒳 a cíl (třídu) y ∈ {1, …, K} — patří tedy právě do jedné třídy;
hledáme klasifikátor, tj. funkci f : 𝒳 → {1, …, K}, pro kterou f(x) = y u co nejvíce příkladů;
pravděpodobnostní klasifikátor navíc každému x přiřadí rozdělení pravděpodobnosti na třídách, vektor (P(y = 1 | x), …, P(y = K | x)) s nezápornými složkami a součtem 1.

(Když může příklad patřit do více tříd najednou, jde o klasifikaci s více štítky, o které je řeč na konci.)

Laicky řečeno

Třídicí linka na ovoce: jablko, hruška, švestka, nebo meruňka — vždycky právě jedno. Model má říct, které, a ideálně i s jakou jistotou.

Definice — Iversonova závorka a kódování 1 z K

Nechť V je výrok. Iversonova závorka výroku V je číslo

[V] = 1, je-li V pravdivý, [V] = 0, je-li V nepravdivý.

Nechť K ∈ ℕ, K ≥ 2, a y ∈ {1, …, K}. Kódování 1 z K (one-hot) třídy y je vektor

([y = 1], [y = 2], …, [y = K]) ∈ {0, 1}^K,

tedy vektor, který má na pozici y jedničku a na všech ostatních nulu ([y = k] = 1, právě když k je skutečná třída). Pro naše čtyři třídy A, B, C, D (očíslované 1 až 4) je třída C vektor (0, 0, 1, 0). Je to „dokonale jisté“ rozdělení pravděpodobnosti, se kterým budeme porovnávat předpovědi modelu.

Naše data: čtyři třídy po padesáti bodech. Třídy A, B a C leží vlevo, vpravo a nahoře, třída D uprostřed mezi nimi. Úspěch měříme na 4 000 nových bodech (tisíc z každé třídy).

2. Jeden proti všem

Definice — jeden proti všem (one-vs-rest)

Nechť K > 2 je počet tříd 1, …, K a (x₁, y₁), …, (x_n, y_n) jsou trénovací příklady, x_i ∈ ℝ^d, y_i ∈ {1, …, K}. Metoda jeden proti všem:

pro každé k = 1, …, K vytvoří binární úlohu s cíli [y_i = k] ∈ {0, 1} („k, nebo cokoli jiného“) a naučí na všech n příkladech binární klasifikátor se skóre z_k : ℝ^d → ℝ (u nás logistickou regresi; skóre > 0 znamená „ano, třída k“);
novému bodu x ∈ ℝ^d předpoví třídu s největším skóre ŷ(x) = argmax_{k ∈ {1, …, K}} z_k(x), tj. takové k, že z_k(x) ≥ z_l(x) pro všechna l (při shodě rozhodne pevně zvolené pravidlo).

Laicky řečeno

Čtyři specialisté, každý pozná jen svou třídu. Zeptáme se všech a věříme tomu, kdo zní nejjistěji. Jednoduché, ale každý specialista se učil sám a nikdo jim neřekl, že jejich odpovědi se pak budou porovnávat.

Jeden proti všem: šedě nikdo neřekne ano, žlutě víc klasifikátorů najednou; vpravo softmax

Vlevo jsou vidět hranice tří binárních klasifikátorů. Čtvrtá, „D proti všem“, chybí: třída D leží uprostřed a žádná přímka ji od ostatních neoddělí. Klasifikátor proto rezignoval a neřekne „D“ nikde — na testu ani u jednoho bodu. Ve 12,9 % roviny neřekne „ano“ žádný ze čtyř specialistů, ve 25,2 % jich řekne „ano“ víc. Výběr největšího skóre to přesto zachrání: uprostřed mají všichni ostatní skóre hluboko v záporu a „nejmenší ne“ patří D. Celková přesnost je 93,5 % a ze tříd D najde 83,5 %.

Horší je, co dostaneme místo pravděpodobností. Uprostřed třídy D, v bodě (0; 0,6), dají sigmoidy čtyř klasifikátorů dohromady jen 0,25 — „s pravděpodobností 75 % to není nic“. V bodě (−3; 3) mezi A a C řekne klasifikátor A 0,999 a klasifikátor C 1,000: součet 2,22. Čísla jednotlivých specialistů nejsou rozdělením pravděpodobnosti a mezi sebou se srovnávají špatně.

Příklad — skóre a sigmoidy čtyř specialistů ve dvou bodech

bod		A	B	C	D	součet
(0; 0,6)	skóre `z`_k	−8,00	−13,47	−8,49	−1,08
	`σ`(`z`_k)	0,0003	0,0000	0,0002	0,253	0,25
(−3; 3)	skóre `z`_k	7,28	−57,38	14,55	−1,29
	`σ`(`z`_k)	0,999	0,000	1,000	0,216	2,22

Uprostřed jsou všechna skóre záporná („ne“ říkají všichni) a argmax vybere D, protože −1,08 je „nejmenší ne“: σ(−1,08) = 1/1 + e^1,08 ≈ 1/3,9 ≈ 0,25. V bodě (−3; 3) říkají „ano“ dva a vyhraje C s větším skóre.

3. Jeden proti jednomu

Definice — jeden proti jednomu (one-vs-one)

Nechť K > 2 je počet tříd 1, …, K a trénovací příklady (x_i, y_i) jsou jako výše. Metoda jeden proti jednomu:

pro každou dvojici tříd a < b naučí binární klasifikátor se skóre z_ab : ℝ^d → ℝ jen na příkladech, pro které y_i ∈ {a, b}; z_ab(x) > 0 znamená třídu a, jinak b. Dvojic, a tedy klasifikátorů, je K(K − 1)/2;
novému bodu x dá každý klasifikátor jeden hlas jedné ze svých dvou tříd; třída k tak dostane h_k(x) = ∑_{b > k} [z_kb(x) > 0] + ∑_{a < k} [z_ak(x) ≤ 0] hlasů (Iversonova závorka viz výše);
předpoví se třída s nejvíc hlasy, ŷ(x) = argmax_k h_k(x); při shodě hlasů vyhraje třída s menším číslem.

Laicky řečeno

Turnaj každý s každým: A proti B, A proti C, … Pro čtyři třídy šest zápasů, pro deset číslic 45, pro tisíc tříd skoro půl milionu. Každý zápas je ale jednodušší — D se odděluje vždy jen od jedné sousední třídy, a to přímka zvládne.

Šest klasifikátorů dá přesnost 93,4 % a třídu D najde v 88,8 % případů — líp než jeden proti všem. Pro velký počet tříd je ale turnaj nepraktický a pravděpodobnosti nedává vůbec.

def jeden_proti_jednomu(x, klasifikatory, K):
    # klasifikatory[(i, j)] = váhy w naučené jen na třídách i a j,
    # skóre > 0 znamená „i“; dvojic je K(K − 1)/2: 6, pro K = 10 už 45
    hlasy = [0] * K
    for (i, j), w in klasifikatory.items():
        if skal(w, x) > 0:
            hlasy[i] += 1
        else:
            hlasy[j] += 1
    return argmax(hlasy)    # při shodě hlasů vyhraje třída s menším číslem

Každá třída sehraje K − 1 zápasů, takže pro čtyři třídy může mít nejvýš tři hlasy. Pro tisíc tříd je dvojic 1000 · 999/2 = 499 500 a každý bod musí projít všemi.

4. Softmax

Definice — funkce softmax a softmaxová regrese

Nechť K ∈ ℕ, K ≥ 2. Softmax je funkce softmax : ℝ^K → ℝ^K, která vektoru z = (z₁, …, z_K) (jeho složkám říkáme logity) přiřadí vektor se složkami

softmax(z)_k = e^z_k/∑_j=1^K e^z_j, k = 1, …, K.

Pro každé z ∈ ℝ^K platí softmax(z)_k > 0 pro všechna k a ∑_k=1^K softmax(z)_k = 1, takže softmax(z) je rozdělení pravděpodobnosti na třídách {1, …, K}.

Nechť dále x = (1, x₁, …, x_d) ∈ ℝ^d+1 je vektor příznaků doplněný o jedničku pro úsek a w₁, …, w_K ∈ ℝ^d+1 jsou vektory vah jednotlivých tříd. Softmaxová regrese (multinomiální logistická regrese) je model, který vektoru x přiřadí

skóre (logity) z_k(x) = w_k · x pro k = 1, …, K;
pravděpodobnosti P(y = k | x) = softmax(z₁(x), …, z_K(x))_k;
předpověď ŷ(x) = argmax_k P(y = k | x) = argmax_k z_k(x).

Všechny váhy w₁, …, w_K se učí společně minimalizací křížové entropie (níže).

Laicky řečeno

Každá třída dostane skóre. Exponenciála z nich udělá kladná čísla a zvýrazní rozdíly: skóre o jedničku větší znamená e ≈ 2,7krát víc. Nakonec se všechno vydělí součtem, aby to dalo dohromady 100 %. Jméno „soft max“ je přesné: je to měkká verze výběru maxima — největší skóre dostane nejvíc, ale ostatní nedostanou nulu.

p_k = e^z_k/∑_j=1^K e^z_j, z_k = w_k · x

p_k: pravděpodobnost třídy k — chceme K čísel, která jsou kladná a dají součet 1
e^z_k: exponenciála — z libovolného skóre udělá kladné číslo a zachová pořadí (větší skóre, větší výsledek); rozdíl skóre o 1 promění v poměr e ≈ 2,72
∑_j e^z_j: součet přes všechny třídy — dělením se kladná čísla „normalizují“ na součet 1; tady se třídy navzájem ovlivňují: když jedné skóre stoupne, ostatním pravděpodobnost klesne
z_k: logit (skóre) třídy k — libovolné reálné číslo, které model umí snadno spočítat
w_k: vlastní vektor vah každé třídy (s úsekem, x má první složku 1) — u nás matice 4 × 3; všechny řádky se učí najednou, protože se potkávají ve společném jmenovateli

Softmax je přesně to nejjednodušší, co z libovolných skóre udělá rozdělení pravděpodobnosti a zachová jejich pořadí.

Příklad — softmax(1, 2, 3) a model v bodě (0; 0,6)

z = (1; 2; 3): e¹ = 2,718, e² = 7,389, e³ = 20,086, součet 30,193

softmax(1, 2, 3) = (2,718/30,193; 7,389/30,193; 20,086/30,193) = (0,090; 0,245; 0,665)

Naše softmaxová regrese má pro třídu D váhy w_D = (4,560; 0,055; −0,860) (úsek, x₁, x₂). V bodě (0; 0,6) (barvy podle vzorce výše):

z_D = 4,560 + 0,055 · 0 − 0,860 · 0,6 = 4,044; podobně z_A = −1,449, z_B = −1,559, z_C = −1,036

po odečtení maxima: (−5,493; −5,603; −5,080; 0) → e^… = (0,0041; 0,0037; 0,0062; 1), součet 1,0140

p_D = 1/1,0140 = 0,986

Věta — hranice softmaxové regrese jsou přímky

Nechť w₁, …, w_K ∈ ℝ^d+1 jsou váhy softmaxové regrese, z_k(x) = w_k · x a p_k(x) = softmax(z₁(x), …, z_K(x))_k pro x = (1, x₁, …, x_d). Nechť k ≠ l jsou dvě třídy, jejichž váhy se liší aspoň v jedné složce kromě úseku. Pak

hranice tříd k a l, množina {x : p_k(x) = p_l(x)}, je nadrovina {x : (w_k − w_l) · x = 0} (v rovině přímka);
oblast třídy k, R_k = {x : z_k(x) ≥ z_l(x) pro všechna l = 1, …, K}, je průnik nejvýš K − 1 uzavřených poloprostorů, a tedy konvexní množina.

Důkaz. Jmenovatel softmaxu je u p_k i p_l stejný a exponenciála je prostá, takže

p_k = p_l ⇔ e^z_k = e^z_l ⇔ z_k = z_l ⇔ (w_k − w_l) · x = 0

a to je rovnice nadroviny. Každá podmínka z_k(x) ≥ z_l(x) je lineární nerovnost (w_k − w_l) · x ≥ 0, tedy uzavřený poloprostor, a průnik konvexních množin je konvexní. ∎

V rovině je tedy oblast každé třídy konvexní mnohoúhelník (případně neomezený) ohraničený úsečkami a polopřímkami — proto může D dostat jednu souvislou oblast uprostřed, ale nikdy ne dvě oddělené.

Vpravo na obrázku je softmaxová regrese na stejných datech. Rovina se rozdělí na čtyři oblasti a třída D dostala vlastní oblast uprostřed: hranice mezi každými dvěma třídami je přímka, kde se jejich skóre rovnají. Uprostřed D teď model říká „D“ s pravděpodobností 98,6 % a v bodě (−3; 3) dá třídě C 97,9 % — součet je vždy 1.

Skutečná třída ↓ / předpověď →	A	B	C	D	úplnost
A	963	0	3	34	96,3 %
B	0	961	2	37	96,1 %
C	1	4	916	79	91,6 %
D	24	23	57	896	89,6 %

Matice záměn z dílu o vyhodnocení modelu má teď čtyři řádky a čtyři sloupce. A se s B nesplete nikdy a skoro všechny záměny (254 z 264) vedou od prostřední třídy D, nebo k ní. Celková přesnost je 93,4 %, stejně jako u ostatních přístupů; tady jsou třídy dobře oddělené a rozdíl nedělá přesnost, ale to, že softmax vrací skutečné rozdělení pravděpodobnosti.

5. Tři vlastnosti softmaxu

Pro dvě třídy je to sigmoida. softmax(z₁, z₂)₁ = 1/1 + e^{−(z₁ − z₂)} =σ(z₁ − z₂). Pro skóre 2 a 0,5 dá obojí 0,818. Logistická regrese je tedy speciální případ softmaxové.
Přičtení konstanty nic nemění. softmax(1, 2, 3) i softmax(1001, 1002, 1003) je (0,090; 0,245; 0,665). Záleží jen na rozdílech skóre. Počítače toho využívají: od všech skóre odečtou maximum, jinak by e¹⁰⁰³ přeteklo do nekonečna.
Učí se křížovou entropií. Ztráta je −ln P(skutečná třída), stejně jako u dvou tříd, a gradient podle skóre třídy k je opět „předpověď minus skutečnost“: p_k − [y = k]. Naše softmaxová regrese má na testu křížovou entropii 0,175.

Věta — softmax dvou tříd je sigmoida a posun skóre nic nemění

Nechť K ≥ 2 a z = (z₁, …, z_K) ∈ ℝ^K. Pak

pro K = 2 platí softmax(z₁, z₂)₁ = σ(z₁ − z₂), kde σ je sigmoida z dílu Logistická regrese;
pro každé c ∈ ℝ platí softmax(z₁ + c, …, z_K + c) = softmax(z).

Důkaz. Dvě třídy: čitatel i jmenovatel vydělíme e^z₁:

e^z₁/e^z₁ + e^z₂ = 1/1 + e^{z₂ − z₁} = σ(z₁ − z₂)

pro skóre 2 a 0,5: σ(1,5) = 1/1 + e^−1,5 = 1/1,223 = 0,818

Posun: pro libovolnou konstantu c je e^{z_k + c} = e^c · e^z_k, a činitel e^c se v čitateli i ve jmenovateli pokrátí:

e^{z_k + c}/∑_j=1^K e^{z_j + c} = e^c · e^z_k/e^c · ∑_j=1^K e^z_j = softmax(z)_k. ∎

Pro c = −max_j z_j je největší exponent 0, takže nic nepřeteče (e¹⁰⁰³ by v běžných desetinných číslech počítače dalo nekonečno, největší je asi 1,8 · 10³⁰⁸ ≈ e^709,8).

Věta — gradient křížové entropie podle skóre

Nechť K ≥ 2, z ∈ ℝ^K, p = softmax(z), y ∈ {1, …, K} je skutečná třída a ztráta (křížová entropie jednoho příkladu) je

L(z) = −ln p_y = −∑_k=1^K [y = k] ln p_k

(kódování 1 z K vybere jediný sčítanec). Pak pro každé k = 1, …, K platí

∂L/∂z_k = p_k − [y = k].

Je-li navíc z_k = w_k · x pro x, w_k ∈ ℝ^d+1, pak ∂L/∂w_k = (p_k − [y = k]) x.

Důkaz: dosadíme softmax a logaritmus podílu rozepíšeme na rozdíl:

L = −ln e^z_y/∑_j e^z_j = −z_y + ln ∑_j e^z_j

∂L/∂z_k = −[y = k] + e^z_k/∑_j e^z_j = p_k − [y = k]

(∂z_y/∂z_k = [y = k].) Protože z_k = w_k · x a na w_k závisí jen z_k, je podle řetízkového pravidla gradient podle vah třídy k tentýž výraz krát x. ∎

∂L/∂w_k = ( p_k − [y = k] ) · x

∂L/∂w_k: jak změnit váhy třídy k, aby ztráta rostla nejrychleji — sestup jde opačně
p_k: co model předpověděl pro třídu k; špatné třídy „ztrácejí“ úměrně tomu, kolik si pravděpodobnosti neprávem vzaly
[y = k]: co mělo vyjít (1 pro skutečnou třídu, jinak 0); rozdíl je chyba předpovědi a pro dokonale jistý správný model je nulový
x: příznaky příkladu — váhy se mění tím víc, čím větší příznak k chybě přispěl; jako u logistické regrese

Pro dvě třídy je to přesně gradient logistické regrese (p − y) x. Součet chyb přes třídy je ∑ p_k − 1 = 0: co jedné třídě přidáme, jiným ubereme.

Příklad — ztráta a gradient pro skóre (1, 2, 3), skutečná třída je první

p = (0,090; 0,245; 0,665), L = −ln 0,090 = 2,41

∂L/∂z = (0,090 − 1; 0,245 − 0; 0,665 − 0) = (−0,910; 0,245; 0,665), součet 0 (barvy podle vzorce výše: p_k a [y = k])

krok sestupu s η = 1: z → (1,910; 1,755; 2,335), p = (0,295; 0,253; 0,452), L = 1,22

Skóre skutečné třídy stoupne, ostatní klesnou — nejvíc to, které si vzalo nejvíc (0,665).

def softmax(z, T=1.0):
    m = max(z)                                # posun o konstantu výsledek nezmění…
    e = [exp((zk - m) / T) for zk in z]       # …a největší exponent je 0, nic nepřeteče
    s = sum(e)
    return [ek / s for ek in e]

def uc_softmax(X, y, K, eta=0.5, kroku=3000, lam=0.001):
    # X má v prvním sloupci jedničky; W[k] jsou váhy třídy k
    n, d = len(X), len(X[0])
    W = [[0.0] * d for _ in range(K)]
    for _ in range(kroku):
        G = [[0.0] * d for _ in range(K)]
        for x, yi in zip(X, y):
            p = softmax([skal(W[k], x) for k in range(K)])
            for k in range(K):
                chyba = p[k] - (1 if yi == k else 0)   # předpověď minus skutečnost
                for j in range(d):
                    G[k][j] += chyba * x[j] / n
        for k in range(K):
            for j in range(1, d):
                G[k][j] += lam * W[k][j]                # slabá L2; úsek se netrestá
            W[k] = [W[k][j] - eta * G[k][j] for j in range(d)]
    return W

Přesně takhle (3 000 kroků, η = 0,5, λ = 0,001) je naučený model na obrázku i v matici záměn.

6. Teplota: jak odvážně vybírat

Definice — softmax s teplotou

Nechť K ≥ 2, z = (z₁, …, z_K) ∈ ℝ^K a T ∈ ℝ, T > 0 (teplota). Softmax s teplotou T je vektor

softmax_T(z) = softmax(z₁/T, …, z_K/T),

tj. softmax vektoru, jehož každá složka je vydělená T; pro T = 1 je to obyčejný softmax. Nechť má z jedinou největší složku z_m. Pak

pro T → 0⁺ jde softmax_T(z) ke kódování 1 z K třídy m (veškerá pravděpodobnost na největší skóre — výběr maxima);
pro T → ∞ jde softmax_T(z)_k k 1/K pro každé k (rovnoměrné rozdělení).

Laicky řečeno

Jazykový model vybírá další slovo jako vícetřídní klasifikaci s desítkami tisíc tříd. Teplota je knoflík, kterým se nastavuje odvaha: nízká teplota bere skoro vždy nejpravděpodobnější slovo (text je spolehlivý, ale nudný a opakuje se), vysoká dává šanci i méně pravděpodobným (text je pestřejší, ale občas ujede).

p_k/p_l = exp z_k − z_l/T

p_k/p_l: poměr pravděpodobností dvou slov, třeba „den“ a „večer“ — kolikrát častěji model vybere první; společný jmenovatel softmaxu se v něm pokrátí, proto je vzorec tak jednoduchý
z_k − z_l: rozdíl logitů — to jediné, co o dvojici slov ví model; teplota ho nemění
T: teplota — dělí rozdíl: T < 1 ho zvětší a poměr vyhrocuje k favoritovi, T > 1 ho zmenší a poměr se blíží 1, tedy všechna slova stejně

Odtud obě limity z definice: pro T → 0 jde poměr ve prospěch většího logitu do nekonečna, pro T → ∞ k jedné. (exp t = e^t.)

Pokračování věty „Dnes je krásný …“ při třech teplotách T = 0,5 (entropie 1,00 b)T = 1 (entropie 1,76 b)T = 2 (entropie 2,25 b)

Logity jsou stejné, mění se jen teplota. Při T = 0,5 dostane „den“ 78,0 % a nesmyslný „kalkul“ prakticky nic. Při T = 1 má „den“ 53,5 %. Při T = 2 už jen 35,8 % a „kalkul“ 2,9 % — v jedné větě z pětatřiceti. Entropie rozdělení (z dílu Teorie informace) roste z 1,00 přes 1,76 na 2,25 bitu; maximum pro šest slov je log₂ 6 ≈ 2,58 bitu.

Příklad — „den“ při teplotě 0,5 a poměr „den“ : „večer“

Logity: den 3,0, večer 2,2, výhled 1,6, pocit 1,0, pes −0,5, kalkul −2,0. Při T = 0,5 je dělíme 0,5:

z/T = (6; 4,4; 3,2; 2; −1; −4)

exp z/T = (403,4; 81,45; 24,53; 7,389; 0,368; 0,018), součet 517,2

p_den = 403,4/517,2 = 0,780 (barvy podle vzorce softmaxu výše)

Rozdíl logitů „den“ a „večer“ je 0,8, takže poměr jejich pravděpodobností je exp 0,8/T (barvy podle vzorce poměru výše):

T = 0,5: exp 0,8/0,5 = e^1,6 = 4,95 · T = 1: e^0,8 = 2,23 · T = 2: exp 0,8/2 = e^0,4 = 1,49

Entropie H(p) = −∑_k p_k log₂ p_k měří, jak moc je výběr nejistý; největší, log₂ K, je pro rovnoměrné rozdělení — k němu softmax s rostoucí teplotou směřuje.

7. Když může platit víc tříd najednou

Článek může být o sportu i o Praze; fotka může obsahovat psa i kočku. Tady softmax nepatří: nutí pravděpodobnosti k součtu 1, takže když jedna třída roste, ostatní musí klesat. Pro klasifikaci s více štítky se naopak vrací princip jeden proti všem: pro každý štítek samostatná sigmoida a každá odpovídá na svou vlastní otázku „je tam pes?“ nezávisle na ostatních.

Definice — klasifikace s více štítky

Nechť 𝒳 je množina vstupů a K ∈ ℕ, K ≥ 1, je počet štítků 1, …, K. V klasifikaci s více štítky má každý příklad vstup x ∈ 𝒳 a cíl, kterým je vektor

y = (y₁, …, y_K) ∈ {0, 1}^K, y_k = 1 ⇔ příklad má štítek k;

jedniček může být libovolně mnoho, i žádná. Model se skóre z₁(x), …, z_K(x) ∈ ℝ

předpoví pro každý štítek zvlášť p_k(x) = σ(z_k(x)) ∈ (0, 1), k = 1, …, K, kde σ je sigmoida;
učí se minimalizací součtu K binárních křížových entropií L = −∑_k=1^K [y_k ln p_k + (1 − y_k) ln(1 − p_k)].

Pravděpodobnosti p_k nejsou svázané součtem: ∑_k p_k může být cokoli mezi 0 a K.

8. Shrnutí

Jeden proti všem skládá K binárních klasifikátorů; ten pro prostřední třídu rezignoval, ve 12,9 % roviny neřekne „ano“ nikdo a jeho „pravděpodobnosti“ dávaly součet od 0,25 do 2,22.
Jeden proti jednomu pořádá turnaj K(K − 1)/2 dvojic; prostřední třídu zvládl líp (88,8 %), ale tříd nesmí být moc.
Softmax převede skóre na rozdělení pravděpodobnosti; softmaxová regrese se učí najednou a dala 93,4 % s pravděpodobnostmi, které dávají smysl.
Pro dvě třídy je softmax sigmoida, na přičtení konstanty nezáleží a učí se křížovou entropií s gradientem „předpověď minus skutečnost“.
Teplota řídí, jak odvážně jazykový model vybírá slova: „den“ má 78 % při T = 0,5 a 36 % při T = 2.
Pro více štítků najednou se místo softmaxu používají nezávislé sigmoidy.

Chcete si to osahat? Nechte AI agenta spočítat softmax z logitů, které si vymyslíte, a pohrajte si s teplotou — při jaké teplotě dostane nejméně pravděpodobné slovo aspoň 10 %?

Máte na to jiný názor? Napište na support@coden-app.com.

Vícetřídní klasifikace a softmax: od dvou tříd k mnoha

1. Čtyři třídy v rovině

2. Jeden proti všem

3. Jeden proti jednomu

4. Softmax

5. Tři vlastnosti softmaxu

6. Teplota: jak odvážně vybírat

7. Když může platit víc tříd najednou

8. Shrnutí

Agent na vašem počítači, ovládaný z telefonu