Logistická regrese: sigmoida, šance a křížová entropie

Proč na třídy nestačí přímka, sigmoida a pravděpodobnost, šance a logit, křížová entropie proti kvadratické chybě, rozhodovací hranice ve dvou rozměrech, ohnutí hranice příznaky a dokonale oddělitelná data.

13 minut Matěj Žalmánek 2026-10-16

Série Základy AI Díl 49 z 83

Celá osnova série 83 z 83 témat hotovo

Co si odnesete

Proč klasifikovat sigmoidou, a ne přímkou, a jak číst koeficienty jako násobky šancí.
Proč se logistická regrese učí křížovou entropií.
Proč je hranice přímka, jak ji ohnout a co se stane, když jdou třídy oddělit dokonale.

Co se hodí znát předem: Klasifikace a regrese: dvě úlohy učení s učitelem, Lineární regrese: nejmenší čtverce geometricky i maticově

Spamový filtr, předpověď, jestli zákazník odejde ke konkurenci, odhad, jestli pacient potřebuje další vyšetření — za překvapivě mnoha z nich stojí logistická regrese. Model s matoucím jménem — je to regrese, která klasifikuje. Sigmoidu, na které stojí, popsal Pierre-François Verhulst už ve 40. letech 19. století pro růst populace; jako model pro klasifikaci ji v roce 1958 zpopularizoval statistik David Cox. Nevrací jen „ano“ nebo „ne“, ale pravděpodobnost, a dá se jí rozumět. A protože jeden umělý neuron s sigmoidou je přesně logistická regrese, je to také první krok k neuronovým sítím.

Navazuje na díly Klasifikace a regrese a Lineární regrese.

1. Proč ne obyčejná přímka

Čtyřicet studentů, u každého víme, kolik hodin se učil na zkoušku a jestli ji složil (1), nebo ne (0). Složilo jich 24. Nejjednodušší nápad: proložit nuly a jedničky přímkou a říct „složí“, když přímka přesáhne 0,5.

Hodiny učení a výsledek zkoušky; svislé čárky jsou hranice 0,5 přímka přímka s dříči logistická regrese (s dříči i bez) dříči

Na prvních čtyřiceti studentech to funguje: hranice vyjde 4,15 hodiny a přímka se splete u tří studentů. Má ale dvě vady. Předpovídá čísla, která nejsou pravděpodobnosti — pro nula hodin −0,08. A hlavně ji rozhodí data, která jsou úplně v pořádku: přidáme šest dříčů, kteří se učili 22 až 32 hodin a všichni složili. Přímka se kvůli nim nakloní, aby se k nim přiblížila (pro 32 hodin předpoví 1,36), a hranice uteče na 2,56 hodiny. Na původních studentech se teď mýlí u osmi. Dříči přitom nepřinesli žádnou novou informaci — je jasné, že kdo se učí 30 hodin, složí.

Příklad — přímka nejmenšími čtverci a proč ji dříči nakloní

Přímka p̂ = a + b · h minimalizuje součet čtverců odchylek ∑ (y_i − a − bh_i)². Z dílu o lineární regresi: b = ∑ (h_i − h̄)(y_i − ȳ)/∑ (h_i − h̄)², a = ȳ − bh̄. Hranice je tam, kde přímka protne 0,5: h* = 0,5 − a/b.

40 studentů: h̄ = 4,858 h, ȳ = 24/40 = 0,6, vyjde b = 0,1404 za hodinu

a = 0,6 − 0,1404 · 4,858 = −0,082 (předpověď pro nula hodin)

h* = 0,5 + 0,082/0,1404 = 4,15 h

dříč s 32 hodinami: přímka předpoví −0,082 + 0,1404 · 32 = 4,41, čtverec odchylky (1 − 4,41)² = 11,6

šest dříčů dohromady: 45,4, všech 40 původních studentů dohromady: 4,11

Nejmenší čtverce sčítají čtverce odchylek, a dříči, kteří jsou „příliš správně“, by tvořili přes 90 % celé chyby. Přímce se proto vyplatí naklonit se k nim, i když tím pokazí hranici u ostatních.

2. Sigmoida: z přímky pravděpodobnost

Definice — logistická regrese

Sigmoida (logistická funkce) je funkce

σ : ℝ → (0, 1), σ(z) = 1/1 + e^−z.

Je spojitá a rostoucí, σ(0) = 0,5, σ(z) → 1 pro z → ∞ a σ(z) → 0 pro z → −∞.

Nechť d ∈ ℕ, d ≥ 1, je počet příznaků, x = (x₁, …, x_d) ∈ ℝ^d vektor příznaků jednoho příkladu a y ∈ {0, 1} jeho třída. Nechť w₀ ∈ ℝ a w = (w₁, …, w_d) ∈ ℝ^d jsou váhy. Logistická regrese s vahami w₀, w je model, který vektoru x přiřadí:

skóre z(x) = w₀ + ∑_j=1^d w_jx_j = w₀ + w · x;
předpovězenou pravděpodobnost třídy 1 P(y = 1 | x) = σ(z(x)), P(y = 0 | x) = 1 − σ(z(x));
předpovězenou třídu ŷ(x) = 1, právě když σ(z(x)) > 0,5, jinak ŷ(x) = 0.

Protože σ je rostoucí a σ(0) = 0,5, platí σ(z) > 0,5, právě když z > 0: model tedy předpoví třídu 1, právě když je skóre kladné.

Laicky řečeno

Přímka z může nabývat jakýchkoli hodnot, od mínus do plus nekonečna. Sigmoida ji „ohne“ do písmene S mezi 0 a 1: velká záporná z dají skoro 0, velká kladná skoro 1, a z = 0 přesně 0,5. Dříči mají z tak velké, že jejich pravděpodobnost je prakticky 1 a model s nimi nemusí nic dělat. Logistická regrese proto vyjde s dříči i bez nich stejně: hranice 3,86 hodiny, čtyři chyby na prvních čtyřiceti studentech.

σ(z) = 1/1 + e^−z, z = w₀ + w₁x

σ(z): předpovězená pravděpodobnost P(y = 1 | x) — v obrázku zelená křivka; potřebujeme číslo mezi 0 a 1, ne libovolné číslo jako u přímky
1 + e^−z: jmenovatel — e^−z je vždy kladné, takže jmenovatel je větší než 1 a zlomek leží v (0, 1); pro velké z je e^−z ≈ 0 a výsledek ≈ 1, pro velmi záporné z roste jmenovatel nade všechny meze a výsledek ≈ 0
z: skóre — obyčejná lineární funkce příznaků jako v lineární regresi; sigmoida ji jen „ohne“, takže se model dá učit a číst stejně jako přímka
w₀: úsek — skóre pro x = 0; posouvá křivku doleva a doprava, a tím i hranici
w₁: váha příznaku — o kolik vzroste skóre, když x vzroste o 1; určuje, jak strmé je písmeno S (a znaménkem, kterým směrem stoupá)

Hranice σ(z) = 0,5 je přesně tam, kde z = 0, tedy v x = −w₀/w₁.

Příklad — model studentů hodinu po hodině

Naučený model má w₀ = −4,82 a w₁ = 1,25, hranice je tedy −w₀/w₁ = 4,82/1,25 = 3,86 hodiny. Skóre z = −4,82 + 1,25 h a pravděpodobnost σ(z) pro h hodin učení (barvy podle vzorce výše):

`h`	0	2	4	6	22	32
`z`	−4,82	−2,32	0,18	2,68	22,7	35,2
`σ`(`z`)	0,008	0,089	0,545	0,936	≈ 1	≈ 1

Například pro 2 hodiny: e^2,32 = 10,2, takže σ(−2,32) = 1/1 + 10,2 = 0,089. U dříčů je 1 − σ(22,7) = 1,4 · 10⁻¹⁰ a 1 − σ(35,2) = 5 · 10⁻¹⁶. Dříči tedy mají pravděpodobnost od jedničky vzdálenou o méně než miliardtinu — jejich chyba p − y je prakticky nulová, a jak uvidíme u křížové entropie, právě chyba určuje, jak silně příklad model táhne.

Na čistých datech je tedy přímka dokonce o jednu chybu lepší. Jenže logistická regrese je stabilní: body, o kterých je všechno jasné, ji nerozhodí. A vrací pravděpodobnosti, se kterými se dá dál počítat.

3. Šance a logit: jak číst koeficienty

Definice — šance a logit

Nechť A je jev s pravděpodobností p = P(A) ∈ (0, 1). Šance (odds) jevu A jsou číslo

o(p) = p/1 − p ∈ (0, ∞).

Logit je funkce

logit : (0, 1) → ℝ, logit(p) = ln p/1 − p,

tedy logaritmus šancí. Logit je inverzní funkce k sigmoidě σ (definice výše): σ(logit(p)) = p pro každé p ∈ (0, 1) a logit(σ(z)) = z pro každé z ∈ ℝ.

Nechť w₀ ∈ ℝ, w ∈ ℝ^d jsou váhy logistické regrese, x ∈ ℝ^d a p = P(y = 1 | x) = σ(w₀ + w · x). Pak

logit(p) = w₀ + w₁x₁ + … + w_dx_d a o(p) = e^{w₀ + w · x},

takže logistická regrese je lineární model pro logit. Zvětší-li se jeden příznak x_j o 1 a ostatní zůstanou stejné, vzroste skóre o w_j a šance se vynásobí číslem e^w_j.

Laicky řečeno

Šance znají sázkaři: „tři ku jedné“ znamená pravděpodobnost 75 %. U nás vyšlo w₁ = 1,25, takže každá hodina učení navíc vynásobí šance na složení e^1,25 ≈ 3,49krát. Student s šancemi 1 : 1 (50 %) má po hodině navíc šance 3,5 : 1 (78 %), po dvou hodinách 12 : 1 (92 %). V pravděpodobnostech hodina přidá různě moc — v šancích vždy stejně.

ln p/1 − p = w₀ + w₁x

p/1 − p: šance — kolikrát je „ano“ pravděpodobnější než „ne“; na rozdíl od p nejsou shora omezené (leží v (0, ∞)), takže se dají násobit bez obav, že přetečou přes 1
ln: logaritmus — natáhne (0, ∞) na celou reálnou osu, takže se levá strana může rovnat přímce; a násobení mění na sčítání, proto přičtení w₁ k logitu znamená násobení šancí
w₀: logit pro x = 0 — u studentů −4,82, tedy šance e^−4,82 ≈ 0,008 pro toho, kdo se neučil vůbec
w₁: o kolik vzroste logit za jednotku x — u studentů 1,25 za hodinu, tedy šance krát e^1,25 = 3,49

Totéž co p = σ(w₀ + w₁x): z p = 1/1 + e^−z plyne e^−z = 1 − p/p, a tedy z = ln p/1 − p.

šance 1 : 1 → po hodině 1 · 3,49 = 3,49 : 1, p = 3,49/1 + 3,49 = 0,78

po dvou hodinách 3,49² = 12,2 : 1, p = 12,2/1 + 12,2 = 0,92 (z šancí s je pravděpodobnost s/1 + s; barvou jsou šance p/1 − p ze vzorce výše, 3,49 = e^w₁)

4. Křížová entropie: co model minimalizuje

Lineární regresi jsme učili nejmenšími čtverci. Mohli bychom i tady minimalizovat (p − y)²? Mohli, ale je to špatný nápad.

Definice — křížová entropie (logaritmická ztráta)

Nechť n ∈ ℕ, n ≥ 1, je počet příkladů, y₁, …, y_n ∈ {0, 1} jsou jejich skutečné třídy a p₁, …, p_n ∈ (0, 1) předpovězené pravděpodobnosti třídy 1 (p_i = P(y_i = 1 | x_i)). Křížová entropie (logaritmická ztráta) je číslo

L = −1/n ∑_i=1ⁿ [y_i ln p_i + (1 − y_i) ln(1 − p_i)].

U logistické regrese je p_i = σ(w₀ + w · x_i), kde x_i ∈ ℝ^d jsou příznaky i-tého příkladu, takže L = L(w₀, w) je funkce vah. Platí:

věrohodnost vah pro Bernoulliho rozdělení tříd je ∏_i=1ⁿ p_i^y_i(1 − p_i)^{1 − y_i} a L je minus n-tina jejího logaritmu; minimalizace L je proto totéž co metoda maximální věrohodnosti;
L je konvexní funkce vah a její parciální derivace jsou ∂L/∂w_j = 1/n ∑_i=1ⁿ (p_i − y_i) x_ij pro j = 0, …, d, kde x_i0 = 1 (věta níže).

Laicky řečeno

Model platí −ln p za každý příklad, kde p je pravděpodobnost, kterou dal skutečnosti. Řekl-li 90 % a měl pravdu, zaplatí 0,1. Řekl-li 1 % a mýlil se, zaplatí 4,6. Sebevědomý omyl je drahý — a čím sebevědomější, tím dražší, bez horní hranice. Gradient vypadá stejně jako u lineární regrese: chyba krát příznak.

L(w) = − 1/n ∑_i [ y_i ln p_i + (1 − y_i) ln(1 − p_i) ]

−: logaritmus pravděpodobnosti je záporný (nebo nula); minus z něj udělá kladnou cenu, kterou chceme co nejmenší
1/n ∑_i: průměr přes všechny příklady — každý příklad váží stejně a ztráta nezávisí na tom, kolik dat máme
y_i ln p_i: platí jen pro ty, kdo složili (y_i = 1, v obrázcích červené body): cena −ln p_i za to, jak málo model věřil skutečnému „ano“
(1 − y_i) ln(1 − p_i): platí jen pro ty, kdo nesložili (y_i = 0, modré body): cena −ln(1 − p_i), protože 1 − p_i je pravděpodobnost, kterou model dal „ne“

Protože y_i je 0, nebo 1, je v hranaté závorce vždy jen jeden sčítanec nenulový: model zaplatí −ln pravděpodobnosti, kterou přiřadil tomu, co se skutečně stalo.

Věta — gradient křížové entropie je „chyba krát příznak“

Nechť n, d ∈ ℕ, n, d ≥ 1, a pro i = 1, …, n nechť x_i = (x_i0, x_i1, …, x_id) ∈ ℝ^d+1 s x_i0 = 1 (sloupec jedniček pro úsek) a y_i ∈ {0, 1}. Pro váhy w = (w₀, …, w_d) ∈ ℝ^d+1 nechť p_i = σ(w · x_i) a L(w) je křížová entropie (definice výše). Pak pro každé j = 0, …, d platí

∂L/∂w_j(w) = 1/n ∑_i=1ⁿ (p_i − y_i) x_ij

a L je konvexní funkce na ℝ^d+1.

Důkaz (pro jeden příklad, řetízkovým pravidlem; ℓ = −[y ln p + (1 − y) ln(1 − p)], p = σ(z), z = w · x):

dℓ/dp = −y/p + 1 − y/1 − p = p − y/p(1 − p)

dp/dz = e^−z/(1 + e^−z)² = σ(z) (1 − σ(z)) = p(1 − p)

∂z/∂w_j = x_j

∂ℓ/∂w_j = p − y/p(1 − p) · p(1 − p) · x_j = (p − y) x_j

Sečtením přes i = 1, …, n a vydělením n dostaneme vzorec pro ∂L/∂w_j. Člen p(1 − p) se pokrátí — to je celé kouzlo dvojice sigmoida + křížová entropie. Konvexita plyne z druhých derivací: Hessova matice 1/n ∑_i=1ⁿ p_i(1 − p_i) x_ix_i^T je pozitivně semidefinitní, protože každá matice x_ix_i^T je pozitivně semidefinitní a všechny váhy p_i(1 − p_i) jsou kladné. ∎

∂L/∂w_j = 1/n ∑_i (p_i − y_i) · x_ij

∂L/∂w_j: jak se ztráta změní, když pohneme váhou w_j — gradientní sestup jde opačným směrem
1/n ∑_i: průměr přes příklady — každý příklad „tahá“ za váhy svým dílem, gradient je jejich průměrný tah
p_i − y_i: chyba předpovědi — znaménkem říká, jestli model přestřelil, nebo podstřelil, a velikostí, o kolik; kde model trefil (dříči), je nulová a příklad netáhne vůbec
x_ij: hodnota příznaku — váha w_j se na chybě podílela tím víc, čím větší byl její příznak; pro úsek w₀ je x_i0 = 1

Stejný tvar jako u lineární regrese s kvadratickou chybou — jen p_i je teď sigmoida.

Dříč s 22 hodinami má chybu p − y = −1,4 · 10⁻¹⁰ a k parciální derivaci podle w₁ přispěje (p − y) · 22 = −3 · 10⁻⁹ (barvy podle vzorce výše); ten s 32 hodinami −1,7 · 10⁻¹⁴. Čtyřicet původních studentů přispívá v absolutních hodnotách dohromady 22,4, průměrně 0,56 na studenta. Proto dříči logistickou regresi nerozhodí: tahají za ni víc než stomilionkrát slaběji.

def uc_logistickou(X, y, eta=0.1, kroku=1000, lam=0.0):
    # X má v prvním sloupci jedničky, takže w[0] je úsek w0
    n, d = len(X), len(X[0])
    w = [0.0] * d
    for _ in range(kroku):
        g = [0.0] * d
        for x_i, y_i in zip(X, y):
            p = sigmoida(skal(w, x_i))          # předpověď
            for j in range(d):
                g[j] += (p - y_i) * x_i[j] / n  # chyba krát příznak
        for j in range(1, d):
            g[j] += lam * w[j]                  # L2 trest; úsek se netrestá
        w = [w[j] - eta * g[j] for j in range(d)]
    return w

Tímhle sestupem je spočtená tabulka v posledním oddílu. Ostatní modely v dílu počítáme Newtonovou metodou, která místo pevného kroku η použije i druhé derivace a minimum najde za osm až devět kroků; protože je ztráta konvexní, je to totéž minimum.

Porovnejme obě ztráty na jednom parametru: hranici necháme v 5 hodinách a měníme jen strmost w modelu p = σ(w · (hodiny − 5)).

Dvě ztráty podle strmosti w

Křížová entropie je jedno hladké údolí — konvexní, takže gradientní sestup najde minimum odkudkoli. Kvadratická chyba konvexní není (mění se v ní zakřivení) a vpravo je skoro plochá: pro w = 1 je 0,100, pro w = 2 také 0,100. A model, který je si úplně jistý opakem pravdy (w = −3), dostane od kvadratické chyby trest jen 0,83, kdežto od křížové entropie 6,39 — a s ním i silný gradient, který ho z omylu vytáhne.

Příklad — sebevědomý omyl u jednoho studenta

Student se učil 9 hodin a složil (y = 1); model s w = −3 mu dá z = −3 · (9 − 5) = −12.

p = σ(−12) = 1/1 + e¹² = 6,1 · 10⁻⁶ (barvy podle vzorce sigmoidy výše)

křížová entropie: −ln p = 12,0 · kvadratická chyba: (p − 1)² = 1,00 (víc nikdy nedá)

derivace podle z — křížová entropie: p − y = −1,00

derivace podle z — kvadratická chyba: 2(p − y) · p(1 − p) = −1,2 · 10⁻⁵

U kvadratické chyby se člen p(1 − p) z derivace sigmoidy nepokrátí, a když je model sebevědomý, je skoro nulový. Gradient je tak zhruba 80 000krát slabší než u křížové entropie — model o svém omylu „neví“.

5. Rozhodovací hranice ve dvou rozměrech

S více příznaky se nic zásadního nemění. Přijímačky na střední školu: 300 uchazečů, body z matematiky a z češtiny (0–100), přijato 57.

Přijímačky: barva pozadí = pravděpodobnost přijetí, čára = hranice 0,5

Hranice z = 0 je v rovině přímka, ve třech rozměrech rovina a obecně nadrovina — logistická regrese je lineární klasifikátor. Pravděpodobnost se mění jen kolmo k hranici: na rovnoběžkách s ní je všude stejná. Deset bodů z matematiky navíc vynásobí šance na přijetí 2,45krát, deset bodů z češtiny 1,68krát (generátor dat měl 2,72 a 1,82). Přesnost je 88,7 % proti 81,0 % u modelu, který neřekne „přijat“ nikomu.

Definice — rozhodovací hranice lineárního klasifikátoru

Nechť d ∈ ℕ, d ≥ 1, w₀ ∈ ℝ a w = (w₁, …, w_d) ∈ ℝ^d, w ≠ 0. Lineární klasifikátor s vahami w₀, w je model se skóre

z : ℝ^d → ℝ, z(x) = w₀ + w · x = w₀ + ∑_j=1^d w_jx_j,

který bodu x ∈ ℝ^d předpoví třídu 1, právě když z(x) > 0 (logistická regrese je takový model). Jeho rozhodovací hranice je množina

H = {x ∈ ℝ^d : w₀ + w · x = 0}.

U logistické regrese je tedy x ∈ H, právě když σ(z(x)) = 0,5. Množina H je nadrovina kolmá k vektoru vah w: posun bodu x o vektor v ∈ ℝ^d změní skóre o z(x + v) − z(x) = w · v, a to je nula, právě když v ⊥ w. Proto je pravděpodobnost na nadrovinách rovnoběžných s hranicí všude stejná a nejrychleji se mění ve směru w.

Příklad — hranice přijímaček

Naučený model: z = −10,8647 + 0,089673 · m + 0,052169 · č (m, č jsou body z matematiky a češtiny).

hranice z = 0: č = 10,8647 − 0,089673 · m/0,052169

m = 70: č = 10,8647 − 6,2771/0,052169 = 87,9; m = 90: č = 53,6

bod z matematiky vyváží 0,089673/0,052169 = 1,72 bodu z češtiny

deset bodů navíc: e^0,89673 = 2,45, e^0,52169 = 1,68

Uchazeč se 70 body z matematiky a 87,9 z češtiny má podle modelu pravděpodobnost přijetí přesně 50 % (šance 1 : 1). Generátor dat měl váhy 0,1 a 0,06, tedy násobky e¹ = 2,72 a e^0,6 = 1,82 — model je z 300 uchazečů odhadl jen přibližně.

6. Když hranice nemá být přímka

Někdy jedna třída leží uvnitř druhé. Body ve čtverci, třída 1 (28 % bodů) uvnitř kruhu, a pro realismus u 5 % bodů prohozený štítek.

Kruhová data: lineární a kvadratické příznaky

S příznaky x₁, x₂ žádná přímka kruh neoddělí; model rezignuje a má přesnost 72 % — přesně tolik, kolik dá „vždycky třída 0“. Stačí přidat příznaky x₁², x₂² a x₁x₂, stejně jako v dílu o nelineární regresi: hranice je teď elipsa a přesnost 95 %, víc se s pěti procenty prohozených štítků čekat nedá. Model je pořád lineární ve vahách — ohnuli jsme prostor, ne model. Neuronové sítě dělají totéž, jen si vhodné příznaky najdou samy.

Příklad — proč je hranice elipsa

S kvadratickými příznaky se model naučil skóre

z = 3,95 − 0,03 x₁ + 0,85 x₂ − 9,13 x₁² − 13,78 x₂² − 4,34 x₁x₂

Hranice z = 0 je kuželosečka Ax₁² + Bx₁x₂ + Cx₂² + … = 0, a ta je elipsa, když B² − 4AC < 0:

B² − 4AC = 4,34² − 4 · (−9,13) · (−13,78) = 18,8 − 503,2 = −484 < 0

uprostřed: z(0, 0) = 3,95, σ(3,95) = 0,98; obě kvadratické váhy záporné, takže směrem ven skóre klesá

Skutečná hranice je kruh (A = C, B = 0); ze 200 bodů s prohozenými štítky ji model odhadl jako mírně protaženou a natočenou elipsu.

7. Když jdou třídy oddělit dokonale

Paradoxně nejvíc potíží dělají data, která jsou „příliš dobrá“. Deset studentů: všichni, kdo se učili víc než 5 hodin, složili, a nikdo jiný.

Definice — lineárně oddělitelná data

Nechť n, d ∈ ℕ, n, d ≥ 1, a (x₁, y₁), …, (x_n, y_n) jsou příklady, x_i ∈ ℝ^d, y_i ∈ {0, 1}. Data jsou lineárně oddělitelná, právě když existují w₀ ∈ ℝ a w ∈ ℝ^d takové, že pro všechna i = 1, …, n platí

y_i = 1 ⇒ w₀ + w · x_i > 0,
y_i = 0 ⇒ w₀ + w · x_i < 0.

Slovy: existuje nadrovina {x : w₀ + w · x = 0}, která obě třídy odděluje bez chyby a žádný bod na ní neleží.

Pro taková data nemá logistická regrese bez regularizace řešení: křížová entropie je pro všechny váhy kladná (všechna p_i leží v (0, 1)), ale pro oddělující váhy vynásobené číslem c > 0 jde k nule, když c → ∞. Minimum se tedy nenabývá a ztráta klesá k nule, jen když norma vah roste nade všechny meze.

Laicky řečeno

Hranici model najde hned. Ale pak zjistí, že může být ještě jistější: strmější sigmoida dá všem studentům pravděpodobnost blíž 0 nebo 1 a ztráta ještě klesne. A tak strmost zvyšuje pořád dál, až z písmene S udělá schod. Model, který tvrdí „4,9 hodiny = jistě nesloží, 5,1 hodiny = jistě složí“, je přesvědčený víc, než data opravňují.

Kroků gradientního sestupu	10	100	1 000	10 000
váha u hodin, bez regularizace	0,63	1,78	4,06	7,94
křížová entropie	0,280	0,098	0,027	0,004
váha u hodin, L2 s `λ` = 0,01	0,62	1,70	2,78	2,84

Bez regularizace váha roste dál, jen čím dál pomaleji, a s ní jistota modelu. Malá hřebenová regularizace z dílu o přeučení přidá trest za velké váhy a růst zastaví u 2,84. Proto se v knihovnách logistická regrese s regularizací pouští automaticky.

L_λ(w) = L(w) + λ · ½ w₁²

L_λ(w): to, co sestup v tabulce minimalizuje ve třetím řádku
L(w): křížová entropie — odměňuje jistotu na trénovacích datech; na oddělitelných datech klesá k nule, jen když w₁ → ∞
λ: síla trestu (tady 0,01) — určuje, kolik ztráty jsme ochotni obětovat za menší váhy
½: jen pro pohodlí: derivace trestu je pak přesně λw₁, v pseudokódu výše řádek g[j] += lam * w[j]
w₁²: trest roste se čtvercem váhy, takže se s rostoucí w₁ přitvrzuje, kdežto zisk z dalšího zostření sigmoidy slábne; úsek w₀ se netrestá, protože jen posouvá hranici

Minimum je tam, kde se tah ztráty a tah trestu vyrovnají: ∂L/∂w₁ + λw₁ = 0. Bez trestu taková rovnováha neexistuje: u našich deseti studentů (příznak h − 5) má každý sčítanec (p_i − y_i)(h_i − 5) záporné znaménko, takže ∂L/∂w₁ < 0 pro jakékoli váhy.

8. Shrnutí

Přímka proložená nulami a jedničkami předpovídá nesmysly mimo [0, 1] a rozhodí ji i správná data: šest dříčů posunulo hranici ze 4,15 na 2,56 hodiny.
Logistická regrese pošle lineární kombinaci příznaků sigmoidou; dříčům nevěnuje pozornost a hranice zůstala na 3,86 hodiny.
Koeficient je logaritmus násobku šancí: hodina učení vynásobí šance na složení 3,49krát.
Učí se minimalizací křížové entropie, která je konvexní a sebevědomé omyly trestá tvrdě; kvadratická chyba je plochá a nekonvexní.
Hranice je přímka (nadrovina); kvadratické příznaky ji ohnou a na kruhu zvedly přesnost ze 72 % na 95 %.
Na dokonale oddělitelných datech váhy rostou bez konce; regularizace je zastaví.

Chcete si to osahat? Nechte AI agenta naučit logistickou regresi na vašich e-mailech — příznaky třeba počet odkazů, vykřičníků a slov „zdarma“ — a podívejte se, který příznak násobí šance spamu nejvíc.

Máte na to jiný názor? Napište na support@coden-app.com.

Logistická regrese: sigmoida, šance a křížová entropie

1. Proč ne obyčejná přímka

2. Sigmoida: z přímky pravděpodobnost

3. Šance a logit: jak číst koeficienty

4. Křížová entropie: co model minimalizuje

5. Rozhodovací hranice ve dvou rozměrech

6. Když hranice nemá být přímka

7. Když jdou třídy oddělit dokonale

8. Shrnutí

Agent na vašem počítači, ovládaný z telefonu