Polynomiální a nelineární regrese: jak přímku ohnout

Spotřeba auta podle rychlosti a graf reziduí, Rungeho jev a kubické spliny, chladnutí kávy jako model nelineární v parametrech, Gaussova–Newtonova a Levenbergova–Marquardtova metoda a proč polynom neumí extrapolovat.

13 minut Matěj Žalmánek 2026-10-16

Série Základy AI Díl 48 z 83

Celá osnova série 83 z 83 témat hotovo

Co si odnesete

Jak se křivka ohne přidáním příznaků a jak graf reziduí prozradí, že model nestačí.
Proč polynom vysokého stupně kmitá a proč spliny ne.
Jak se hledá model nelineární v parametrech a proč mimo data rozhoduje jeho tvar.

Co se hodí znát předem: Lineární regrese: nejmenší čtverce geometricky i maticově, Přeučení a regularizace: proč model, který zná data nazpaměť, selže

Svět je zřídka přímka. Auto spotřebuje nejvíc paliva ve městě i na dálnici a nejmíň někde mezi tím. Káva chladne nejdřív rychle a pak čím dál pomaleji. Lék působí, dokud se nevstřebá, a pak účinek slábne. V tomhle dílu přímku ohneme — nejdřív tak, že zůstaneme u lineární regrese a jen jí přidáme příznaky, pak modelem, který lineární být přestane úplně. A uvidíme, proč na tom, jak křivku ohneme, záleží nejvíc tam, kde žádná data nemáme.

Navazuje na díly Lineární regrese a Přeučení a regularizace, který ukázal, jak polynom vysokého stupně přeučí šum.

1. Ohnutí přes příznaky

Definice — regrese s bázovými funkcemi

Nechť k ∈ ℕ, k ≥ 1, a φ₁, …, φ_k : ℝ → ℝ jsou pevně zvolené funkce, tzv. bázové funkce. Model s bázovými funkcemi s parametry w = (w₀, …, w_k) ∈ ℝ^k+1 je funkce f_w : ℝ → ℝ,

f_w(x) = w₀ + ∑_j=1^k w_jφ_j(x).

Regrese s bázovými funkcemi odhaduje w z dat (x_i, y_i) ∈ ℝ², i = 1, …, n, metodou nejmenších čtverců. Model je lineární v parametrech w (ne v x), takže jde o obyčejnou lineární regresi s maticí plánu X ∈ ℝ^n×(k+1), X_i0 = 1, X_ij = φ_j(x_i), a řešení dají normální rovnice X^TXw = X^Ty.

Polynomiální regrese stupně d ∈ ℕ, d ≥ 1, je speciální případ k = d a φ_j(x) = x^j pro j = 1, …, d:

f_w(x) = w₀ + w₁x + w₂x² + … + w_dx^d.

Laicky řečeno

Do tabulky přidáme sloupec s druhou mocninou rychlosti a pustíme na ni obyčejnou lineární regresi. Ta neví, že sloupec vznikl z jiného sloupce — prostě najde nejlepší kombinaci. Výsledkem je parabola. Ohýbá se křivka, ale výpočet zůstává přímočarý: jedna soustava rovnic, žádné zkoušení.

Data: spotřeba auta v litrech na 100 km při 25 jízdách rychlostí od 30 do 130 km/h. Proložíme je přímkou a parabolou:

Spotřeba podle rychlosti; dole rezidua obou modelů přímka parabola

Přímka má R² = 0,566, parabola 0,975. Parabola má minimum při 65,3 km/h se spotřebou 3,22 litru — generátor dat ho měl při 65 km/h a 3,2 litru.

ŷ = w₀ + w₁v + w₂v²

ŷ: předpověď spotřeby — v obrázku zelená parabola
w₀ + w₁v: totéž co přímka (v obrázku jantarová) — úroveň a sklon; sama umí spotřebu jen stále zvyšovat, nebo stále snižovat
w₂v²: nový sloupec v² s vlastní váhou — ohýbá přímku. Kladné w₂ dá tvar „U“ s minimem, záporné „∩“; nejmenší čtverce si znaménko i velikost vyberou samy. V parametrech w je model pořád lineární

Ohyb přichází z příznaku v², ne z nelineárního výpočtu.

Příklad — matice plánu a vrchol paraboly

Řádek matice plánu pro jízdu rychlostí 50 km/h je (1, 50, 2500), pro 130 km/h (1, 130, 16 900). Nejmenší čtverce dají v původních jednotkách

ŷ = 7,358 − 0,12674 v + 0,00097066 v²

(Barvy podle rozboru paraboly výše.) Parabola w₀ + w₁v + w₂v² má při w₂ > 0 minimum tam, kde je derivace w₁ + 2w₂v nulová:

v* = −w₁/2w₂ = 0,12674/0,0019413 ≈ 65,3 km/h

ŷ(v*) = w₀ − w₁²/4w₂ = 7,358 − 0,016063/0,0038826 ≈ 7,358 − 4,137 = 3,22 l/100 km

Sloupce 1, v a v² se liší o čtyři řády a v s v² silně korelují, takže X^TX je špatně podmíněná. Výpočet proto místo v používá z = v − 80/50 (hodnoty zhruba mezi −1 a 1) a koeficienty pro v z nich přepočítá — model je tentýž, jen se mu lépe počítá.

2. Graf reziduí prozradí, že přímka nestačí

Definice — graf reziduí

Nechť (x_i, y_i), i = 1, …, n, jsou data, ŷ_i předpovědi modelu a e_i = y_i − ŷ_i rezidua. Pro každé i zvolme vodorovnou souřadnici u_i — buď hodnotu jednoho příznaku x_ij (týž j pro všechna i), nebo předpověď ŷ_i. Graf reziduí je bodový graf množiny

{(u_i, e_i) : i = 1, …, n} ⊆ ℝ².

Je-li model vhodný, rezidua kolísají kolem nuly bez vzoru; systematický tvar (oblouk, trychtýř) znamená, že model něco nezachytil.

Laicky řečeno

Rezidua jsou to, co model nechal ležet na stole. Pokud v nich zůstal vzor, šlo by ho ještě vysvětlit. U přímky jdou znaménka reziduí podle rychlosti takhle: pět plus, patnáct minus, pět plus. Na krajích přímka spotřebu podceňuje, uprostřed přeceňuje — oblouk jako z učebnice. Rezidua paraboly už žádný vzor nemají.

Graf reziduí funguje i tam, kde data nejde nakreslit, protože příznaků je dvacet: rezidua se vynesou proti předpovědi a vzor v nich je vidět stejně.

3. Polynom vysokého stupně a Rungeho jev

Když parabola nestačí, nabízí se zvýšit stupeň. Polynom stupně 10 projde jedenácti body přesně. Jenže co dělá mezi nimi? Carl Runge si roku 1901 všiml, že to dopadá špatně i bez jakéhokoli šumu.

Definice — Rungeho jev

Nechť f : [−1, 1] → ℝ, f(x) = 1/1 + 25x² (Rungeho funkce). Pro n ∈ ℕ, n ≥ 1, nechť x_k = −1 + 2k/n, k = 0, …, n, jsou rovnoměrně rozmístěné uzly a p_n interpolační polynom stupně nejvýš n s p_n(x_k) = f(x_k) pro všechna k (definice níže). Rungeho jev je skutečnost, že

lim_n→∞ max_{x ∈ [−1, 1]} |f(x) − p_n(x)| = ∞,

přestože f má na [−1, 1] derivace všech řádů. Chyba roste u okrajů intervalu: polynom tam kmitá a s rostoucím stupněm čím dál víc. Obecněji se Rungeho jevem nazývá toto chování interpolace v rovnoměrných uzlech u jakékoli funkce.

Laicky řečeno

Polynom je jeden kus pružného drátu, který musíme ohnout přes všechny body naráz. Uprostřed ho body drží z obou stran, ale u kraje už žádný soused není — a drát se rozkmitá. Každý další bod přidá další ohyb, takže víc bodů situaci nezlepší, ale zhorší.

Definice — interpolační polynom v Lagrangeově tvaru

Nechť n ∈ ℕ, x₀, …, x_n ∈ ℝ jsou navzájem různé uzly (x_i ≠ x_j pro i ≠ j) a y₀, …, y_n ∈ ℝ hodnoty. Interpolační polynom je polynom p stupně nejvýš n, pro který

p(x_i) = y_i pro všechna i = 0, …, n.

Takový polynom existuje právě jeden. Jeho Lagrangeův tvar je

p(x) = ∑_i=0ⁿ y_i L_i(x), L_i(x) = ∏_{j=0, j≠i}ⁿ x − x_j/x_i − x_j.

Bázový polynom L_i je v uzlu x_i roven 1 a ve všech ostatních uzlech 0 (čitatel tam obsahuje nulový činitel), proto p(x_i) = y_i. Tak počítá polynom i obrázek níže; uzly jsou −1; −0,8; …; 1.

Proč polynom kmitá zrovna u kraje, říká přesný vzorec pro chybu interpolace:

f(x) − p(x) = f⁽ⁿ⁺¹⁾(ξ)/(n + 1)! · ∏_i=0ⁿ (x − x_i)

f(x) − p(x): chyba v bodě x mezi uzly — v uzlech je nulová
f⁽ⁿ⁺¹⁾(ξ)/(n + 1)!: jak moc je funkce „zakřivená nad síly“ polynomu stupně n (ξ je nějaký bod intervalu). Polynom stupně n má (n + 1). derivaci nulovou, takže by se trefil přesně; u 1/1 + 25x² ale vysoké derivace rostou rychleji než faktoriál
∏ (x − x_i) = ω(x): uzlový polynom — závisí jen na rozmístění uzlů. Uprostřed má x blízko uzly z obou stran a činitele jsou malé; u kraje je většina uzlů daleko na jedné straně a součin je řádově větší

Přesné předpoklady: je-li f na intervalu [α, β] spojitá spolu s derivacemi až do řádu n + 1, uzly x₀, …, x_n ∈ [α, β] jsou navzájem různé a p je interpolační polynom, pak ke každému x ∈ [α, β] existuje ξ ∈ [α, β] (závislé na x), pro které rovnost platí. Chyba je součin vlastnosti funkce a vlastnosti uzlů; Rungeho funkce selže v obou.

Jedenáct bodů funkce 1 / (1 + 25x²): polynom 10. stupně a kubický spline skutečná funkce polynom 10. stupně kubický spline

Uprostřed je polynom v pořádku — při x = 0,1 se od funkce liší o 0,043. U kraje, při x = −0,94, se ale mýlí o 1,92, a to u funkce, jejíž hodnoty leží mezi 0 a 1. Data přitom neměla žádný šum; za kmitání může jen tvar modelu.

Příklad — uzlový polynom uprostřed a u kraje

Pro jedenáct uzlů −1; −0,8; …; 1 je ω(x) = (x + 1)(x + 0,8) · … · (x − 1):

ω(0,1) ≈ −0,0000982 (nejbližší uzly 0 a 0,2 jsou 0,1 daleko z obou stran)

ω(−0,94) ≈ 0,00852 (šest z jedenácti uzlů leží víc než 0,8 napravo, nejvzdálenější skoro 2)

|ω(−0,94)|/|ω(0,1)| ≈ 87 (barva podle vzorce chyby výše)

Už sama poloha uzlů dělá u kraje skoro stokrát větší chybu. Proto se pro interpolaci volí uzly zhuštěné ke krajům (Čebyševovy uzly), nebo — jak ukáže další kapitola — se místo jednoho polynomu použijí kousky.

4. Spliny: ohýbat po kouskách

Definice — kubický spline

Nechť n ≥ 1 a x₀ < x₁ < … < x_n jsou reálné uzly. Kubický spline s uzly x₀, …, x_n je funkce S : [x₀, x_n] → ℝ, která splňuje

pro každé i = 0, …, n − 1 je zúžení S na interval [x_i, x_i+1] polynom stupně nejvýš 3 (označme ho S_i);
S, S′ a S″ jsou spojité na [x₀, x_n], tj. v každém vnitřním uzlu x_i, i = 1, …, n − 1, platí S_i−1(x_i) = S_i(x_i), S′_i−1(x_i) = S′_i(x_i) a S″_i−1(x_i) = S″_i(x_i).

Jsou-li dány hodnoty y₀, …, y_n ∈ ℝ, je spline interpolační, právě když S(x_i) = y_i pro všechna i. Spline je přirozený, právě když navíc S″(x₀) = S″(x_n) = 0. Kubický spline je tedy mezi sousedními uzly kubika a v uzlech kubiky navazují hodnotou, první i druhou derivací. Spline s pevnými uzly je také lineární v parametrech, dá se tedy zapsat bázovými funkcemi a prokládat nejmenšími čtverci.

Laicky řečeno

Slovo pochází z loděnic: spline byla pružná lať, kterou konstruktéři přišpendlili v několika bodech a obkreslili. Místo jednoho drátu přes všechno máme řadu krátkých kousků, navazujících tak hladce, že spoj není vidět. Každý kousek se ohýbá jen podle svých nejbližších bodů, takže kmitání se nemá kudy šířit.

Příklad — proč je spline daný jednoznačně

Jedenáct uzlů dělí interval na 10 úseků, na každém je kubika s 4 koeficienty: 40 neznámých. Podmínky:

každá kubika prochází oběma krajními body svého úseku: 10 · 2 = 20

spojitá první derivace v 9 vnitřních uzlech: 9, spojitá druhá derivace tamtéž: 9

přirozené okrajové podmínky S″(−1) = S″(1) = 0: 2

celkem 20 + 9 + 9 + 2 = 40 rovnic

Spojitost hodnoty je v první skupině schovaná: obě sousední kubiky procházejí týmž uzlem.

Čtyřicet rovnic se dá zredukovat na jedenáct: neznámými jsou jen druhé derivace M_i = S″(x_i) v uzlech, kubiky se z nich dopočítají. Takhle spline počítá obrázek:

# vstup: uzly x_0 < … < x_n, hodnoty y_0 … y_n
h_i = x_{i+1} − x_i
M_0 = M_n = 0                                  # přirozený spline
for i in 1 … n−1:                              # spojitost první derivace v x_i
    h_{i−1}·M_{i−1} + 2(h_{i−1} + h_i)·M_i + h_i·M_{i+1}
        = 6·[ (y_{i+1} − y_i)/h_i − (y_i − y_{i−1})/h_{i−1} ]
vyřeš soustavu (třídiagonální, každý řádek má jen 3 nenulová čísla)
S(x) na [x_i, x_{i+1}], t = x_{i+1} − x, u = x − x_i:
    S = (M_i·t³ + M_{i+1}·u³) / (6h_i)
        + (y_i/h_i − M_i·h_i/6)·t + (y_{i+1}/h_i − M_{i+1}·h_i/6)·u

Každá rovnice váže jen tři sousední M, proto se změna jednoho bodu šíří do okolí jen slabě a soustava se dá vyřešit v čase úměrném počtu uzlů.

Kubický spline přes stejných jedenáct bodů se od funkce nikde neliší o víc než 0,022 — skoro devadesátkrát méně než polynom. Spliny jsou proto běžný způsob, jak v regresi zachytit hladký nelineární vztah, o jehož tvaru nic nevíme; v praxi se uzlů volí méně než bodů a přidá se regularizace.

5. Nelineární v parametrech: chladnutí kávy

Někdy tvar vztahu známe z fyziky. Hrnek kávy chladne podle Newtonova zákona ochlazování: rozdíl mezi teplotou kávy a místnosti klesá exponenciálně. Teplota tedy je T(t) = a + b · exp(−t/τ), kde exp(u) = e^u, a je teplota místnosti, b počáteční rozdíl a τ časová konstanta. Parametr τ je ale v exponentu — tohle už lineární regrese není.

T(t) = a + b · exp(−t/τ)

a: teplota místnosti — hodnota, ke které se káva blíží pro t → ∞; bez ní by model chladl k 0 °C
b: počáteční rozdíl teplot kávy a místnosti (T(0) = a + b) — Newtonův zákon říká, že rychlost chladnutí je úměrná právě tomuto rozdílu
exp(−t/τ): jaký podíl rozdílu ještě zbývá — v čase 0 celý, za τ minut 1/e ≈ 37 %, za 2τ 14 %. Exponenciála je jediná funkce, která klesá rychlostí úměrnou sama sobě, a to je přesně „čím teplejší, tím rychleji chladne“; τ v jmenovateli převádí minuty na bezrozměrný exponent

Parametry a a b jsou v modelu lineárně, τ ne — kvůli jedinému parametru je potřeba iterovat.

Definice — nelineární nejmenší čtverce a Gaussova–Newtonova metoda

Nechť (x_i, y_i), i = 1, …, n, jsou data (y_i ∈ ℝ), m ∈ ℕ je počet parametrů, Θ ⊆ ℝ^m množina přípustných parametrů a f(x; θ) model, který je pro každé x diferencovatelný podle θ ∈ Θ, ale není lineární v θ. Pro θ ∈ Θ označme rezidua a jejich součet čtverců

r_i(θ) = y_i − f(x_i; θ), S(θ) = ∑_i=1ⁿ r_i(θ)².

Nelineární regrese (nelineární nejmenší čtverce) hledá θ^* ∈ Θ takové, že S(θ^*) ≤ S(θ) pro všechna θ ∈ Θ. Řešení vzorcem obecně neexistuje a S může mít víc lokálních minim; hledá se iteracemi z počátečního odhadu.

Gaussova–Newtonova metoda — vstup: data, model f, počáteční odhad θ⁽⁰⁾ ∈ Θ, tolerance ε > 0 a největší počet kroků K ∈ ℕ; výstup: odhad θ. Kroky:

Polož θ ← θ⁽⁰⁾.
Spočítej vektor reziduí r = (r₁(θ), …, r_n(θ))^T ∈ ℝⁿ a Jacobiho matici J ∈ ℝ^n×m, J_ij = ∂f(x_i; θ)/∂θ_j.
Vyřeš soustavu J^TJδ = J^Tr pro neznámou δ ∈ ℝ^m (předpokládáme, že sloupce J jsou lineárně nezávislé; jinak krok není jednoznačný).
Polož θ ← θ + δ.
Zastavení: změnilo-li se S(θ) o méně než ε, nebo proběhlo-li K kroků, vrať θ; jinak pokračuj krokem 2.

Krok 3 jsou obyčejné lineární nejmenší čtverce pro lineární aproximaci f(x_i; θ + δ) ≈ f(x_i; θ) + (Jδ)_i: metoda tedy model v okolí současného odhadu nahradí lineárním a posune se do minima této náhrady. Konvergence není zaručena — ze špatného startu může metoda divergovat.

Laicky řečeno

Nevíme, jak to spočítat najednou, ale umíme to po kouskách: v okolí současného odhadu se křivka chová skoro jako přímka, a pro přímku nejmenší čtverce umíme. Uděláme krok, znovu se rozhlédneme, znovu zlinearizujeme. Když jsme blízko, za pár kroků jsme v cíli.

J^TJ δ = J^Tr, θ ← θ + δ

r_i = y_i − f(x_i; θ): rezidua při současném odhadu — co ještě chybí; jsou-li nulová, je i krok nulový a metoda stojí
J_ij = ∂f(x_i; θ)/∂θ_j: Jacobiho matice — o kolik se posune předpověď v bodě i, když trochu pohneme parametrem j. Hraje roli matice plánu X: model se v okolí θ chová jako f(θ) + Jδ
δ: krok parametrů — řešení normálních rovnic pro tuhle lineární náhradu; je to nejlepší krok, pokud by model byl opravdu lineární

Stejný tvar jako X^TXw = X^Ty z lineární regrese, jen se v každém kroku počítá znovu.

Příklad — jeden řádek Jacobiho matice

Pro f(t; a, b, τ) = a + b · exp(−t/τ) jsou derivace podle parametrů

∂f/∂a = 1, ∂f/∂b = exp(−t/τ), ∂f/∂τ = b · t · exp(−t/τ)/τ²

Na startu a = 20, b = 60, τ = 20 a pro měření v čase t = 10 min (66,97 °C); barvy podle Gaussovy–Newtonovy soustavy výše:

exp(−10/20) = e^−0,5 ≈ 0,6065, řádek J = (1; 0,6065; 60 · 10 · 0,6065/400 ≈ 0,910)

předpověď 20 + 60 · 0,6065 ≈ 56,39 °C, reziduum r_i = 66,97 − 56,39 ≈ 10,58 °C

Všech 16 takových řádků tvoří J (16 × 3); soustava J^TJδ = J^Tr má tři rovnice o třech neznámých.

Naměřili jsme teplotu každé dvě minuty během první půlhodiny — 16 měření. Z rozumného startu (a = 20 °C, b = 60 °C, τ = 20 min) dojde Gaussova–Newtonova metoda k výsledku za 4 kroky: a = 26,8 °C, b = 63,3 °C, τ = 22,0 min. Generátor měl ve skutečnosti místnost 22 °C a τ = 25 min. Za třicet minut je káva pořád přes 40 °C a teplota místnosti, ke které se blíží, se z takových dat odhaduje špatně: vyšší a a kratší τ vysvětlí našich 16 zašuměných měření dokonce lépe (součet čtverců reziduí 1,73) než správné hodnoty (4,33). Nejmenší čtverce najdou, co nejlíp sedí k datům — ne nutně to, co platí.

Průběh Gaussovy–Newtonovy metody krok po kroku:

krok	`a` (°C)	`b` (°C)	`τ` (min)	součet čtverců
start	20,00	60,00	20,00	1684,2
1	27,06	63,01	21,87	1,742
2	26,80	63,29	22,02	1,731
3, 4	26,80	63,29	22,02	1,731

Už první krok srazí součet čtverců z 1684 na 1,74 — z dobrého startu je lineární náhrada skoro přesná. Kroky 3 a 4 jen ověří, že se chyba už nemění, a metoda skončí.

6. Na startu záleží

Zkusme začít s odhadem τ = 60 minut („káva chladne hodinu“). Gaussova–Newtonova metoda v prvním kroku skočí na a = 126 °C, b = −36 °C a τ = −141 minut. Záporná časová konstanta znamená kávu, která se sama ohřívá do nekonečna — metoda uletěla.

Definice — Levenbergova–Marquardtova metoda

Nechť data, model f, rezidua r, součet čtverců S a Jacobiho matice J jsou jako u Gaussovy–Newtonovy metody. Pro čtvercovou matici A označme diag(A) diagonální matici se stejnou diagonálou jako A. Levenbergova–Marquardtova metoda — vstup: počáteční odhad θ⁽⁰⁾, počáteční tlumení λ₀ > 0, koeficienty ν_↓, ν_↑ > 1 (v tomto dílu λ₀ = 0,01, ν_↓ = 3, ν_↑ = 4), tolerance ε > 0 a největší počet kroků; výstup: odhad θ. Kroky:

Polož θ ← θ⁽⁰⁾, λ ← λ₀.
Spočítej r a J v bodě θ.
Vyřeš soustavu (J^TJ + λ diag(J^TJ)) δ = J^Tr pro δ ∈ ℝ^m.
Je-li S(θ + δ) < S(θ), krok přijmi: θ ← θ + δ, λ ← λ/ν_↓, a pokračuj krokem 5. Jinak krok zahoď, polož λ ← ν_↑ · λ a vrať se ke kroku 3.
Zastavení: změnilo-li se S(θ) o méně než ε, nevedl-li k poklesu ani jeden z omezeného počtu pokusů v kroku 4, nebo proběhl-li největší počet kroků, vrať θ; jinak pokračuj krokem 2.

Přijatý krok tedy vždy zmenší součet čtverců. Pro malé λ se metoda chová jako Gauss–Newton, pro velké jako opatrný gradientní sestup.

Laicky řečeno

Gauss–Newton věří své lineární aproximaci bezmezně, i když platí jen v malém okolí. Levenberg–Marquardt je opatrnější: když se mu krok nevyplatí, zkrátí ho a zkusí znovu. Daleko od cíle chodí krátkými kroky z kopce, blízko cíle přidá na odvaze.

(J^TJ + λ diag(J^TJ)) δ = J^Tr

J^TJ, J^T: totéž co u Gaussovy–Newtonovy metody — lineární náhrada modelu v okolí současného odhadu
λ diag(J^TJ): tlumení — zvětší diagonálu, a tím zkrátí krok. Pro velké λ je δ_j ≈ (J^Tr)_j/λ · (J^TJ)_jj, tedy krátký krok proti gradientu součtu čtverců (ten je −2J^Tr). Diagonála místo jednotkové matice dělá krok nezávislý na jednotkách parametrů (°C proti minutám)
δ: krok — přijme se, jen když součet čtverců opravdu klesne; jinak se zahodí a zkusí kratší
r: rezidua při současném odhadu, jako výše

Pro λ = 0 je to přesně Gauss–Newton; λ plynule přepíná mezi odvážným a opatrným krokem.

Algoritmus, jak ho počítají tabulky tohoto dílu (Gauss–Newton je totéž s λ = 0 a bez kontroly kroku):

θ = start;  λ = 0,01;  chyba = SSE(θ)
for k in 1 … 100:
    J = Jacobiho matice v θ;  r = y − f(x; θ)
    for pokus in 1 … 30:
        A = JᵀJ s diagonálou vynásobenou (1 + λ)      # = JᵀJ + λ·diag(JᵀJ)
        δ = vyřeš A·δ = Jᵀr
        if τ_nové > 0 and SSE(θ + δ) < chyba:
            θ = θ + δ;  chyba = SSE(θ);  λ = λ / 3        # vyplatilo se: odvážněji
            break
        λ = λ · 4                                       # nevyplatilo se: opatrněji
    if žádný pokus neuspěl or chyba se skoro nezměnila: konec

Start	Gauss–Newton	Levenberg–Marquardt
`τ` = 20 min	výsledek za 4 kroky	výsledek za 7 kroků
`τ` = 60 min	uletí (`τ` = −141 min)	výsledek za 11 kroků

Levenberg–Marquardt ze špatného startu τ = 60 min:

krok	`a` (°C)	`b` (°C)	`τ` (min)	součet čtverců
start	20,00	60,00	60,00	1331,9
1	18,97	60,18	37,45	318,8
2	19,92	64,61	29,43	72,48
3	20,62	67,81	26,41	7,091
4	21,24	68,17	25,58	3,793
5	22,53	67,07	24,72	3,017
6	24,73	65,10	23,33	2,069
7	26,40	63,63	22,27	1,745
8	26,77	63,31	22,04	1,731
9–11	26,80	63,29	22,02	1,731

Každý krok součet čtverců zmenší, nikdy nepřestřelí. Zajímavý je čtvrtý krok: metoda tam prošla blízko skutečných hodnot (místnost 22 °C, τ = 25 min) — a pokračovala dál, protože šum v datech má minimum jinde.

Nelineární regrese tak má starosti, které lineární nezná: potřebuje rozumný start, může skončit v lokálním minimu a nemusí se vůbec dopočítat. Stejné starosti, jen v milionech rozměrů, má učení neuronových sítí.

7. Mimo data: fyzika proti polynomu

Proč se s nelineárním modelem vůbec trápit, když by měření stejně dobře proložil polynom? Polynom 3. stupně je proloží dokonce o chlup lépe: součet čtverců reziduí 1,64 proti 1,73. Rozdíl ukáže až otázka, na kterou data neodpovídají: jakou teplotu bude mít káva za hodinu a půl?

Chladnutí kávy: měřeno 30 minut, předpověď do 90 minut Newtonův model Newtonův model se známou místností polynom 3. stupně skutečnost

Definice — interpolace a extrapolace

Nechť x₁, …, x_n ∈ ℝ jsou hodnoty příznaku v trénovacích datech a x ∈ ℝ bod, ve kterém model předpovídá. Předpověď v bodě x je interpolace, právě když

min_i x_i ≤ x ≤ max_i x_i,

a extrapolace, právě když tato podmínka neplatí. U více příznaků (x_i ∈ ℝ^p) se interval nahrazuje konvexním obalem bodů x₁, …, x_n — nejmenší konvexní množinou, která je všechny obsahuje. Interpolace je tedy předpověď uvnitř oblasti, kde máme data, extrapolace mimo ni. Kvalitu modelu na trénovacích datech lze ověřit jen pro interpolaci; při extrapolaci rozhoduje jen to, jestli tvar modelu odpovídá skutečnosti.

Laicky řečeno

Polynom 3. stupně za 90 minut předpoví −68 °C: kubický člen, který uvnitř dat jen jemně doladil oblouk, mimo ně převezme vládu. Newtonův model předpoví 27,9 °C, skutečnost je 23,9 °C — mýlí se o čtyři stupně, protože špatně odhadl teplotu místnosti, ale tvar má správný. A když teplotu místnosti (22 °C) prostě změříme teploměrem, zbývající rovnice ln(T − 22) = ln b − t/τ je přímka. Obyčejná lineární regrese dá τ = 25,4 min a předpověď 24,0 °C.

ln(T − 22) = ln b + (−1/τ) · t

ln(T − 22): nová vysvětlovaná veličina — odečtení známé teploty místnosti nechá jen exponenciálu b · exp(−t/τ) a logaritmus z ní udělá součet. Smí se jen tam, kde T > 22
ln b = w₀: úsek přímky — počáteční rozdíl teplot dostaneme zpět jako b = e^w₀
−1/τ = w₁: sklon přímky — o kolik klesne logaritmus rozdílu za minutu; časová konstanta je τ = −1/w₁
t: čas jako obyčejný příznak — a model je zase lineární v parametrech w₀, w₁

Pozor: nejmenší čtverce v logaritmech nejsou totéž co nejmenší čtverce ve stupních — chyby malých rozdílů teplot logaritmus zvětší.

Příklad — od přímky k předpovědi za 90 minut

přímka proložená body (t, ln(T − 22)): w₀ ≈ 4,2054, w₁ ≈ −0,039296

b = e^4,2054 ≈ 67,05 °C, τ = −1/−0,039296 ≈ 25,45 min

T(90) = 22 + 67,05 · exp(−90/25,45) ≈ 22 + 67,05 · 0,02912 ≈ 22 + 1,95 = 23,95 °C

Barvy podle rozboru přímky v logaritmech výše.

Generátor měl b = 68 °C a τ = 25 min; skutečnost za 90 minut je 23,86 °C.

Tahle trojice shrnuje celý díl. Ohebný model bez znalostí (polynom) vystihne data, ale nic o světě mimo ně. Model se správným tvarem (fyzika) extrapoluje rozumně. A každá znalost navíc — tady jeden teploměr — může nelineární úlohu proměnit zpátky v lineární.

8. Shrnutí

Přidáním příznaků jako x² se křivka ohne a výpočet zůstane lineární regresí; parabola zvedla R² spotřeby z 0,566 na 0,975.
Vzor v grafu reziduí (tady pět plus, patnáct minus, pět plus) prozradí, že model něco nezachytil.
Polynom vysokého stupně kmitá u okrajů (Rungeho jev, chyba 1,92); kubický spline po kouskách ji srazil na 0,022.
Model nelineární v parametrech se hledá iteracemi; Gauss–Newton ze špatného startu uletěl, Levenberg–Marquardt došel za 11 kroků.
Mimo data rozhoduje tvar modelu: za 90 minut polynom −68 °C, Newtonův model 27,9 °C, se známou místností 24,0 °C, skutečnost 23,9 °C.

Chcete si to osahat? Změřte, jak chladne váš čaj — teploměr, hodinky a deset měření — a nechte AI agenta proložit Newtonův model. Pak zkuste, jak dlouho musíte měřit, aby předpověď teploty místnosti vyšla správně.

Máte na to jiný názor? Napište na support@coden-app.com.

Polynomiální a nelineární regrese: jak přímku ohnout

1. Ohnutí přes příznaky

2. Graf reziduí prozradí, že přímka nestačí

3. Polynom vysokého stupně a Rungeho jev

4. Spliny: ohýbat po kouskách

5. Nelineární v parametrech: chladnutí kávy

6. Na startu záleží

7. Mimo data: fyzika proti polynomu

8. Shrnutí

Agent na vašem počítači, ovládaný z telefonu