Ansámbly: náhodný les a gradient boosting

Moudrost davu a proč musí být chyby nezávislé, bagging, náhodný les a korelace stromů, odhad chyby z vynechaných vzorků, gradient boosting a rychlost učení — na datech o splácení půjček.

13 minut Matěj Žalmánek 2026-10-16

Série Základy AI Díl 54 z 83

Celá osnova série 83 z 83 témat hotovo

Co si odnesete

Proč hlasování mnoha modelů funguje jen tehdy, když se mýlí nezávisle.
Jak bagging a náhodný les zkrotí přecitlivělé stromy.
Jak gradient boosting opravuje chyby krok za krokem a proč hlídat počet kroků.

Co se hodí znát předem: Rozhodovací stromy a k nejbližších sousedů: modely bez vzorců

Roku 1906 nechal statistik Francis Galton na dobytčím trhu 787 lidí hádat váhu vola. Jednotlivé tipy byly všelijaké, ale jejich střed (medián) se od skutečnosti lišil o necelé procento. Na stejném principu stojí jedny z nejúspěšnějších modelů strojového učení: místo jednoho chytrého modelu jich naučit sto hloupějších a nechat je hlasovat. V soutěžích na tabulková data (ceny, pojištění, podvody) takové ansámbly stromů dodnes porážejí i neuronové sítě.

Navazuje na díl Rozhodovací stromy a k nejbližších sousedů; pracujeme se stejnými daty o splácení půjček.

1. Moudrost davu — a její podmínka

Definice — ansámbl

Nechť 𝒳 je množina vstupů, B ≥ 2 a h₁, …, h_B jsou modely definované na 𝒳 (v klasifikaci s hodnotami v konečné množině tříd 𝒞, v regresi v ℝ). Ansámbl těchto modelů je model F na 𝒳, jehož předpověď vznikne kombinací předpovědí h₁(x), …, h_B(x), obvykle jedním z těchto předpisů:

hlasování (klasifikace): F(x) = argmax_{c ∈ 𝒞} |{b ∈ {1, …, B} : h_b(x) = c}|;
průměr pravděpodobností (klasifikace, dává-li každý model odhady p̂_b(c | x)): F(x) = argmax_{c ∈ 𝒞} 1/B ∑_b=1^B p̂_b(c | x);
(vážený) průměr (regrese): F(x) = ∑_b=1^B w_b h_b(x) s vahami w_b ≥ 0, ∑_b w_b = 1 (prostý průměr pro w_b = 1/B).

Ansámbl je tedy model složený z více modelů, jejichž předpovědi se zkombinují.

Laicky řečeno

Představte si poradce, z nichž každý má pravdu v 60 % případů. Jeden je skoro k ničemu. Když se ale zeptáte jedenácti a uděláte, co řekne většina, máte pravdu v 75,3 % případů; se 101 poradci v 97,9 %. Chyby jednotlivců se navzájem vyruší — pokud jsou nezávislé. Když v 30 % případů všichni opíšou jednoho názorového vůdce, ani 1 001 poradců nepřekročí 88,0 %: dav, který si opisuje, je jen jeden hlas mnohokrát.

Věta — Condorcetova věta o porotě

Nechť n ∈ ℕ je liché, p ∈ (0, 1) a X₁, …, X_n jsou nezávislé náhodné veličiny s P(X_i = 1) = p a P(X_i = 0) = 1 − p (X_i = 1 znamená, že i-tý hlasující má pravdu). Označme

P_n = P(X₁ + … + X_n > n/2)

pravděpodobnost, že většina má pravdu. Pak P_n je dána vzorcem níže a platí:

je-li p > 1/2, pak P_n s rostoucím lichým n roste a P_n → 1 pro n → ∞;
je-li p < 1/2, pak P_n s rostoucím lichým n klesá a P_n → 0.

Proč: počet správných hlasů X₁ + … + X_n má binomické rozdělení se střední hodnotou np a směrodatnou odchylkou √np(1 − p). Většina potřebuje víc než n/2; pro p > 1/2 je odstup n(p − 1/2) úměrný n, kdežto typická odchylka od střední hodnoty roste jen jako √n, takže je odstup čím dál bezpečnější. Tvrzení vyslovil markýz de Condorcet roku 1785; dnešní zápis se vzorcem je pozdější formalizace.

P_n = ∑_{k = n + 1/2}ⁿ C(n, k) · p^k (1 − p)^n−k

P_n: pravděpodobnost, že většina z n nezávislých hlasujících má pravdu — zelená křivka v obrázku
k ≥ n + 1/2: sčítá se jen přes ty počty správných hlasů, které tvoří většinu; u 11 hlasujících je to 6 až 11
C(n, k): kombinační číslo: kolika způsoby lze vybrat, kteří z hlasujících mají pravdu — na tom výsledek nezávisí, ale každý takový výběr je jiná možnost
p^k (1 − p)^n−k: pravděpodobnost jednoho konkrétního výběru: k hlasujících má pravdu a zbylých n − k se mýlí; násobí se, protože jsou nezávislí

Příklad — tři poradci s 60 %

všichni tři mají pravdu (k = 3): C(3, 3) · 0,6³ = 1 · 0,216 = 0,216

právě dva (k = 2): C(3, 2) · 0,6² · 0,4 = 3 · 0,36 · 0,4 = 0,432

P₃ = 0,216 + 0,432 = 0,648 (z 60 % na 64,8 %); P₁₁ = 0,753, P₁₀₁ = 0,979

Barvy odpovídají členům vzorce pro P_n výše.

Opisování popisuje náš jednoduchý model závislosti (vlastní zjednodušení pro tento díl): s pravděpodobností ρ všichni zopakují názor jednoho vůdce, jinak hlasují nezávisle.

P_záv = ρ · p + (1 − ρ) · P_n

P_záv: pravděpodobnost, že má většina pravdu, když se opisuje — jantarová křivka v obrázku
ρ · p: všichni opsali vůdce (s pravděpodobností ρ) a ten měl pravdu (p); celý dav je tu jediný hlas a víc hlasujících nepomůže
1 − ρ: pravděpodobnost, že se tentokrát neopisuje
P_n: pak platí Condorcetův vzorec pro nezávislé — tato část s rostoucím n jde k 1

Pro ρ = 0,3, p = 0,6 a velké n: P_záv ≈ 0,3 · 0,6 + 0,7 · 1 = 0,18 + 0,70 = 0,88 — strop 88,0 %, přes který žádný počet hlasujících nepřejde.

Pravděpodobnost, že většina má pravdu (každý hlasující má pravdu v 60 %) nezávislí v 30 % případů všichni opíšou jednoho

Celé umění ansámblů je proto v jediné otázce: jak naučit mnoho modelů, které jsou každý slušný, a přitom se mýlí v různých případech?

2. Bagging: stejný model, jiná data

Definice — bootstrap a bagging

Nechť n ≥ 1 a D = ((x₁, y₁), …, (x_n, y_n)) jsou trénovací data. Nechť I₁, …, I_n jsou nezávislé náhodné veličiny s rovnoměrným rozdělením na {1, …, n}, tj. P(I_j = i) = 1/n pro všechna i, j ∈ {1, …, n}. Bootstrapový výběr z D je posloupnost

D* = ((x_I₁, y_I₁), …, (x_{I_n}, y_{I_n})),

tedy n příkladů vybraných náhodně s vracením: některé se opakují, jiné chybí.

Bagging (bootstrap aggregating; Leo Breiman, 1996) je algoritmus:

Vstup: trénovací data D, počet modelů B ≥ 1 a učicí algoritmus 𝒜, který z dat vyrobí model (u nás hluboký rozhodovací strom).
Výstup: ansámbl F.

Pro b = 1, …, B: vylosuj (nezávisle na ostatních) bootstrapový výběr D*_b z D a nauč model h_b = 𝒜(D*_b).
Po B modelech skonči a vrať ansámbl: v regresi F(x) = 1/B ∑_b=1^B h_b(x), v klasifikaci hlasování modelů h₁, …, h_B.

Laicky řečeno

Hluboký strom je přecitlivělý: malá změna dat ho přestaví. Normálně je to vada — tady se z ní stane výhoda. Každý strom dostane trochu jinou verzi dat, vyroste trochu jinak a přeučí se na jiném šumu. Když jich zprůměrujeme dvě stě, náhodné výkyvy se vyruší a zůstane to, na čem se shodnou.

Jeden hluboký strom na našich datech (nechaný růst, dokud nejsou listy čisté) má na 4 000 nových klientech přesnost 86,5 %. Bagging z deseti takových stromů má 88,5 %, z dvou set 89,3 %.

Algoritmus — bagging a náhodný les

def les(D, B, m):                       # m = 2: bagging, m = 1: náhodný les (u nás)
    stromy = []
    for b in range(B):
        idx = [nahodne_cele(0, n − 1) for _ in range(n)]   # s vracením
        stromy.append(postav_hluboky([D[i] for i in idx], m))
    return stromy

def postav_hluboky(D, m):               # CART bez omezení hloubky
    if D je čistá: return List(třída)
    kandidati = náhodný výběr m příznaků z p   # jen v náhodném lese m < p
    najdi nejlepší práh jen mezi kandidáty (Giniho nečistota)
    return Uzel(…, ano=postav_hluboky(L, m), ne=postav_hluboky(P, m))

def hlas(stromy, x):
    return sum(strom(x) for strom in stromy) / len(stromy)  # podíl hlasů „splatí“

Předpověď je „splatí“, když hlas ≥ 0,5. Stromy na sobě nezávisí, takže je jde stavět paralelně — na rozdíl od boostingu níže.

3. Náhodný les: ještě víc náhody

Definice — náhodný les

Nechť příklady mají p ≥ 1 příznaků, m ∈ {1, …, p} a B ≥ 1. Náhodný les (random forest; Breiman, 2001) s B stromy je bagging, ve kterém učicí algoritmus 𝒜 je CART (viz díl Rozhodovací stromy) bez omezení hloubky s touto změnou:

v každém uzlu se nezávisle na ostatních uzlech vylosuje množina příznaků M ⊆ {1, …, p}, |M| = m, rovnoměrně ze všech m-prvkových podmnožin;
nejlepší dělení (s nejmenší váženou Giniho nečistotou) se hledá jen mezi příznaky j ∈ M.

Typicky se volí m ≈ √p; pro m = p je náhodný les obyčejný bagging stromů.

Laicky řečeno

I na různých bootstrapových výběrech se stromy často ptají na totéž — první otázka bývá skoro vždy „příjem ≤ 40 tisíc?“. Náhodný les jim to zakáže: v každém uzlu smí strom vybírat jen z náhodné části příznaků. U nás jsou příznaky jen dva, takže v každém uzlu dostane strom náhodně buď příjem, nebo věk. Jednotlivé stromy tím trochu zhloupnou, ale přestanou si být podobné.

Měřitelně: korelace chyb dvou náhodně vybraných stromů je u baggingu 0,53, v náhodném lese 0,42. Les z 200 stromů má přesnost 90,2 % (nejvíc 90,5 % s 25 stromy). Strop daný šumem v datech je 91,5 %.

Proč na korelaci tolik záleží, ukazuje vzorec pro rozptyl průměru B stejně rozptýlených předpovědí, z nichž každé dvě mají korelaci ρ (Hastie, Tibshirani, Friedman: The Elements of Statistical Learning, 2. vyd., rovnice 15.1):

Var( 1/B ∑_b h_b(x) ) = ρ σ² + (1 − ρ) σ²/B

ρ σ²: společná část chyb, kterou mají všechny stromy — průměrování ji neodstraní, ať je stromů kolik chce. Proto náhodný les snižuje ρ
(1 − ρ) σ²: vlastní, nesdílená část rozptylu každého stromu — ta, kterou se stromy mezi sebou liší
B: počet stromů; vlastní výkyvy se průměrováním vyruší, a proto se nesdílená část dělí B. Od několika desítek stromů je skoro nulová

σ² je rozptyl předpovědi jednoho stromu. Víc stromů zmenší jen druhý člen; první zmenší jen méně podobné stromy.

Příklad — 200 stromů s našimi korelacemi

bagging, ρ = 0,53: 0,53 σ² + 0,47 σ²/200 = 0,532 σ²

náhodný les, ρ = 0,42: 0,42 σ² + 0,58 σ²/200 = 0,423 σ²

Barvy odpovídají členům vzorce výše.

Při 200 stromech je druhý člen zanedbatelný a o rozptylu rozhoduje skoro jen ρ. Je to jen přibližná ilustrace: vzorec platí pro průměr čísel, my jsme měřili korelaci chyb (indikátorů „strom se spletl“) a hlasování není prostý průměr. Směr ale sedí — méně korelované stromy dávají stabilnější les.

Jeden strom proti ansámblům; sytost barvy = jistota modelu

Obrázek ukazuje i druhý dar ansámblů: místo ostrých obdélníků jednoho stromu je hranice měkká a model ví, kde si není jistý — podíl stromů, které hlasují „splatí“, funguje jako pravděpodobnost. Schody tam pořád jsou, ale jemnější a zprůměrované.

4. Testovací data zadarmo: odhad z vynechaných

Definice — chyba z vynechaných vzorků (OOB)

Nechť D = ((x₁, y₁), …, (x_n, y_n)) jsou trénovací data s y_i ∈ {0, 1} a h₁, …, h_B : 𝒳 → {0, 1} stromy baggingu nebo náhodného lesa, kde h_b je naučený na bootstrapovém výběru D*_b s vylosovanými indexy I_b1, …, I_bn. Pro i ∈ {1, …, n} označme

O_i = {b ∈ {1, …, B} : I_bj ≠ i pro všechna j = 1, …, n}

množinu stromů, které příklad i při učení neviděly, a H = {i : O_i ≠ ∅}. Pro i ∈ H je předpověď z vynechaných vzorků (out-of-bag, OOB) ŷ_i = 1, právě když 1/|O_i| ∑_{b ∈ O_i} h_b(x_i) ≥ 1/2, jinak ŷ_i = 0. OOB přesnost je

|{i ∈ H : ŷ_i = y_i}|/|H|,

a chyba z vynechaných vzorků je 1 minus OOB přesnost. Každý trénovací příklad se tedy předpoví jen hlasováním stromů, které ho při učení neviděly, a výsledek se porovná se skutečností. Bootstrapový výběr přitom vynechá každý příklad s pravděpodobností (1 − 1/n)ⁿ ≈ 1/e ≈ 36,8 % (věta níže).

Laicky řečeno

Každý strom třetinu klientů nikdy neviděl, a ti pro něj fungují jako testovací data. Les si tak testovací sadu vyrobí sám, bez obětování dat. V našich lesích chybí v každém výběru průměrně 36,9 % klientů.

Věta — proč chybí zhruba třetina

Nechť n ≥ 1, D* je bootstrapový výběr z n příkladů (s indexy I₁, …, I_n) a i ∈ {1, …, n}. Pak

P(I_j ≠ i pro všechna j) = (1 − 1/n)ⁿ a lim_{n → ∞} (1 − 1/n)ⁿ = e⁻¹ ≈ 0,368.

Důkaz. Při jednom losování se konkrétní příklad nevybere s pravděpodobností 1 − 1/n. Losování jsou nezávislá a je jich n, takže příklad chybí v celém výběru s pravděpodobností (1 − 1/n)ⁿ. Z ln(1 − 1/n) ≈ −1/n − 1/2n² plyne n · ln(1 − 1/n) → −1, tedy (1 − 1/n)ⁿ → e⁻¹. ∎

n = 200: 200 · ln(0,995) = 200 · (−0,0050125) = −1,0025, e^−1,0025 = 0,3670

limita: e⁻¹ = 0,3679; ve výběru je tedy v průměru 1 − 0,367 = 63,3 % různých klientů

Naměřených 36,9 % je průměr přes 200 skutečných výběrů — od teoretických 36,7 % se liší náhodou losování.

Algoritmus — odhad z vynechaných vzorků

dobre = hodnoceno = 0
for i, (x_i, y_i) in enumerate(D):
    porota = [s for s in stromy if i not in s.vyber]   # stromy, které i neviděly
    if not porota: continue                            # (skoro nemožné: 0,633^200 ≈ 10^−40)
    hlas = sum(s(x_i) for s in porota) / len(porota)
    hodnoceno += 1
    dobre += ((hlas >= 0.5) == y_i)
oob_presnost = dobre / hodnoceno

Každý klient je hodnocen „porotou“ asi 0,37 · 200 ≈ 73 stromů, ne celým lesem — i proto je odhad o něco pesimističtější.

OOB odhad dal pro bagging 85,0 % a pro les 86,0 %, na 4 000 nových klientech je skutečnost 89,3 % a 90,2 %. Odhad je tu o tři až čtyři body pesimistický: každý klient je hodnocen jen třetinou lesa, a hlavně je trénovacích klientů jen 200, takže i samotný odhad kolísá zhruba o ±2 procentní body. Při tisících příkladů bývá OOB odhad velmi blízko testovací chybě — a je to oblíbený způsob, jak les ladit bez křížové validace.

5. Boosting: modely, které opravují předchůdce

Bagging staví stromy vedle sebe, nezávisle. Boosting je staví za sebou: každý další se soustředí na to, co předchozí pokazily.

Definice — gradient boosting

Nechť (x₁, y₁), …, (x_n, y_n) jsou trénovací data s x_i ∈ 𝒳 a y_i ∈ {0, 1}, L(y, F) ztráta skóre F ∈ ℝ diferencovatelná podle F (u nás logistická, viz věta níže), M ∈ ℕ počet kroků a η ∈ (0, 1] rychlost učení (shrinkage). Gradient boosting (Jerome Friedman, 2001) je algoritmus:

Vstup: trénovací data, ztráta L, M, η a maximální hloubka regresních stromů (u nás 2).
Výstup: skórovací funkce F_M : 𝒳 → ℝ; pravděpodobnost třídy 1 je σ(F_M(x)).

Polož F₀(x) = c₀ pro všechna x, kde c₀ minimalizuje ∑_i L(y_i, c) (u logistické ztráty c₀ = ln p̄/1 − p̄, p̄ = podíl jedniček).
Pro m = 1, …, M:
1. spočítej pseudorezidua r_i = −∂L(y_i, F)/∂F v bodě F = F_m−1(x_i), i = 1, …, n (u logistické ztráty r_i = y_i − p_i s p_i = σ(F_m−1(x_i)));
2. nauč malý regresní strom h_m : 𝒳 → ℝ na dvojicích (x_i, r_i);
3. polož F_m(x) = F_m−1(x) + η · h_m(x).
Po M krocích skonči a vrať F_M.

Model je tedy součet F_M = F₀ + η(h₁ + … + h_M), kde každý strom je naučený na záporný gradient ztráty podle F.

Laicky řečeno

První strom udělá hrubý odhad. Druhý se podívá, kde se první spletl, a naučí se opravu. Třetí opravuje opravu — a tak dál. Je to gradientní sestup, jen místo vah posunujeme celou funkci a každý krok je malý strom. Stromy jsou schválně slabé (u nás hloubka 2, tedy čtyři listy) a každá oprava se započítá jen z části η, aby jeden strom nepřestřelil.

F_m(x) = F_m−1(x) + η · h_m(x), p = σ(F)

F_m(x): skóre modelu po m krocích (logaritmus šancí); sigmoida z něj udělá pravděpodobnost splacení jako v logistické regresi
F_m−1(x): všechno, co už umí předchozí stromy — zůstává beze změny, nový strom ho jen opravuje
η: rychlost učení: oprava se započte jen z části, aby chyba jednoho slabého stromu nepřebila ostatní; menší η chce víc kroků, ale přeučí se pomaleji
h_m(x): nový malý strom naučený na rezidua y − p: tam, kde model podceňuje (y = 1, malé p), skóre zvedne, kde přeceňuje, sníží

Na začátku je F₀ = ln p̄/1 − p̄, logaritmus šancí podílu splácejících — nejlepší konstantní odhad.

Věta — rezidua jsou záporný gradient logistické ztráty

Nechť y ∈ {0, 1}, F ∈ ℝ a p = σ(F) = 1/1 + e^−F ∈ (0, 1). Nechť

L(y, F) = −[y ln p + (1 − y) ln(1 − p)]

je logistická ztráta (křížová entropie) jednoho příkladu. Pak ∂L/∂F = p − y, tj. záporný gradient je reziduum y − p.

Důkaz: σ′(F) = p(1 − p), takže ∂L/∂F = −y · p(1 − p)/p + (1 − y) · p(1 − p)/1 − p = −y(1 − p) + (1 − y)p = p − y. ∎

Krok proti gradientu je tedy krok ve směru y − p. Gradientní sestup by posunul každé F(x_i) zvlášť; boosting místo toho naučí strom, který tento směr přibližuje, a proto funguje i pro klienty, které nikdy neviděl. Hodnota listu je u nás Newtonův krok ∑ r_i/∑ p_i(1 − p_i) přes klienty v listu (druhá derivace ztráty je p(1 − p)) — tak to dělá i Friedmanův algoritmus pro logistickou ztrátu.

Příklad — první krok boostingu na našich datech

start: p̄ = 140/200 = 0,7, F₀ = ln 0,7/0,3 = 0,847 pro všechny klienty

rezidua: splácí → 1 − 0,7 = +0,3, nesplácí → 0 − 0,7 = −0,7; p(1 − p) = 0,21

první strom hloubky 2 má stejné otázky jako strom z minulého dílu; list „příjem ≤ 39,5, věk ≤ 47,6“: 47 klientů, splácí 4

hodnota listu h₁(x) = 4 · 0,3 − 43 · 0,7/47 · 0,21 = −28,9/9,87 = −2,93

η = 0,1: F₁ = 0,847 + 0,1 · (−2,928) = 0,847 − 0,293 = 0,554, p = σ(0,554) = 63,5 % → pořád „splatí“

η = 1: F₁ = 0,847 + 1 · (−2,928) = −2,081, p = σ(−2,081) = 11,1 % → „nesplatí“

Barvy v posledních třech řádcích odpovídají členům vzorce F_m = F_m−1 + η · h_m výše.

S η = 0,1 zůstanou po prvním kroku všechny čtyři listy nad 50 % (63,5 až 72,9 %), model tedy řekne „splatí“ každému — a přesnost 74,7 % je přesně podíl splácejících mezi novými klienty. S η = 1 je model po prvním kroku totéž co strom hloubky 2 (88,2 %).

Algoritmus — gradient boosting pro dvě třídy

def boosting(D, kroku, eta, hloubka=2):
    F0 = log(prumer(y) / (1 − prumer(y)))
    F = [F0] * n                                   # skóre každého trénovacího klienta
    stromy = []
    for m in range(kroku):
        p = [sigmoida(F[i]) for i in range(n)]
        r = [y[i] − p[i] for i in range(n)]        # záporný gradient
        h = regresni_strom(D, r, hloubka)          # dělení podle r
        for list in h.listy:                       # Newtonův krok v každém listu
            list.hodnota = sum(r[i]) / sum(p[i] * (1 − p[i]))   # přes klienty v listu
        F = [F[i] + eta * h(x[i]) for i in range(n)]
        stromy.append(h)
    return lambda x: sigmoida(F0 + eta * sum(h(x) for h in stromy))

Každý strom závisí na předchozích (přes p), takže se stromy stavějí za sebou. Počet kroků je hlavní pojistka proti přeučení.

Přesnost na nových klientech: vlevo podle počtu stromů v lese, vpravo podle počtu kroků boostingu bagging náhodný les boosting η = 0,1 boosting η = 1 strop jeden hluboký strom

S rychlostí učení 0,1 začíná boosting na 74,7 % (jediný slabý krok), po deseti krocích má 88,2 % a po padesáti 90,3 %. Pak ale pokračuje dál a začne se učit šum: po dvou stech krocích zná trénovací data nazpaměť a na nových klientech klesne na 89,2 %, po tisíci na 88,5 %. Boosting se — na rozdíl od lesa — přeučit umí, a počet kroků se proto volí na validační sadě (předčasné zastavení). S rychlostí učení 1 skočí na 88,2 % hned po prvním stromu, ale lepší než 88,5 % už nebude: velké kroky přeskakují jemné opravy. Malé η a víc kroků bývá skoro vždy lepší, jen pomalejší.

Předchůdcem gradient boostingu byl AdaBoost (Yoav Freund a Robert Schapire, 1995), který místo reziduí zvyšuje váhy špatně zařazených příkladů — a jak ukázal díl o ztrátových funkcích, minimalizuje exponenciální ztrátu. Dnešní knihovny jako XGBoost (2016), LightGBM a CatBoost jsou gradient boosting s mnoha inženýrskými triky.

6. Kdo vyhrál

Model	přesnost na 4 000 nových klientech
jeden hluboký strom	86,5 %
strom hloubky 3	89,5 %
bagging, 200 stromů	89,3 %
náhodný les, 200 stromů	90,2 %
gradient boosting, 50 kroků, `η` = 0,1	90,3 %
k nejbližších sousedů, `k` = 25	91,3 %
strop (skutečná hranice)	91,5 %

Ansámbly napravily hlavní vadu stromu — přecitlivělost — a z 86,5 % se dostaly přes 90 %, blízko ke stropu. Na našich dvou příznacích se šikmou hranicí je ale kNN stejně dobrý nebo lepší a logistická regrese by stačila taky. Síla ansámblů se ukáže až na skutečných tabulkách: desítky příznaků v různých jednotkách, chybějící hodnoty, kategorie, nelineární interakce. Tam náhodný les funguje skoro bez ladění a gradient boosting po vyladění bývá nejlepší, co existuje.

7. Shrnutí

Hlasování mnoha slabých modelů funguje, jen když se mýlí nezávisle: 101 nezávislých poradců s 60 % má pravdu v 97,9 %, opisující nepřekročí 88,0 %.
Bagging učí stejné modely na bootstrapových výběrech a průměruje je; z hlubokého stromu (86,5 %) udělal les s 89,3 %.
Náhodný les navíc losuje příznaky v každém uzlu; korelace chyb stromů klesla z 0,53 na 0,42 a přesnost stoupla na 90,2 %.
Každý strom nevidí asi 37 % dat — z nich se dá odhadnout chyba bez testovací sady (OOB).
Gradient boosting přidává malé stromy, které opravují předchůdce; s η = 0,1 dosáhl 90,3 % po 50 krocích, ale pak se přeučil — počet kroků se musí hlídat.

Chcete si to osahat? Nechte AI agenta naučit náhodný les a gradient boosting na veřejné tabulce — třeba o přeživších Titaniku — a vypsat, které příznaky les považuje za nejdůležitější.

Máte na to jiný názor? Napište na support@coden-app.com.

Ansámbly: náhodný les a gradient boosting

1. Moudrost davu — a její podmínka

2. Bagging: stejný model, jiná data

3. Náhodný les: ještě víc náhody

4. Testovací data zadarmo: odhad z vynechaných

5. Boosting: modely, které opravují předchůdce

6. Kdo vyhrál

7. Shrnutí

Agent na vašem počítači, ovládaný z telefonu