Dáta, model, tréning, inferencia: základné pojmy na jednom príklade

Celá cesta strojového učenia na odhade ceny bytu: dáta a ich rozdelenie, model s parametrami, tréning gradientným zostupom, hyperparametre a rýchlosť učenia, vyhodnotenie, inferencia a slovníček pojmov s odkazmi na diely série.

9 minút Matěj Žalmánek 2026-10-16

Séria Základy AI Diel 3 z 52

Celá osnova série Hotovo: 52 z 83 tém

Čo si odnesiete

Čo znamenajú dáta, model, tréning a inferencia a ako spolu súvisia.
Rozdiel medzi parametrami a hyperparametrami a prečo záleží na rýchlosti učenia.
Prečo je tréning drahý raz a inferencia lacná, ale častá.

Čo sa hodí vedieť vopred: Mapa umelej inteligencie: čo je čo a ako to do seba zapadá

V celej sérii sa opakujú štyri slová: dáta, model, tréning a inferencia. Či ide o rozpoznávanie číslic, filter spamu alebo veľký jazykový model, cesta je stále rovnaká: z príkladov sa naučí funkcia, ktorá potom odpovedá na nové otázky. V tomto diele túto cestu prejdeme celú na najmenšom možnom príklade — odhade ceny bytu podľa plochy — a pri každom kroku povieme, ako vyzerá pri veľkých modeloch. Na konci je slovníček pojmov s odkazmi na diely, kde sa o nich dozviete viac.

Nadväzuje na diely Mapa umelej inteligencie a Stručná história AI.

Tréning a inferencia

1. Dáta: príklady so správnymi odpoveďami

Definícia — dáta, príznaky a štítky

Dáta sú príklady, z ktorých sa model učí. Každý príklad sa skladá z

príznakov — vstupov, ktoré o ňom vieme (u nás plocha bytu),
a pri učení s učiteľom aj zo štítku — správnej odpovede (u nás cena bytu).

Dáta sa delia na tri navzájom disjunktné časti, každú s iným účelom:

trénovacie — z nich sa model učí (hľadajú sa podľa nich parametre);
validačné — podľa nich ladíme nastavenie učenia a vyberáme medzi modelmi;
testovacie — použijú sa len raz, na konci, aby poctivo odhadli, ako model dopadne na nových dátach.

Presný zápis je v definícii „dátová sada formálne“ nižšie.

Laicky povedané

Učebnica s príkladmi a výsledkami vzadu. Na trénovacích príkladoch sa učíte, na cvičnej písomke zistíte, či to viete, a ostrá písomka (ktorú ste predtým nevideli) ukáže, ako na tom naozaj ste.

Naše dáta sú vymyslené: 60 bytov, pri každom plocha (príznak) a cena v miliónoch korún (štítok). Cena rastie s plochou, ale nie presne — dva rovnako veľké byty sa líšia polohou, stavom, poschodím. Rozdelíme ich na 40 trénovacích, 10 validačných a 10 testovacích.

Definícia — dátová sada formálne

Nech d, n ∈ ℕ, d, n ≥ 1, a nech Y je množina možných štítkov (Y = ℝ pri regresii, konečná množina tried pri klasifikácii). Dátová sada je konečná postupnosť dvojíc

D = ((x⁽¹⁾, y⁽¹⁾), …, (x⁽ⁿ⁾, y⁽ⁿ⁾)), kde x⁽ⁱ⁾ ∈ ℝ^d a y⁽ⁱ⁾ ∈ Y pre i = 1, …, n.

Vektor x⁽ⁱ⁾ obsahuje d príznakov i-tého príkladu a y⁽ⁱ⁾ je jeho štítok. Predpokladá sa, že existuje (neznáme) rozdelenie pravdepodobnosti na ℝ^d × Y, z ktorého sú dvojice vybrané navzájom nezávisle a z ktorého pochádzajú aj budúce dotazy.

Rozdelenie dát je dané rozkladom množiny indexov na tri navzájom disjunktné množiny

{1, …, n} = I_tr ∪ I_val ∪ I_test, I_tr ∩ I_val = I_tr ∩ I_test = I_val ∩ I_test = ∅;

časti dát sú D_tr = ((x⁽ⁱ⁾, y⁽ⁱ⁾))_{i ∈ I_tr} a obdobne D_val, D_test. Každý príklad teda patrí do práve jednej časti. U nás d = 1 (plocha), Y = ℝ (cena v miliónoch Kč), n = 60 a časti majú 40, 10 a 10 príkladov.

Laicky povedané

Tabuľka, kde každý riadok je jeden byt: stĺpce s príznakmi a posledný stĺpec s cenou. Disjunktné znamená, že žiadny byt nie je v dvoch častiach zároveň — inak by „ostrá písomka“ obsahovala príklady, ktoré model už videl. A predpoklad rovnakého rozdelenia hovorí, že testovacie byty sú z toho istého trhu ako tie, na ktoré sa potom budeme pýtať; bez neho by chyba na teste o budúcnosti nevypovedala nič.

Pri veľkých jazykových modeloch sú dátami bilióny tokenov textu z webu, kníh a kódu; príznakom je doterajší text a štítkom ďalší token (diel o predtrénovaní). Princíp je rovnaký.

2. Model: funkcia s parametrami

Definícia — model a parametre

Nech X je množina vstupov, Y množina výstupov a Θ ⊆ ℝ^p, p ≥ 1, množina prípustných hodnôt parametrov. Model je systém funkcií

{f_θ : X → Y | θ ∈ Θ},

t. j. pre každú voľbu θ = (θ₁, …, θ_p) ∈ Θ jedna funkcia, ktorá zo vstupu x ∈ X vypočíta výstup f_θ(x) ∈ Y. Čísla θ₁, …, θ_p sú parametre modelu (pri neurónových sieťach váhy). Tvar funkcie (a tým X, Y, Θ) volíme my; hodnoty parametrov hľadá učenie.

Náš model je priamka: X = Y = ℝ, Θ = ℝ², θ = (w, b) a f_w,b(x) = w · x + b, kde x je plocha, w hovorí, o koľko stúpne cena s každou jednotkou plochy, a b, kde priamka začína.

Laicky povedané

Model je stroj s gombíkmi. Náš má gombíky dva. Jazykový model ich má miliardy — ale stále je to stroj, ktorý zo vstupu počíta výstup, a jeho „znalosti“ nie sú nič iné než nastavenie gombíkov.

ŷ = w · x + b

ŷ: predpoveď ceny; strieška ju odlišuje od skutočnej ceny y, s ktorou ju potom porovnávame
w: sklon — koľko miliónov pridá každý meter navyše; bez neho by cena od plochy vôbec nezávisela
x: plocha v m², jediný príznak; to jediné, čo model o byte vie
b: posun — „cena nulového bytu“; bez neho by priamka musela prechádzať začiatkom, a ceny bytov k nule nesmerujú

Všeobecne sa píše ŷ = f_θ(x): funkcia f s parametrami θ = (w, b). Pri jazykovom modeli je f transformer a θ miliardy váh.

3. Tréning: ladenie parametrov

Definícia — stratová funkcia a tréning

Nech {f_θ : θ ∈ Θ}, Θ ⊆ ℝ^p, je model a D_tr = ((x₁, y₁), …, (x_n, y_n)), n ≥ 1, trénovacie dáta. Stratová funkcia je funkcia

J : Θ → [0, ∞),

ktorá každej voľbe parametrov θ priradí číslo J(θ) udávajúce, ako veľmi sa model f_θ na D_tr mýli — u nás priemer druhých mocnín chýb (MSE), zapísaný celý v rozbore nižšie. Tréning je hľadanie parametrov s čo najmenšou stratou, ideálne θ* ∈ argmin_{θ ∈ Θ} J(θ).

Ak je J diferencovateľná a Θ = ℝ^p, označme ∇J(θ) = (∂J/∂θ₁, …, ∂J/∂θ_p) jej gradient. Gradientný zostup je algoritmus:

Vstup: počiatočné parametre θ₀ ∈ ℝ^p, rýchlosť učenia η > 0, počet krokov T ∈ ℕ.
Výstup: parametre θ_T ∈ ℝ^p.

Pre t = 0, 1, …, T − 1 polož θ_t+1 = θ_t − η · ∇J(θ_t).
Po T krokoch skonči a vráť θ_T.

Zostup teda v každom kroku vypočíta, ktorým smerom strata najrýchlejšie rastie, a posunie parametre malým krokom opačne. Epocha je jeden prechod všetkými trénovacími dátami; pri našom zostupe, kde každý krok počíta gradient zo všetkých n príkladov, je jedna epocha práve jeden krok.

Laicky povedané

Hmla na kopci a cieľ dostať sa do údolia. Vidíte len svah pod nohami, tak urobíte krok z kopca, znova sa pozriete, ďalší krok. Každý krok je jedna úprava gombíkov, údolie sú gombíky, s ktorými sa model mýli najmenej.

Naša stratová funkcia, stredná kvadratická chyba (MSE), zapísaná celá:

J(w, b) = 1/n ∑_i=1ⁿ ( w x_i + b − y_i )²

J(w, b): strata ako funkcia parametrov — dáta sú pevné, meniť smieme len w a b, preto sú v zátvorke len ony
1/n ∑: priemer cez všetkých n = 40 trénovacích bytov — aby bola strata porovnateľná pre rôzne veľké dáta a žiadny byt nemal prednosť
w x_i + b − y_i: chyba na i-tom byte: predpoveď ŷ_i mínus skutočná cena; kladná, keď model prestrelí, záporná, keď podstrelí
²: druhá mocnina — aby sa kladné a záporné chyby nevyrušili, veľké chyby vážili viac než malé a strata sa dala hladko derivovať

Strata je nulová len vtedy, keď priamka prechádza všetkými bodmi presne; inak je kladná.

Veta — gradient MSE pre priamku

Nech n ≥ 1, (x₁, y₁), …, (x_n, y_n) ∈ ℝ² sú trénovacie dáta a J : ℝ² → ℝ je MSE priamky,

J(w, b) = 1/n ∑_i=1ⁿ (w x_i + b − y_i)².

Označme ŷ_i = w x_i + b pre i = 1, …, n. Potom pre všetky (w, b) ∈ ℝ² platí

∂J/∂w = 2/n ∑_i=1ⁿ (ŷ_i − y_i) · x_i, ∂J/∂b = 2/n ∑_i=1ⁿ (ŷ_i − y_i).

Dôkaz. Derivácia súčtu je súčet derivácií a konštantný násobok 1/n sa derivovaním zachová. Pre jeden člen podľa pravidla o derivácii zloženej funkcie: ∂/∂w (w x_i + b − y_i)² = 2 (w x_i + b − y_i) · x_i, pretože vnútro zátvorky má podľa w deriváciu x_i; podľa b má deriváciu 1. ∎

Laicky povedané

Každý byt „ťahá“ za parametre úmerne tomu, ako veľmi sa model na ňom pomýlil. Pri w sa ťah ešte násobí plochou: chyba pri veľkom byte hovorí o sklone viac než chyba pri garsónke.

Jeden krok gradientného zostupu potom posunie oba parametre proti gradientu:

w ← w − η · ∂J/∂w

w: parameter pred krokom a po ňom — šípka ← znamená „prepíš novou hodnotou“, nie rovnosť
−: ideme opačne než gradient, teda z kopca: stratu chceme zmenšiť, nie zväčšiť
η: rýchlosť učenia — aký dlhý krok urobíme; gradient platí len v okolí bodu, takže krok musí byť malý (pozri ďalšiu kapitolu)
∂J/∂w: gradient — ktorým smerom a ako strmo strata rastie, keď w zväčšíme

Pre b rovnako, len s ∂J/∂b. Oba parametre sa menia naraz, z gradientu vypočítaného v starom bode.

Celý tréning ako algoritmus (presne tak to počíta obrázok nižšie):

w, b = 0, 0                                  # počiatočné parametre
for epocha in range(200):                    # hyperparameter: počet epoch
    gw = gb = 0
    for plocha, cena in trenovaci_data:      # jedna epocha = všetky dáta
        x = plocha / 100                     # plocha v stovkách m²
        chyba = (w * x + b) - cena           # ŷ − y
        gw += 2 * chyba * x / n              # ∂J/∂w
        gb += 2 * chyba / n                  # ∂J/∂b
    w, b = w - eta * gw, b - eta * gb        # krok z kopca, eta = rýchlosť učenia

Plochu dosadzujeme v stovkách m² (52 m² → 0,52). V metroch by gradient podľa w vychádzal desiatky ráz väčší než podľa b a jedna rýchlosť učenia by nesedela obom parametrom zároveň. Takéto škálovanie príznakov je v praxi bežné. Preto w nižšie vychádza v miliónoch na 100 m².

Príklad — prvý krok zostupu

V bode w = b = 0 model všade predpovedá 0, takže chyba na každom byte je −y_i. Gradient je preto

∂J/∂w = −2 · 1/n ∑_i=1ⁿ x_i y_i = −2 · 5,678 = −11,36, ∂J/∂b = −2 · ȳ = −2 · 6,88 = −13,76,

kde 5,678 je priemer súčinov plochy (v stovkách m²) a ceny a ȳ = 6,88 priemerná cena v miliónoch. S rýchlosťou učenia η = 0,5 (farby zodpovedajú členom vzorca kroku vyššie):

w ← 0 − 0,5 · (−11,36) = 5,68, b ← 0 − 0,5 · (−13,76) = 6,88.

(w je tu v miliónoch na 100 m².) Strata klesne z 54,2 na 17,7. Oba gradienty boli záporné (model všade podstreľoval), a tak oba parametre vzrástli.

Začneme s w = 0 a b = 0 (model hovorí „všetko stojí nula“, strata 54,2) a urobíme 200 epoch gradientného zostupu. Výsledok: w = 0,0910 milióna na m², teda zhruba 91 000 Kč za každý meter navyše, a b = 0,35 milióna. Presné riešenie metódou najmenších štvorcov (pri priamke sa dá vypočítať vzorcom, pozri diel o lineárnej regresii) sa líši až na štvrtom desatinnom mieste. Zostup dorazil tam, kam mal.

Byty podľa plochy a ceny, naučená priamka a predpoveď pre nový byt trénovacie validačné testovacie model

4. Hyperparametre: čo nastavujeme my

Definícia — hyperparametre

Tréning je postup, ktorý z trénovacích dát D_tr a z nastavenia h vypočíta parametre θ* (napr. gradientný zostup vyššie). Hyperparametre sú zložky nastavenia h: veličiny, ktoré ovplyvňujú tvar modelu alebo priebeh učenia, nie sú súčasťou θ, tréning ich nemení a volíme ich my vopred. Patria k nim:

tvar a veľkosť modelu (tvar funkcie f_θ a množina Θ);
rýchlosť učenia η > 0 — aký veľký je krok gradientného zostupu;
počet epoch;
veľkosť dávky B ∈ {1, …, n} — koľko trénovacích príkladov sa použije na výpočet gradientu v jednom kroku.

Hyperparametre sa ladia podľa výsledkov na validačných dátach D_val, nikdy na testovacích.

Laicky povedané

Parametre sú to, čo sa žiak naučí. Hyperparametre sú to, ako ho učíme: ako rýchlo, ako dlho, koľko príkladov naraz.

Strata na trénovacích dátach počas učenia pre tri rýchlosti učenia rýchlosť učenia 0,05rýchlosť učenia 0,5rýchlosť učenia 1,6

S rýchlosťou 0,05 sa model učí pomaly — po 200 epochách má stratu 0,48 a ešte nie je v cieli. S 0,5 dorazí za pár desiatok epoch na 0,165. S 1,6 sú kroky také veľké, že model preskakuje údolie čoraz ďalej a strata exploduje — po piatich epochách je 46 310 590. Správna rýchlosť učenia je jedno z najčastejších ladení v celom strojovom učení.

Pri priamke a MSE sa dá presne vypočítať, kde leží hranica medzi „pomaly“ a „exploduje“. Strata je kvadratická funkcia parametrov, takže jej zakrivenie je všade rovnaké a opisujú ho dve čísla — zakrivenie v strmom a v plochom smere údolia (vlastné čísla λ Hessovej matice, tabuľky druhých derivácií).

e_t+1 = (1 − η λ) · e_t

e_t+1: vzdialenosť parametrov od najlepších hodnôt po ďalšej epoche (v jednom z dvoch smerov) — tú chceme dostať k nule
1: bez kroku by vzdialenosť zostala taká, aká bola; krok z nej uberie diel η λ. Ak je |1 − η λ| < 1, vzdialenosť sa zmenšuje, ak je väčšia než 1, rastie geometrickým radom
η: rýchlosť učenia — jediné, čo tu volíme my
λ: zakrivenie straty v danom smere — dané dátami, nie nami; v strmom smere je gradient veľký, a krok preto dlhý
e_t: vzdialenosť pred epochou; vzorec sa opakuje, takže po t epochách je e_t = (1 − η λ)^t e₀

Veta — kedy gradientný zostup konverguje

Nech p ≥ 1, H ∈ ℝ^p×p je symetrická matica s vlastnými číslami λ₁, …, λ_p, kde λ_min = min_j λ_j > 0 a λ_max = max_j λ_j, θ* ∈ ℝ^p, c ∈ ℝ a strata je kvadratická funkcia

J(θ) = c + 1/2 (θ − θ*)^T H (θ − θ*), θ ∈ ℝ^p,

s Hessovou maticou H a minimom v θ*. Nech η ∈ ℝ a θ_t+1 = θ_t − η ∇J(θ_t) pre t = 0, 1, 2, … Potom θ_t → θ* pre každý počiatočný bod θ₀ ∈ ℝ^p práve vtedy, keď

0 < η < 2/λ_max.

Dôkaz. Platí ∇J(θ) = H(θ − θ*), takže odchýlka e_t = θ_t − θ* spĺňa e_t+1 = (I − ηH) e_t. V ortonormálnej báze vlastných vektorov H sa j-tá zložka e_t^(j) vyvíja ako e_t+1^(j) = (1 − η λ_j) e_t^(j), teda e_t^(j) = (1 − η λ_j)^t e₀^(j). Všetky zložky idú pre každé e₀ k nule práve vtedy, keď |1 − η λ_j| < 1 pre všetky j, t. j. 0 < η λ_j < 2; keďže λ_j > 0, najprísnejšia je podmienka pre λ_max. ∎

Príklad — hranica pre naše byty

Pre MSE priamky je H = 2/n · [[∑x_i², ∑x_i], [∑x_i, n]] = [[1,193, 1,435], [1,435, 2]] (plocha v stovkách m²). Vlastné čísla vyjdú λ_max = 3,087 a λ_min = 0,106, takže zostup konverguje pre η < 2/3,087 = 0,648. Farby zodpovedajú členom vzorca e_t+1 = (1 − η λ) · e_t vyššie.

η = 0,05: násobiteľ v plochom smere je 1 − 0,05 · 0,106 =0,9947; po 200 epochách zostáva 0,9947²⁰⁰ ≈ 35 % pôvodnej odchýlky — preto model nie je v cieli.

η = 0,5: násobitele sú |1 − 0,5 · 3,087| = 0,544 a 1 − 0,5 · 0,106 = 0,947; po 200 epochách zostáva 0,947²⁰⁰ ≈ 2 · 10⁻⁵ odchýlky — prakticky nič.

η = 1,6 > 0,648: v strmom smere je |1 − 1,6 · 3,087| = 3,94. Odchýlka sa každú epochu zhruba zoštvornásobí a strata, ktorá rastie s jej druhou mocninou, 15,5-krát — v grafe z 801 na 12 395.

Laicky povedané

Údolie je úzky žľab: naprieč strmý, pozdĺž skoro rovný. Rýchlosť učenia musí byť dosť malá na strmé steny, inak preskočíte na protiľahlý svah vyššie, než ste boli. Lenže potom pozdĺž žľabu postupujete pomaličky. Tento spor medzi strmým a plochým smerom je dôvod, prečo sa pri veľkých modeloch používajú chytrejšie varianty zostupu.

5. Aký dobrý je model

Nech D′ je ľubovoľná časť dát s m ≥ 1 príkladmi (x, y) a ŷ(x) = f_θ*(x) predpoveď naučeného modelu. Chybu na D′ meriame odmocninou zo strednej kvadratickej chyby (RMSE):

RMSE = √1/m ∑_{(x, y) ∈ D′} (ŷ(x) − y)²

√: odmocnina vráti výsledok z (mil. Kč)² späť do miliónov korún — číslo sa dá čítať ako „typická chyba“
1/m ∑_D′: priemer cez vybranú časť — trénovaciu, validačnú alebo testovaciu; každá odpovedá na inú otázku
(ŷ(x) − y)²: štvorec chyby na jednom byte, rovnako ako v strate — meriame tým, čo sme minimalizovali

Na testovacej časti: RMSE = √0,256 = 0,51 milióna (pod odmocninou je priemer štvorcov chýb na testovacích bytoch).

Priemerná chyba (odmocnina z MSE) je na trénovacích dátach 0,41 milióna, na validačných 0,60 a na testovacích 0,51 milióna, teda zhruba pol milióna korún. Lepšie to s jediným príznakom byť nemôže: šum, ktorý sme do cien pridali (poloha, stav), má práve takú veľkosť a z plochy sa uhádnuť nedá. Kto chce presnejší odhad, potrebuje viac príznakov — nie chytrejšiu priamku. Keby sme naopak model urobili príliš pružný, naučil by sa šum trénovacích dát naspamäť (preučenie) a na nových bytoch by sa mýlil viac.

6. Inferencia: model v prevádzke

Definícia — inferencia

Nech {f_θ : θ ∈ Θ} je model a θ* ∈ Θ parametre, ktoré našiel tréning. Inferencia je výpočet predpovede

ŷ = f_θ*(x)

pre nový vstup x ∈ X, pričom parametre θ* zostávajú pevné. Model sa pri inferencii neučí (pokiaľ ho výslovne znova netrénujeme). Pri jazykových modeloch je inferenciou každá odpoveď — model generuje token po tokene a pre každý token urobí jeden prechod sieťou.

Laicky povedané

Tréning je štúdium, inferencia je skúška — alebo práca. Študuje sa raz a dlho, pracuje sa potom denne a rýchlo. Keď si s chatbotom píšete, neučíte ho (to sa deje inokedy a inak), len ho používate.

Náš model pre byt s plochou 65 m² odhadne 6,27 milióna. Stojí to 3 početné operácie. Tréning stál zhruba 72 000 operácií. Pri veľkých modeloch je pomer podobný, len v inej mierke: tréning trvá mesiace na tisícoch grafických kariet, jedna odpoveď sekundy. Lenže odpovedí sú miliardy, takže pri najpoužívanejších modeloch môže inferencia dohromady stáť viac výpočtov než ich tréning — a preto sa toľko rieši, ako modely zmenšiť a zrýchliť.

Príklad — inferencia a počet operácií

Dosadíme naučené parametre w = 9,0957 milióna na 100 m² (t. j. 0,0910 na m²) a b = 0,3538; plochu v stovkách m², x = 0,65:

ŷ = 9,0957 · 0,65 + 0,3538 = 5,9122 + 0,3538 = 6,2660 ≈ 6,27 milióna

(farby zodpovedajú členom vzorca ŷ = w · x + b v kapitole o modeli).

To sú 3 operácie: prevod jednotiek (delenie stom), násobenie a sčítanie. Jedna epocha tréningu urobí pre každý z 40 bytov predpoveď, chybu a oba príspevky ku gradientu — počítame zhruba 9 operácií na byt (presný počet závisí od toho, čo za jednu operáciu považujeme), teda 40 · 9 · 200 = 72 000 operácií za celý tréning. Pomer tréning : jedna predpoveď je 24 000 : 1.

7. Slovníček

Pojmy z tohto dielu a kde sa o nich v sérii dozviete viac:

dáta: príklady, z ktorých sa model učí — u nás 60 bytov s plochou a cenou — podrobne
príznak: vstupný údaj o príklade (plocha); obrázok má príznakov tisíce — pixely — podrobne
štítok: správna odpoveď, ktorú chceme predpovedať (cena) — podrobne
trénovacie, validačné a testovacie dáta: na prvých sa model učí, na druhých sa ladí nastavenie, tretie sa použijú raz na konci — podrobne
model: funkcia s nastaviteľnými parametrami, ktorá zo vstupu počíta výstup — podrobne
parameter (váha): číslo vnútri modelu, ktoré sa učí; jazykové modely ich majú miliardy — podrobne
stratová funkcia: číslo, ktoré meria, ako veľmi sa model mýli; učenie ho zmenšuje — podrobne
tréning (učenie): hľadanie parametrov, pri ktorých je strata na trénovacích dátach malá — podrobne
gradient: smer, ktorým strata rastie najrýchlejšie; tréning ide opačne — podrobne
epocha: jeden prechod všetkými trénovacími dátami — podrobne
dávka (batch): koľko príkladov sa použije na jeden krok učenia — podrobne
hyperparameter: nastavenie, ktoré si volíme my a model sa ho neučí (rýchlosť učenia, počet epoch, veľkosť modelu) — podrobne
preučenie: model sa naučí trénovacie dáta naspamäť a na nových dátach zlyháva — podrobne
inferencia: použitie naučeného modelu na nový vstup — to, čo robíte, keď sa pýtate chatbota — podrobne
token: kúsok textu, s ktorým jazykový model pracuje — podrobne
embedding: vektor čísel, ktorý reprezentuje slovo, obrázok alebo iný objekt — podrobne
kontext a prompt: všetok text, ktorý model dostane pri inferencii — podrobne

8. Zhrnutie

Dáta = príklady s príznakmi a štítkami, rozdelené na trénovaciu, validačnú a testovaciu časť.
Model = funkcia s parametrami; tréning hľadá parametre s najmenšou stratou, typicky gradientným zostupom.
Náš model sa naučil 91 000 Kč za m² — rovnako ako presný výpočet.
Hyperparametre volíme my: s malou rýchlosťou učenia je tréning pomalý, s veľkou sa rozpadne.
Chyba na teste (0,51 mil.) zodpovedá šumu v dátach; lepší model potrebuje viac príznakov.
Inferencia = použitie naučeného modelu; je lacná na jeden dotaz, ale dotazov je obrovské množstvo.

Chcete si to vyskúšať? Požiadajte AI agenta, nech stiahne skutočné dáta o cenách bytov vo vašom meste, rozdelí ich na tri časti a natrénuje rovnakú priamku — a potom nech pridá druhý príznak (napríklad vzdialenosť od centra) a porovná chybu na teste.

Máte na to iný názor? Napíšte na support@coden-app.com.

Dáta, model, tréning, inferencia: základné pojmy na jednom príklade

1. Dáta: príklady so správnymi odpoveďami

2. Model: funkcia s parametrami

3. Tréning: ladenie parametrov

4. Hyperparametre: čo nastavujeme my

5. Aký dobrý je model

6. Inferencia: model v prevádzke

7. Slovníček

8. Zhrnutie

Agent na vašom počítači, ovládaný z telefónu