Dati, modello, addestramento, inferenza: i concetti di base su un unico esempio

L’intero percorso dell’apprendimento automatico sulla stima del prezzo di un appartamento: i dati e la loro suddivisione, un modello con parametri, l’addestramento con la discesa del gradiente, gli iperparametri e il tasso di apprendimento, la valutazione, l’inferenza e un glossario dei termini con i link alle parti della serie.

9 minuti Matěj Žalmánek 2026-10-16

Serie Basi di IA Parte 3 di 52

Programma completo della serie 52 di 83 argomenti pubblicati

Cosa porterai a casa

Che cosa significano dati, modello, addestramento e inferenza e come sono collegati tra loro.
La differenza tra parametri e iperparametri e perché il tasso di apprendimento conta.
Perché l’addestramento è costoso una volta sola e l’inferenza economica, ma frequente.

Utile sapere prima: Mappa dell’intelligenza artificiale: che cos’è ciascuna cosa e come si incastra tutto

In tutta la serie tornano quattro parole: dati, modello, addestramento e inferenza. Che si tratti di riconoscere cifre, di un filtro antispam o di un grande modello linguistico, il percorso è sempre lo stesso: dagli esempi si impara una funzione, che poi risponde a domande nuove. In questa parte percorriamo tutto il cammino sul più piccolo esempio possibile — stimare il prezzo di un appartamento dalla sua superficie — e a ogni passo diciamo come appare nei grandi modelli. Alla fine c’è un glossario dei termini con i link alle parti in cui puoi approfondirli.

Si collega alle parti Mappa dell’intelligenza artificiale e Breve storia dell’IA.

Addestramento e inferenza

1. Dati: esempi con le risposte corrette

Definizione — dati, caratteristiche ed etichette

I dati sono gli esempi da cui il modello impara. Ogni esempio ha delle caratteristiche (gli ingressi che conosciamo) e, nell’apprendimento supervisionato, anche un’etichetta (la risposta corretta). I dati si dividono in tre parti: di addestramento (il modello impara da questi), di validazione (in base a questi regoliamo le impostazioni e scegliamo il modello) e di test (si usano una sola volta alla fine, perché il risultato stimi onestamente come se la caverà il modello su dati nuovi).

In parole semplici

Un libro di esercizi con le soluzioni in fondo. Sugli esercizi ti alleni, la verifica di prova ti dice se hai capito, e il compito vero (che non hai mai visto prima) mostra come stai davvero.

I nostri dati sono inventati: 60 appartamenti, ciascuno con la superficie (la caratteristica) e il prezzo in milioni di corone ceche (l’etichetta). Il prezzo cresce con la superficie, ma non esattamente — due appartamenti della stessa grandezza differiscono per posizione, stato, piano. Li dividiamo in 40 di addestramento, 10 di validazione e 10 di test.

Definizione — il dataset in modo formale

Un dataset è una sequenza finita di coppie D = ((x⁽¹⁾, y⁽¹⁾), …, (x⁽ⁿ⁾, y⁽ⁿ⁾)), dove x⁽ⁱ⁾ ∈ ℝ^d è il vettore delle d caratteristiche dell’i-esimo esempio e y⁽ⁱ⁾ la sua etichetta — un numero reale nella regressione, un elemento di un insieme finito di classi nella classificazione. Si assume che gli esempi siano indipendenti tra loro e provengano dalla stessa distribuzione (sconosciuta) delle domande future.

La suddivisione dei dati sono tre parti disgiunte D_tr, D_val, D_test che insieme danno D; ogni esempio appartiene esattamente a una di esse. Qui d = 1 (la superficie), n = 60 e le parti hanno 40, 10 e 10 esempi.

In parole semplici

Una tabella in cui ogni riga è un appartamento: colonne con le caratteristiche e un’ultima colonna con il prezzo. Disgiunte significa che nessun appartamento sta in due parti contemporaneamente — altrimenti il «compito vero» conterrebbe esempi che il modello ha già visto. E l’ipotesi della stessa distribuzione dice che gli appartamenti di test vengono dallo stesso mercato di quelli su cui poi faremo domande; senza di essa l’errore sul test non direbbe nulla del futuro.

Nei grandi modelli linguistici i dati sono migliaia di miliardi di token di testo dal web, dai libri e dal codice; la caratteristica è il testo fin lì e l’etichetta il token successivo (la parte sul preaddestramento). Il principio è lo stesso.

2. Modello: una funzione con parametri

Definizione — modello e parametri

Un modello è una funzione che calcola un’uscita da un ingresso e contiene numeri regolabili — i parametri (nelle reti neurali, i pesi). La forma della funzione la scegliamo noi; i valori dei parametri li cerca l’apprendimento. Il nostro modello è una retta: prezzo = w · superficie + b, con due parametri w (di quanto sale il prezzo per ogni metro quadrato) e b (dove parte la retta).

In parole semplici

Un modello è una macchina con delle manopole. La nostra ne ha due. Un modello linguistico ne ha miliardi — ma è sempre una macchina che da un ingresso calcola un’uscita, e le sue «conoscenze» non sono altro che la posizione delle manopole.

ŷ = w · x + b

ŷ: il prezzo previsto; il cappello lo distingue dal prezzo reale y, con cui poi lo confrontiamo
w: pendenza — quanti milioni aggiunge ogni metro in più; senza di essa il prezzo non dipenderebbe affatto dalla superficie
x: la superficie in m², l’unica caratteristica; l’unica cosa che il modello sa dell’appartamento
b: intercetta — «il prezzo di un appartamento di superficie zero»; senza di essa la retta dovrebbe passare per l’origine, e i prezzi degli appartamenti non tendono a zero

In generale si scrive ŷ = f_θ(x): una funzione f con parametri θ = (w, b). In un modello linguistico f è un transformer e θ sono miliardi di pesi.

3. Addestramento: regolare i parametri

Definizione — funzione di perdita e addestramento

La funzione di perdita è un numero che dice quanto sbaglia il modello sui dati di addestramento — qui la media dei quadrati degli errori (MSE). L’addestramento cerca i parametri con la perdita più piccola possibile, di solito con la discesa del gradiente: calcola in quale direzione la perdita cresce e sposta i parametri di un piccolo passo nel verso opposto. Un passaggio completo su tutti i dati di addestramento è un’epoca.

In parole semplici

Nebbia su una collina e l’obiettivo di scendere a valle. Vedi solo il pendio sotto i piedi, così fai un passo in discesa, guardi di nuovo, un altro passo. Ogni passo è una regolazione delle manopole; la valle è la posizione delle manopole con cui il modello sbaglia meno.

La nostra funzione di perdita, l’errore quadratico medio (MSE), scritta per intero:

J(w, b) = (1/n) ∑_i=1ⁿ ( w x_i + b − y_i )²

J(w, b): la perdita come funzione dei parametri — i dati sono fissi, possiamo cambiare solo w e b, per questo tra parentesi ci sono solo loro
(1/n) ∑: la media su tutti gli n = 40 appartamenti di addestramento — perché la perdita sia confrontabile per dati di dimensioni diverse e nessun appartamento abbia la precedenza
w x_i + b − y_i: l’errore sull’i-esimo appartamento: la previsione ŷ_i meno il prezzo reale; positivo quando il modello sovrastima, negativo quando sottostima
²: il quadrato — perché gli errori positivi e negativi non si annullino, gli errori grandi pesino più di quelli piccoli e la perdita si possa derivare senza intoppi

La perdita è nulla solo se la retta passa esattamente per tutti i punti; altrimenti è positiva.

Teorema — il gradiente dell’MSE per una retta

Per J come sopra e ŷ_i = w x_i + b vale

∂J/∂w = (2/n) ∑_i (ŷ_i − y_i) · x_i, ∂J/∂b = (2/n) ∑_i (ŷ_i − y_i).

Dimostrazione. La derivata di una somma è la somma delle derivate. Per un singolo termine, secondo la regola di derivazione della funzione composta: ∂/∂w (w x_i + b − y_i)² = 2 (w x_i + b − y_i) · x_i, perché l’interno della parentesi ha derivata x_i rispetto a w; rispetto a b ha derivata 1. ∎

In parole semplici

Ogni appartamento «tira» i parametri in proporzione a quanto il modello ha sbagliato su di esso. Per w la trazione si moltiplica anche per la superficie: un errore su un appartamento grande dice di più sulla pendenza di un errore su un monolocale.

Un passo della discesa del gradiente sposta poi entrambi i parametri contro il gradiente:

w ← w − η · ∂J/∂w

w: il parametro prima e dopo il passo — la freccia ← significa «sovrascrivi con il nuovo valore», non un’uguaglianza
−: andiamo in senso opposto al gradiente, cioè in discesa: la perdita vogliamo ridurla, non aumentarla
η: tasso di apprendimento — quanto è lungo il passo; il gradiente vale solo vicino al punto, quindi il passo deve essere piccolo (vedi il capitolo successivo)
∂J/∂w: il gradiente — in quale direzione e con quale pendenza cresce la perdita quando aumentiamo w

Per b allo stesso modo, solo con ∂J/∂b. Entrambi i parametri cambiano insieme, dal gradiente calcolato nel punto vecchio.

L’intero addestramento come algoritmo (esattamente come lo calcola la figura qui sotto):

w, b = 0, 0                                  # parametri iniziali
for epocha in range(200):                    # iperparametro: numero di epoche
    gw = gb = 0
    for plocha, cena in trenovaci_data:      # un’epoca = tutti i dati
        x = plocha / 100                     # superficie in centinaia di m²
        chyba = (w * x + b) - cena           # ŷ − y
        gw += 2 * chyba * x / n              # ∂J/∂w
        gb += 2 * chyba / n                  # ∂J/∂b
    w, b = w - eta * gw, b - eta * gb        # passo in discesa, eta = tasso di apprendimento

La superficie la inseriamo in centinaia di m² (52 m² → 0,52). In metri il gradiente rispetto a w verrebbe decine di volte più grande che rispetto a b, e un unico tasso di apprendimento non andrebbe bene per entrambi i parametri contemporaneamente. Un tale ridimensionamento delle caratteristiche (feature scaling) è comune nella pratica. Per questo w qui sotto è in milioni per 100 m².

Esempio — il primo passo della discesa

Nel punto w = b = 0 il modello prevede 0 ovunque, quindi l’errore su ogni appartamento è −y_i. Il gradiente è perciò

∂J/∂w = −2 · (1/n) ∑ x_i y_i = −2 · 5,678 = −11,36, ∂J/∂b = −2 · ȳ = −2 · 6,88 = −13,76,

dove 5,678 è la media dei prodotti di superficie (in centinaia di m²) e prezzo e ȳ = 6,88 il prezzo medio in milioni. Con il tasso di apprendimento η = 0,5:

w ← 0 − 0,5 · (−11,36) = 5,68, b ← 0 − 0,5 · (−13,76) = 6,88.

(Qui w è in milioni per 100 m².) La perdita scende da 54,2 a 17,7. Entrambi i gradienti erano negativi (il modello sottostimava ovunque), e così entrambi i parametri sono aumentati.

Partiamo da w = 0 e b = 0 (il modello dice «tutto costa zero», perdita 54,2) e facciamo 200 epoche di discesa del gradiente. Il risultato: w = 0,0910 milioni al m², cioè circa 91 000 CZK per ogni metro in più, e b = 0,35 milioni. La soluzione esatta con il metodo dei minimi quadrati (per una retta si può calcolare con una formula, vedi la parte sulla regressione lineare) differisce solo alla quarta cifra decimale. La discesa è arrivata dove doveva.

Appartamenti per superficie e prezzo, la retta appresa e la previsione per un nuovo appartamento addestramento validazione test modello

4. Iperparametri: quello che impostiamo noi

Definizione — iperparametri

Gli iperparametri sono impostazioni dell’apprendimento che il modello non sa imparare da solo e che scegliamo noi: la forma e la dimensione del modello, il tasso di apprendimento (quanto è grande il passo della discesa del gradiente), il numero di epoche, la dimensione del batch (quanti esempi si usano per un passo). Si regolano in base ai risultati sui dati di validazione, mai su quelli di test.

In parole semplici

I parametri sono ciò che lo studente impara. Gli iperparametri sono il modo in cui gli insegniamo: quanto in fretta, per quanto tempo, quanti esempi alla volta.

Perdita sui dati di addestramento durante l’apprendimento per tre tassi di apprendimento tasso di apprendimento 0,05tasso di apprendimento 0,5tasso di apprendimento 1,6

Con un tasso di 0,05 il modello impara lentamente — dopo 200 epoche ha una perdita di 0,48 e non è ancora arrivato. Con 0,5 arriva in poche decine di epoche a 0,165. Con 1,6 i passi sono così grandi che il modello scavalca la valle sempre più lontano e la perdita esplode — dopo cinque epoche è 46 310 590. Il tasso di apprendimento giusto è una delle regolazioni più frequenti in tutto l’apprendimento automatico.

Per una retta e l’MSE si può calcolare esattamente dove sta il confine tra «lentamente» ed «esplode». La perdita è una funzione quadratica dei parametri, quindi la sua curvatura è ovunque la stessa ed è descritta da due numeri — la curvatura nella direzione ripida e in quella piatta della valle (gli autovalori λ della matrice hessiana, la tabella delle derivate seconde).

e_t+1 = (1 − η λ) · e_t

e_t+1: la distanza dei parametri dai valori migliori dopo l’epoca successiva (in una delle due direzioni) — è questa che vogliamo portare a zero
1: senza il passo la distanza resterebbe quella che era; il passo ne toglie una frazione η λ. Se |1 − η λ| < 1, la distanza diminuisce; se è maggiore di 1, cresce come una progressione geometrica
η: tasso di apprendimento — l’unica cosa che qui scegliamo noi
λ: la curvatura della perdita nella direzione data — determinata dai dati, non da noi; nella direzione ripida il gradiente è grande, e quindi anche il passo è lungo
e_t: la distanza prima dell’epoca; la formula si ripete, quindi dopo t epoche e_t = (1 − η λ)^t e₀

Teorema — quando la discesa del gradiente converge

Se la perdita è quadratica con matrice hessiana H i cui autovalori sono 0 < λ_min ≤ λ_max, allora la discesa del gradiente con tasso di apprendimento costante η converge al minimo da ogni punto iniziale se e solo se 0 < η < 2 / λ_max.

Dimostrazione. Nelle coordinate degli autovettori di H lo scostamento dal minimo evolve componente per componente come e_t+1 = (1 − η λ) e_t. Tutte le componenti tendono a zero se e solo se |1 − η λ| < 1 per entrambi i λ, cioè 0 < η λ < 2; la condizione più severa è quella per λ_max. ∎

Esempio — il limite per i nostri appartamenti

Per l’MSE di una retta H = (2/n) · [[∑x_i², ∑x_i], [∑x_i, n]] = [[1,193, 1,435], [1,435, 2]] (superficie in centinaia di m²). Gli autovalori risultano λ_max = 3,087 e λ_min = 0,106, quindi la discesa converge per η < 2 / 3,087 = 0,648.

η = 0,05: il moltiplicatore nella direzione piatta è 1 − 0,05 · 0,106 = 0,9947; dopo 200 epoche resta 0,9947²⁰⁰ ≈ 35 % dello scostamento iniziale — per questo il modello non è arrivato.

η = 0,5: i moltiplicatori sono 0,544 e 0,947; dopo 200 epoche resta 0,947²⁰⁰ ≈ 2 · 10⁻⁵ dello scostamento — praticamente nulla.

η = 1,6 > 0,648: nella direzione ripida |1 − 1,6 · 3,087| = 3,94. Lo scostamento a ogni epoca all’incirca quadruplica e la perdita, che cresce con il suo quadrato, di 15,5 volte — nel grafico da 801 a 12 395.

In parole semplici

La valle è un canale stretto: ripido di traverso, quasi piano in lunghezza. Il tasso di apprendimento deve essere abbastanza piccolo per le pareti ripide, altrimenti salti sul versante opposto più in alto di dove eri. Ma allora lungo il canale avanzi pian pianino. Questo conflitto tra la direzione ripida e quella piatta è il motivo per cui nei grandi modelli si usano varianti più furbe della discesa.

5. Quanto è buono il modello

L’errore su una qualsiasi parte dei dati D′ con m esempi lo misuriamo con la radice dell’errore quadratico medio (RMSE):

RMSE = √(1/m) ∑_{(x, y) ∈ D′} (ŷ(x) − y)²

√: la radice riporta il risultato da (mln CZK)² ai milioni di corone — il numero si può leggere come «errore tipico»
(1/m) ∑_D′: la media sulla parte scelta — di addestramento, di validazione o di test; ognuna risponde a una domanda diversa
(ŷ(x) − y)²: il quadrato dell’errore su un appartamento, come nella perdita — misuriamo con ciò che abbiamo minimizzato

Sulla parte di test: RMSE = √0,256 = 0,51 milioni.

L’errore medio (la radice dell’MSE) è di 0,41 milioni sui dati di addestramento, 0,60 su quelli di validazione e 0,51 milioni su quelli di test, cioè circa mezzo milione di corone. Con una sola caratteristica non può andare meglio: il rumore che abbiamo aggiunto ai prezzi (posizione, stato) ha proprio questa grandezza e dalla superficie non si può indovinare. Chi vuole una stima più precisa ha bisogno di più caratteristiche — non di una retta più furba. Se invece rendessimo il modello troppo flessibile, imparerebbe a memoria il rumore dei dati di addestramento (overfitting) e sui nuovi appartamenti sbaglierebbe di più.

6. Inferenza: il modello in funzione

Definizione — inferenza

L’inferenza è l’uso del modello addestrato: i parametri sono fissi e il modello calcola soltanto l’uscita per un nuovo ingresso. Nel farlo non impara (a meno che non lo riaddestriamo esplicitamente). Nei modelli linguistici ogni risposta è inferenza — il modello genera token dopo token e per ogni token fa un passaggio attraverso la rete.

In parole semplici

L’addestramento è lo studio, l’inferenza è l’esame — o il lavoro. Si studia una volta e a lungo, poi si lavora ogni giorno e in fretta. Quando scrivi con un chatbot non gli stai insegnando niente (quello avviene in un altro momento e in un altro modo), lo stai solo usando.

Per un appartamento di 65 m² il nostro modello stima 6,27 milioni. Costa 3 operazioni aritmetiche. L’addestramento è costato circa 72 000 operazioni. Nei grandi modelli il rapporto è simile, solo su un’altra scala: l’addestramento dura mesi su migliaia di schede grafiche, una risposta pochi secondi. Ma le risposte sono miliardi, quindi per i modelli più usati l’inferenza nel complesso può costare più calcolo del loro addestramento — ed è per questo che si lavora tanto per rendere i modelli più piccoli e più veloci.

Esempio — inferenza e numero di operazioni

Inseriamo i parametri appresi w = 9,0957 milioni per 100 m² (cioè 0,0910 al m²) e b = 0,3538; la superficie in centinaia di m², x = 0,65:

ŷ = 9,0957 · 0,65 + 0,3538 = 5,9122 + 0,3538 = 6,2660 ≈ 6,27 milioni.

Sono 3 operazioni: la conversione di unità (divisione per cento), una moltiplicazione e un’addizione. Un’epoca di addestramento fa per ciascuno dei 40 appartamenti la previsione, l’errore ed entrambi i contributi al gradiente — contiamo circa 9 operazioni per appartamento (il numero esatto dipende da che cosa consideriamo una singola operazione), quindi 40 · 9 · 200 = 72 000 operazioni per l’intero addestramento. Il rapporto addestramento : una previsione è 24 000 : 1.

7. Glossario

I termini di questa parte e dove puoi approfondirli nella serie:

dati: esempi da cui il modello impara — qui 60 appartamenti con superficie e prezzo — in dettaglio
caratteristica (feature): un dato in ingresso su un esempio (la superficie); un’immagine ha migliaia di caratteristiche — i pixel — in dettaglio
etichetta: la risposta corretta che vogliamo prevedere (il prezzo) — in dettaglio
dati di addestramento, di validazione e di test: sui primi il modello impara, sui secondi si regolano le impostazioni, i terzi si usano una sola volta alla fine — in dettaglio
modello: una funzione con parametri regolabili che calcola un’uscita da un ingresso — in dettaglio
parametro (peso): un numero all’interno del modello che viene appreso; i modelli linguistici ne hanno miliardi — in dettaglio
funzione di perdita: un numero che misura quanto sbaglia il modello; l’apprendimento lo riduce — in dettaglio
addestramento (apprendimento): la ricerca dei parametri con cui la perdita sui dati di addestramento è piccola — in dettaglio
gradiente: la direzione in cui la perdita cresce più in fretta; l’addestramento va in senso opposto — in dettaglio
epoca: un passaggio completo su tutti i dati di addestramento — in dettaglio
batch: quanti esempi si usano per un singolo passo di apprendimento — in dettaglio
iperparametro: un’impostazione che scegliamo noi e che il modello non impara (tasso di apprendimento, numero di epoche, dimensione del modello) — in dettaglio
overfitting: il modello impara a memoria i dati di addestramento e sbaglia su quelli nuovi — in dettaglio
inferenza: l’uso del modello addestrato su un nuovo ingresso — quello che succede quando fai una domanda a un chatbot — in dettaglio
token: un pezzetto di testo con cui lavora un modello linguistico — in dettaglio
embedding: un vettore di numeri che rappresenta una parola, un’immagine o un altro oggetto — in dettaglio
contesto e prompt: tutto il testo che il modello riceve durante l’inferenza — in dettaglio

8. Riepilogo

Dati = esempi con caratteristiche ed etichette, divisi in una parte di addestramento, una di validazione e una di test.
Modello = funzione con parametri; l’addestramento cerca i parametri con la perdita più piccola, di solito con la discesa del gradiente.
Il nostro modello ha imparato 91 000 CZK al m² — proprio come il calcolo esatto.
Gli iperparametri li scegliamo noi: con un tasso di apprendimento piccolo l’addestramento è lento, con uno grande va in pezzi.
L’errore sul test (0,51 mln) corrisponde al rumore nei dati; un modello migliore ha bisogno di più caratteristiche.
Inferenza = uso del modello addestrato; costa poco per una singola domanda, ma le domande sono un numero enorme.

Vuoi metterci le mani? Chiedi a un agente IA di scaricare dati reali sui prezzi degli appartamenti nella tua città, dividerli in tre parti e addestrare la stessa retta — e poi di aggiungere una seconda caratteristica (per esempio la distanza dal centro) e confrontare l’errore sul test.

La vedi diversamente? Scrivi a support@coden-app.com.

Dati, modello, addestramento, inferenza: i concetti di base su un unico esempio

1. Dati: esempi con le risposte corrette

2. Modello: una funzione con parametri

3. Addestramento: regolare i parametri

4. Iperparametri: quello che impostiamo noi

5. Quanto è buono il modello

6. Inferenza: il modello in funzione

7. Glossario

8. Riepilogo

Un Agente sul tuo computer, guidato dal telefono