Statistica e stima dei parametri: massima verosimiglianza, MAP e intervalli di confidenza

Campione, stimatore, correttezza e perché la varianza campionaria divide per n − 1, il metodo della massima verosimiglianza, la stima bayesiana MAP e gli intervalli di confidenza — e perché addestrare una rete neurale significa stimare parametri.

14 minuti Matěj Žalmánek 2026-10-15

Serie Basi di IA Parte 19 di 52

1. Mappa dell’intelligenza artificiale: che cos’è ciascuna cosa e come si incastra tutto
2. Breve storia dell’intelligenza artificiale: da Turing ai modelli linguistici
3. Dati, modello, addestramento, inferenza: i concetti di base su un unico esempio
4. Come leggere la notazione matematica: simboli, indici, sommatorie e quantificatori
5. Insiemi e relazioni: i mattoncini con cui si costruiscono le definizioni nell’IA
6. Funzioni e applicazioni: perché ogni modello di IA è una funzione
7. Logica e dimostrazioni: le regole con cui si ragiona nell’IA
8. Grafi e alberi: la struttura su cui poggiano la ricerca e le reti neurali
9. Algebra lineare per l’apprendimento automatico: vettori, matrici e perché l’IA soprattutto moltiplica
10. Derivate, gradiente e regola della catena: come un modello capisce in quale direzione imparare
11. Discesa del gradiente: come impara un modello
12. Che cos’è la probabilità: dal lancio di un dado agli assiomi di Kolmogorov
13. Probabilità condizionata e teorema di Bayes: come cambiare una stima quando scopri qualcosa di nuovo
14. Variabile aleatoria e funzione di ripartizione: una sola funzione che dice tutto sulla distribuzione
15. Funzione di densità e funzione di massa: perché una variabile continua ha probabilità zero in un punto
16. Valore atteso, varianza e covarianza: dove si trova una distribuzione, quanto è larga e che cosa è legato a che cosa
17. Panoramica delle distribuzioni di probabilità: Bernoulli, binomiale, Poisson, uniforme, normale ed esponenziale
18. Legge dei grandi numeri e teorema del limite centrale: perché le medie si comportano in modo così prevedibile
19. Statistica e stima dei parametri: massima verosimiglianza, MAP e intervalli di confidenza
20. Teoria dell’informazione: entropia, entropia incrociata e divergenza KL — da dove vengono le funzioni di perdita
21. Ricerca nello spazio degli stati: BFS, DFS, UCS e A* con animazioni
22. Giochi e avversari: minimax, potatura alfa-beta e Monte Carlo tree search
23. Soddisfacimento di vincoli: backtracking, propagazione dei vincoli e AC-3 su un sudoku e una mappa delle regioni ceche
24. Logica e sistemi basati sulla conoscenza: concatenazione in avanti e all’indietro, risoluzione e sistemi esperti
25. Pianificazione: STRIPS, il mondo dei blocchi, euristiche dal rilassamento e pianificazione negli agenti IA
26. Ricerca locale e ricottura simulata: un commesso viaggiatore tra i capoluoghi di regione cechi
27. Algoritmi genetici: popolazione, incrocio, mutazione e selezione su uno zaino per l’escursione
28. Strategie evolutive e programmazione genetica: dalla regola di un quinto alla legge di Keplero
29. Ottimizzazione con colonie di formiche: come una traccia di feromone trova un percorso breve
30. Ottimizzazione a sciame di particelle: inerzia, esperienza propria ed esperienza dello sciame
31. Neuroevoluzione: evoluzione dei pesi e della forma delle reti neurali e l’algoritmo NEAT
32. Insiemi fuzzy e funzioni di appartenenza: come scrivere «un po’ caldo»
33. Logica fuzzy e probabilità: perché «un po’ caldo» non significa «probabilmente caldo»
34. Logica fuzzy: t-norme, implicazioni e regole SE–ALLORA
35. Controllo fuzzy: Mamdani e Sugeno, dal ventilatore al pendolo inverso su un carrello
36. Clustering fuzzy: l’algoritmo fuzzy c-means e i punti tra i cluster
37. Sistemi neuro-fuzzy (ANFIS): regole fuzzy che imparano dai dati
38. Catene di Markov: matrice di transizione, distribuzione stazionaria e PageRank
39. Modelli di Markov nascosti: l’algoritmo di Viterbi e il casinò disonesto
40. Reti bayesiane: perché l’erba è bagnata e che cosa significa per l’irrigatore
41. Filtro di Kalman: come stimare da misure imprecise dove si trova un’auto e a che velocità va
42. Tipi di apprendimento automatico: supervisionato, non supervisionato, semi-supervisionato e altri
43. Prompt, contesto e RAG: come dare a un modello le informazioni giuste
44. Autoencoder variazionali (VAE): immagini nuove da uno spazio latente continuo
45. Reti generative avversarie (GAN): il falsario contro il detective
46. Modelli di diffusione: come il rumore puro diventa un’immagine
47. Processi decisionali di Markov: stati, azioni, ricompense ed equazioni di Bellman
48. Q-learning e DQN: imparare il valore delle azioni, dalla tabella alla rete neurale
49. Policy gradient e PPO: imparare direttamente la politica
50. Come funziona un agente IA: un modello linguistico in un ciclo con strumenti
51. Programmare con agenti IA: incarico, test e controllo
52. Valutazione e sicurezza dei sistemi di IA: come misurare e come sorvegliare

Programma completo della serie 52 di 83 argomenti pubblicati

La teoria della probabilità va dal modello ai dati: se sai che la moneta è equa, calcoli che cosa uscirà. La statistica fa il percorso inverso — dai dati al modello: sono uscite 6 croci su 20, com’è fatta questa moneta? Ed è esattamente ciò che fa l’apprendimento automatico. Il modello ha dei parametri, i dati sono ciò che è uscito e l’addestramento è una stima dei parametri. Questa parte mostra che cos’è un buono stimatore, da dove viene il metodo della massima verosimiglianza, su cui poggia quasi ogni funzione di perdita, e come dire onestamente quanto possiamo fidarci di una stima.

Riprende la parte Legge dei grandi numeri e teorema del limite centrale.

1. Campione, statistica, stimatore

Definizione — campione casuale

Un campione casuale di ampiezza n da una distribuzione con densità (o funzione di probabilità) f(x; θ) è formato da n variabili indipendenti e identicamente distribuite X₁, …, X_n con questa distribuzione. Il parametro θ è ignoto.

Definizione — statistica e stimatore

Una statistica è una qualsiasi funzione del campione T = T(X₁, …, X_n) che non dipende dal parametro ignoto θ. La statistica che usiamo per stimare θ si chiama stimatore e si indica con θ̂.

2. Un buono stimatore: corretto e consistente

Definizione — stimatore corretto

Uno stimatore θ̂ è corretto (o non distorto) se E[θ̂] = θ per ogni valore di θ. La differenza E[θ̂] − θ si chiama distorsione (bias).

Definizione — stimatore consistente

Uno stimatore θ̂_n è consistente se per ogni ε > 0 vale lim_n→∞ P(|θ̂_n − θ| ≥ ε) = 0.

La correttezza non è scontata. Per stimare la varianza viene spontaneo usare lo scarto quadratico medio dalla media, (1/n) ∑ (X_i − X̄)². Ma questo stimatore sottostima sistematicamente la varianza: misuriamo gli scarti da X̄, che si è adattato ai dati, invece che dal vero μ.

Teorema — varianza campionaria corretta

Per un campione casuale con varianza σ² vale E[(1/n) ∑ (X_i − X̄)²] = ((n − 1)/n) σ². Per questo lo stimatore corretto della varianza è la varianza campionaria corretta

s² = 1/(n − 1) · ∑_i=1ⁿ (X_i − X̄)².

Verifichiamolo: abbiamo lanciato 2 000 volte cinque dadi e ogni volta abbiamo calcolato entrambe le stime della varianza. La varianza vera di un dado è 35/12 ≈ 2,92. La media delle stime con divisione per n si è fermata a 2,38 (punta a 4/5 · 2,92 ≈ 2,33), quella con divisione per n − 1 a 2,97:

3. Metodo della massima verosimiglianza

Definizione — funzione di verosimiglianza

Per i dati osservati x₁, …, x_n, la funzione di verosimiglianza è la funzione del parametro

L(θ) = ∏_i=1ⁿ f(x_i; θ).

Definizione — stimatore di massima verosimiglianza

Lo stimatore di massima verosimiglianza (in inglese MLE) è θ̂ = argmax_θ L(θ). Poiché il logaritmo è crescente, è la stessa cosa di argmax_θ ∑_i ln f(x_i; θ).

Su 20 e-mail, 6 erano spam. Per una quota di spam p si ha L(p) = p⁶(1 − p)¹⁴. La derivata del logaritmo, 6/p − 14/(1 − p), si annulla per p̂ = 6/20 = 0,3 — esattamente la quota di spam nei dati. In generale, con k successi su n si ottiene p̂ = k/n. Con 60 spam su 200 la stima è la stessa, ma il picco è molto più stretto: i dati dicono di più sul parametro.

Per l’attesa di un’e-mail con distribuzione esponenziale, il metodo della massima verosimiglianza dà λ̂ = 1 / X̄. Da cinque attese misurate di 1,2; 3,5; 0,4; 2,1 e 2,8 minuti la media è di 2 minuti e λ̂ = 0,5 al minuto.

4. Stima bayesiana MAP

Definizione — stimatore del massimo a posteriori

Se π(θ) è la densità a priori del parametro, lo stimatore del massimo a posteriori (MAP) è θ̂ = argmax_θ L(θ) · π(θ).

5. Intervallo di confidenza

Definizione — intervallo di confidenza

L’intervallo (T₁, T₂) con statistiche T₁ ≤ T₂ è un intervallo di confidenza per θ di livello 1 − α se P(T₁ < θ < T₂) = 1 − α per ogni θ.

Per il valore atteso e un n abbastanza grande, il teorema del limite centrale fornisce un intervallo approssimato al 95 %: X̄ ± 1,96 · s/√n. Abbiamo lanciato quaranta volte 40 dadi e da ogni campione abbiamo calcolato un intervallo. La linea verticale è il valore atteso vero, 3,5:

Il valore vero è contenuto in 38 intervalli su 40 — il 95 %. Su 20 000 ripetizioni è stato il 94,1 %, un po’ sotto il 95 % promesso, perché σ lo stimiamo dai dati e n = 40 non è ancora l’infinito.

Un errore frequente: «con probabilità del 95 % μ sta nell’intervallo (3,2; 3,9)». In un intervallo concreto, μ o c’è o non c’è. Quel 95 % è una proprietà del procedimento — quanti intervalli, su molte ripetizioni, centrano il bersaglio. Un’affermazione sulla probabilità del parametro può darla solo l’approccio bayesiano.

6. La stima nell’intelligenza artificiale

• L’addestramento è una stima di massima verosimiglianza. L’entropia incrociata nella classificazione è il logaritmo negativo della verosimiglianza diviso per il numero di esempi, e l’errore quadratico medio è la stessa cosa per dati con rumore normale. Minimizzare la perdita = massimizzare la verosimiglianza.
• La regolarizzazione è MAP. La penalità sui pesi λ‖w‖² (L2, weight decay) corrisponde a una distribuzione a priori normale dei pesi, la L1 a una di Laplace. L’idea a priori «i pesi devono essere piccoli» frena l’overfitting.
• Bias e varianza del modello. Un modello è uno stimatore; i modelli complessi hanno poco bias ma molta varianza (overfitting), quelli semplici il contrario. La regolarizzazione accetta un po’ più di bias in cambio di meno varianza.
• Insieme di test e intervallo di confidenza. L’accuratezza sui dati di test è una stima dell’accuratezza reale; senza un intervallo di confidenza non puoi sapere se la differenza tra due modelli è reale. La batch normalization stima media e varianza da ogni batch, e i modelli linguistici sono addestrati con la massima verosimiglianza: massimizzano la verosimiglianza della parola successiva.

7. Riepilogo

• La statistica va dai dati al modello: uno stimatore è un calcolo sui dati che deve centrare un parametro ignoto.
• Un buono stimatore è corretto (in media mira giusto) e consistente (con più dati diventa più preciso); la varianza campionaria corretta divide per n − 1.
• Il metodo della massima verosimiglianza sceglie il parametro con cui i dati sono più probabili; per una quota è k/n.
• Il MAP aggiunge un’idea a priori; nell’apprendimento automatico è la regolarizzazione.
• Un intervallo di confidenza al 95 % nasce da un procedimento che centra il parametro vero nel 95 % dei casi.

La vedi diversamente? Scrivi a support@coden-app.com.