Teoria dell’informazione: entropia, entropia incrociata e divergenza KL — da dove vengono le funzioni di perdita

L’informazione come sorpresa, l’entropia e il codice di Huffman, l’entropia incrociata, la divergenza KL e il guadagno di informazione — e perché la funzione di perdita dei modelli linguistici è l’entropia incrociata.

13 minuti Matěj Žalmánek 2026-10-15

Serie Basi di IA Parte 20 di 52

1. Mappa dell’intelligenza artificiale: che cos’è ciascuna cosa e come si incastra tutto
2. Breve storia dell’intelligenza artificiale: da Turing ai modelli linguistici
3. Dati, modello, addestramento, inferenza: i concetti di base su un unico esempio
4. Come leggere la notazione matematica: simboli, indici, sommatorie e quantificatori
5. Insiemi e relazioni: i mattoncini con cui si costruiscono le definizioni nell’IA
6. Funzioni e applicazioni: perché ogni modello di IA è una funzione
7. Logica e dimostrazioni: le regole con cui si ragiona nell’IA
8. Grafi e alberi: la struttura su cui poggiano la ricerca e le reti neurali
9. Algebra lineare per l’apprendimento automatico: vettori, matrici e perché l’IA soprattutto moltiplica
10. Derivate, gradiente e regola della catena: come un modello capisce in quale direzione imparare
11. Discesa del gradiente: come impara un modello
12. Che cos’è la probabilità: dal lancio di un dado agli assiomi di Kolmogorov
13. Probabilità condizionata e teorema di Bayes: come cambiare una stima quando scopri qualcosa di nuovo
14. Variabile aleatoria e funzione di ripartizione: una sola funzione che dice tutto sulla distribuzione
15. Funzione di densità e funzione di massa: perché una variabile continua ha probabilità zero in un punto
16. Valore atteso, varianza e covarianza: dove si trova una distribuzione, quanto è larga e che cosa è legato a che cosa
17. Panoramica delle distribuzioni di probabilità: Bernoulli, binomiale, Poisson, uniforme, normale ed esponenziale
18. Legge dei grandi numeri e teorema del limite centrale: perché le medie si comportano in modo così prevedibile
19. Statistica e stima dei parametri: massima verosimiglianza, MAP e intervalli di confidenza
20. Teoria dell’informazione: entropia, entropia incrociata e divergenza KL — da dove vengono le funzioni di perdita
21. Ricerca nello spazio degli stati: BFS, DFS, UCS e A* con animazioni
22. Giochi e avversari: minimax, potatura alfa-beta e Monte Carlo tree search
23. Soddisfacimento di vincoli: backtracking, propagazione dei vincoli e AC-3 su un sudoku e una mappa delle regioni ceche
24. Logica e sistemi basati sulla conoscenza: concatenazione in avanti e all’indietro, risoluzione e sistemi esperti
25. Pianificazione: STRIPS, il mondo dei blocchi, euristiche dal rilassamento e pianificazione negli agenti IA
26. Ricerca locale e ricottura simulata: un commesso viaggiatore tra i capoluoghi di regione cechi
27. Algoritmi genetici: popolazione, incrocio, mutazione e selezione su uno zaino per l’escursione
28. Strategie evolutive e programmazione genetica: dalla regola di un quinto alla legge di Keplero
29. Ottimizzazione con colonie di formiche: come una traccia di feromone trova un percorso breve
30. Ottimizzazione a sciame di particelle: inerzia, esperienza propria ed esperienza dello sciame
31. Neuroevoluzione: evoluzione dei pesi e della forma delle reti neurali e l’algoritmo NEAT
32. Insiemi fuzzy e funzioni di appartenenza: come scrivere «un po’ caldo»
33. Logica fuzzy e probabilità: perché «un po’ caldo» non significa «probabilmente caldo»
34. Logica fuzzy: t-norme, implicazioni e regole SE–ALLORA
35. Controllo fuzzy: Mamdani e Sugeno, dal ventilatore al pendolo inverso su un carrello
36. Clustering fuzzy: l’algoritmo fuzzy c-means e i punti tra i cluster
37. Sistemi neuro-fuzzy (ANFIS): regole fuzzy che imparano dai dati
38. Catene di Markov: matrice di transizione, distribuzione stazionaria e PageRank
39. Modelli di Markov nascosti: l’algoritmo di Viterbi e il casinò disonesto
40. Reti bayesiane: perché l’erba è bagnata e che cosa significa per l’irrigatore
41. Filtro di Kalman: come stimare da misure imprecise dove si trova un’auto e a che velocità va
42. Tipi di apprendimento automatico: supervisionato, non supervisionato, semi-supervisionato e altri
43. Prompt, contesto e RAG: come dare a un modello le informazioni giuste
44. Autoencoder variazionali (VAE): immagini nuove da uno spazio latente continuo
45. Reti generative avversarie (GAN): il falsario contro il detective
46. Modelli di diffusione: come il rumore puro diventa un’immagine
47. Processi decisionali di Markov: stati, azioni, ricompense ed equazioni di Bellman
48. Q-learning e DQN: imparare il valore delle azioni, dalla tabella alla rete neurale
49. Policy gradient e PPO: imparare direttamente la politica
50. Come funziona un agente IA: un modello linguistico in un ciclo con strumenti
51. Programmare con agenti IA: incarico, test e controllo
52. Valutazione e sicurezza dei sistemi di IA: come misurare e come sorvegliare

Programma completo della serie 52 di 83 argomenti pubblicati

Quando addestri un classificatore o un modello linguistico, quasi certamente minimizzi l’«entropia incrociata». Da dove viene questo nome? Dalla teoria dell’informazione, fondata nel 1948 da Claude Shannon mentre cercava il modo più economico di trasmettere messaggi su una linea telefonica. Si scoprì che la domanda «quanti bit mi servono?» e la domanda «quanto bene prevede il modello?» sono una sola e identica domanda. Con questa parte si chiude il modulo su probabilità e statistica.

Riprende le parti Panoramica delle distribuzioni e Statistica e stima.

1. L’informazione come sorpresa

Definizione — informazione di un evento

L’informazione (autoinformazione) di un evento con probabilità p > 0 è

I(p) = −log₂ p   bit.

Un bit è l’informazione data dalla risposta a una domanda sì/no quando le due risposte sono ugualmente probabili. Un numero da 1 a 1024 lo indovini con 10 domande («è maggiore di 512?»…), proprio perché ogni risposta porta 1 bit e log₂ 1024 = 10.

2. Entropia

Definizione — entropia

L’entropia di una variabile discreta X con funzione di massa di probabilità p è il valore atteso della sua informazione:

H(X) = −∑_x p(x) log₂ p(x),

dove il termine con p(x) = 0 si considera uguale a 0.

Teorema — limiti dell’entropia

Per una variabile con n valori possibili vale 0 ≤ H(X) ≤ log₂ n. Lo zero si ha se e solo se il risultato è certo, il massimo se e solo se la distribuzione è uniforme.

3. L’entropia come lunghezza del codice

Teorema — teorema di Shannon sulla codifica di sorgente

Ogni codice binario univocamente decodificabile per simboli con distribuzione p ha una lunghezza media delle parole di almeno H(p) bit, ed esiste un codice con lunghezza media minore di H(p) + 1.

Quattro lettere A, B, C, D con probabilità 1/2, 1/4, 1/8, 1/8 hanno entropia 1,75 bit. Un codice a lunghezza fissa richiede 2 bit per lettera. Il codice di Huffman (0, 10, 110, 111) ha lunghezza media 1/2 · 1 + 1/4 · 2 + 2 · 1/8 · 3 = 1,75 bit — esattamente l’entropia. Così il messaggio ABACABAD sta in 14 bit invece di 16:

4. Entropia incrociata

Definizione — entropia incrociata

Per una distribuzione reale p e un modello q sugli stessi valori, l’entropia incrociata è

H(p, q) = −∑_x p(x) log₂ q(x).

Teorema — disuguaglianza di Gibbs

H(p, q) ≥ H(p), con uguaglianza se e solo se q = p.

5. Divergenza KL

Definizione — divergenza di Kullback-Leibler

D_KL(p ‖ q) = ∑_x p(x) log₂ (p(x) / q(x)) = H(p, q) − H(p).

Attenzione: la divergenza KL non è una distanza, perché non è simmetrica. D_KL(0,7 ‖ 0,5) = 0,119, ma D_KL(0,5 ‖ 0,7) = 0,126. Conta che cosa è la realtà e che cosa il modello.

6. Guadagno di informazione

Definizione — entropia condizionata

H(Y | X) = ∑_x P(X = x) · H(Y | X = x), dove H(Y | X = x) è l’entropia della distribuzione condizionata di Y.

Definizione — guadagno di informazione (informazione mutua)

I(X; Y) = H(Y) − H(Y | X).

7. La teoria dell’informazione nell’intelligenza artificiale

• L’entropia incrociata come funzione di perdita. Per un esempio con classe corretta y vale −log q(y) — quanto la risposta corretta ha sorpreso il modello. La media sui dati è la log-verosimiglianza negativa, quindi minimizzare l’entropia incrociata significa applicare il metodo della massima verosimiglianza della parte precedente. Le librerie usano il logaritmo naturale (unità: il nat): 1 bit = ln 2 ≈ 0,693 nat.
• La perplessità di un modello linguistico è 2^H, dove H è l’entropia incrociata per parola in bit. Una perplessità di 8 significa che il modello è in media incerto quanto lo sarebbe se scegliesse tra otto parole ugualmente probabili.
• La divergenza KL tiene insieme gli autoencoder variazionali (VAE), la distillazione dei modelli (un modello piccolo imita la distribuzione di uno grande) e il fine-tuning dei modelli linguistici con feedback umano (RLHF), dove una penalità sulla divergenza KL impedisce al modello di allontanarsi troppo da quello originale.
• Comprimere e prevedere sono la stessa cosa. Un modello che prevede bene il simbolo successivo sa comprimere bene i dati — e viceversa. Per questo i modelli linguistici si confrontano in bit per carattere.

8. Riepilogo

• L’informazione di un evento, −log₂ p, misura la sorpresa in bit; le informazioni di eventi indipendenti si sommano.
• L’entropia è la sorpresa media, al massimo log₂ n, ed è il limite inferiore della lunghezza media di un codice.
• L’entropia incrociata misura quanti bit costa il modello q su dati provenienti da p; è minima per q = p.
• La divergenza KL è il prezzo di un modello sbagliato: H(p, q) − H(p) ≥ 0, e non è simmetrica.
• La funzione di perdita dei classificatori e dei modelli linguistici è l’entropia incrociata — cioè la massima verosimiglianza.

La vedi diversamente? Scrivi a support@coden-app.com.