Théorie de l’information : entropie, entropie croisée et divergence KL — d’où viennent les fonctions de perte

L’information comme surprise, l’entropie et le code de Huffman, l’entropie croisée, la divergence KL et le gain d’information — et pourquoi la fonction de perte des modèles de langage est l’entropie croisée.

13 minutes Matěj Žalmánek 2026-10-15

Série Bases de l’IA Partie 20 sur 52

1. Carte de l’intelligence artificielle : qu’est-ce qui est quoi et comment tout s’emboîte
2. Brève histoire de l’intelligence artificielle : de Turing aux modèles de langage
3. Données, modèle, entraînement, inférence : les notions de base sur un seul exemple
4. Lire la notation mathématique : symboles, indices, sommes et quantificateurs
5. Ensembles et relations : les briques dont sont faites les définitions en IA
6. Fonctions et applications : pourquoi tout modèle d’IA est une fonction
7. Logique et démonstrations : les règles selon lesquelles on raisonne en IA
8. Graphes et arbres : la structure sur laquelle reposent la recherche et les réseaux de neurones
9. Algèbre linéaire pour l’apprentissage automatique : vecteurs, matrices et pourquoi l’IA multiplie surtout
10. Dérivées, gradient et règle de dérivation en chaîne : comment un modèle sait dans quelle direction apprendre
11. Descente de gradient : comment un modèle apprend
12. Qu’est-ce que la probabilité : du lancer de dé aux axiomes de Kolmogorov
13. Probabilité conditionnelle et théorème de Bayes : comment réviser une estimation quand on apprend du nouveau
14. Variable aléatoire et fonction de répartition : une seule fonction qui dit tout de la loi
15. Fonction de densité et fonction de masse : pourquoi une variable continue a une probabilité nulle en chaque point
16. Espérance, variance et covariance : où se situe une loi, quelle est sa largeur et ce qui varie avec quoi
17. Panorama des lois de probabilité : Bernoulli, binomiale, Poisson, uniforme, normale et exponentielle
18. Loi des grands nombres et théorème central limite : pourquoi les moyennes sont si prévisibles
19. Statistique et estimation de paramètres : maximum de vraisemblance, MAP et intervalles de confiance
20. Théorie de l’information : entropie, entropie croisée et divergence KL — d’où viennent les fonctions de perte
21. Recherche dans l’espace d’états : BFS, DFS, UCS et A* en animations
22. Jeux et adversaires : minimax, élagage alpha-bêta et Monte Carlo tree search
23. Satisfaction de contraintes : backtracking, propagation de contraintes et AC-3 sur un sudoku et une carte des régions tchèques
24. Logique et systèmes à base de connaissances : chaînage avant et arrière, résolution et systèmes experts
25. Planification : STRIPS, monde des blocs, heuristiques par relaxation et planification dans les agents IA
26. Recherche locale et recuit simulé : un voyageur de commerce à travers les chefs-lieux de région tchèques
27. Algorithmes génétiques : population, croisement, mutation et sélection sur un sac à dos de randonnée
28. Stratégies d’évolution et programmation génétique : de la règle du cinquième à la loi de Kepler
29. Optimisation par colonies de fourmis : comment une piste de phéromone trouve un chemin court
30. Optimisation par essaim de particules : inertie, expérience propre et expérience de l’essaim
31. Neuroévolution : faire évoluer les poids et la forme des réseaux de neurones, et l’algorithme NEAT
32. Ensembles flous et fonctions d’appartenance : comment écrire « un peu chaud »
33. Logique floue et probabilité : pourquoi « un peu chaud » ne veut pas dire « probablement chaud »
34. Logique floue : t-normes, implications et règles SI–ALORS
35. Commande floue : Mamdani et Sugeno, du ventilateur au pendule inversé sur un chariot
36. Clustering flou : l’algorithme fuzzy c-means et les points entre les clusters
37. Systèmes neuro-flous (ANFIS) : des règles floues qui apprennent à partir des données
38. Chaînes de Markov : matrice de transition, distribution stationnaire et PageRank
39. Modèles de Markov cachés : l’algorithme de Viterbi et le casino malhonnête
40. Réseaux bayésiens : pourquoi l’herbe est mouillée et ce que cela implique pour l’arroseur
41. Le filtre de Kalman : comment estimer, à partir de mesures imprécises, où se trouve une voiture et à quelle vitesse elle roule
42. Types d’apprentissage automatique : supervisé, non supervisé, semi-supervisé et plus
43. Prompts, contexte et RAG : comment donner au modèle les bonnes informations
44. Autoencodeurs variationnels (VAE) : de nouvelles images à partir d’un espace latent continu
45. Réseaux antagonistes génératifs (GAN) : le faussaire contre le détective
46. Modèles de diffusion : comment une image naît du bruit pur
47. Processus de décision markoviens : états, actions, récompenses et équations de Bellman
48. Q-learning et DQN : apprendre la valeur des actions, du tableau au réseau de neurones
49. Policy gradient et PPO : apprendre directement la politique
50. Comment fonctionne un agent IA : un modèle de langage en boucle avec des outils
51. Programmer avec des agents IA : consigne, tests et vérification
52. Évaluation et sécurité des systèmes d’IA : comment mesurer et comment surveiller

Programme complet de la série 52 sur 83 sujets publiés

Quand vous entraînez un classifieur ou un modèle de langage, vous minimisez presque à coup sûr une « entropie croisée ». D’où vient ce nom ? De la théorie de l’information, fondée en 1948 par Claude Shannon alors qu’il cherchait à transmettre des messages sur une ligne téléphonique de la façon la plus économe possible. Il s’est avéré que la question « de combien de bits ai-je besoin ? » et la question « le modèle prédit-il bien ? » n’en font qu’une. Cette partie clôt le module consacré aux probabilités et à la statistique.

Cette partie fait suite à Panorama des lois de probabilité et à Statistique et estimation.

1. L’information comme surprise

Définition — information d’un événement

L’information (information propre) d’un événement de probabilité p > 0 est

I(p) = −log₂ p   bits.

Un bit, c’est l’information qu’apporte la réponse à une question par oui ou non quand les deux réponses sont équiprobables. Un nombre de 1 à 1024 se devine en 10 questions (« est-il supérieur à 512 ? »…) — justement parce que chaque réponse apporte 1 bit et que log₂ 1024 = 10.

2. Entropie

Définition — entropie

L’entropie d’une variable discrète X de fonction de masse p est l’espérance de son information :

H(X) = −∑_x p(x) log₂ p(x),

où le terme pour lequel p(x) = 0 est compté comme 0.

Théorème — bornes de l’entropie

Pour une variable à n valeurs possibles, on a 0 ≤ H(X) ≤ log₂ n. Le zéro est atteint si et seulement si le résultat est certain, le maximum si et seulement si la loi est uniforme.

3. L’entropie comme longueur de code

Théorème — théorème du codage de source de Shannon

Tout code binaire uniquement décodable pour des symboles de loi p a une longueur moyenne de mot d’au moins H(p) bits, et il existe un code de longueur moyenne inférieure à H(p) + 1.

Quatre lettres A, B, C, D de probabilités 1/2, 1/4, 1/8, 1/8 ont une entropie de 1,75 bit. Un code de longueur fixe a besoin de 2 bits par lettre. Le code de Huffman (0, 10, 110, 111) a une longueur moyenne de 1/2 · 1 + 1/4 · 2 + 2 · 1/8 · 3 = 1,75 bit — exactement l’entropie. Le message ABACABAD tient ainsi en 14 bits au lieu de 16 :

4. Entropie croisée

Définition — entropie croisée

Pour une loi réelle p et un modèle q sur les mêmes valeurs, l’entropie croisée est

H(p, q) = −∑_x p(x) log₂ q(x).

Théorème — inégalité de Gibbs

H(p, q) ≥ H(p), avec égalité si et seulement si q = p.

5. Divergence KL

Définition — divergence de Kullback-Leibler

D_KL(p ‖ q) = ∑_x p(x) log₂ (p(x) / q(x)) = H(p, q) − H(p).

Attention : la divergence KL n’est pas une distance, car elle n’est pas symétrique. D_KL(0,7 ‖ 0,5) = 0,119, mais D_KL(0,5 ‖ 0,7) = 0,126. Il importe de savoir ce qui est la réalité et ce qui est le modèle.

6. Gain d’information

Définition — entropie conditionnelle

H(Y | X) = ∑_x P(X = x) · H(Y | X = x), où H(Y | X = x) est l’entropie de la loi conditionnelle de Y.

Définition — gain d’information (information mutuelle)

I(X ; Y) = H(Y) − H(Y | X).

7. La théorie de l’information en intelligence artificielle

• L’entropie croisée comme fonction de perte. Pour un exemple de classe correcte y, elle vaut −log q(y) — à quel point la bonne réponse a surpris le modèle. Sa moyenne sur les données est l’opposé de la log-vraisemblance, si bien que minimiser l’entropie croisée revient à appliquer la méthode du maximum de vraisemblance vue dans la partie précédente. Les bibliothèques utilisent le logarithme népérien (unité : le nat) : 1 bit = ln 2 ≈ 0,693 nat.
• La perplexité d’un modèle de langage vaut 2^H, où H est l’entropie croisée par mot, en bits. Une perplexité de 8 signifie que le modèle est en moyenne aussi incertain que s’il choisissait entre huit mots équiprobables.
• La divergence KL est au cœur des autoencodeurs variationnels (VAE), de la distillation de modèles (un petit modèle imite la loi d’un grand) et de l’affinage des modèles de langage par retour humain (RLHF), où une pénalité de divergence KL empêche le modèle de trop s’éloigner du modèle d’origine.
• Compresser et prédire, c’est la même chose. Un modèle qui prédit bien le symbole suivant sait bien compresser les données — et inversement. C’est pourquoi on compare les modèles de langage en bits par caractère.

8. Résumé

• L’information d’un événement, −log₂ p, mesure la surprise en bits ; les informations d’événements indépendants s’additionnent.
• L’entropie est la surprise moyenne, au plus log₂ n, et c’est la borne inférieure de la longueur moyenne d’un code.
• L’entropie croisée mesure combien de bits coûte le modèle q sur des données issues de p ; elle est minimale pour q = p.
• La divergence KL est le prix d’un mauvais modèle : H(p, q) − H(p) ≥ 0, et elle n’est pas symétrique.
• La fonction de perte des classifieurs et des modèles de langage est l’entropie croisée — autrement dit, le maximum de vraisemblance.

Vous voyez les choses autrement ? Écrivez à support@coden-app.com.