Statistique et estimation de paramètres : maximum de vraisemblance, MAP et intervalles de confiance

Échantillon, estimateur, biais et pourquoi la variance empirique divise par n − 1, maximum de vraisemblance, estimation bayésienne MAP et intervalles de confiance — et pourquoi entraîner un réseau de neurones revient à estimer des paramètres.

14 minutes Matěj Žalmánek 2026-10-15

Série Bases de l’IA Partie 19 sur 52

1. Carte de l’intelligence artificielle : qu’est-ce qui est quoi et comment tout s’emboîte
2. Brève histoire de l’intelligence artificielle : de Turing aux modèles de langage
3. Données, modèle, entraînement, inférence : les notions de base sur un seul exemple
4. Lire la notation mathématique : symboles, indices, sommes et quantificateurs
5. Ensembles et relations : les briques dont sont faites les définitions en IA
6. Fonctions et applications : pourquoi tout modèle d’IA est une fonction
7. Logique et démonstrations : les règles selon lesquelles on raisonne en IA
8. Graphes et arbres : la structure sur laquelle reposent la recherche et les réseaux de neurones
9. Algèbre linéaire pour l’apprentissage automatique : vecteurs, matrices et pourquoi l’IA multiplie surtout
10. Dérivées, gradient et règle de dérivation en chaîne : comment un modèle sait dans quelle direction apprendre
11. Descente de gradient : comment un modèle apprend
12. Qu’est-ce que la probabilité : du lancer de dé aux axiomes de Kolmogorov
13. Probabilité conditionnelle et théorème de Bayes : comment réviser une estimation quand on apprend du nouveau
14. Variable aléatoire et fonction de répartition : une seule fonction qui dit tout de la loi
15. Fonction de densité et fonction de masse : pourquoi une variable continue a une probabilité nulle en chaque point
16. Espérance, variance et covariance : où se situe une loi, quelle est sa largeur et ce qui varie avec quoi
17. Panorama des lois de probabilité : Bernoulli, binomiale, Poisson, uniforme, normale et exponentielle
18. Loi des grands nombres et théorème central limite : pourquoi les moyennes sont si prévisibles
19. Statistique et estimation de paramètres : maximum de vraisemblance, MAP et intervalles de confiance
20. Théorie de l’information : entropie, entropie croisée et divergence KL — d’où viennent les fonctions de perte
21. Recherche dans l’espace d’états : BFS, DFS, UCS et A* en animations
22. Jeux et adversaires : minimax, élagage alpha-bêta et Monte Carlo tree search
23. Satisfaction de contraintes : backtracking, propagation de contraintes et AC-3 sur un sudoku et une carte des régions tchèques
24. Logique et systèmes à base de connaissances : chaînage avant et arrière, résolution et systèmes experts
25. Planification : STRIPS, monde des blocs, heuristiques par relaxation et planification dans les agents IA
26. Recherche locale et recuit simulé : un voyageur de commerce à travers les chefs-lieux de région tchèques
27. Algorithmes génétiques : population, croisement, mutation et sélection sur un sac à dos de randonnée
28. Stratégies d’évolution et programmation génétique : de la règle du cinquième à la loi de Kepler
29. Optimisation par colonies de fourmis : comment une piste de phéromone trouve un chemin court
30. Optimisation par essaim de particules : inertie, expérience propre et expérience de l’essaim
31. Neuroévolution : faire évoluer les poids et la forme des réseaux de neurones, et l’algorithme NEAT
32. Ensembles flous et fonctions d’appartenance : comment écrire « un peu chaud »
33. Logique floue et probabilité : pourquoi « un peu chaud » ne veut pas dire « probablement chaud »
34. Logique floue : t-normes, implications et règles SI–ALORS
35. Commande floue : Mamdani et Sugeno, du ventilateur au pendule inversé sur un chariot
36. Clustering flou : l’algorithme fuzzy c-means et les points entre les clusters
37. Systèmes neuro-flous (ANFIS) : des règles floues qui apprennent à partir des données
38. Chaînes de Markov : matrice de transition, distribution stationnaire et PageRank
39. Modèles de Markov cachés : l’algorithme de Viterbi et le casino malhonnête
40. Réseaux bayésiens : pourquoi l’herbe est mouillée et ce que cela implique pour l’arroseur
41. Le filtre de Kalman : comment estimer, à partir de mesures imprécises, où se trouve une voiture et à quelle vitesse elle roule
42. Types d’apprentissage automatique : supervisé, non supervisé, semi-supervisé et plus
43. Prompts, contexte et RAG : comment donner au modèle les bonnes informations
44. Autoencodeurs variationnels (VAE) : de nouvelles images à partir d’un espace latent continu
45. Réseaux antagonistes génératifs (GAN) : le faussaire contre le détective
46. Modèles de diffusion : comment une image naît du bruit pur
47. Processus de décision markoviens : états, actions, récompenses et équations de Bellman
48. Q-learning et DQN : apprendre la valeur des actions, du tableau au réseau de neurones
49. Policy gradient et PPO : apprendre directement la politique
50. Comment fonctionne un agent IA : un modèle de langage en boucle avec des outils
51. Programmer avec des agents IA : consigne, tests et vérification
52. Évaluation et sécurité des systèmes d’IA : comment mesurer et comment surveiller

Programme complet de la série 52 sur 83 sujets publiés

La théorie des probabilités va du modèle vers les données : si vous savez que la pièce est équilibrée, vous calculez ce qui va tomber. La statistique fait le chemin inverse — des données vers le modèle : on a obtenu 6 piles sur 20, quelle est donc cette pièce ? C’est exactement ce que fait l’apprentissage automatique. Le modèle a des paramètres, les données sont ce qui est tombé, et l’entraînement est une estimation de paramètres. Cette partie montre ce qu’est un bon estimateur, d’où vient la méthode du maximum de vraisemblance, sur laquelle repose presque chaque fonction de perte, et comment dire honnêtement à quel point on peut se fier à une estimation.

Cette partie fait suite à Loi des grands nombres et théorème central limite.

1. Échantillon, statistique, estimateur

Définition — échantillon aléatoire

Un échantillon aléatoire de taille n issu d’une loi de densité (ou de fonction de masse) f(x ; θ) est formé de n variables indépendantes et identiquement distribuées X₁, …, X_n qui suivent cette loi. Le paramètre θ est inconnu.

Définition — statistique et estimateur

Une statistique est une fonction quelconque de l’échantillon T = T(X₁, …, X_n) qui ne dépend pas du paramètre inconnu θ. Une statistique utilisée pour estimer θ s’appelle un estimateur et se note θ̂.

2. Un bon estimateur : sans biais et convergent

Définition — estimateur sans biais

Un estimateur θ̂ est sans biais si E[θ̂] = θ pour toute valeur de θ. La différence E[θ̂] − θ s’appelle le biais.

Définition — estimateur convergent

Un estimateur θ̂_n est convergent si, pour tout ε > 0, lim_n→∞ P(|θ̂_n − θ| ≥ ε) = 0.

L’absence de biais ne va pas de soi. Pour estimer la variance, il est tentant de prendre l’écart quadratique moyen par rapport à la moyenne, (1/n) ∑ (X_i − X̄)². Mais cet estimateur sous-estime systématiquement la variance : on mesure les écarts par rapport à X̄, qui s’est ajusté aux données, au lieu du vrai μ.

Théorème — variance empirique corrigée

Pour un échantillon aléatoire de variance σ², on a E[(1/n) ∑ (X_i − X̄)²] = ((n − 1)/n) σ². L’estimateur sans biais de la variance est donc la variance empirique corrigée

s² = 1/(n − 1) · ∑_i=1ⁿ (X_i − X̄)².

Vérifions-le : nous avons lancé 2 000 fois cinq dés et, à chaque fois, calculé les deux estimations de la variance. La vraie variance d’un dé vaut 35/12 ≈ 2,92. La moyenne des estimations avec division par n s’est arrêtée à 2,38 (elle vise 4/5 · 2,92 ≈ 2,33), celle avec division par n − 1 à 2,97 :

3. Méthode du maximum de vraisemblance

Définition — fonction de vraisemblance

Pour des données observées x₁, …, x_n, la fonction de vraisemblance est la fonction du paramètre

L(θ) = ∏_i=1ⁿ f(x_i ; θ).

Définition — estimateur du maximum de vraisemblance

L’estimateur du maximum de vraisemblance (EMV, en anglais MLE) est θ̂ = argmax_θ L(θ). Comme le logarithme est croissant, c’est la même chose que argmax_θ ∑_i ln f(x_i ; θ).

Sur 20 e-mails, 6 étaient du spam. Pour une proportion de spam p, on a L(p) = p⁶(1 − p)¹⁴. La dérivée du logarithme, 6/p − 14/(1 − p), s’annule pour p̂ = 6/20 = 0,3 — exactement la proportion de spam dans les données. En général, pour k succès sur n, on obtient p̂ = k/n. Avec 60 spams sur 200, l’estimation est la même, mais le pic est beaucoup plus étroit : les données en disent davantage sur le paramètre.

Pour l’attente d’un e-mail, qui suit une loi exponentielle, la méthode du maximum de vraisemblance donne λ̂ = 1 / X̄. Avec cinq attentes mesurées de 1,2 ; 3,5 ; 0,4 ; 2,1 et 2,8 minutes, la moyenne vaut 2 minutes et λ̂ = 0,5 par minute.

4. Estimation bayésienne MAP

Définition — estimateur du maximum a posteriori

Si π(θ) est la densité a priori du paramètre, l’estimateur du maximum a posteriori (MAP) est θ̂ = argmax_θ L(θ) · π(θ).

5. Intervalle de confiance

Définition — intervalle de confiance

L’intervalle (T₁, T₂), où T₁ ≤ T₂ sont des statistiques, est un intervalle de confiance pour θ au niveau de confiance 1 − α si P(T₁ < θ < T₂) = 1 − α pour tout θ.

Pour l’espérance et un n suffisamment grand, le théorème central limite donne un intervalle approché à 95 % : X̄ ± 1,96 · s/√n. Nous avons lancé quarante fois 40 dés et calculé un intervalle à partir de chaque échantillon. La ligne verticale représente la vraie espérance, 3,5 :

La vraie valeur se trouve dans 38 intervalles sur 40 — soit 95 %. Sur 20 000 répétitions, ce fut 94,1 %, un peu en dessous des 95 % promis, car σ est estimé à partir des données et n = 40, ce n’est pas encore l’infini.

Une erreur fréquente : « μ se trouve dans l’intervalle (3,2 ; 3,9) avec une probabilité de 95 % ». Pour un intervalle concret, μ est soit dedans, soit dehors. Ces 95 % sont une propriété de la procédure — la proportion d’intervalles qui visent juste sur un grand nombre de répétitions. Pour parler de la probabilité du paramètre lui-même, il faut passer à l’approche bayésienne.

6. L’estimation en intelligence artificielle

• Entraîner un modèle, c’est faire une estimation par maximum de vraisemblance. L’entropie croisée en classification est l’opposé du logarithme de la vraisemblance divisé par le nombre d’exemples, et l’erreur quadratique moyenne est la même chose pour des données à bruit normal. Minimiser la perte = maximiser la vraisemblance.
• La régularisation, c’est le MAP. La pénalité sur les poids λ‖w‖² (L2, weight decay) correspond à une loi a priori normale sur les poids, la pénalité L1 à une loi de Laplace. L’idée a priori « les poids doivent rester petits » freine le surapprentissage.
• Biais et variance d’un modèle. Un modèle est un estimateur ; les modèles complexes ont un faible biais mais une forte variance (surapprentissage), les modèles simples l’inverse. La régularisation accepte un peu plus de biais en échange d’une variance plus faible.
• Jeu de test et intervalle de confiance. La précision mesurée sur les données de test est une estimation de la précision réelle ; sans intervalle de confiance, impossible de savoir si l’écart entre deux modèles est réel. La batch normalization estime la moyenne et la variance sur chaque lot, et les modèles de langage sont entraînés par maximum de vraisemblance : ils maximisent la vraisemblance du mot suivant.

7. Résumé

• La statistique va des données vers le modèle : un estimateur est un calcul sur les données qui doit atteindre un paramètre inconnu.
• Un bon estimateur est sans biais (il vise juste en moyenne) et convergent (il se précise avec les données) ; la variance empirique corrigée divise par n − 1.
• La méthode du maximum de vraisemblance choisit le paramètre qui rend les données les plus probables ; pour une proportion, c’est k/n.
• Le MAP ajoute une idée a priori ; en apprentissage automatique, c’est la régularisation.
• Un intervalle de confiance à 95 % est produit par une procédure qui atteint le vrai paramètre dans 95 % des cas.

Vous voyez les choses autrement ? Écrivez à support@coden-app.com.