Loi des grands nombres et théorème central limite : pourquoi les moyennes sont si prévisibles

Moyenne empirique, loi des grands nombres et théorème central limite en animations — pourquoi la loi normale est partout, d’où vient la marge d’erreur de ±3 % des sondages et pourquoi une estimation deux fois plus précise coûte quatre fois plus de données.

13 minutes Matěj Žalmánek 2026-10-15

Série Bases de l’IA Partie 18 sur 52

1. Carte de l’intelligence artificielle : qu’est-ce qui est quoi et comment tout s’emboîte
2. Brève histoire de l’intelligence artificielle : de Turing aux modèles de langage
3. Données, modèle, entraînement, inférence : les notions de base sur un seul exemple
4. Lire la notation mathématique : symboles, indices, sommes et quantificateurs
5. Ensembles et relations : les briques dont sont faites les définitions en IA
6. Fonctions et applications : pourquoi tout modèle d’IA est une fonction
7. Logique et démonstrations : les règles selon lesquelles on raisonne en IA
8. Graphes et arbres : la structure sur laquelle reposent la recherche et les réseaux de neurones
9. Algèbre linéaire pour l’apprentissage automatique : vecteurs, matrices et pourquoi l’IA multiplie surtout
10. Dérivées, gradient et règle de dérivation en chaîne : comment un modèle sait dans quelle direction apprendre
11. Descente de gradient : comment un modèle apprend
12. Qu’est-ce que la probabilité : du lancer de dé aux axiomes de Kolmogorov
13. Probabilité conditionnelle et théorème de Bayes : comment réviser une estimation quand on apprend du nouveau
14. Variable aléatoire et fonction de répartition : une seule fonction qui dit tout de la loi
15. Fonction de densité et fonction de masse : pourquoi une variable continue a une probabilité nulle en chaque point
16. Espérance, variance et covariance : où se situe une loi, quelle est sa largeur et ce qui varie avec quoi
17. Panorama des lois de probabilité : Bernoulli, binomiale, Poisson, uniforme, normale et exponentielle
18. Loi des grands nombres et théorème central limite : pourquoi les moyennes sont si prévisibles
19. Statistique et estimation de paramètres : maximum de vraisemblance, MAP et intervalles de confiance
20. Théorie de l’information : entropie, entropie croisée et divergence KL — d’où viennent les fonctions de perte
21. Recherche dans l’espace d’états : BFS, DFS, UCS et A* en animations
22. Jeux et adversaires : minimax, élagage alpha-bêta et Monte Carlo tree search
23. Satisfaction de contraintes : backtracking, propagation de contraintes et AC-3 sur un sudoku et une carte des régions tchèques
24. Logique et systèmes à base de connaissances : chaînage avant et arrière, résolution et systèmes experts
25. Planification : STRIPS, monde des blocs, heuristiques par relaxation et planification dans les agents IA
26. Recherche locale et recuit simulé : un voyageur de commerce à travers les chefs-lieux de région tchèques
27. Algorithmes génétiques : population, croisement, mutation et sélection sur un sac à dos de randonnée
28. Stratégies d’évolution et programmation génétique : de la règle du cinquième à la loi de Kepler
29. Optimisation par colonies de fourmis : comment une piste de phéromone trouve un chemin court
30. Optimisation par essaim de particules : inertie, expérience propre et expérience de l’essaim
31. Neuroévolution : faire évoluer les poids et la forme des réseaux de neurones, et l’algorithme NEAT
32. Ensembles flous et fonctions d’appartenance : comment écrire « un peu chaud »
33. Logique floue et probabilité : pourquoi « un peu chaud » ne veut pas dire « probablement chaud »
34. Logique floue : t-normes, implications et règles SI–ALORS
35. Commande floue : Mamdani et Sugeno, du ventilateur au pendule inversé sur un chariot
36. Clustering flou : l’algorithme fuzzy c-means et les points entre les clusters
37. Systèmes neuro-flous (ANFIS) : des règles floues qui apprennent à partir des données
38. Chaînes de Markov : matrice de transition, distribution stationnaire et PageRank
39. Modèles de Markov cachés : l’algorithme de Viterbi et le casino malhonnête
40. Réseaux bayésiens : pourquoi l’herbe est mouillée et ce que cela implique pour l’arroseur
41. Le filtre de Kalman : comment estimer, à partir de mesures imprécises, où se trouve une voiture et à quelle vitesse elle roule
42. Types d’apprentissage automatique : supervisé, non supervisé, semi-supervisé et plus
43. Prompts, contexte et RAG : comment donner au modèle les bonnes informations
44. Autoencodeurs variationnels (VAE) : de nouvelles images à partir d’un espace latent continu
45. Réseaux antagonistes génératifs (GAN) : le faussaire contre le détective
46. Modèles de diffusion : comment une image naît du bruit pur
47. Processus de décision markoviens : états, actions, récompenses et équations de Bellman
48. Q-learning et DQN : apprendre la valeur des actions, du tableau au réseau de neurones
49. Policy gradient et PPO : apprendre directement la politique
50. Comment fonctionne un agent IA : un modèle de langage en boucle avec des outils
51. Programmer avec des agents IA : consigne, tests et vérification
52. Évaluation et sécurité des systèmes d’IA : comment mesurer et comment surveiller

Programme complet de la série 52 sur 83 sujets publiés

Un seul lancer de dé relève du pur hasard. Mais la moyenne de dix mille lancers vaut presque à coup sûr 3,5 — avec une précision que l’on sait calculer à l’avance. Cette partie est consacrée à deux théorèmes qui transforment le chaos des essais individuels en prévisibilité : la loi des grands nombres dit vers quoi tend la moyenne, et le théorème central limite comment elle fluctue autour de cette cible. Sur eux reposent les sondages d’opinion, le contrôle qualité, les tests A/B et l’entraînement des réseaux de neurones.

Cette partie fait suite à Espérance et variance et à Panorama des lois de probabilité.

1. Moyenne empirique

Définition — variables indépendantes et identiquement distribuées

Les variables X₁, X₂, … sont indépendantes et identiquement distribuées (en abrégé i.i.d.) si elles sont mutuellement indépendantes et suivent toutes la même loi.

Définition — moyenne empirique

Pour X₁, …, X_n, la moyenne empirique est X̄_n = (X₁ + … + X_n) / n.

Théorème — espérance et variance de la moyenne

Si les X_i i.i.d. ont pour espérance μ et pour variance σ², alors

E[X̄_n] = μ,   Var(X̄_n) = σ² / n,   écart type σ / √n.

2. Loi des grands nombres

Théorème — loi (faible) des grands nombres

Si les X_i i.i.d. ont pour espérance μ et une variance finie, alors pour tout ε > 0

lim_n→∞ P(|X̄_n − μ| ≥ ε) = 0.

La démonstration tient en une ligne : d’après l’inégalité de Bienaymé-Tchebychev, P(|X̄_n − μ| ≥ ε) ≤ σ² / (nε²), et cette borne tend vers zéro quand n grandit. Pour un dé, une tolérance de 0,1 et 10 000 lancers, elle vaut 2,917 / 100 ≈ 0,029.

Après dix lancers, les moyennes des quatre séries se situent entre 3,4 et 4,1 ; après 10 000 lancers, entre 3,496 et 3,502. L’entonnoir μ ± 2σ/√n se resserre exactement comme l’annonce le théorème sur la variance de la moyenne — et les courbes n’en sortent qu’exceptionnellement. Pourquoi justement 2σ, et pourquoi « qu’exceptionnellement », c’est le théorème suivant qui le dira.

La loi des grands nombres ne dit pas que le hasard « se compense ». Si une pièce tombe cinq fois de suite sur face, pile n’est pas « dû » — la pièce n’a aucune mémoire. La moyenne ne se rapproche pas de 0,5 parce que l’excédent de faces serait rattrapé, mais parce que les milliers de lancers suivants le diluent.

3. Convergence en loi

Définition — convergence en loi

Une suite de variables Y₁, Y₂, … converge en loi vers une variable Y si lim_n→∞ F_Yn(x) = F_Y(x) en tout point x où F_Y est continue.

4. Théorème central limite

Théorème — théorème central limite

Si les X_i i.i.d. ont pour espérance μ et pour variance 0 < σ² < ∞, alors

(X̄_n − μ) / (σ / √n) converge en loi vers 𝒩(0, 1).

La loi d’un seul dé est plate — pas la moindre cloche. La moyenne de deux dés forme un triangle, celle de cinq évoque déjà une cloche, et celle de trente se distingue à peine d’une loi normale. Les barres représentent la loi exacte, calculée en énumérant toutes les possibilités ; en pointillés, l’approximation normale :

Cela marche même pour une loi très asymétrique — par exemple l’attente d’un e-mail, qui suit une loi exponentielle. Une seule attente est très dissymétrique (coefficient d’asymétrie 2), la moyenne de cinq attentes l’est moins, et celle de trente est déjà presque symétrique (asymétrie 0,37) :

Une question concrète montre la qualité de l’approximation : quelle est la probabilité que la moyenne de 30 lancers de dé dépasse 4 ? Le calcul exact sur toutes les possibilités donne 0,0488. Le théorème central limite dit : 4 se trouve à (4 − 3,5) / (1,708/√30) ≈ 1,60 écart type au-dessus de la moyenne, donc P ≈ 1 − Φ(1,60) ≈ 0,0544. Sans une seule somme sur 6³⁰ possibilités, avec une erreur inférieure à six millièmes.

5. À quoi ça sert : l’erreur d’estimation

Le théorème central limite dit qu’une estimation par la moyenne tombe, dans 95 % des cas, à moins de 1,96 σ/√n de la vraie valeur. De là vient la formule la plus utilisée de la statistique :

• Un sondage d’opinion auprès de 1 000 personnes, avec un soutien autour de 50 %, a une marge d’erreur de 1,96 · √(0,25 / 1 000) ≈ ±3,1 points de pourcentage. C’est pourquoi les sondages interrogent environ mille personnes — pour diviser l’erreur par deux, il en faudrait quatre mille.
• La précision d’un modèle mesurée à 90 % sur 1 000 exemples de test vaut en réalité 90 % ± 1,9 point de pourcentage. Un modèle à 91 % sur un jeu de même taille n’est donc pas forcément meilleur.

D’où la statistique tire σ quand elle ne le connaît pas, et ce que signifie exactement cet intervalle, c’est le sujet de la prochaine partie, consacrée à la statistique et à l’estimation.

6. Quand les théorèmes ne s’appliquent pas

• Variance infinie ou pas d’espérance du tout. La loi de Cauchy a des queues si épaisses qu’elle n’a même pas d’espérance — et la moyenne de n variables de Cauchy a exactement la même loi qu’une seule. Davantage de données n’aide absolument pas. La taille des villes, les fortunes ou les krachs boursiers se comportent souvent de façon tout aussi sauvage.
• Données dépendantes. Mille réponses de personnes habitant la même rue ou mille images d’une même vidéo ne sont pas mille observations indépendantes, et σ/√n sous-estime fortement l’erreur.
• Peu de données et loi asymétrique. Le théorème est un résultat limite — pour l’attente exponentielle, la loi de la moyenne de cinq observations reste nettement dissymétrique.

7. Les théorèmes limites en intelligence artificielle

• Descente de gradient stochastique. Le gradient calculé sur un lot (minibatch) de B exemples est une moyenne empirique. Il pointe en moyenne dans la même direction que le gradient sur toutes les données (loi des grands nombres), mais fluctue avec un écart type ∝ 1/√B. Un lot quatre fois plus grand ne divise le bruit que par deux — c’est pourquoi il ne sert à rien d’agrandir les lots indéfiniment.
• Méthodes de Monte-Carlo. Quand une quantité ne peut pas être calculée exactement — la récompense espérée en apprentissage par renforcement, une intégrale en grande dimension —, on fait la moyenne de nombreux échantillons aléatoires. La loi des grands nombres garantit le bon résultat, le théorème central limite dit avec quelle précision.
• L’évaluation des modèles et les tests A/B reposent sur l’erreur 1,96 σ/√n : sans elle, impossible de savoir si le nouveau modèle est vraiment meilleur ou s’il a simplement eu de la chance.
• Initialisation des réseaux. L’entrée d’un neurone est une somme de nombreux produits poids × activation — d’après le théorème central limite, elle suit approximativement une loi normale. C’est sur ce constat que reposent les schémas d’initialisation de Xavier et de He, qui choisissent la variance des poids de sorte que le signal ne s’amplifie ni ne s’éteigne en traversant le réseau.

8. Résumé

• La moyenne empirique est une variable aléatoire d’espérance μ et d’écart type σ/√n.
• Loi des grands nombres : quand n grandit, la moyenne se rapproche presque à coup sûr de μ.
• Théorème central limite : la moyenne de nombreuses variables indépendantes suit approximativement une loi normale — quelle que soit la loi des variables individuelles.
• L’erreur d’une estimation par la moyenne vaut environ ±1,96 σ/√n ; une estimation deux fois plus précise coûte quatre fois plus de données.
• Sans variance finie ou sans indépendance, les théorèmes ne s’appliquent pas.

Vous voyez les choses autrement ? Écrivez à support@coden-app.com.