Espérance, variance et covariance : où se situe une loi, quelle est sa largeur et ce qui varie avec quoi

L’espérance comme centre de gravité, la linéarité, la variance et l’écart type, l’inégalité de Bienaymé-Tchebychev, la covariance et la corrélation — et pourquoi une covariance nulle ne signifie pas l’indépendance.

14 minutes Matěj Žalmánek 2026-10-15

Série Bases de l’IA Partie 16 sur 52

1. Carte de l’intelligence artificielle : qu’est-ce qui est quoi et comment tout s’emboîte
2. Brève histoire de l’intelligence artificielle : de Turing aux modèles de langage
3. Données, modèle, entraînement, inférence : les notions de base sur un seul exemple
4. Lire la notation mathématique : symboles, indices, sommes et quantificateurs
5. Ensembles et relations : les briques dont sont faites les définitions en IA
6. Fonctions et applications : pourquoi tout modèle d’IA est une fonction
7. Logique et démonstrations : les règles selon lesquelles on raisonne en IA
8. Graphes et arbres : la structure sur laquelle reposent la recherche et les réseaux de neurones
9. Algèbre linéaire pour l’apprentissage automatique : vecteurs, matrices et pourquoi l’IA multiplie surtout
10. Dérivées, gradient et règle de dérivation en chaîne : comment un modèle sait dans quelle direction apprendre
11. Descente de gradient : comment un modèle apprend
12. Qu’est-ce que la probabilité : du lancer de dé aux axiomes de Kolmogorov
13. Probabilité conditionnelle et théorème de Bayes : comment réviser une estimation quand on apprend du nouveau
14. Variable aléatoire et fonction de répartition : une seule fonction qui dit tout de la loi
15. Fonction de densité et fonction de masse : pourquoi une variable continue a une probabilité nulle en chaque point
16. Espérance, variance et covariance : où se situe une loi, quelle est sa largeur et ce qui varie avec quoi
17. Panorama des lois de probabilité : Bernoulli, binomiale, Poisson, uniforme, normale et exponentielle
18. Loi des grands nombres et théorème central limite : pourquoi les moyennes sont si prévisibles
19. Statistique et estimation de paramètres : maximum de vraisemblance, MAP et intervalles de confiance
20. Théorie de l’information : entropie, entropie croisée et divergence KL — d’où viennent les fonctions de perte
21. Recherche dans l’espace d’états : BFS, DFS, UCS et A* en animations
22. Jeux et adversaires : minimax, élagage alpha-bêta et Monte Carlo tree search
23. Satisfaction de contraintes : backtracking, propagation de contraintes et AC-3 sur un sudoku et une carte des régions tchèques
24. Logique et systèmes à base de connaissances : chaînage avant et arrière, résolution et systèmes experts
25. Planification : STRIPS, monde des blocs, heuristiques par relaxation et planification dans les agents IA
26. Recherche locale et recuit simulé : un voyageur de commerce à travers les chefs-lieux de région tchèques
27. Algorithmes génétiques : population, croisement, mutation et sélection sur un sac à dos de randonnée
28. Stratégies d’évolution et programmation génétique : de la règle du cinquième à la loi de Kepler
29. Optimisation par colonies de fourmis : comment une piste de phéromone trouve un chemin court
30. Optimisation par essaim de particules : inertie, expérience propre et expérience de l’essaim
31. Neuroévolution : faire évoluer les poids et la forme des réseaux de neurones, et l’algorithme NEAT
32. Ensembles flous et fonctions d’appartenance : comment écrire « un peu chaud »
33. Logique floue et probabilité : pourquoi « un peu chaud » ne veut pas dire « probablement chaud »
34. Logique floue : t-normes, implications et règles SI–ALORS
35. Commande floue : Mamdani et Sugeno, du ventilateur au pendule inversé sur un chariot
36. Clustering flou : l’algorithme fuzzy c-means et les points entre les clusters
37. Systèmes neuro-flous (ANFIS) : des règles floues qui apprennent à partir des données
38. Chaînes de Markov : matrice de transition, distribution stationnaire et PageRank
39. Modèles de Markov cachés : l’algorithme de Viterbi et le casino malhonnête
40. Réseaux bayésiens : pourquoi l’herbe est mouillée et ce que cela implique pour l’arroseur
41. Le filtre de Kalman : comment estimer, à partir de mesures imprécises, où se trouve une voiture et à quelle vitesse elle roule
42. Types d’apprentissage automatique : supervisé, non supervisé, semi-supervisé et plus
43. Prompts, contexte et RAG : comment donner au modèle les bonnes informations
44. Autoencodeurs variationnels (VAE) : de nouvelles images à partir d’un espace latent continu
45. Réseaux antagonistes génératifs (GAN) : le faussaire contre le détective
46. Modèles de diffusion : comment une image naît du bruit pur
47. Processus de décision markoviens : états, actions, récompenses et équations de Bellman
48. Q-learning et DQN : apprendre la valeur des actions, du tableau au réseau de neurones
49. Policy gradient et PPO : apprendre directement la politique
50. Comment fonctionne un agent IA : un modèle de langage en boucle avec des outils
51. Programmer avec des agents IA : consigne, tests et vérification
52. Évaluation et sécurité des systèmes d’IA : comment mesurer et comment surveiller

Programme complet de la série 52 sur 83 sujets publiés

La loi d’une variable aléatoire dit tout — mais « tout », c’est souvent trop. Pour comparer rapidement deux lois, quelques nombres suffisent : où se situe la loi, quelle est sa largeur et si deux variables augmentent ensemble ou vont en sens contraire. Ces nombres s’appellent l’espérance, la variance et la covariance, et vous les croiserez dans tous les modèles d’apprentissage automatique — de la fonction de perte à l’optimiseur Adam.

Cette partie fait suite à Variable aléatoire et à Fonction de densité.

1. Espérance

Définition — espérance d’une variable discrète

Si une variable discrète X prend les valeurs x₁, x₂, … avec la fonction de masse p, son espérance est

E[X] = ∑_i x_i · p(x_i),

pourvu que la série converge absolument. On la note aussi μ.

Physiquement, l’espérance est le centre de gravité. Posez les probabilités comme des poids sur un levier : le pivot ne le maintient à l’horizontale qu’à l’espérance. La figure montre le plus grand des deux nombres obtenus avec deux dés — le maximum. Les grands nombres sont plus fréquents (le six est le maximum dans 11 cas sur 36, le un dans un seul), si bien que le centre de gravité se trouve à droite du milieu : E[max] = 161/36 ≈ 4,47.

Définition — espérance d’une variable continue

Si X a pour densité f, alors E[X] = ∫_−∞^∞ x · f(x) dx, pourvu que l’intégrale converge absolument.

2. Linéarité de l’espérance

Théorème — linéarité de l’espérance

Pour des variables aléatoires X, Y d’espérance finie et des nombres a, b, on a

E[aX + b] = a · E[X] + b,   E[X + Y] = E[X] + E[Y],

et cela même si X et Y ne sont pas indépendantes.

3. Variance et écart type

Définition — variance

Pour une variable X d’espérance μ, la variance est

Var(X) = E[(X − μ)²].

Théorème — formule de calcul de la variance

Var(X) = E[X²] − (E[X])².

Définition — écart type

L’écart type est σ = √Var(X).

4. Variance d’une somme : pourquoi il vaut mieux lancer deux fois

Théorème — variance d’une fonction affine et d’une somme

Var(aX + b) = a² · Var(X). Si X et Y sont indépendantes, alors Var(X + Y) = Var(X) + Var(Y).

Comparons deux jeux de même espérance, 7. Dans le premier, vous lancez deux dés et additionnez : Var = 35/12 + 35/12 = 35/6 ≈ 5,83, σ ≈ 2,42. Dans le second, vous lancez une fois et doublez le résultat : Var = 2² · 35/12 = 35/3 ≈ 11,67, σ ≈ 3,42. La moyenne est la même, mais le second jeu est nettement plus imprévisible — avec deux dés, la malchance sur l’un est souvent compensée par la chance sur l’autre.

C’est sur ce même principe que reposent la diversification des placements et le fait que la moyenne de plusieurs mesures fluctue moins qu’une seule mesure. De combien exactement, la prochaine partie, consacrée à la loi des grands nombres, le montrera.

5. Inégalité de Bienaymé-Tchebychev

Théorème — inégalité de Bienaymé-Tchebychev

Si X a pour espérance μ et un écart type fini σ > 0, alors pour tout k > 0

P(|X − μ| ≥ kσ) ≤ 1 / k².

6. Covariance et corrélation

Définition — covariance

Pour des variables X, Y d’espérances μ_X, μ_Y, la covariance est

Cov(X, Y) = E[(X − μ_X)(Y − μ_Y)].

Définition — coefficient de corrélation

La corrélation de variables d’écarts types strictement positifs est ρ(X, Y) = Cov(X, Y) / (σ_X σ_Y). On a toujours −1 ≤ ρ ≤ 1.

Le premier dé et la somme augmentent ensemble : Cov = 35/12 ≈ 2,92 et ρ ≈ 0,71. Le premier et le second dé sont indépendants et les rectangles s’annulent exactement : Cov = 0. Et plus le premier dé donne un grand nombre, plus la différence « second moins premier » est petite : Cov ≈ −2,92, ρ ≈ −0,71.

Théorème — variance d’une somme en général

Var(X + Y) = Var(X) + Var(Y) + 2 · Cov(X, Y). Si X et Y sont indépendantes, Cov(X, Y) = 0.

Attention, la réciproque est fausse : une covariance nulle ne signifie pas l’indépendance. La différence des dés D = premier − second et leur somme S ont pour covariance Var(premier) − Var(second) = 0. Elles sont pourtant dépendantes : si la somme vaut 12, la différence vaut forcément 0. La covariance ne mesure que le lien linéaire.

7. Espérance et variance en intelligence artificielle

• Fonction de perte. L’erreur quadratique moyenne (MSE) est l’espérance du carré de l’erreur, E[(Y − ŷ)²]. La meilleure prédiction constante est justement l’espérance de Y, et l’erreur qui reste est la variance.
• Standardisation des entrées. Avant d’envoyer les données au réseau, on les transforme en z = (x − μ) / σ — espérance 0, écart type 1. L’apprentissage est alors plus rapide et plus stable ; à l’intérieur du réseau, la batch normalization fait la même chose.
• Matrice de covariance et ACP. Les covariances de toutes les paires de caractéristiques forment une matrice, et ses vecteurs propres (voir la partie sur l’algèbre linéaire) indiquent les directions dans lesquelles les données varient le plus.
• L’optimiseur Adam (de la partie sur la descente de gradient) estime en continu l’espérance du gradient et l’espérance de son carré — et divise le pas par la racine de cette dernière. Là où le gradient fluctue beaucoup, il avance plus prudemment.
• Biais et variance d’un modèle. L’erreur d’un modèle se décompose en une erreur systématique (le biais) et une fluctuation d’un jeu d’entraînement à l’autre (la variance). Les modèles simples ont un biais élevé, les modèles complexes une variance élevée.

8. Résumé

• L’espérance est une moyenne pondérée — le centre de gravité de la loi. Elle est linéaire, même pour des variables dépendantes.
• La variance est la moyenne des carrés des écarts à la moyenne ; l’écart type en est la racine, dans les mêmes unités que les données.
• Les variances de variables indépendantes s’additionnent ; c’est pourquoi la somme de deux dés fluctue moins qu’un dé × 2.
• Inégalité de Bienaymé-Tchebychev : au-delà de kσ de la moyenne se trouve au plus 1/k² de la probabilité.
• La covariance et la corrélation mesurent le lien linéaire entre deux variables ; une covariance nulle ne signifie pas pour autant l’indépendance.

Vous voyez les choses autrement ? Écrivez à support@coden-app.com.