Qu’est-ce que la probabilité : du lancer de dé aux axiomes de Kolmogorov
Expérience aléatoire, univers, événements et opérations sur eux, probabilité classique et fréquentielle et les axiomes sur lesquels repose tout le reste — avec l’exemple de deux dés.
Série Bases de l’IA Partie 12 sur 52
- Carte de l’intelligence artificielle : qu’est-ce qui est quoi et comment tout s’emboîte
- Brève histoire de l’intelligence artificielle : de Turing aux modèles de langage
- Données, modèle, entraînement, inférence : les notions de base sur un seul exemple
- Lire la notation mathématique : symboles, indices, sommes et quantificateurs
- Ensembles et relations : les briques dont sont faites les définitions en IA
- Fonctions et applications : pourquoi tout modèle d’IA est une fonction
- Logique et démonstrations : les règles selon lesquelles on raisonne en IA
- Graphes et arbres : la structure sur laquelle reposent la recherche et les réseaux de neurones
- Algèbre linéaire pour l’apprentissage automatique : vecteurs, matrices et pourquoi l’IA multiplie surtout
- Dérivées, gradient et règle de dérivation en chaîne : comment un modèle sait dans quelle direction apprendre
- Descente de gradient : comment un modèle apprend
- Qu’est-ce que la probabilité : du lancer de dé aux axiomes de Kolmogorov
- Probabilité conditionnelle et théorème de Bayes : comment réviser une estimation quand on apprend du nouveau
- Variable aléatoire et fonction de répartition : une seule fonction qui dit tout de la loi
- Fonction de densité et fonction de masse : pourquoi une variable continue a une probabilité nulle en chaque point
- Espérance, variance et covariance : où se situe une loi, quelle est sa largeur et ce qui varie avec quoi
- Panorama des lois de probabilité : Bernoulli, binomiale, Poisson, uniforme, normale et exponentielle
- Loi des grands nombres et théorème central limite : pourquoi les moyennes sont si prévisibles
- Statistique et estimation de paramètres : maximum de vraisemblance, MAP et intervalles de confiance
- Théorie de l’information : entropie, entropie croisée et divergence KL — d’où viennent les fonctions de perte
- Recherche dans l’espace d’états : BFS, DFS, UCS et A* en animations
- Jeux et adversaires : minimax, élagage alpha-bêta et Monte Carlo tree search
- Satisfaction de contraintes : backtracking, propagation de contraintes et AC-3 sur un sudoku et une carte des régions tchèques
- Logique et systèmes à base de connaissances : chaînage avant et arrière, résolution et systèmes experts
- Planification : STRIPS, monde des blocs, heuristiques par relaxation et planification dans les agents IA
- Recherche locale et recuit simulé : un voyageur de commerce à travers les chefs-lieux de région tchèques
- Algorithmes génétiques : population, croisement, mutation et sélection sur un sac à dos de randonnée
- Stratégies d’évolution et programmation génétique : de la règle du cinquième à la loi de Kepler
- Optimisation par colonies de fourmis : comment une piste de phéromone trouve un chemin court
- Optimisation par essaim de particules : inertie, expérience propre et expérience de l’essaim
- Neuroévolution : faire évoluer les poids et la forme des réseaux de neurones, et l’algorithme NEAT
- Ensembles flous et fonctions d’appartenance : comment écrire « un peu chaud »
- Logique floue et probabilité : pourquoi « un peu chaud » ne veut pas dire « probablement chaud »
- Logique floue : t-normes, implications et règles SI–ALORS
- Commande floue : Mamdani et Sugeno, du ventilateur au pendule inversé sur un chariot
- Clustering flou : l’algorithme fuzzy c-means et les points entre les clusters
- Systèmes neuro-flous (ANFIS) : des règles floues qui apprennent à partir des données
- Chaînes de Markov : matrice de transition, distribution stationnaire et PageRank
- Modèles de Markov cachés : l’algorithme de Viterbi et le casino malhonnête
- Réseaux bayésiens : pourquoi l’herbe est mouillée et ce que cela implique pour l’arroseur
- Le filtre de Kalman : comment estimer, à partir de mesures imprécises, où se trouve une voiture et à quelle vitesse elle roule
- Types d’apprentissage automatique : supervisé, non supervisé, semi-supervisé et plus
- Prompts, contexte et RAG : comment donner au modèle les bonnes informations
- Autoencodeurs variationnels (VAE) : de nouvelles images à partir d’un espace latent continu
- Réseaux antagonistes génératifs (GAN) : le faussaire contre le détective
- Modèles de diffusion : comment une image naît du bruit pur
- Processus de décision markoviens : états, actions, récompenses et équations de Bellman
- Q-learning et DQN : apprendre la valeur des actions, du tableau au réseau de neurones
- Policy gradient et PPO : apprendre directement la politique
- Comment fonctionne un agent IA : un modèle de langage en boucle avec des outils
- Programmer avec des agents IA : consigne, tests et vérification
- Évaluation et sécurité des systèmes d’IA : comment mesurer et comment surveiller
Programme complet de la série 52 sur 83 sujets publiés
- Ce que sont une expérience aléatoire, un univers et un événement — et pourquoi les événements sont des ensembles.
- Comment se calcule la probabilité classique et pourquoi la fréquence relative se stabilise quand le nombre d’essais augmente.
- Les trois axiomes de Kolmogorov et les règles qui en découlent : événement contraire et réunion.
Utile à connaître avant : Ensembles et relations : les briques dont sont faites les définitions en IA
Un modèle de langage ne choisit pas le mot suivant, mais les probabilités de tous les mots. Un classifieur ne dit pas « c’est un chat », mais « avec une probabilité de 0,93, c’est un chat ». Tout l’apprentissage automatique repose sur le calcul avec l’incertitude — et la probabilité est la langue dans laquelle on parle précisément de l’incertitude.
À l’école, on définit le plus souvent la probabilité comme « nombre de cas favorables divisé par le nombre de cas possibles ». C’est un bon début, mais cela ne suffit pas. Dans cette partie, nous irons de l’expérience aléatoire, en passant par les événements, jusqu’à la définition précise sur laquelle repose tout le reste. Tous les exemples portent sur deux dés. Il vous sera utile de connaître la partie sur les ensembles — les événements sont en effet des ensembles.
1. Expérience aléatoire et univers
Définition — expérience aléatoire
Une expérience aléatoire est un processus dont on ne connaît pas le résultat à l’avance, mais dont on sait quels résultats il peut prendre, et que l’on peut répéter (au moins en pensée) autant de fois qu’on le veut dans les mêmes conditions.
Un lancer de dé, un lancer de pièce, le tirage d’une carte, mais aussi « quel e-mail arrivera ensuite » ou « quel mot une personne va écrire ». On ne sait pas ce qui va sortir, mais on sait ce qui peut sortir.
Définition — univers
L’univers (ou espace des résultats) Ω est l’ensemble de tous les résultats possibles d’une expérience aléatoire. Ses éléments ω ∈ Ω sont appelés issues élémentaires.
L’univers est la liste complète de tout ce qui peut arriver. Pour un dé, c’est Ω = {1, 2, 3, 4, 5, 6}. Pour deux dés que l’on distingue (le premier et le second), ce sont tous les couples (premier, second) — 6 · 6 = 36 résultats.
2. Événements
Définition — événement
Un événement est une partie de l’univers, A ⊆ Ω. On dit que l’événement A est réalisé lorsque le résultat de l’expérience est un élément de A.
Un événement est une question à laquelle on peut répondre par oui ou par non après l’expérience : « la somme vaut-elle 7 ? » En tant qu’ensemble, on l’écrit en énumérant les résultats pour lesquels la réponse est oui : {(1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)}.
Définition — événement certain et événement impossible
L’événement certain est l’univers Ω tout entier — il se réalise toujours. L’événement impossible est l’ensemble vide ∅ — il ne se réalise jamais.
« La somme est comprise entre 2 et 12 » est un événement certain — cela ne peut pas se passer autrement. « La somme vaut 13 » est un événement impossible.
La grille montre les 36 résultats de deux dés ; la ligne correspond au premier dé, la colonne au second, et le nombre dans la case est la somme. Deux événements sont colorés : A = « la somme vaut 7 » et B = « au moins un des dés a donné un six » :
L’événement A compte 6 résultats, l’événement B 11. Deux résultats, (1, 6) et (6, 1), appartiennent aux deux — dans la grille, ils sont violets.
3. Opérations sur les événements
Comme les événements sont des ensembles, ils se combinent avec les mêmes opérations que les ensembles. Mais chaque opération a aussi un sens naturel en mots :
Définition — réunion d’événements
La réunion A ∪ B est l’événement « A ou B se réalise (ou les deux) ».
« La somme vaut 7, ou au moins un six est sorti » — dans la grille, toutes les cases colorées ensemble, il y en a 15.
Définition — intersection d’événements
L’intersection A ∩ B est l’événement « A et B se réalisent à la fois ».
« La somme vaut 7 et en même temps un six est sorti » — ce n’est possible que comme (1, 6) ou (6, 1), dans la grille deux cases violettes.
Définition — événement contraire
L’événement contraire Ac = Ω ∖ A est l’événement « A ne se réalise pas ».
Le contraire de « au moins un six » est « aucun six » — dans la grille, toutes les cases hors de la dernière ligne et de la dernière colonne, 5 · 5 = 25.
Définition — événements incompatibles
Les événements A et B sont incompatibles lorsqu’ils ne peuvent pas se réaliser à la fois : A ∩ B = ∅.
« La somme vaut 7 » et « on a fait un double » (les deux dés identiques) ne peuvent pas se réaliser à la fois — la somme de deux nombres égaux est toujours paire.
4. Probabilité classique
Définition — probabilité classique (Laplace)
Si Ω est fini et que toutes les issues élémentaires sont équiprobables, alors P(A) = |A| / |Ω|.
Quand chaque résultat a la même chance, il suffit de compter combien de résultats sont « pour » et de diviser par le nombre total. La somme 7 a 6 résultats favorables sur 36, donc P(A) = 6/36 = 1/6 ≈ 0,167.
Le piège est dans le mot « équiprobables ». Avec deux dés, les sommes ne sont pas équiprobables — la somme 2 ne sort que comme (1, 1), la somme 7 de six façons. C’est pourquoi on compte des couples, pas des sommes. Et pour beaucoup d’événements réels, il n’y a pas du tout de résultats équiprobables : quelle est la probabilité qu’il pleuve demain, ou qu’un e-mail soit un spam ? Là, la définition classique n’aide pas.
5. La probabilité comme fréquence à long terme
Définition — fréquence relative
Si l’on répète l’expérience n fois et que l’événement A se réalise nA fois, sa fréquence relative est nA / n.
La fréquence relative, c’est ce qui est réellement sorti : vous avez lancé une pièce dix fois, face est sorti sept fois — la fréquence relative vaut 0,7.
Avec peu d’essais, la fréquence relative saute dans tous les sens. Mais à mesure que les essais s’accumulent, elle se stabilise. Voici quatre simulations indépendantes de lancers de pièce :
La première simulation avait 70 % de « face » après 10 lancers, 40 % après 100 lancers, 49,4 % après 1000 lancers et 49,92 % après 10 000 lancers. On peut comprendre la probabilité comme le nombre dont la fréquence relative s’approche — c’est exactement ce que formulera plus tard la loi des grands nombres. C’est ainsi qu’on estime des probabilités à partir de données réelles : combien d’e-mails contenant un mot donné étaient des spams, combien de fois le mot « bonne » a été suivi de « journée ».
6. Les axiomes de Kolmogorov
La définition classique exige des résultats équiprobables, la définition fréquentielle une infinité d’essais. En 1933, Andreï Kolmogorov a défini la probabilité autrement : il ne dit pas comment la calculer, seulement quelles règles elle doit respecter. Chacun des points de vue précédents n’est alors qu’une des façons de satisfaire ces règles.
Définition — probabilité (axiomes de Kolmogorov)
Une probabilité est une fonction P qui associe à chaque événement A un nombre P(A) et qui vérifie trois axiomes :
- positivité : P(A) ≥ 0 pour tout événement A,
- normalisation : P(Ω) = 1,
- additivité : pour des événements deux à deux incompatibles A1, A2, …, on a P(A1 ∪ A2 ∪ …) = P(A1) + P(A2) + …
Trois règles raisonnables. Une probabilité n’est jamais négative. Il faut bien que quelque chose arrive, donc l’univers entier a une probabilité de 1. Et quand deux choses s’excluent mutuellement, la chance que l’une ou l’autre arrive est la somme de leurs chances. Tout le reste en découle.
7. Règles qui découlent des axiomes
Théorème — probabilité de l’événement contraire
P(Ac) = 1 − P(A). En particulier, P(∅) = 0 et 0 ≤ P(A) ≤ 1.
Il est souvent plus facile de calculer le contraire. « Au moins un six » a pour contraire « aucun six », qui compte 25 résultats sur 36. Donc P(au moins un six) = 1 − 25/36 = 11/36 ≈ 0,306.
Théorème — probabilité d’une réunion
Pour des événements quelconques A, B, on a P(A ∪ B) = P(A) + P(B) − P(A ∩ B).
Quand vous additionnez des événements qui se chevauchent, vous comptez la partie commune deux fois — et vous devez la soustraire une fois. Pour une somme de 7 ou un six : 6/36 + 11/36 − 2/36 = 15/36. C’est exactement le nombre de cases colorées dans la grille.
8. La probabilité en intelligence artificielle
- Les classifieurs renvoient des probabilités de classes ; le softmax de la partie sur la classification garantit qu’elles sont positives et de somme 1 — exactement selon les axiomes.
- Les modèles de langage sont des lois de probabilité sur le mot suivant. Pour écrire un texte, ils y tirent au sort.
- L’estimation à partir des données est une fréquence relative : le modèle apprend les probabilités « observées » dans les données d’entraînement.
- Incertitude — un bon modèle sait quand il n’est pas sûr. Les probabilités 0,51 et 0,99 donnent la même classe, mais un degré de confiance tout à fait différent.
La partie suivante montrera comment modifier une probabilité quand on apprend quelque chose de nouveau — la probabilité conditionnelle et le théorème de Bayes.
9. Résumé
- Une expérience aléatoire a un univers Ω ; un événement est une partie de Ω.
- Les événements se combinent comme des ensembles : la réunion est « ou », l’intersection « et à la fois », l’événement contraire « non ».
- La probabilité classique, c’est favorables divisés par possibles — uniquement pour des résultats équiprobables.
- La fréquence relative se stabilise quand le nombre d’essais augmente ; la probabilité est le nombre dont elle s’approche.
- Axiomes de Kolmogorov : positivité, P(Ω) = 1 et additivité pour les événements incompatibles. On en déduit la règle du complémentaire et la formule de la réunion.
Vous voyez les choses autrement ? Écrivez à support@coden-app.com.