Fonction de densité et fonction de masse : pourquoi une variable continue a une probabilité nulle en chaque point
Fonction de masse, densité de probabilité et aire sous la courbe — pourquoi une densité n’est pas une probabilité, peut dépasser 1 et comment l’estimer à partir des données avec un histogramme.
Série Bases de l’IA Partie 15 sur 52
- Carte de l’intelligence artificielle : qu’est-ce qui est quoi et comment tout s’emboîte
- Brève histoire de l’intelligence artificielle : de Turing aux modèles de langage
- Données, modèle, entraînement, inférence : les notions de base sur un seul exemple
- Lire la notation mathématique : symboles, indices, sommes et quantificateurs
- Ensembles et relations : les briques dont sont faites les définitions en IA
- Fonctions et applications : pourquoi tout modèle d’IA est une fonction
- Logique et démonstrations : les règles selon lesquelles on raisonne en IA
- Graphes et arbres : la structure sur laquelle reposent la recherche et les réseaux de neurones
- Algèbre linéaire pour l’apprentissage automatique : vecteurs, matrices et pourquoi l’IA multiplie surtout
- Dérivées, gradient et règle de dérivation en chaîne : comment un modèle sait dans quelle direction apprendre
- Descente de gradient : comment un modèle apprend
- Qu’est-ce que la probabilité : du lancer de dé aux axiomes de Kolmogorov
- Probabilité conditionnelle et théorème de Bayes : comment réviser une estimation quand on apprend du nouveau
- Variable aléatoire et fonction de répartition : une seule fonction qui dit tout de la loi
- Fonction de densité et fonction de masse : pourquoi une variable continue a une probabilité nulle en chaque point
- Espérance, variance et covariance : où se situe une loi, quelle est sa largeur et ce qui varie avec quoi
- Panorama des lois de probabilité : Bernoulli, binomiale, Poisson, uniforme, normale et exponentielle
- Loi des grands nombres et théorème central limite : pourquoi les moyennes sont si prévisibles
- Statistique et estimation de paramètres : maximum de vraisemblance, MAP et intervalles de confiance
- Théorie de l’information : entropie, entropie croisée et divergence KL — d’où viennent les fonctions de perte
- Recherche dans l’espace d’états : BFS, DFS, UCS et A* en animations
- Jeux et adversaires : minimax, élagage alpha-bêta et Monte Carlo tree search
- Satisfaction de contraintes : backtracking, propagation de contraintes et AC-3 sur un sudoku et une carte des régions tchèques
- Logique et systèmes à base de connaissances : chaînage avant et arrière, résolution et systèmes experts
- Planification : STRIPS, monde des blocs, heuristiques par relaxation et planification dans les agents IA
- Recherche locale et recuit simulé : un voyageur de commerce à travers les chefs-lieux de région tchèques
- Algorithmes génétiques : population, croisement, mutation et sélection sur un sac à dos de randonnée
- Stratégies d’évolution et programmation génétique : de la règle du cinquième à la loi de Kepler
- Optimisation par colonies de fourmis : comment une piste de phéromone trouve un chemin court
- Optimisation par essaim de particules : inertie, expérience propre et expérience de l’essaim
- Neuroévolution : faire évoluer les poids et la forme des réseaux de neurones, et l’algorithme NEAT
- Ensembles flous et fonctions d’appartenance : comment écrire « un peu chaud »
- Logique floue et probabilité : pourquoi « un peu chaud » ne veut pas dire « probablement chaud »
- Logique floue : t-normes, implications et règles SI–ALORS
- Commande floue : Mamdani et Sugeno, du ventilateur au pendule inversé sur un chariot
- Clustering flou : l’algorithme fuzzy c-means et les points entre les clusters
- Systèmes neuro-flous (ANFIS) : des règles floues qui apprennent à partir des données
- Chaînes de Markov : matrice de transition, distribution stationnaire et PageRank
- Modèles de Markov cachés : l’algorithme de Viterbi et le casino malhonnête
- Réseaux bayésiens : pourquoi l’herbe est mouillée et ce que cela implique pour l’arroseur
- Le filtre de Kalman : comment estimer, à partir de mesures imprécises, où se trouve une voiture et à quelle vitesse elle roule
- Types d’apprentissage automatique : supervisé, non supervisé, semi-supervisé et plus
- Prompts, contexte et RAG : comment donner au modèle les bonnes informations
- Autoencodeurs variationnels (VAE) : de nouvelles images à partir d’un espace latent continu
- Réseaux antagonistes génératifs (GAN) : le faussaire contre le détective
- Modèles de diffusion : comment une image naît du bruit pur
- Processus de décision markoviens : états, actions, récompenses et équations de Bellman
- Q-learning et DQN : apprendre la valeur des actions, du tableau au réseau de neurones
- Policy gradient et PPO : apprendre directement la politique
- Comment fonctionne un agent IA : un modèle de langage en boucle avec des outils
- Programmer avec des agents IA : consigne, tests et vérification
- Évaluation et sécurité des systèmes d’IA : comment mesurer et comment surveiller
Programme complet de la série 52 sur 83 sujets publiés
- Ce qu’est la fonction de masse d’une variable discrète et quel est son lien avec la fonction de répartition.
- Ce qu’est une densité, pourquoi la probabilité d’un intervalle est l’aire sous elle et pourquoi une densité peut dépasser 1.
- Comment estimer une densité à partir des données avec un histogramme, et à quoi servent les densités en intelligence artificielle.
Utile à connaître avant : Variable aléatoire et fonction de répartition : une seule fonction qui dit tout de la loi, Dérivées, gradient et règle de dérivation en chaîne : comment un modèle sait dans quelle direction apprendre
La partie sur la variable aléatoire s’est terminée sur un paradoxe : attendre le bus exactement 3 minutes a une probabilité nulle — et pourtant, vous attendrez bien une durée précise. La fonction de répartition sait en tenir compte, mais elle n’est pas très parlante. Cette partie présente deux fonctions bien plus faciles à dessiner et à lire : la fonction de masse pour les variables discrètes et la densité pour les variables continues.
1. Fonction de masse
Définition — fonction de masse
Pour une variable aléatoire discrète X de valeurs x1, x2, …, la fonction de masse est
pX(x) = P(X = x), x ∈ ℝ.
Elle indique, pour chaque valeur, avec quelle probabilité elle sort. Pour la somme de deux dés, p(7) = 6/36 ≈ 0,167, p(2) = 1/36 et p(7,5) = 0 — une somme de 7,5 ne peut pas sortir. En anglais, on parle de probability mass function, ou PMF : la probabilité est une « masse » concentrée en des points isolés.
Théorème — propriétés de la fonction de masse
Pour la fonction de masse p d’une variable discrète X de fonction de répartition F, on a
- p(x) ≥ 0 pour tout x ;
- ∑i p(xi) = 1 ;
- F(x) = ∑xi ≤ x p(xi).
Les bâtons ne sont jamais négatifs et, ensemble, ils font un. La fonction de répartition de la partie précédente n’est que la somme cumulée des bâtons depuis la gauche : F(7) = 1/36 + 2/36 + … + 6/36 = 21/36. Inversement, p(x) est la hauteur de la marche que fait F au point x.
2. Pourquoi une variable continue n’a pas de probabilité en un point
Prenons une variable continue : le temps X, en minutes, avant que vous arrive le prochain e-mail, sachant qu’il en arrive un toutes les 2 minutes en moyenne. Une telle attente suit une loi exponentielle, de fonction de répartition F(x) = 1 − e−0,5x pour x ≥ 0 (pourquoi celle-là précisément, la partie sur les lois le montrera). La fonction de masse ne sert à rien ici — elle serait nulle en chaque point. Prenons donc, au lieu d’un point, l’intervalle [2, 2 + h] et rétrécissons-le :
| largeur h | P(2 < X ≤ 2 + h) | P / h |
|---|---|---|
| 2 | 0,2325 | 0,1163 |
| 1 | 0,1447 | 0,1447 |
| 0,5 | 0,0814 | 0,1627 |
| 0,1 | 0,0179 | 0,1794 |
| 0,01 | 0,0018 | 0,1835 |
| → 0 | → 0 | → f(2) ≈ 0,1839 |
La probabilité de l’intervalle tend vers zéro — 0,2325, 0,1447, …, 0,0018 —, et c’est pourquoi on obtient zéro en un seul point. Mais la probabilité par unité de longueur, c’est-à-dire P / h, se stabilise : 0,1163, 0,1447, 0,1627, 0,1794, 0,1835… et s’approche de 0,1839. Ce nombre-là dit quelque chose du point 2 : combien de probabilité revient à chaque minute autour de la deuxième minute. C’est la densité.
3. L’aire sous la courbe : l’intégrale
Définition — intégrale
Pour une fonction f sur l’intervalle [a, b], découpons l’intervalle en n morceaux de largeur Δx = (b − a) / n, avec des points xi à l’intérieur des morceaux. L’intégrale est la limite des sommes
∫ab f(x) dx = limn→∞ ∑i=1n f(xi) · Δx,
si elle existe et ne dépend pas du choix des points xi.
L’intégrale est l’aire sous le graphe de la fonction entre a et b. On la découpe en rectangles étroits « hauteur fois largeur », on les additionne, et plus les rectangles sont étroits, plus le résultat est précis. C’est l’opération inverse de la dérivée : la dérivée dit à quelle vitesse quelque chose augmente, l’intégrale additionne de combien il a augmenté au total.
4. Fonction de densité
Définition — densité de probabilité
Une fonction f : ℝ → [0, ∞) est la densité d’une variable aléatoire X si, pour tout x ∈ ℝ,
FX(x) = ∫−∞x f(t) dt.
Une variable qui possède une densité est dite absolument continue.
La densité est une courbe sous laquelle se trouve toute la probabilité. L’aire sous elle à gauche de x est la probabilité que la variable vaille au plus x. Là où la courbe est haute, les valeurs tombent souvent ; là où elle est basse, rarement. Pour l’attente d’un e-mail, elle est maximale en zéro puis décroît — les attentes courtes sont fréquentes, les longues sont rares.
Théorème — la probabilité comme aire
Si X a pour densité f, alors pour a < b
P(a < X ≤ b) = ∫ab f(x) dx = F(b) − F(a),
∫−∞∞ f(x) dx = 1 et, en tout point où F est dérivable, f(x) = F′(x).
La probabilité d’un intervalle est l’aire sous la densité au-dessus de cet intervalle, et l’aire totale vaut 1. La densité est la dérivée de la fonction de répartition — exactement ce vers quoi tendait le rapport P / h dans le tableau. Pour l’attente d’un e-mail, on obtient f(x) = 0,5 · e−0,5x.
Que l’e-mail arrive entre la première et la troisième minute, c’est l’aire sous la courbe entre 1 et 3 : F(3) − F(1) = e−0,5 − e−1,5 ≈ 0,383.
5. La densité n’est pas une probabilité
La valeur de la densité en un point n’est pas une probabilité — c’est une probabilité par unité. Pour obtenir une probabilité, il faut la multiplier par la largeur de l’intervalle : pour un intervalle étroit, P(x < X ≤ x + h) ≈ f(x) · h. Pour x = 2 et h = 0,1, cela donne 0,1839 · 0,1 ≈ 0,0184 ; la vraie valeur est 0,0179.
C’est pourquoi une densité peut dépasser 1. Si vous arrivez à un arrêt desservi toutes les trente secondes, l’attente est uniforme sur l’intervalle [0 ; 0,5] et la densité y vaut partout 2 — l’aire du rectangle 0,5 × 2 vaut toujours 1. C’est comme la densité de population : 2 000 habitants au km² ne disent pas combien de personnes vivent dans une maison — pour obtenir un nombre, il faut multiplier la densité par la surface.
6. Estimer la densité à partir des données : l’histogramme
Définition — l’histogramme comme estimation de la densité
Découpons l’axe en classes de largeur w. Pour des données x1, …, xn, l’histogramme est la fonction qui, sur la classe B, prend la valeur
f̂(x) = (nombre de i tels que xi ∈ B) / (n · w), x ∈ B.
On compte combien de mesures tombent dans chaque classe, puis on divise par le nombre de mesures et par la largeur de la classe — l’aire totale des barres vaut alors exactement 1 et l’histogramme est une estimation de la densité. C’est la même chose que le rapport P / h, sauf qu’au lieu de la vraie probabilité on utilise la part des données.
Nous avons simulé 100, 1 000 et 10 000 attentes d’un e-mail (avec des classes de 0,5 minute) et tracé la vraie densité par-dessus les histogrammes :
Avec 100 attentes, une barre s’écarte de la réalité de jusqu’à 0,098, avec 1 000 de 0,017 et avec 10 000 de 0,008. La part des attentes d’au plus une minute vaut 0,440, 0,397 et 0,390 — la vraie probabilité est F(1) ≈ 0,393. À mesure que les données s’accumulent, l’histogramme épouse la densité, tout comme la fonction de répartition empirique épousait la vraie.
7. Discret et continu côte à côte
| Variable discrète | Variable continue | |
|---|---|---|
| Décrite par | la fonction de masse p(x) | la densité f(x) |
| P(X = x) | p(x) | 0 |
| Valeurs | entre 0 et 1 | ≥ 0, peuvent dépasser 1 |
| Au total | ∑ p(xi) = 1 | ∫ f(x) dx = 1 |
| P(a < X ≤ b) | somme des bâtons | aire sous la courbe |
| Fonction de répartition | en escalier, sauts de p(x) | continue, de pente f(x) |
8. Densités et fonctions de masse en intelligence artificielle
- Un classifieur et un modèle de langage renvoient une fonction de masse. La dernière couche (softmax) attribue à chaque classe ou à chaque mot un nombre entre 0 et 1, et leur somme vaut 1 — exactement les propriétés d’une fonction de masse.
- Vraisemblance. Le modèle apprend de sorte que les données d’entraînement aient la plus grande probabilité possible (pour des données discrètes) ou la plus grande densité (pour des données continues). Le logarithme négatif de ce nombre est une fonction de perte courante.
- Détection d’anomalies. Le modèle estime la densité du trafic habituel ; une transaction ou une mesure située là où la densité est très faible est suspecte.
- Les modèles génératifs apprennent la densité d’images, de sons ou de textes — et une nouvelle image est un échantillon tiré de cette densité apprise.
9. Résumé
- Une variable discrète est décrite par sa fonction de masse p(x) = P(X = x) ; les bâtons font 1 au total.
- Une variable continue a une probabilité 0 en chaque point ; ce qui a un sens, c’est la probabilité par unité de longueur — la densité.
- La densité f est la dérivée de la fonction de répartition, et la probabilité d’un intervalle est l’aire sous elle — une intégrale.
- La densité n’est pas une probabilité et peut dépasser 1 ; l’aire totale sous elle vaut toujours 1.
- Un histogramme divisé par le nombre de données et la largeur des classes estime la densité à partir des données.
Vous voyez les choses autrement ? Écrivez à support@coden-app.com.