Dérivées, gradient et règle de dérivation en chaîne : comment un modèle sait dans quelle direction apprendre

La dérivée comme taux de variation, les dérivées partielles, le gradient et la règle de dérivation en chaîne — et la rétropropagation calculée nombre par nombre sur un seul neurone.

14 minutes Matěj Žalmánek 2026-10-15

Série Bases de l’IA Partie 10 sur 52

1. Carte de l’intelligence artificielle : qu’est-ce qui est quoi et comment tout s’emboîte
2. Brève histoire de l’intelligence artificielle : de Turing aux modèles de langage
3. Données, modèle, entraînement, inférence : les notions de base sur un seul exemple
4. Lire la notation mathématique : symboles, indices, sommes et quantificateurs
5. Ensembles et relations : les briques dont sont faites les définitions en IA
6. Fonctions et applications : pourquoi tout modèle d’IA est une fonction
7. Logique et démonstrations : les règles selon lesquelles on raisonne en IA
8. Graphes et arbres : la structure sur laquelle reposent la recherche et les réseaux de neurones
9. Algèbre linéaire pour l’apprentissage automatique : vecteurs, matrices et pourquoi l’IA multiplie surtout
10. Dérivées, gradient et règle de dérivation en chaîne : comment un modèle sait dans quelle direction apprendre
11. Descente de gradient : comment un modèle apprend
12. Qu’est-ce que la probabilité : du lancer de dé aux axiomes de Kolmogorov
13. Probabilité conditionnelle et théorème de Bayes : comment réviser une estimation quand on apprend du nouveau
14. Variable aléatoire et fonction de répartition : une seule fonction qui dit tout de la loi
15. Fonction de densité et fonction de masse : pourquoi une variable continue a une probabilité nulle en chaque point
16. Espérance, variance et covariance : où se situe une loi, quelle est sa largeur et ce qui varie avec quoi
17. Panorama des lois de probabilité : Bernoulli, binomiale, Poisson, uniforme, normale et exponentielle
18. Loi des grands nombres et théorème central limite : pourquoi les moyennes sont si prévisibles
19. Statistique et estimation de paramètres : maximum de vraisemblance, MAP et intervalles de confiance
20. Théorie de l’information : entropie, entropie croisée et divergence KL — d’où viennent les fonctions de perte
21. Recherche dans l’espace d’états : BFS, DFS, UCS et A* en animations
22. Jeux et adversaires : minimax, élagage alpha-bêta et Monte Carlo tree search
23. Satisfaction de contraintes : backtracking, propagation de contraintes et AC-3 sur un sudoku et une carte des régions tchèques
24. Logique et systèmes à base de connaissances : chaînage avant et arrière, résolution et systèmes experts
25. Planification : STRIPS, monde des blocs, heuristiques par relaxation et planification dans les agents IA
26. Recherche locale et recuit simulé : un voyageur de commerce à travers les chefs-lieux de région tchèques
27. Algorithmes génétiques : population, croisement, mutation et sélection sur un sac à dos de randonnée
28. Stratégies d’évolution et programmation génétique : de la règle du cinquième à la loi de Kepler
29. Optimisation par colonies de fourmis : comment une piste de phéromone trouve un chemin court
30. Optimisation par essaim de particules : inertie, expérience propre et expérience de l’essaim
31. Neuroévolution : faire évoluer les poids et la forme des réseaux de neurones, et l’algorithme NEAT
32. Ensembles flous et fonctions d’appartenance : comment écrire « un peu chaud »
33. Logique floue et probabilité : pourquoi « un peu chaud » ne veut pas dire « probablement chaud »
34. Logique floue : t-normes, implications et règles SI–ALORS
35. Commande floue : Mamdani et Sugeno, du ventilateur au pendule inversé sur un chariot
36. Clustering flou : l’algorithme fuzzy c-means et les points entre les clusters
37. Systèmes neuro-flous (ANFIS) : des règles floues qui apprennent à partir des données
38. Chaînes de Markov : matrice de transition, distribution stationnaire et PageRank
39. Modèles de Markov cachés : l’algorithme de Viterbi et le casino malhonnête
40. Réseaux bayésiens : pourquoi l’herbe est mouillée et ce que cela implique pour l’arroseur
41. Le filtre de Kalman : comment estimer, à partir de mesures imprécises, où se trouve une voiture et à quelle vitesse elle roule
42. Types d’apprentissage automatique : supervisé, non supervisé, semi-supervisé et plus
43. Prompts, contexte et RAG : comment donner au modèle les bonnes informations
44. Autoencodeurs variationnels (VAE) : de nouvelles images à partir d’un espace latent continu
45. Réseaux antagonistes génératifs (GAN) : le faussaire contre le détective
46. Modèles de diffusion : comment une image naît du bruit pur
47. Processus de décision markoviens : états, actions, récompenses et équations de Bellman
48. Q-learning et DQN : apprendre la valeur des actions, du tableau au réseau de neurones
49. Policy gradient et PPO : apprendre directement la politique
50. Comment fonctionne un agent IA : un modèle de langage en boucle avec des outils
51. Programmer avec des agents IA : consigne, tests et vérification
52. Évaluation et sécurité des systèmes d’IA : comment mesurer et comment surveiller

Programme complet de la série 52 sur 83 sujets publiés

Un modèle apprend en modifiant ses paramètres à petits pas. Pour savoir dans quelle direction les modifier, il a besoin de la réponse à une seule question : si je tourne un peu ce bouton, comment l’erreur change-t-elle ? C’est la dérivée qui répond à cette question. Pour des millions de boutons à la fois, c’est le gradient. Et la façon de le calculer à travers tout un réseau de neurones, c’est la règle de dérivation en chaîne qui la donne.

Cette partie est le dernier morceau de mathématiques qui vous manque pour comprendre comment un réseau de neurones apprend réellement. Elle s’appuie sur les fonctions et sur le graphe de calcul d’un neurone de la partie sur les graphes.

1. La dérivée : à quelle vitesse une fonction varie

Définition — dérivée

La dérivée d’une fonction f au point x est la limite

f ′(x) = lim_{h → 0} (f(x + h) − f(x)) / h,

si elle existe. La fraction sous la limite est la pente de la sécante au graphe entre les points x et x + h ; la dérivée est la pente de la tangente. Autre notation : df/dx.

La sécante au graphe de f(x) = x² au point 3 a, pour h = 2, une pente de 8 ; pour h = 1, une pente de 7 ; pour 0,5, une pente de 6,5 et pour 0,1, une pente de 6,1. Plus le pas est petit, plus la sécante est proche de la tangente — et la dérivée vaut f ′(3) = 6 :

2. Règles et dérivées des fonctions de l’IA

En pratique, on ne calcule pas les dérivées avec la limite, mais à l’aide de règles. Les plus importantes :

Règles de dérivation

(c)′ = 0,   (xⁿ)′ = nxⁿ⁻¹,   (e^x)′ = e^x,   (ln x)′ = 1/x

(f + g)′ = f ′ + g ′,   (cf)′ = cf ′,   (fg)′ = f ′g + fg ′

Remarquez que la dérivée de la sigmoïde se calcule à partir de la seule valeur de la sigmoïde — cela économise du travail, car le réseau l’a de toute façon calculée lors de la passe avant. Et la dérivée de ReLU est la plus simple possible : soit 0, soit 1. C’est aussi pour cela que ReLU est si appréciée.

3. La dérivée montre le chemin vers le minimum

Théorème — condition nécessaire d’extremum

Si une fonction dérivable f admet au point x* un minimum ou un maximum local, alors f ′(x*) = 0. La réciproque est fausse : f ′ = 0 peut aussi se produire en un point d’inflexion (x³ en zéro).

Pour f(x) = x², on a f ′(x) = 2x, qui ne s’annule qu’au point 0 — et c’est là que se trouve le minimum. Pour des fonctions plus compliquées, on ne sait pas résoudre l’équation f ′ = 0, c’est pourquoi on cherche le minimum pas à pas : un peu dans le sens opposé à la dérivée, on recalcule, encore un peu.

4. Dérivées partielles

Définition — dérivée partielle

Pour f : ℝⁿ → ℝ, la dérivée partielle par rapport à x_i, ∂f/∂x_i, est la dérivée ordinaire par rapport à x_i lorsque toutes les autres variables sont maintenues constantes.

5. Le gradient : la direction de plus forte montée

Définition — gradient

Le gradient d’une fonction f : ℝⁿ → ℝ est le vecteur de toutes ses dérivées partielles : ∇f = (∂f/∂x₁, …, ∂f/∂x_n).

Théorème. Le gradient indique la direction dans laquelle la fonction croît le plus vite, et sa longueur est ce taux de croissance maximal. −∇f indique la direction de plus forte descente. Le gradient est perpendiculaire à la ligne de niveau.

Pour le bol f(x, y) = x² + 3y², on a ∇f = (2x, 6y) ; au point (1, 1), cela donne (2, 6). Les flèches de la figure montrent −∇f, c’est-à-dire par où descendre — et toutes traversent les lignes de niveau perpendiculairement vers le fond :

Les flèches ne visent pas directement le centre : dans la direction y, le bol est plus raide, donc le gradient y est plus grand. C’est justement ce « zigzag » qui gêne ensuite la descente de gradient dans les vallées étroites.

6. La règle de dérivation en chaîne

Théorème — dérivée d’une fonction composée

Pour une fonction composée h = g ∘ f, c’est-à-dire h(x) = g(f(x)), on a h ′(x) = g ′(f(x)) · f ′(x).

En notation de Leibniz, si y = g(u) et u = f(x) : dy/dx = (dy/du) · (du/dx). Dans une chaîne plus longue, on multiplie tous les maillons.

7. Rétropropagation dans un seul neurone

Assemblons maintenant le tout. Le neurone de la partie sur les graphes calcule ŷ = σ(wx + b) et son erreur est L = (ŷ − y)². Prenons l’entrée x = 2, le poids w = 0,5, le biais b = −0,5 et la bonne réponse y = 1.

La passe avant calcule les valeurs de gauche à droite : wx = 1, z = 0,5, ŷ = σ(0,5) ≈ 0,622 et l’erreur L ≈ 0,143.

La passe arrière parcourt le même graphe de droite à gauche et, à chaque sommet, multiplie ce qui arrive par la dérivée de l’opération correspondante :

Les deux gradients sont négatifs. Cela signifie que si l’on augmente un peu w et b, l’erreur diminue — le neurone répondra alors plus près de un. La descente de gradient fait exactement cela : elle déplace les paramètres d’un petit pas à l’opposé du gradient. Tout un réseau de neurones apprend de la même façon, sauf qu’au lieu d’un neurone, il en a des millions et que la passe arrière traverse des centaines de couches. D’ailleurs, le résultat peut se vérifier par force brute — décaler w d’un tout petit peu, recalculer l’erreur et diviser. On obtient la même chose, seulement plus lentement.

8. Les dérivées en intelligence artificielle

• Différentiation automatique — des bibliothèques comme PyTorch et JAX construisent un graphe de calcul pendant le calcul et obtiennent le gradient d’elles-mêmes par la passe arrière. Personne n’écrit à la main les dérivées d’un réseau.
• La différentiation numérique (petit h) est trop lente pour des millions de paramètres — un calcul supplémentaire par paramètre. La rétropropagation obtient toutes les dérivées partielles pour le coût d’environ une passe avant.
• Disparition du gradient — la dérivée de la sigmoïde vaut au plus 0,25. La règle de dérivation en chaîne à travers cinq sigmoïdes successives multiplie au plus par 0,25⁵ ≈ 0,001, si bien que les couches profondes n’apprennent presque pas. C’est pourquoi ReLU, de dérivée 1, s’est imposée dans les couches cachées.
• Le gradient par rapport à l’entrée montre quels pixels d’une image ont le plus influencé la décision du réseau — c’est ainsi qu’on dessine les « cartes de saillance » et qu’on cherche les points faibles des modèles.

9. Résumé

• La dérivée est un taux de variation — la pente de la tangente dont les sécantes se rapprochent.
• En un minimum, la dérivée est nulle, et son signe indique par où descendre.
• La dérivée partielle fait varier un seul bouton ; le gradient est le vecteur de toutes ces dérivées et pointe vers la montée la plus raide.
• La règle de dérivation en chaîne multiplie les dérivées des maillons d’une fonction composée.
• La rétropropagation, c’est la règle de dérivation en chaîne appliquée à un graphe de calcul — c’est ainsi qu’on calcule le gradient de tout un réseau de neurones.

Vous voyez les choses autrement ? Écrivez à support@coden-app.com.