Policy gradient et PPO : apprendre directement la politique

Une politique stochastique π_θ(a | s) est un réseau de paramètres θ qui, pour l’état s, renvoie une distribution de probabilité sur les actions — pour un nombre fini d’actions, le softmax des sorties du réseau, pour des actions continues, par exemple la moyenne et la variance d’une loi normale. Le but est de maximiser le retour espéré J(θ) = E_πθ[G₀] par montée de gradient θ ← θ + α ∇J(θ).

La récompense est +1 pour chaque pas et l’actualisation γ = 0,99. S’il reste T − t pas jusqu’à la fin de l’épisode, le retour est une série géométrique :

G_t = 1 + γ + γ² + … + γ^T−t−1 = (1 − γ^T−t) / (1 − γ).

Au début d’un épisode qui tient les 500 pas complets : G₀ = (1 − 0,99⁵⁰⁰) / 0,01 = 99,34. Vingt pas avant la chute : G = (1 − 0,99²⁰) / 0,01 = 18,21. Le pas juste avant la chute : G = 1. Le retour est donc toujours positif et ne dépasse jamais 1 / (1 − γ) = 100 — cela servira dans la section sur la ligne de base.

Le gradient du retour espéré peut s’écrire comme une espérance, que l’on peut estimer à partir d’épisodes joués :

∇J(θ) = E_πθ[ ∑_t ∇ log π_θ(a_t | s_t) · G_t ].

REINFORCE (Ronald Williams, 1992) le fait littéralement : jouer des épisodes, calculer pour chaque pas le retour G_t à partir de ce pas, et déplacer θ dans la direction ∇ log π(a_t | s_t) · G_t. Pour le softmax, ∇ log π(a) par rapport aux sorties du réseau vaut simplement (1_a − π).

Un épisode τ = (s₀, a₀, s₁, a₁, …) a, sous la politique π_θ, la probabilité P_θ(τ) = p(s₀) ∏_t π_θ(a_t | s_t) P(s_t+1 | s_t, a_t) et le retour G(τ). Alors

∇J(θ) = ∇ ∑_τ P_θ(τ) G(τ) = ∑_τ P_θ(τ) · ∇ log P_θ(τ) · G(τ) = E_{τ ∼ πθ}[ ∇ log P_θ(τ) · G(τ) ],

car ∇P = P · ∇ log P. Démonstration (esquisse) : le logarithme transforme le produit en somme, log P_θ(τ) = log p(s₀) + ∑_t log π_θ(a_t | s_t) + ∑_t log P(s_t+1 | s_t, a_t). Seule la somme du milieu dépend de θ, donc nous n’avons pas besoin de connaître la physique de l’environnement P : ∇ log P_θ(τ) = ∑_t ∇ log π_θ(a_t | s_t). Enfin, pour chaque a_t, nous écartons les récompenses antérieures au pas t : elles ne dépendent pas de a_t, et leur contribution est donc d’espérance nulle (voir le théorème de la section suivante). Il reste G_t. ∎ (L’énoncé exact pour le retour actualisé est un peu plus subtil ; ici, simplifié.)

Deux actions, sorties du réseau z = (0; 0), donc π = softmax(z) = (0,50; 0,50). L’agent a joué l’action 1 (« à droite ») et le retour à partir de ce pas était G = 10. Pour le softmax, ∇_z log π(a) = 1_a − π, donc

∇_z log π(1) · G = ((0; 1) − (0,50; 0,50)) · 10 = (−5; 5).

Un pas de montée avec α = 0,1 : z ← (0; 0) + 0,1 · (−5; 5) = (−0,5; 0,5). Nouvelle politique π = (e^−0,5; e^0,5) / (e^−0,5 + e^0,5) = (0,269; 0,731). L’action qui a réussi est maintenant plus probable. (Dans un vrai réseau, ce sont les poids θ qui changent, et le gradient arrive jusqu’à z par rétropropagation ; la direction est la même.)

On peut soustraire de G_t n’importe quelle fonction de l’état b(s_t) sans changer l’espérance de l’estimation du gradient, car E[∇ log π(a | s)] = 0. La variance de l’estimation peut en revanche nettement diminuer. Le meilleur choix courant est la valeur de l’état V(s), apprise par un second réseau ; la différence A(s, a) = Q(s, a) − V(s) s’appelle l’avantage. Les méthodes avec une politique apprise (« acteur ») et une valeur apprise (« critique ») s’appellent acteur-critique (actor-critic).

Pour chaque état s, E_{a ∼ πθ}[∇ log π_θ(a | s)] = 0, et donc E[∇ log π_θ(a | s) · b(s)] = 0 pour toute fonction b qui ne dépend pas de a.

Démonstration : ∑_a π_θ(a | s) ∇ log π_θ(a | s) = ∑_a ∇π_θ(a | s) = ∇ ∑_a π_θ(a | s) = ∇1 = 0. Le terme b(s) est une constante pour s fixé, on peut donc le sortir de la somme. ∎

Un état, deux actions avec π = (0,5; 0,5). L’action 1 rapporte un retour de 12, l’action 0 un retour de 10 — tous deux positifs, comme sur le pendule. La composante de l’estimation du gradient selon la sortie z₁ vaut, à partir d’un seul échantillon, (1_a=1 − 0,5) · (G − b).

Sans ligne de base (b = 0) : si l’action 1 tombe, l’estimation vaut 0,5 · 12 = 6 ; si c’est l’action 0, elle vaut −0,5 · 10 = −5. Moyenne (6 − 5) / 2 = 0,5, variance ((6 − 0,5)² + (−5 − 0,5)²) / 2 = 30,25.

Avec la ligne de base b = 11 (retour moyen) : 0,5 · (12 − 11) = 0,5 et −0,5 · (10 − 11) = 0,5. La moyenne vaut toujours 0,5, la variance 0.

Le vrai gradient vaut π₁(1 − π₁) · (12 − 10) = 0,25 · 2 = 0,5. Les deux estimations visent juste en moyenne, mais sans la barre un échantillon tombe à côté de ±5,5, avec la barre pas du tout. En réalité, la variance ne tombe pas à zéro (les retours sont aléatoires et les états nombreux), mais le principe est le même.

À partir de K = 40 lots, nous avons des estimations du gradient ĝ⁽¹⁾, …, ĝ^(K) (vecteurs de tous les poids du réseau). Pour chaque composante j, nous calculons la variance sur les lots et nous additionnons :

∑_j (1/K) ∑_k (ĝ_j^(k) − ḡ_j)²,   ḡ_j = (1/K) ∑_k ĝ_j^(k).

C’est la trace de la matrice de covariance de l’estimation — un seul nombre pour dire à quel point l’estimation tremble. Baisse : 1 − 0,131 / 0,177 = 0,26, soit 26 %.

PPO (John Schulman et al., OpenAI, 2017) collecte un lot de transitions avec l’ancienne politique π_old, calcule les avantages Â_t, puis maximise pendant plusieurs époques l’objectif écrêté

L(θ) = E_t[ min( r_t(θ) Â_t, clip(r_t(θ), 1 − ε, 1 + ε) Â_t ) ],   r_t(θ) = π_θ(a_t | s_t) / π_old(a_t | s_t),

typiquement avec ε = 0,2. Dès que la probabilité d’une action change de plus de ε dans le sens qui améliore l’objectif, le gradient de cet échantillon disparaît. Les avantages sont habituellement estimés par la méthode GAE (generalized advantage estimation), une moyenne pondérée des erreurs TD avec le paramètre λ.

L’ancienne politique donnait à l’action jouée la probabilité 0,5. Après quelques pas d’apprentissage, c’est 0,65, donc r = 0,65 / 0,5 = 1,3 et clip(1,3; 0,8; 1,2) = 1,2.

Avantage +2 : min(1,3 · 2; 1,2 · 2) = min(2,6; 2,4) = 2,4. C’est le terme écrêté qui l’emporte, et il ne dépend pas de θ — le gradient de cet échantillon est nul. L’action est déjà 30 % plus fréquente, pas davantage.

Avantage −2 (même rapport) : min(−2,6; −2,4) = −2,6. C’est le terme non écrêté qui l’emporte : la politique a rendu par erreur une mauvaise action plus probable, et le gradient continue donc de la ramener en arrière.

Avantage +2, mais la probabilité est tombée à 0,35 : r = 0,7, min(1,4; 0,8 · 2 = 1,6) = 1,4. De nouveau le terme non écrêté — une bonne action que la politique a réprimée revient. L’écrêtage ne freine que les pas qui amélioreraient l’objectif « trop ».

La divergence KL de la partie sur la théorie de l’information, ici avec le logarithme naturel (unité nat ; 1 nat = 1 / ln 2 ≈ 1,44 bit), moyennée sur les états du lot :

D_KL(π_old ‖ π_θ) = E_{s, a ∼ πold}[ log π_old(a | s) − log π_θ(a | s) ] ≈ (1/N) ∑_i=1^N [ log π_old(a_i | s_i) − log π_θ(a_i | s_i) ].

Les actions a_i ont été jouées par l’ancienne politique, donc la moyenne sur le lot est une estimation sans biais. C’est la moyenne du logarithme du rapport, et e^−D est donc la moyenne géométrique du rapport π_θ / π_old sur les actions collectées.

Ce que cela signifie en chiffres : pour PPO au plus 0,06 nat, e^−0,06 = 0,94 — les actions de l’ancien lot sont typiquement de quelques pour cent moins probables, les données renseignent encore sur la nouvelle politique. Sans écrêtage jusqu’à 24,9 nats : e^−24,9 ≈ 1,5 · 10⁻¹¹, la nouvelle politique ne jouerait presque jamais les actions dont elle vient d’apprendre.

Pour une requête x et une réponse y générée par le modèle en cours d’ajustement π_θ, PPO reçoit la récompense

R(x, y) = r_φ(x, y) − β · log [ π_θ(y | x) / π_ref(y | x) ],

où r_φ est le modèle de récompense, π_ref le modèle figé après le réglage fin sur des exemples (SFT) et β la force de la pénalité (c’est ainsi que l’écrit InstructGPT, Long Ouyang et al., 2022). L’espérance du second terme sur les réponses vaut exactement β · D_KL(π_θ ‖ π_ref). Un épisode est une réponse, les actions sont des tokens, la récompense r_φ n’arrive qu’après le dernier token ; le reste est PPO tel que décrit plus haut.

Le modèle répond quatre fois à un problème, correctement seulement la première fois : récompenses (1; 0; 0; 0). Moyenne 0,25, écart type √((0,75² + 3 · 0,25²) / 4) = √0,1875 = 0,433.

Avantages : (1 − 0,25) / 0,433 = 1,732 pour la réponse correcte et (0 − 0,25) / 0,433 = −0,577 pour chacune des trois mauvaises. La somme est nulle : la bonne est renforcée, les mauvaises sont réprimées. Si les quatre réponses étaient toutes justes (ou toutes fausses), tous les avantages seraient nuls et la question n’apprendrait rien — on n’apprend que des questions où le modèle tombe parfois juste et parfois non. (Nous divisons par G ; certaines implémentations divisent par G − 1, les nombres diffèrent alors légèrement.)