Brève histoire de l’intelligence artificielle : de Turing aux modèles de langage

Le test de Turing, l’atelier de Dartmouth, les années dorées, deux hivers de l’IA et les systèmes experts, l’apprentissage statistique, l’apprentissage profond et les modèles de langage — une chronologie avec des liens vers les parties de la série et la leçon amère de soixante-dix ans de recherche.

10 minutes Matěj Žalmánek 2026-10-16

Série Bases de l’IA Partie 2 sur 52

Programme complet de la série 52 sur 83 sujets publiés

Ce que vous retiendrez

Comment l’IA s’est développée et pourquoi l’enthousiasme a alterné avec les hivers.
D’où viennent les idées sur lesquelles reposent les modèles actuels.
Ce qu’est la leçon amère et pourquoi les méthodes générales qui disposent de beaucoup de calcul l’emportent.

Utile à connaître avant : Carte de l’intelligence artificielle : qu’est-ce qui est quoi et comment tout s’emboîte

L’intelligence artificielle n’est pas nouvelle. Son histoire est plus ancienne que l’ordinateur personnel et ressemble à des montagnes russes : des périodes d’enthousiasme et de grandes promesses, suivies de désillusion et d’argent qui se tarit — les « hivers » —, puis un nouvel essor quand il s’avérait qu’une vieille idée fonctionnait tout à coup. La plupart des idées sur lesquelles reposent les modèles de langage actuels ont été inventées il y a des décennies. Dans cette partie, nous les parcourons dans l’ordre où elles sont apparues, et pour chacune de celles que la série explique, vous trouverez un lien vers la partie correspondante.

Elle fait suite à la partie Carte de l’intelligence artificielle.

Chronologie de l’intelligence artificielle (en vert les périodes d’essor, en violet les hivers)

1. Les débuts : une machine peut-elle penser ?

Définition — test de Turing

En 1950, Alan Turing a remplacé la question floue « les machines peuvent-elles penser ? » par une épreuve : un juge échange des messages écrits avec deux interlocuteurs cachés, un humain et une machine, et doit reconnaître qui est qui. Si la machine parvient à se faire passer pour un humain aussi bien qu’un humain, nous n’avons selon Turing aucune raison de lui refuser l’intelligence. Turing lui-même parlait du « jeu de l’imitation ».

En termes simples

Au lieu d’un débat philosophique, une épreuve pratique : si vous écrivez à quelqu’un et ne pouvez pas dire s’il s’agit d’un humain ou d’un programme, alors pour vous, c’est de l’intelligence. Les modèles de langage actuels réussissent souvent cette épreuve dans une courte conversation — et il s’avère que cela en dit moins sur l’intelligence qu’on ne le pensait.

Définition — le test de Turing comme test statistique

Le juge mène n conversations indépendantes et, dans chacune, désigne l’interlocuteur qui est la machine. Soit S le nombre de désignations correctes. Si la machine est indiscernable d’un humain, le juge ne fait que deviner et S ~ Bin(n, ½), donc ES = n/2 et l’écart type vaut σ = √n / 2. La machine réussit le test si le résultat ne diffère pas statistiquement du hasard : |z| < 1,96 (test bilatéral au seuil de 5 %, approximation normale de la loi binomiale).

Remarque. Il s’agit d’une formalisation actuelle, pas de celle de Turing. En 1950, Turing a décrit le test avec des mots et, au lieu d’un seuil, a fait une prédiction : vers l’an 2000, un juge moyen, après cinq minutes de conversation, n’identifierait pas correctement la machine avec une probabilité supérieure à 70 %.

En termes simples

Une seule conversation ne prouve rien — le juge peut tomber juste par hasard. C’est pourquoi on mène beaucoup de conversations et on se demande si le juge reconnaît la machine plus souvent que s’il jouait à pile ou face. Sinon, la machine a réussi.

z = (S − n/2) / √n / 2

S: combien de fois le juge a reconnu la machine — la seule chose que le test mesure
n/2: combien de fois il tomberait juste en devinant au hasard ; on le soustrait parce que seul ce qui est au-dessus du hasard est intéressant
√n / 2: la dispersion typique du hasard ; en divisant, on compare l’excédent au bruit ordinaire — 6 de plus sur 100 conversations, ce n’est pas la même chose que 6 de plus sur 10 000

De combien d’« écarts ordinaires » le juge fait mieux qu’une pièce de monnaie.

Exemple — 100 conversations

Le juge a reconnu la machine dans 56 conversations sur 100. En devinant, il en attendrait 100/2 = 50, l’écart vaut √100 / 2 = 5, donc z = (56 − 50) / 5 = 1,2. C’est moins que 1,96 — cela ne diffère pas du hasard et la machine a réussi. Elle aurait échoué si le juge avait vu juste dans au moins 50 + 1,96 · 5 = 59,8, c’est-à-dire 60 conversations.

1943 Neurone artificiel. Warren McCulloch et Walter Pitts ont décrit le neurone comme un élément logique à seuil. → partie de la série
1950 Test de Turing. Alan Turing, dans l’article Computing Machinery and Intelligence, a proposé le jeu de l’imitation à la place de la question « les machines pensent-elles ? ».
1950 Échecs par recherche. Claude Shannon a décrit comment un ordinateur jouerait aux échecs : explorer les coups jusqu’à une certaine profondeur et évaluer les positions par une fonction. → partie de la série

2. Les années dorées (1956–1974)

Lors d’un atelier à Dartmouth à l’été 1956 se sont réunies des personnes convaincues que « chaque aspect de l’apprentissage ou toute autre caractéristique de l’intelligence peut en principe être décrit si précisément qu’une machine peut le simuler ». Deux décennies d’optimisme ont suivi. Des programmes démontraient des théorèmes, résolvaient des problèmes énoncés en mots, jouaient aux dames et parlaient de cubes posés sur une table. En 1965, Herbert Simon prédisait que d’ici vingt ans les machines seraient capables de faire n’importe quel travail qu’un humain peut faire.

1956 Atelier de Dartmouth. John McCarthy, Marvin Minsky, Nathaniel Rochester et Claude Shannon ont organisé un atelier d’été ; le nom « artificial intelligence » s’est imposé.
1956 Logic Theorist. Allen Newell et Herbert Simon : un programme qui démontrait des théorèmes mathématiques par recherche. → partie de la série
1958 Perceptron. Frank Rosenblatt a construit un neurone qui apprend ; les journaux parlaient d’une machine qui marcherait et parlerait. → partie de la série
1959 Apprentissage automatique. Arthur Samuel : un programme de dames qui progressait en jouant contre lui-même. C’est de lui que vient l’expression machine learning. → partie de la série
1960 Filtre de Kalman. Rudolf Kálmán : estimer un état à partir de mesures bruitées ; il a volé avec Apollo. → partie de la série
1965 Ensembles flous. Lotfi Zadeh a introduit l’appartenance à un ensemble comme un nombre entre 0 et 1. → partie de la série
1966 ELIZA. Joseph Weizenbaum a écrit un programme qui imitait un psychothérapeute avec quelques règles — et les gens lui confiaient leurs secrets.
1969 Le livre Perceptrons. Marvin Minsky et Seymour Papert ont montré ce qu’un neurone seul ne sait pas faire (XOR) ; l’intérêt pour les réseaux de neurones est retombé. → partie de la série
1971 Shakey et STRIPS. Le robot Shakey de Stanford planifiait ses actions dans le langage STRIPS. → partie de la série
1973 Rapport Lighthill. Le gouvernement britannique a fait évaluer les résultats de l’IA ; le rapport était critique et les financements ont été réduits.

Le perceptron : le premier neurone qui apprend

Définition — perceptron

Un perceptron de poids w ∈ ℝ^d et de biais b ∈ ℝ classe une entrée x ∈ ℝ^d dans la classe +1 si w · x + b > 0, sinon dans la classe −1 (w · x = w₁x₁ + … + w_dx_d est le produit scalaire). Sur un exemple (x, y) de classe correcte y ∈ {−1, +1}, il se trompe si y · (w · x + b) ≤ 0. La frontière w · x + b = 0 est une droite (en général un hyperplan).

En termes simples

Chaque entrée reçoit un poids selon la force avec laquelle elle plaide pour le « oui ». Le neurone additionne les entrées pondérées et, si la somme est positive, il dit « oui ». Apprendre, c’est régler les poids pour qu’il dise « oui » à bon escient.

La règle de Rosenblatt ne corrige les poids que lorsque le perceptron se trompe :

w ← w + η · y · x

w: les poids — la seule chose apprise ; la nouvelle valeur est l’ancienne plus une correction, l’apprentissage se fait donc progressivement, exemple après exemple
η: taux d’apprentissage — la taille du pas ; pour un perceptron qui part de zéros, il ne fait qu’agrandir tous les poids de la même façon et ne change donc pas la frontière
y: la classe correcte ±1 — fixe la direction : un exemple positif attire les poids vers lui, un exemple négatif les repousse
x: l’entrée sur laquelle il s’est trompé — la correction vise précisément là ; une entrée de valeur 0 n’a pas contribué à l’erreur, et son poids ne change donc pas

Le biais se corrige de la même façon, b ← b + η · y. Après la correction, y · (w · x + b) augmente exactement de η · (‖x‖² + 1) > 0 : la réponse sur cet exemple se déplace dans le bon sens.

perceptron(data, η):
    w ← (0, …, 0);  b ← 0
    répéter :
        chyb ← 0
        pour chaque exemple (x, y) de data :
            si y · (w · x + b) ≤ 0 :             # il s’est trompé (ou il est sur la frontière)
                w ← w + η · y · x
                b ← b + η · y
                chyb ← chyb + 1
    tant que chyb > 0                            # toute une époque sans erreur : terminé
    renvoyer w, b

Exemple — un perceptron apprend AND

Données : (0, 0) → −1, (0, 1) → −1, (1, 0) → −1, (1, 1) → +1 ; η = 1, départ w = (0, 0), b = 0.

(0, 0), y = −1 : −1 · (0 + 0) = 0 ≤ 0, erreur. w = (0, 0) + (−1) · (0, 0) = (0, 0), b = 0 − 1 = −1.
(0, 1) et (1, 0) : −1 · (0 − 1) = 1 > 0, correct, rien ne change.
(1, 1), y = +1 : 1 · (0 + 0 − 1) = −1 ≤ 0, erreur. w = (0, 0) + (1, 1) = (1, 1), b = −1 + 1 = 0.

Et ainsi de suite : 18 corrections au total, la dernière à l’époque 8, et le résultat est w = (3, 2), b = −4. Vérification : 3 · 1 + 2 · 1 − 4 = 1 > 0 et, pour les autres entrées, −4, −2, −1 < 0.

Théorème — un perceptron ne sait pas faire XOR (Minsky et Papert, 1969)

Il n’existe pas de w₁, w₂, b tels qu’un perceptron classe correctement (0, 0) → −1, (1, 1) → −1, (0, 1) → +1, (1, 0) → +1.

Démonstration. Un classement correct signifierait b ≤ 0, w₁ + w₂ + b ≤ 0, w₂ + b > 0 et w₁ + b > 0. En additionnant les deux dernières inégalités, w₁ + w₂ + 2b > 0, donc w₁ + w₂ + b > −b ≥ 0 — contradiction avec la deuxième inégalité. ∎

En termes simples

Les points de XOR sont disposés comme sur un échiquier : les positifs sur une diagonale, les négatifs sur l’autre. Une seule droite ne peut pas les séparer. Deux couches de neurones y parviennent — seulement, en 1969, personne ne savait comment les entraîner. Plus de détails dans la partie Perceptron.

3. Deux hivers et les systèmes experts (1974–1993)

Définition — hiver de l’intelligence artificielle

Un hiver de l’IA est une période où, après des promesses non tenues, le financement du domaine et l’intérêt qu’il suscite chutent brutalement. On en compte généralement deux : environ 1974–1980 (après le rapport Lighthill au Royaume-Uni et les coupes de l’agence américaine de financement DARPA) et 1987–1993 (après l’effondrement du marché des ordinateurs spécialisés pour le langage Lisp et la désillusion vis-à-vis des systèmes experts).

En termes simples

Les programmes qui maîtrisaient des mondes jouets faits de cubes se sont heurtés au monde réel : trop de possibilités, trop d’exceptions, des ordinateurs trop lents. Qui avait promis une machine qui « pensera d’ici dix ans » devait expliquer pourquoi elle ne pensait pas. L’argent est parti ailleurs.

Entre les hivers est arrivée une vague de systèmes experts : au lieu d’une intelligence générale, un domaine étroit et des centaines de règles rédigées avec des spécialistes (« si température > 38 et … alors … »). Ils fonctionnaient et rapportaient de l’argent. Mais les règles étaient difficiles à maintenir, les systèmes ne savaient rien faire en dehors de leur domaine et ne pouvaient pas apprendre. À l’ombre de cette époque, les réseaux de neurones sont pourtant revenus discrètement : la rétropropagation (1986) a montré comment entraîner des réseaux à plusieurs couches.

1975 Algorithmes génétiques. John Holland a formalisé l’évolution d’une population de solutions par croisement et mutation. → partie de la série
1980 Systèmes experts. XCON (R1) configurait les ordinateurs de la société DEC avec des règles d’experts et économisait des millions de dollars par an. → partie de la série
1986 Rétropropagation. David Rumelhart, Geoffrey Hinton et Ronald Williams ont montré comment entraîner des réseaux multicouches. → partie de la série
1988 Réseaux bayésiens. Judea Pearl : raisonnement probabiliste sur un graphe de dépendances. → partie de la série
1989 Réseaux convolutifs. Yann LeCun a appris à un réseau convolutif à lire des codes postaux manuscrits. → partie de la série
1989 Q-learning. Christopher Watkins : apprendre la valeur des actions sans connaître les règles du monde. → partie de la série

La rétropropagation : comment entraîner plusieurs couches

Définition — rétropropagation (backpropagation)

La rétropropagation est un algorithme qui, pour un réseau composé de couches h_l = φ(W_lh_l−1 + b_l), calcule le gradient de la perte L par rapport à tous les poids. Il calcule les dérivées de la sortie vers l’entrée selon la règle de dérivation des fonctions composées (la règle de dérivation en chaîne) et réutilise chaque résultat intermédiaire, de sorte que le gradient complet coûte du même ordre qu’une passe avant dans le réseau.

En termes simples

Le réseau s’est trompé. Quelle part de cette erreur revient à quel poids ? La rétropropagation fait le compte : elle part de la sortie et renvoie la faute vers l’arrière, couche par couche, selon l’influence de chaque poids sur le résultat.

Pour un seul neurone ŷ = σ(z), z = wx + b avec la perte L = ½(ŷ − y)², la chaîne se présente ainsi :

∂L/∂w = ∂L/∂ŷ · ∂ŷ/∂z · ∂z/∂w

∂L/∂w: ce que l’on veut : comment l’erreur change quand on bouge le poids — le signe indique dans quel sens déplacer le poids
∂L/∂ŷ: = ŷ − y : à quel point l’erreur dépend de la sortie ; c’est ici que commence la passe arrière
∂ŷ/∂z: = ŷ(1 − ŷ) pour la sigmoïde : la sensibilité de l’activation ; pour un neurone saturé, elle est presque nulle et l’apprentissage s’arrête
∂z/∂w: = x : ce que le poids a apporté à la somme ; dans un réseau multicouche, c’est la sortie de la couche précédente qui se trouve ici, et la chaîne continue plus loin vers l’arrière

Le gradient est le produit des dérivées locales le long du chemin de l’erreur au poids.

Exemple — un pas d’apprentissage

x = 1, w = 0,5, b = 0, réponse correcte y = 1. Passe avant : z = 0,5, ŷ = σ(0,5) = 1 / (1 + e^−0,5) = 0,6225, L = ½ · (0,6225 − 1)² = 0,0713.

Passe arrière : ∂L/∂ŷ = −0,3775, ∂ŷ/∂z = 0,6225 · 0,3775 = 0,2350, ∂z/∂w = 1. Produit : ∂L/∂w = −0,0887.

Pas avec η = 1 : w ← 0,5 − 1 · (−0,0887) = 0,5887. Le gradient est négatif, donc le poids augmente et la sortie se rapproche de 1.

zpětné_šíření(x, y):
    h₀ ← x                                   # avant : mémorise les résultats intermédiaires
    pour l = 1 … L :
        zₗ ← Wₗ · hₗ₋₁ + bₗ
        hₗ ← φ(zₗ)
    δ ← ∂Ztráta/∂h_L                         # arrière : commence par l’erreur de sortie
    pour l = L … 1 :
        δ ← δ ⊙ φ′(zₗ)                       # à travers l’activation (composante par composante)
        ∂Ztráta/∂Wₗ ← δ · hₗ₋₁ᵀ               # gradient des poids de cette couche
        ∂Ztráta/∂bₗ ← δ
        δ ← Wₗᵀ · δ                          # renvoie la faute une couche plus bas
    renvoyer tous les ∂Ztráta/∂Wₗ, ∂Ztráta/∂bₗ

Pour aller plus loin : Un réseau de neurones à partir de zéro.

4. L’apprentissage statistique (1993–2012)

Le domaine s’est transformé. Au lieu de « programmons l’intelligence » est venu « apprenons-le à partir des données » — et avec cela les probabilités, la statistique et la mesure rigoureuse. La reconnaissance de la parole, les filtres antispam, la recommandation et la recherche fonctionnaient grâce aux modèles de Markov cachés, aux méthodes bayésiennes, aux SVM et aux ensembles d’arbres. L’expression « intelligence artificielle » était alors peu employée — on parlait d’apprentissage automatique. Deep Blue a battu Kasparov en 1997, mais pas par apprentissage : par la force brute de la recherche et une fonction d’évaluation réglée à la main.

1995 SVM. Corinna Cortes et Vladimir Vapnik : classification à marge maximale et astuce du noyau. → partie de la série
1997 Deep Blue. Un ordinateur d’IBM a battu le champion du monde d’échecs Garry Kasparov — par la recherche, pas par l’apprentissage. → partie de la série
1997 LSTM. Sepp Hochreiter et Jürgen Schmidhuber : un réseau récurrent à portes qui se souvient longtemps. → partie de la série
2001 Forêt aléatoire. Leo Breiman : un ensemble d’arbres de décision vote. → partie de la série

5. L’apprentissage profond (2012–2018)

En 2012, le concours de reconnaissance d’images ImageNet a été remporté par le réseau convolutif profond AlexNet (Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton) avec une telle avance qu’en quelques années le domaine a basculé vers les réseaux de neurones. Ce n’était pas une idée nouvelle — les réseaux convolutifs existaient depuis la fin des années 1980. Trois choses étaient nouvelles : de grandes données annotées (ImageNet comptait plus d’un million d’images), des cartes graphiques qui multiplient les matrices mille fois plus vite, et quelques petites astuces (ReLU, dropout). Une avalanche a suivi : parole, traduction, jeux, génération.

2012 AlexNet. Un réseau convolutif profond entraîné sur cartes graphiques a remporté le concours ImageNet avec une large avance. → partie de la série
2013 word2vec. Tomáš Mikolov et al. : des mots sous forme de vecteurs avec lesquels on peut calculer des analogies. → partie de la série
2014 GAN. Ian Goodfellow : deux réseaux opposés génèrent des images. → partie de la série
2014 Attention. Dzmitry Bahdanau et al. : un réseau de traduction regarde les mots importants de la phrase. → partie de la série
2015 DQN. DeepMind a appris à un seul réseau à jouer à des dizaines de jeux Atari à partir de l’écran. → partie de la série
2016 AlphaGo. Le programme de DeepMind a battu Lee Sedol au go 4 à 1 ; ce jeu passait pour le domaine de l’intuition humaine.
2017 Transformer. L’article « Attention Is All You Need » (Vaswani et al., Google) — l’architecture des modèles de langage actuels. → partie de la série
2017 PPO. John Schulman et al. (OpenAI) : apprentissage stable d’une politique. → partie de la série

Exemple — pourquoi ReLU a aidé

La dérivée de la sigmoïde est σ′(z) = σ(z)(1 − σ(z)) ≤ ¼ (maximum en z = 0). Dans la rétropropagation, ces dérivées se multiplient à travers toutes les couches, si bien qu’après dix couches sigmoïdes le gradient vaut au plus (¼)¹⁰ = 9,5 · 10^-7 de sa taille d’origine (les poids peuvent l’agrandir ou le réduire, mais ce facteur demeure). ReLU(z) = max(0, z) a une dérivée égale à 1 pour z > 0 — le gradient traverse les neurones actifs sans être réduit, et les réseaux profonds deviennent ainsi entraînables.

6. Les modèles de langage (depuis 2018)

Le transformer de 2017 passait à l’échelle mieux que tout ce qui l’avait précédé. Les modèles GPT, préentraînés sur une grande partie d’internet, ont montré qu’un modèle plus grand et davantage de données apportent une amélioration prévisible. En 2020, GPT-3 accomplissait des tâches pour lesquelles personne ne l’avait entraîné, à partir de quelques exemples dans le prompt. En l’affinant selon les préférences humaines est né ChatGPT (novembre 2022) — le premier modèle de langage essayé par des centaines de millions de personnes. Aujourd’hui, les modèles deviennent des agents qui travaillent seuls sur l’ordinateur.

2020 GPT-3. Un modèle de langage de 175 milliards de paramètres résout de nouvelles tâches à partir de simples exemples dans le prompt. → partie de la série
2020 Modèles de diffusion. Jonathan Ho et al. : l’image émerge du bruit pas à pas. → partie de la série
2020 AlphaFold 2. DeepMind prédit la forme tridimensionnelle des protéines avec une précision proche de l’expérience.
2022 ChatGPT. Un modèle de langage affiné selon les préférences humaines ; en deux mois, il aurait été utilisé par 100 millions de personnes. → partie de la série
2024 Prix Nobel. En physique John Hopfield et Geoffrey Hinton (réseaux de neurones), en chimie Demis Hassabis et John Jumper (AlphaFold) avec David Baker.
2024 Agents. Les modèles de langage dotés d’outils programment, cherchent et travaillent seuls sur l’ordinateur. → partie de la série

L’attention : la formule sur laquelle repose le transformer

Attention(Q, K, V) = softmax(QK^T / √d_k) V

QK^T: produits scalaires de chaque requête avec chaque clé — grands quand les vecteurs pointent dans la même direction ; c’est ainsi qu’un mot « cherche » les mots qui le concernent
√d_k: le produit scalaire de d_k composantes aléatoires a une variance proportionnelle à d_k ; sans la division, le softmax se fixerait sur un seul mot à mesure que la dimension croît, et les gradients disparaîtraient
softmax: transforme des scores quelconques en poids positifs de somme 1 — et contrairement à « prendre le maximum », il est dérivable, donc on peut l’apprendre
V: les valeurs — l’information effectivement transmise ; la sortie est leur moyenne pondérée

Chaque mot se compose un nouveau vecteur comme moyenne pondérée des autres, avec des poids selon la similarité.

Exemple — une requête, deux clés

q = (1, 0), k₁ = (1, 0), k₂ = (0, 1), v₁ = (10, 0), v₂ = (0, 10), d_k = 2.

Scores : q · k₁ / √2 = 0,707 et q · k₂ / √2 = 0. Softmax : e^0,707 / (e^0,707 + e⁰) = 0,670 et 0,330. Sortie : 0,670 · (10, 0) + 0,330 · (0, 10) = (6,70 ; 3,30). La requête a davantage « regardé » le premier mot, parce que sa clé lui ressemble — sans ignorer pour autant le second.

Pour aller plus loin : Attention et Transformers.

La loi d’échelle : pourquoi « plus » fonctionne de façon prévisible

L(N, D) = E + A / N^α + B / D^β

E: la perte irréductible : le texte lui-même est incertain, et même un modèle infini ne connaît pas le mot suivant avec certitude
A / N^α: la taxe pour un petit modèle (N paramètres) ; elle décroît selon une loi de puissance — doubler les paramètres ne la réduit que de 21 %, et c’est pourquoi les modèles grandissent par ordres de grandeur
B / D^β: la taxe pour trop peu de données (D tokens) ; elle est à part, car un modèle énorme entraîné sur peu de données bute sur ce terme

L est la perte moyenne (entropie croisée) par token. Le calcul de l’entraînement est d’environ C ≈ 6 · N · D opérations ; la loi dit comment le répartir entre la taille du modèle et les données.

Exemple — Gopher contre Chinchilla

Constantes ajustées sur des centaines de modèles (Hoffmann et al., 2022) : E = 1,69, A = 406,4, B = 410,7, α = 0,34, β = 0,28.

Gopher : N = 280 milliards, D = 300 milliards : L = 1,69 + 0,052 + 0,251 = 1,993 ; calcul 5,0 · 10²³.
Chinchilla : N = 70 milliards, D = 1 400 milliards : L = 1,69 + 0,083 + 0,163 = 1,937 ; calcul 5,9 · 10²³.

À calcul comparable, Chinchilla, quatre fois plus petit, est meilleur : chez Gopher, le terme des données l’emportait nettement sur celui des paramètres (0,251 contre 0,052), si bien qu’il valait la peine de retirer des paramètres et d’ajouter des données.

7. Ce que l’histoire nous apprend

Définition — la leçon amère (the bitter lesson)

Dans un essai de 2019, Richard Sutton a résumé soixante-dix ans de recherche : à long terme, les méthodes générales capables d’exploiter une puissance de calcul croissante — la recherche et l’apprentissage — l’emportent sur les méthodes dans lesquelles les humains injectent à la main leurs connaissances de la tâche. Les connaissances manuelles aident à court terme, mais finissent dépassées par une méthode qui les apprend seule à partir des données et du calcul.

En termes simples

Les échecs ont été gagnés par la recherche, pas par les règles des grands maîtres. Les images, par un réseau qui a appris seul ce qu’est un contour, pas par des détecteurs de contours conçus à la main. Le langage, par un modèle qui a lu internet, pas par une grammaire rédigée par des linguistes. La leçon est « amère » parce que les humains essaient à chaque fois de mettre leurs idées astucieuses dans les machines — et qu’à chaque fois la force brute alliée à une bonne méthode générale les dépasse.

Et une chose de plus apparaît quand on regarde d’où viennent les idées que la série explique. Sur les 37 jalons de la chronologie, 30 ont leur propre partie :

De quelle décennie viennent les jalons qui ont leur propre partie dans la série

La plupart (7) datent des années 2010 — mais les années 1950 et 1980 sont presque aussi importantes. Le perceptron, la rétropropagation, les réseaux convolutifs, les LSTM et le Q-learning ont plusieurs décennies ; ils attendaient les données et la puissance de calcul. L’essentiel de ce qui ressemble aujourd’hui à un miracle est une combinaison astucieuse de vieilles idées à grande échelle. Et chaque vague d’enthousiasme s’est jusqu’ici terminée par une désillusion — la seule question est de savoir à quel point.

8. Résumé

1950 le test de Turing, 1956 Dartmouth (le nom « intelligence artificielle » vient de la proposition d’atelier de 1955), 1958 le perceptron.
Après les années dorées sont venus deux hivers (environ 1974–1980 et 1987–1993), avec les systèmes experts entre les deux.
Depuis les années 1990, l’apprentissage statistique : à partir des données plutôt que de règles, avec mesure et probabilités.
2012 AlexNet et l’apprentissage profond ; 2017 le transformer ; 2022 ChatGPT ; aujourd’hui les agents.
La leçon amère : à long terme, les méthodes générales qui exploitent le calcul l’emportent — la recherche et l’apprentissage.
La plupart des idées actuelles sont anciennes ; ce qui est nouveau, ce sont les données, le calcul et l’échelle.

Envie d’essayer ? Demandez à un agent d’IA de vous écrire un programme ELIZA de vingt règles et discutez avec lui. Comparez ensuite la même conversation avec un modèle de langage actuel — et demandez-vous ce qui, dans la différence, relève de l’« intelligence ».

Vous voyez les choses autrement ? Écrivez à support@coden-app.com.

Brève histoire de l’intelligence artificielle : de Turing aux modèles de langage

1. Les débuts : une machine peut-elle penser ?

2. Les années dorées (1956–1974)

Le perceptron : le premier neurone qui apprend

3. Deux hivers et les systèmes experts (1974–1993)

La rétropropagation : comment entraîner plusieurs couches

4. L’apprentissage statistique (1993–2012)

5. L’apprentissage profond (2012–2018)

6. Les modèles de langage (depuis 2018)

L’attention : la formule sur laquelle repose le transformer

La loi d’échelle : pourquoi « plus » fonctionne de façon prévisible

7. Ce que l’histoire nous apprend

8. Résumé

Un Agent sur votre ordinateur, piloté depuis votre téléphone