Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen

Turing-Test, Dartmouth-Konferenz, die goldenen Jahre, zwei KI-Winter und Expertensysteme, statistisches Lernen, Deep Learning und Sprachmodelle — eine Zeitleiste mit Links zu Teilen der Serie und die bittere Lektion aus siebzig Jahren Forschung.

10 Minuten Matěj Žalmánek 2026-10-16

Serie KI-Grundlagen Teil 2 von 52

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

Was du mitnimmst

Wie sich KI entwickelt hat und warum sich Begeisterung und Winter abwechselten.
Woher die Ideen stammen, auf denen heutige Modelle beruhen.
Was die bittere Lektion ist und warum allgemeine Methoden mit viel Rechenleistung gewinnen.

Vorher gut zu wissen: Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst

Künstliche Intelligenz ist nicht neu. Ihre Geschichte ist älter als der Personal Computer und erinnert an eine Achterbahn: Phasen der Begeisterung und großer Versprechen, danach Ernüchterung und versiegendes Geld — die „Winter“ —, und dann wieder ein Aufschwung, als sich zeigte, dass eine alte Idee plötzlich funktioniert. Die meisten Ideen, auf denen heutige Sprachmodelle beruhen, wurden vor Jahrzehnten erdacht. In diesem Teil gehen wir sie in der Reihenfolge durch, in der sie kamen, und bei jeder, die wir in der Serie erklären, findest du einen Link zum passenden Teil.

Dieser Teil knüpft an den Teil Landkarte der künstlichen Intelligenz an.

Zeitleiste der künstlichen Intelligenz (grün Blütezeiten, violett Winter)

1. Anfänge: Kann eine Maschine denken?

Definition — Turing-Test

Alan Turing ersetzte 1950 die unklare Frage „Können Maschinen denken?“ durch eine Prüfung, die er selbst „Imitationsspiel“ nannte. Der Turing-Test hat drei Teilnehmer:

den Richter — einen Menschen, der entscheidet;
den Menschen — ein verborgenes Gegenüber;
die Maschine — ein verborgenes Gegenüber, das wir prüfen.

und läuft so ab:

der Richter verständigt sich mit beiden Gegenübern nur über geschriebenen Text und weiß nicht, wer wer ist (er kennt sie nur unter den Bezeichnungen X und Y);
eine begrenzte Zeit lang stellt er ihnen beliebige Fragen;
am Ende erklärt er, ob X oder Y die Maschine ist.

Die Maschine besteht den Test genau dann, wenn der Richter sie um nichts öfter richtig bestimmt, als wenn er nur raten würde; diese Bedingung präzisiert die nächste Definition. Wenn sich die Maschine auf diese Weise ebenso gut als Mensch ausgibt wie der Mensch selbst, haben wir laut Turing keinen Grund, ihr Intelligenz abzusprechen — das ist schon Turings philosophische Schlussfolgerung, kein Bestandteil der Definition des Tests.

Einfach gesagt

Statt einer philosophischen Debatte eine praktische Prüfung: Wenn du mit jemandem schreibst und nicht erkennst, ob es ein Mensch oder ein Programm ist, dann ist es für dich Intelligenz. Heutige Sprachmodelle bestehen eine solche Prüfung in einem kurzen Gespräch oft — und es zeigt sich, dass das weniger über Intelligenz aussagt, als man erwartet hatte.

Definition — Turing-Test als statistische Prüfung

Sei n ∈ ℕ, n ≥ 1, die Zahl unabhängiger Gespräche (Durchläufe des Tests oben). Für i = 1, …, n sei X_i ∈ {0, 1} eine Zufallsvariable mit X_i = 1 genau dann, wenn der Richter im i-ten Gespräch die Maschine richtig bestimmt hat, und sei

S = ∑_i=1ⁿ X_i

die Zahl der richtigen Bestimmungen. Die Nullhypothese lautet: Die Maschine ist vom Menschen nicht zu unterscheiden, d. h. der Richter rät nur, X₁, …, X_n sind unabhängig und P(X_i = 1) = 1/2. Dann gilt S ~ Bin(n, 1/2), der Erwartungswert ist ES = n/2 und die Standardabweichung σ = √n/2. Die Teststatistik ist

z = S − n/2/√n/2.

Die Maschine besteht den Test genau dann, wenn |z| < 1,96, d. h. genau dann, wenn ein zweiseitiger Test zum Niveau 5 % (mit Normalapproximation der Binomialverteilung) die Nullhypothese nicht verwirft. In Worten: Das Ergebnis des Richters unterscheidet sich statistisch nicht vom Raten.

Anmerkung. Das ist eine heutige Formalisierung, nicht die von Turing. Turing beschrieb den Test 1950 mit Worten und gab statt einer Schwelle eine Vorhersage: Um das Jahr 2000 werde ein durchschnittlicher Richter nach fünf Minuten Gespräch die Maschine mit einer Wahrscheinlichkeit von höchstens 70 % richtig erkennen.

Einfach gesagt

Ein einzelnes Gespräch beweist nichts — der Richter kann auch zufällig richtig liegen. Deshalb führt man viele Gespräche und fragt, ob der Richter die Maschine öfter erkennt, als wenn er eine Münze würfe. Wenn nicht, hat die Maschine bestanden.

z = S − n/2/√n/2

S: wie oft der Richter die Maschine erkannt hat — das Einzige, was im Test gemessen wird
n/2: wie oft er durch reines Raten richtig läge; wir ziehen es ab, weil nur interessant ist, was über dem Zufall liegt
√n/2: die typische Streuung des Ratens; durch die Division vergleichen wir den Überschuss mit dem üblichen Rauschen — 6 zusätzliche von 100 Gesprächen sind etwas anderes als 6 zusätzliche von 10 000

Um wie viele „übliche Abweichungen“ der Richter besser ist als eine Münze.

Beispiel — 100 Gespräche

Der Richter erkannte die Maschine in 56 von 100 Gesprächen (die Farben entsprechen den Gliedern der Formel oben). Durch Raten wären 100/2 = 50 zu erwarten, die Abweichung ist √100/2 = 5, also

z = 56 − 50/5 = 1,2.

Das ist weniger als 1,96 — es unterscheidet sich nicht vom Raten und die Maschine hat bestanden. Nicht bestanden hätte sie, wenn der Richter mindestens 50 + 1,96 · 5 = 59,8, also 60 Gespräche richtig erkannt hätte.

1943 Künstliches Neuron. Warren McCulloch und Walter Pitts beschrieben das Neuron als logisches Element mit einem Schwellenwert. → Teil der Serie
1950 Turing-Test. Alan Turing schlug im Aufsatz Computing Machinery and Intelligence statt der Frage „Denken Maschinen?“ das Imitationsspiel vor.
1950 Schach durch Suche. Claude Shannon beschrieb, wie ein Computer Schach spielen würde: Züge bis zu einer bestimmten Tiefe durchsuchen und Stellungen mit einer Funktion bewerten. → Teil der Serie

2. Die goldenen Jahre (1956–1974)

Auf einem Seminar in Dartmouth im Sommer 1956 trafen sich Menschen, die glaubten, dass „jeder Aspekt des Lernens oder jedes andere Merkmal der Intelligenz im Prinzip so genau beschrieben werden kann, dass eine Maschine es nachahmen kann“. Es folgten zwei Jahrzehnte Optimismus. Programme bewiesen Sätze, lösten Textaufgaben, spielten Dame und sprachen über Klötze auf einem Tisch. Herbert Simon sagte 1965 voraus, dass Maschinen binnen zwanzig Jahren jede Arbeit erledigen könnten, die ein Mensch verrichtet.

1956 Dartmouth-Konferenz. John McCarthy, Marvin Minsky, Nathaniel Rochester und Claude Shannon beriefen ein Sommerseminar ein; der Name „artificial intelligence“ setzte sich durch.
1956 Logic Theorist. Allen Newell und Herbert Simon: ein Programm, das mathematische Sätze durch Suche bewies. → Teil der Serie
1958 Perzeptron. Frank Rosenblatt baute ein lernendes Neuron; Zeitungen schrieben von einer Maschine, die gehen und sprechen werde. → Teil der Serie
1959 Maschinelles Lernen. Arthur Samuel: ein Dameprogramm, das sich durch Spiele gegen sich selbst verbesserte. Von ihm stammt der Ausdruck machine learning. → Teil der Serie
1960 Kalman-Filter. Rudolf Kálmán: Zustandsschätzung aus verrauschten Messungen; er flog mit Apollo. → Teil der Serie
1965 Fuzzy-Mengen. Lotfi Zadeh führte die Zugehörigkeit zu einer Menge als Zahl zwischen 0 und 1 ein. → Teil der Serie
1966 ELIZA. Joseph Weizenbaum schrieb ein Programm, das mit ein paar Regeln einen Psychotherapeuten nachahmte — und die Leute vertrauten ihm Geheimnisse an.
1969 Buch Perceptrons. Marvin Minsky und Seymour Papert zeigten, was ein einzelnes Neuron nicht schafft (XOR); das Interesse an neuronalen Netzen ließ nach. → Teil der Serie
1971 Shakey und STRIPS. Der Roboter Shakey aus Stanford plante seine Schritte in der Sprache STRIPS. → Teil der Serie
1973 Lighthill-Bericht. Die britische Regierung ließ die Ergebnisse der KI begutachten; der Bericht war kritisch und die Förderung wurde gekürzt.

Das Perzeptron: das erste Neuron, das lernt

Definition — Perzeptron

Sei d ∈ ℕ, d ≥ 1, seien w = (w₁, …, w_d) ∈ ℝ^d die Gewichte und b ∈ ℝ der Bias. Für x ∈ ℝ^d bezeichne w · x = w₁x₁ + … + w_dx_d das Skalarprodukt. Das Perzeptron mit Gewichten w und Bias b ist die Funktion

h_w,b : ℝ^d → {−1, +1}, h_w,b(x) = +1, falls w · x + b > 0, und h_w,b(x) = −1 sonst.

Sei (x, y) ein Beispiel mit der Eingabe x ∈ ℝ^d und der richtigen Klasse y ∈ {−1, +1}. Das Perzeptron irrt sich darauf genau dann, wenn

y · (w · x + b) ≤ 0.

Als Fehler zählt hier auch der Fall w · x + b = 0 (der Punkt liegt genau auf der Grenze), obwohl h_w,b ihn der Klasse −1 zuordnet. Die Grenze des Perzeptrons ist die Menge {x ∈ ℝ^d : w · x + b = 0}; für w ≠ 0 ist sie eine Hyperebene (für d = 2 eine Gerade).

Einfach gesagt

Jede Eingabe bekommt ein Gewicht danach, wie stark sie für „ja“ spricht. Das Neuron summiert die Eingaben mit ihren Gewichten, und wenn die Summe positiv ausfällt, sagt es „ja“. Lernen heißt, die Gewichte so einzustellen, dass es richtig „ja“ sagt.

Rosenblatts Regel korrigiert die Gewichte nur dann, wenn sich das Perzeptron irrt:

w ← w + η · y · x

w: die Gewichte — das Einzige, was gelernt wird; der neue Wert ist der alte plus eine Korrektur, gelernt wird also schrittweise, ein Beispiel nach dem anderen
η: Lernrate — wie groß der Schritt ist; bei einem Perzeptron, das bei null beginnt, vergrößert sie nur alle Gewichte gleichmäßig und ändert die Grenze daher nicht
y: die richtige Klasse ±1 — bestimmt die Richtung: Ein positives Beispiel zieht die Gewichte zu sich, ein negatives stößt sie ab
x: die Eingabe, bei der es sich geirrt hat — die Korrektur zielt genau dorthin; eine Eingabe mit dem Wert 0 hat nicht zum Fehler beigetragen, deshalb ändert sich ihr Gewicht nicht

Der Bias wird genauso korrigiert, b ← b + η · y. Nach der Korrektur wächst y · (w · x + b) um genau η · (‖x‖² + 1) > 0: Die Antwort auf dieses Beispiel verschiebt sich in die richtige Richtung.

perceptron(data, η):
    w ← (0, …, 0);  b ← 0
    wiederhole:
        chyb ← 0
        für jedes Beispiel (x, y) in data:
            falls y · (w · x + b) ≤ 0:           # geirrt (oder liegt auf der Grenze)
                w ← w + η · y · x
                b ← b + η · y
                chyb ← chyb + 1
    solange chyb > 0                             # ganze Epoche ohne Fehler: fertig
    gib w, b zurück

Beispiel — ein Perzeptron lernt AND

Daten: (0, 0) → −1, (0, 1) → −1, (1, 0) → −1, (1, 1) → +1; η = 1, Start w = (0, 0), b = 0. Die Farben entsprechen den Gliedern der Regel w ← w + η · y · x oben.

(0, 0), y = −1: −1 · (0 + 0) = 0 ≤ 0, Fehler. w = (0, 0) + 1 · (−1) · (0, 0) = (0, 0), b = 0 + 1 · (−1) = −1.
(0, 1) und (1, 0): −1 · (0 − 1) = 1 > 0, richtig, nichts ändert sich.
(1, 1), y = +1: 1 · (0 + 0 − 1) = −1 ≤ 0, Fehler. w = (0, 0) + 1 · (+1) · (1, 1) = (1, 1), b = −1 + 1 · (+1) = 0.

So geht es weiter: insgesamt 18 Korrekturen, die letzte in der 8. Epoche, und das Ergebnis ist w = (3, 2), b = −4. Probe: 3 · 1 + 2 · 1 − 4 = 1 > 0 und für die übrigen Eingaben −4, −2, −1 < 0.

Satz — ein Perzeptron schafft XOR nicht (Minsky und Papert, 1969)

Sei d = 2 und h_w,b das Perzeptron aus der Definition oben. Dann gibt es keine w = (w₁, w₂) ∈ ℝ² und b ∈ ℝ, sodass

h_w,b(0, 0) = −1 ∧ h_w,b(1, 1) = −1 ∧ h_w,b(0, 1) = +1 ∧ h_w,b(1, 0) = +1,

d. h. kein Perzeptron ordnet alle vier Punkte der Funktion XOR richtig zu.

Beweis. Richtige Zuordnung hieße b ≤ 0, w₁ + w₂ + b ≤ 0, w₂ + b > 0 und w₁ + b > 0. Addition der letzten beiden Ungleichungen ergibt w₁ + w₂ + 2b > 0, also w₁ + w₂ + b > −b ≥ 0 — ein Widerspruch zur zweiten Ungleichung. ∎

Einfach gesagt

Die XOR-Punkte liegen wie auf einem Schachbrett: die positiven auf einer Diagonale, die negativen auf der anderen. Eine einzige Gerade kann sie nicht trennen. Zwei Schichten von Neuronen schaffen es — nur wusste man 1969 nicht, wie man sie trainiert. Mehr im Teil Perzeptron.

3. Zwei Winter und Expertensysteme (1974–1993)

Definition — KI-Winter

Ein KI-Winter ist ein Zeitraum, für den alle drei Bedingungen gelten:

ihm ging eine Phase großer Erwartungen und Versprechen voraus, die sich nicht erfüllt haben;
die Förderung der KI-Forschung (staatliche Mittel wie private Investitionen) fällt stark ab;
das Interesse am Fach sinkt — weniger Projekte, Firmen und Aufmerksamkeit von Fachleuten wie Öffentlichkeit.

Es ist ein historischer Begriff, kein mathematischer: Er hat keine genauen quantitativen Grenzen, und die Jahreszahlen sind ungefähr. Meist spricht man von zwei Wintern: etwa 1974–1980 (nach dem Lighthill-Bericht in Großbritannien und Kürzungen der amerikanischen Förderbehörde DARPA) und 1987–1993 (nach dem Zusammenbruch des Marktes für spezialisierte Computer für die Sprache Lisp und der Ernüchterung über Expertensysteme).

Einfach gesagt

Programme, die Spielzeugwelten aus Klötzen beherrschten, stießen auf die echte Welt: zu viele Möglichkeiten, zu viele Ausnahmen, zu langsame Computer. Wer eine Maschine versprochen hatte, die „in zehn Jahren denken wird“, musste erklären, warum sie nicht denkt. Das Geld ging anderswohin.

Zwischen den Wintern kam eine Welle von Expertensystemen: statt allgemeiner Intelligenz ein enges Fachgebiet und Hunderte Regeln, mit Fachleuten aufgeschrieben („wenn Temperatur > 38 und … dann …“). Sie funktionierten und verdienten Geld. Doch die Regeln waren schwer zu pflegen, die Systeme konnten nichts außerhalb ihres Gebiets und konnten nicht lernen. Im Schatten dieser Zeit kehrten aber leise die neuronalen Netze zurück: Backpropagation (1986) zeigte, wie man Netze mit mehreren Schichten trainiert.

1975 Genetische Algorithmen. John Holland fasste die Evolution einer Population von Lösungen mit Kreuzung und Mutation zusammen. → Teil der Serie
1980 Expertensysteme. XCON (R1) konfigurierte Computer der Firma DEC mit Regeln von Experten und sparte jährlich Millionen Dollar. → Teil der Serie
1986 Backpropagation. David Rumelhart, Geoffrey Hinton und Ronald Williams zeigten, wie man mehrschichtige Netze trainiert. → Teil der Serie
1988 Bayessche Netze. Judea Pearl: probabilistisches Schließen auf einem Graphen von Abhängigkeiten. → Teil der Serie
1989 Faltungsnetze. Yann LeCun brachte einem Faltungsnetz bei, handgeschriebene Postleitzahlen zu lesen. → Teil der Serie
1989 Q-Learning. Christopher Watkins: den Wert von Aktionen lernen, ohne die Regeln der Welt zu kennen. → Teil der Serie

Backpropagation: wie man mehrere Schichten trainiert

Definition — Backpropagation (Fehlerrückführung)

Sei L ≥ 1 die Zahl der Schichten, seien n₀, …, n_L ≥ 1 ihre Breiten und für l = 1, …, L seien W_l ∈ ℝ^n_l×n_l−1 und b_l ∈ ℝ^n_l die Gewichte und Biases. Sei φ : ℝ → ℝ eine differenzierbare Aktivierungsfunktion (auf Vektoren komponentenweise angewandt), und das Netz berechne

h₀ = x, z_l = W_lh_l−1 + b_l, h_l = φ(z_l) für l = 1, …, L.

Sei 𝓛 : ℝ^n_L → ℝ ein differenzierbarer Verlust der Ausgabe h_L für eine gegebene richtige Antwort (den Verlust bezeichnen wir hier mit 𝓛, damit er nicht mit der Zahl der Schichten L verwechselt wird). Das Symbol ⊙ bezeichnet das komponentenweise Produkt von Vektoren. Backpropagation ist der Algorithmus:

Eingabe: die Eingabe des Netzes x ∈ ℝ^n₀, die Parameter W_l, b_l (l = 1, …, L) und der Verlust 𝓛.
Ausgabe: die Gradienten ∂𝓛/∂W_l ∈ ℝ^n_l×n_l−1 und ∂𝓛/∂b_l ∈ ℝ^n_l für alle l = 1, …, L.

Vorwärtsdurchlauf: Für l = 1, …, L berechne und speichere z_l und h_l.
Fehler der Ausgabe: δ_L = ∂𝓛/∂h_L ⊙ φ′(z_L) (allgemein δ_l = ∂𝓛/∂z_l).
Rückwärtsdurchlauf: Für l = L, L − 1, …, 1 setze ∂𝓛/∂W_l = δ_l h_l−1^T und ∂𝓛/∂b_l = δ_l; ist l > 1, berechne δ_l−1 = (W_l^Tδ_l) ⊙ φ′(z_l−1).
Ende: Nach der Verarbeitung der Schicht l = 1 gib alle Gradienten zurück.

Schritt 3 ist die Regel für die Ableitung einer verketteten Funktion (die Kettenregel), und jedes δ_l wird für die tiefere Schicht wiederverwendet, sodass der ganze Gradient größenordnungsmäßig so viel kostet wie ein Vorwärtsdurchlauf durch das Netz.

Einfach gesagt

Das Netz hat sich geirrt. Wie viel von diesem Fehler geht auf das Konto welches Gewichts? Backpropagation rechnet es aus: Sie beginnt am Ausgang und schickt die Schuld rückwärts, Schicht für Schicht, je nachdem, wie stark welches Gewicht das Ergebnis beeinflusst hat.

Für ein einzelnes Neuron mit der Eingabe x ∈ ℝ, dem Gewicht w ∈ ℝ, dem Bias b ∈ ℝ und der richtigen Antwort y ∈ ℝ, d. h. z = wx + b, ŷ = σ(z) mit der Sigmoidfunktion σ(z) = 1/1 + e^−z, und mit dem Verlust L = 1/2(ŷ − y)² sieht die Kette so aus:

∂L/∂w = ∂L/∂ŷ · ∂ŷ/∂z · ∂z/∂w

∂L/∂w: was wir wollen: wie sich der Fehler ändert, wenn wir am Gewicht drehen — das Vorzeichen sagt, in welche Richtung das Gewicht zu verschieben ist
∂L/∂ŷ: = ŷ − y: wie stark der Fehler von der Ausgabe abhängt; hier beginnt der Rückwärtsdurchlauf
∂ŷ/∂z: = ŷ(1 − ŷ) bei der Sigmoidfunktion: wie empfindlich die Aktivierung ist; bei einem gesättigten Neuron fast 0, und das Lernen bleibt stehen
∂z/∂w: = x: wie viel das Gewicht zur Summe beigetragen hat; in einem mehrschichtigen Netz steht hier die Ausgabe der vorigen Schicht, und die Kette setzt sich weiter nach hinten fort

Der Gradient ist das Produkt der lokalen Ableitungen entlang des Weges vom Fehler zum Gewicht.

Beispiel — ein Lernschritt

x = 1, w = 0,5, b = 0, richtig y = 1. Vorwärts: z = 0,5, ŷ = σ(0,5) = 1/1 + e^−0,5 = 0,6225, L = 1/2 · (0,6225 − 1)² = 0,0713.

Rückwärts (die Farben entsprechen den Gliedern der Formel oben):

∂L/∂ŷ = ŷ − y = −0,3775,
∂ŷ/∂z = ŷ(1 − ŷ) = 0,6225 · 0,3775 = 0,2350,
∂z/∂w = x = 1.

Produkt: ∂L/∂w = −0,3775 · 0,2350 · 1 = −0,0887.

Schritt mit η = 1: w ← 0,5 − 1 · (−0,0887) = 0,5887. Der Gradient ist negativ, also wächst das Gewicht und die Ausgabe nähert sich 1.

zpětné_šíření(x, y):
    h₀ ← x                                   # vorwärts: Zwischenergebnisse merken
    für l = 1 … L:
        zₗ ← Wₗ · hₗ₋₁ + bₗ
        hₗ ← φ(zₗ)
    δ ← ∂Ztráta/∂h_L                         # rückwärts: beim Fehler der Ausgabe beginnen
    für l = L … 1:
        δ ← δ ⊙ φ′(zₗ)                       # durch die Aktivierung (komponentenweise)
        ∂Ztráta/∂Wₗ ← δ · hₗ₋₁ᵀ               # Gradient der Gewichte dieser Schicht
        ∂Ztráta/∂bₗ ← δ
        δ ← Wₗᵀ · δ                          # Schuld eine Schicht tiefer schicken
    gib alle ∂Ztráta/∂Wₗ, ∂Ztráta/∂bₗ zurück

Mehr dazu: Ein neuronales Netz von Grund auf.

4. Statistisches Lernen (1993–2012)

Das Fach wandelte sich. Statt „programmieren wir Intelligenz“ kam „lernen wir es aus Daten“ — und damit Wahrscheinlichkeit, Statistik und sorgfältiges Messen. Spracherkennung, Spamfilter, Empfehlungen und Suche funktionierten dank Hidden-Markov-Modellen, bayesschen Methoden, SVMs und Ensembles von Bäumen. Das Wort „künstliche Intelligenz“ wurde damals kaum verwendet — man sagte maschinelles Lernen. Deep Blue besiegte Kasparow 1997, aber nicht durch Lernen: durch die rohe Kraft der Suche und eine von Hand abgestimmte Bewertungsfunktion.

1995 SVM. Corinna Cortes und Vladimir Vapnik: Klassifikation mit dem größten Abstand und der Kernel-Trick. → Teil der Serie
1997 Deep Blue. Ein IBM-Computer besiegte Schachweltmeister Garri Kasparow — durch Suche, nicht durch Lernen. → Teil der Serie
1997 LSTM. Sepp Hochreiter und Jürgen Schmidhuber: ein rekurrentes Netz mit Gates, das sich lange erinnert. → Teil der Serie
2001 Random Forest. Leo Breiman: ein Ensemble von Entscheidungsbäumen stimmt ab. → Teil der Serie

5. Deep Learning (2012–2018)

2012 gewann das tiefe Faltungsnetz AlexNet (Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton) den Bilderkennungswettbewerb ImageNet mit einem solchen Vorsprung, dass das Fach binnen weniger Jahre zu neuronalen Netzen umzog. Neu war die Idee nicht — Faltungsnetze gab es seit Ende der 1980er-Jahre. Neu waren drei Dinge: große annotierte Daten (ImageNet hatte über eine Million Bilder), Grafikkarten, die Matrizen tausendmal schneller multiplizieren, und ein paar kleine Tricks (ReLU, Dropout). Es folgte eine Lawine: Sprache, Übersetzung, Spiele, Generierung.

2012 AlexNet. Ein tiefes Faltungsnetz, auf Grafikkarten trainiert, gewann den ImageNet-Wettbewerb mit großem Vorsprung. → Teil der Serie
2013 word2vec. Tomáš Mikolov u. a.: Wörter als Vektoren, mit denen sich Analogien berechnen lassen. → Teil der Serie
2014 GAN. Ian Goodfellow: zwei Netze gegeneinander erzeugen Bilder. → Teil der Serie
2014 Attention. Dzmitry Bahdanau u. a.: ein Übersetzungsnetz schaut auf die wichtigen Wörter des Satzes. → Teil der Serie
2015 DQN. DeepMind brachte einem einzigen Netz bei, Dutzende Atari-Spiele vom Bildschirm aus zu spielen. → Teil der Serie
2016 AlphaGo. Das Programm von DeepMind besiegte Lee Sedol im Go 4 : 1; das Spiel galt als Domäne menschlicher Intuition.
2017 Transformer. Der Aufsatz „Attention Is All You Need“ (Vaswani u. a., Google) — die Architektur heutiger Sprachmodelle. → Teil der Serie
2017 PPO. John Schulman u. a. (OpenAI): stabiles Lernen einer Strategie. → Teil der Serie

Beispiel — warum ReLU geholfen hat

Die Ableitung der Sigmoidfunktion ist σ′(z) = σ(z)(1 − σ(z)) ≤ ¼ (Maximum bei z = 0). Bei der Backpropagation werden diese Ableitungen über alle Schichten multipliziert, sodass der Gradient nach zehn Sigmoidschichten höchstens (¼)¹⁰ = 9,5 · 10^-7 der ursprünglichen Größe beträgt (die Gewichte können ihn vergrößern oder verkleinern, aber dieser Faktor bleibt). ReLU(z) = max(0, z) hat für z > 0 die Ableitung 1 — der Gradient geht unvermindert durch aktive Neuronen, und so lassen sich tiefe Netze trainieren.

6. Sprachmodelle (seit 2018)

Der Transformer von 2017 ließ sich besser skalieren als alles davor. GPT-Modelle, auf einem großen Teil des Internets vortrainiert, zeigten, dass ein größeres Modell und mehr Daten eine vorhersagbare Verbesserung bringen. GPT-3 bewältigte 2020 Aufgaben, für die es niemand trainiert hatte, allein aus ein paar Beispielen im Prompt. Durch Feinabstimmung nach menschlichen Präferenzen entstand daraus ChatGPT (November 2022) — das erste Sprachmodell, das Hunderte Millionen Menschen ausprobiert haben. Heute werden aus Modellen Agenten, die selbstständig am Computer arbeiten.

2020 GPT-3. Ein Sprachmodell mit 175 Milliarden Parametern bewältigt neue Aufgaben allein aus Beispielen im Prompt. → Teil der Serie
2020 Diffusionsmodelle. Jonathan Ho u. a.: ein Bild schält sich Schritt für Schritt aus dem Rauschen. → Teil der Serie
2020 AlphaFold 2. DeepMind sagt die dreidimensionale Form von Proteinen mit nahezu experimenteller Genauigkeit vorher.
2022 ChatGPT. Ein nach menschlichen Präferenzen feinabgestimmtes Sprachmodell; innerhalb von zwei Monaten nutzten es Schätzungen zufolge 100 Millionen Menschen. → Teil der Serie
2024 Nobelpreise. Für Physik John Hopfield und Geoffrey Hinton (neuronale Netze), für Chemie Demis Hassabis und John Jumper (AlphaFold) zusammen mit David Baker.
2024 Agenten. Sprachmodelle mit Werkzeugen programmieren, suchen und arbeiten selbstständig am Computer. → Teil der Serie

Attention: die Formel, auf der der Transformer beruht

Seien Q ∈ ℝ^m×d_k die Anfragen (jede Zeile ist eine Anfrage), K ∈ ℝ^n×d_k die Schlüssel und V ∈ ℝ^n×d_v die Werte (die i-te Zeile von V gehört zum i-ten Schlüssel). Softmax wird für jede Zeile einzeln berechnet: Für s ∈ ℝⁿ ist softmax(s)_j = e^s_j/∑_i=1ⁿ e^s_i. Das Ergebnis ist eine Matrix aus ℝ^m×d_v:

Attention(Q, K, V) = softmax(QK^T/√d_k) V

QK^T: Skalarprodukte jeder Anfrage (Query) mit jedem Schlüssel (Key) — groß, wenn die Vektoren in dieselbe Richtung zeigen; so „sucht“ ein Wort die Wörter, die es betreffen
√d_k: das Skalarprodukt aus d_k zufälligen Komponenten hat eine zu d_k proportionale Varianz; ohne die Division würde sich Softmax mit wachsender Dimension auf ein einziges Wort festlegen und die Gradienten würden verschwinden
softmax: macht aus beliebigen Scores positive Gewichte mit der Summe 1 — und anders als „nimm das Maximum“ ist es differenzierbar, lässt sich also lernen
V: Werte (Values) — die Information, die tatsächlich weitergegeben wird; die Ausgabe ist ihr gewichteter Durchschnitt

Jedes Wort setzt sich einen neuen Vektor als gewichteten Durchschnitt der anderen zusammen, mit Gewichten nach Ähnlichkeit.

Beispiel — eine Anfrage, zwei Schlüssel

q = (1, 0), k₁ = (1, 0), k₂ = (0, 1), v₁ = (10, 0), v₂ = (0, 10), d_k = 2.

Die Farben entsprechen den Gliedern der Formel oben.

Scores: q · k₁/√2 = 1/√2 = 0,707 und q · k₂/√2 = 0/√2 = 0.

Softmax: e^0,707/e^0,707 + e⁰ = 0,670 und e⁰/e^0,707 + e⁰ = 0,330.

Ausgabe: 0,670 · (10, 0) + 0,330 · (0, 10) = (6,70; 3,30). Die Anfrage hat mehr auf das erste Wort „geschaut“, weil dessen Schlüssel ihr ähnlich ist — aber auch das zweite nicht ignoriert.

Mehr dazu: Attention und Transformer.

Das Skalierungsgesetz: warum „mehr“ vorhersagbar funktioniert

Sei N > 0 die Zahl der Parameter des Modells, D > 0 die Zahl der Trainingstoken und seien E, A, B, α, β > 0 an Messungen angepasste Konstanten. Das Skalierungsgesetz (in der Form nach Hoffmann u. a.) schätzt den Verlust des trainierten Modells als

L(N, D) = E + A/N^α + B/D^β

E: der unüberwindbare Verlust: Text selbst ist unsicher, und nicht einmal ein unendliches Modell kennt das nächste Wort mit Sicherheit
A/N^α: die Steuer für ein kleines Modell (N Parameter); sie sinkt nach einem Potenzgesetz — doppelt so viele Parameter senken sie nur um 21 %, und deshalb wachsen Modelle um Größenordnungen
B/D^β: die Steuer für zu wenig Daten (D Token); sie steht für sich, weil ein riesiges Modell auf wenig Daten an diesen Term stößt

L ist der durchschnittliche Verlust (Kreuzentropie) pro Token. Der Rechenaufwand des Trainings beträgt etwa C ≈ 6 · N · D Operationen; das Gesetz sagt, wie man ihn zwischen Modellgröße und Daten aufteilt.

Beispiel — Gopher gegen Chinchilla

Die Farben entsprechen den Gliedern der Formel oben. Konstanten, angepasst an Hunderte von Modellen (Hoffmann u. a., 2022): E = 1,69, A = 406,4, B = 410,7, α = 0,34, β = 0,28.

Gopher: N = 280 Mrd., D = 300 Mrd.: L = 1,69 + 0,052 + 0,251 =1,993; Rechenaufwand 5,0 · 10²³.
Chinchilla: N = 70 Mrd., D = 1 400 Mrd.: L = 1,69 + 0,083 + 0,163 =1,937; Rechenaufwand 5,9 · 10²³.

Bei vergleichbarem Rechenaufwand ist die viermal kleinere Chinchilla besser: Bei Gopher überwog der Datenterm deutlich den Parameterterm (0,251 gegen 0,052), also lohnte es sich, Parameter wegzunehmen und Daten hinzuzufügen.

7. Was sich aus der Geschichte ablesen lässt

Definition — die bittere Lektion (the bitter lesson)

Die bittere Lektion ist eine These, die Richard Sutton 2019 in einem Essay aus siebzig Jahren KI-Forschung abgeleitet hat. Sie ist eine empirische Beobachtung, keine mathematische Aussage. Sie vergleicht zwei Arten von Methoden:

allgemeine Methoden, deren Ergebnisse mit wachsender Rechenleistung besser werden — Suche und Lernen;
Methoden mit eingebautem Wissen, in die Menschen ihr Wissen über die konkrete Aufgabe von Hand hineinstecken.

Die These lautet: Weil Rechenleistung langfristig (exponentiell) billiger wird, übertreffen Methoden der Art 1 am Ende die Methoden der Art 2. Handwissen hilft kurzfristig, wird aber am Ende von einer Methode überholt, die sich das nötige Wissen selbst aus Daten und Rechenleistung aneignet.

Einfach gesagt

Schach gewann die Suche, nicht die Regeln von Großmeistern. Bilder gewann ein Netz, das selbst lernte, was eine Kante ist, nicht von Hand entworfene Kantendetektoren. Sprache gewann ein Modell, das das Internet gelesen hat, nicht eine von Linguisten aufgeschriebene Grammatik. „Bitter“ ist das, weil Menschen immer wieder versuchen, ihre klugen Ideen in Maschinen zu stecken — und jedes Mal überholt sie rohe Kraft mit einer guten allgemeinen Methode.

Und noch etwas wird sichtbar, wenn wir schauen, woher die Ideen stammen, die wir in der Serie erklären. Von den 37 Meilensteinen auf der Zeitleiste haben 30 einen eigenen Teil:

Aus welchem Jahrzehnt die Meilensteine mit eigenem Teil der Serie stammen

Die meisten (7) stammen aus den 2010er-Jahren — aber fast ebenso wichtig sind die 1950er und 1980er. Perzeptron, Backpropagation, Faltungsnetze, LSTM und Q-Learning sind Jahrzehnte alt; sie warteten auf Daten und Rechenleistung. Das meiste, was heute wie ein Wunder aussieht, ist eine kluge Kombination alter Ideen in großem Maßstab. Und jede Welle der Begeisterung endete bisher mit Ernüchterung — die Frage ist nur, wie tief.

8. Zusammenfassung

1950 Turing-Test, 1956 Dartmouth (der Name „künstliche Intelligenz“ stammt aus dem Antrag für das Seminar von 1955), 1958 Perzeptron.
Auf die goldenen Jahre folgten zwei Winter (etwa 1974–1980 und 1987–1993), dazwischen Expertensysteme.
Seit den 1990er-Jahren statistisches Lernen: aus Daten statt Regeln, mit Messung und Wahrscheinlichkeit.
2012 AlexNet und Deep Learning; 2017 der Transformer; 2022 ChatGPT; heute Agenten.
Die bittere Lektion: Langfristig gewinnen allgemeine Methoden, die Rechenleistung nutzen — Suche und Lernen.
Die meisten heutigen Ideen sind alt; neu sind Daten, Rechenleistung und Maßstab.

Möchtest du es selbst ausprobieren? Bitte einen KI-Agenten, dir ein ELIZA-Programm mit zwanzig Regeln zu schreiben, und unterhalte dich damit. Vergleiche dann dasselbe Gespräch mit einem heutigen Sprachmodell — und überlege, was an dem Unterschied „Intelligenz“ ist.

Siehst du das anders? Schreib an support@coden-app.com.

Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen

1. Anfänge: Kann eine Maschine denken?

2. Die goldenen Jahre (1956–1974)

Das Perzeptron: das erste Neuron, das lernt

3. Zwei Winter und Expertensysteme (1974–1993)

Backpropagation: wie man mehrere Schichten trainiert

4. Statistisches Lernen (1993–2012)

5. Deep Learning (2012–2018)

6. Sprachmodelle (seit 2018)

Attention: die Formel, auf der der Transformer beruht

Das Skalierungsgesetz: warum „mehr“ vorhersagbar funktioniert

7. Was sich aus der Geschichte ablesen lässt

8. Zusammenfassung

Ein Agent auf deinem Rechner, vom Telefon aus gesteuert