Gradientenabstieg: wie ein Modell lernt

Lernrate, Zickzack in engen Tälern, Momentum, Adam, stochastischer Abstieg in Mini-Batches und lokale Minima — mit Animationen echter Trajektorien.

24 Minuten Matěj Žalmánek 2026-10-15

Serie KI-Grundlagen Teil 11 von 52

1. Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst
2. Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen
3. Daten, Modell, Training, Inferenz: die Grundbegriffe an einem einzigen Beispiel
4. Mathematische Notation lesen: Symbole, Indizes, Summen und Quantoren
5. Mengen und Relationen: der Baukasten, aus dem Definitionen in der KI bestehen
6. Funktionen und Abbildungen: warum jedes KI-Modell eine Funktion ist
7. Logik und Beweise: die Regeln, nach denen KI schließt
8. Graphen und Bäume: die Struktur, auf der Suche und neuronale Netze stehen
9. Lineare Algebra für maschinelles Lernen: Vektoren, Matrizen und warum KI vor allem multipliziert
10. Ableitungen, Gradient und Kettenregel: wie ein Modell herausfindet, in welche Richtung es lernen soll
11. Gradientenabstieg: wie ein Modell lernt
12. Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen
13. Bedingte Wahrscheinlichkeit und der Satz von Bayes: wie du deine Einschätzung änderst, wenn du etwas Neues erfährst
14. Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät
15. Dichtefunktion und Wahrscheinlichkeitsfunktion: warum eine stetige Zufallsvariable in einem Punkt die Wahrscheinlichkeit null hat
16. Erwartungswert, Varianz und Kovarianz: wo eine Verteilung liegt, wie breit sie ist und was womit zusammenhängt
17. Überblick über Wahrscheinlichkeitsverteilungen: Bernoulli-, Binomial-, Poisson-, Gleich-, Normal- und Exponentialverteilung
18. Gesetz der großen Zahlen und zentraler Grenzwertsatz: Warum sich Durchschnitte so vorhersagbar verhalten
19. Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle
20. Informationstheorie: Entropie, Kreuzentropie und KL-Divergenz — woher Verlustfunktionen kommen
21. Zustandsraumsuche: BFS, DFS, UCS und A* mit Animationen
22. Spiele und Gegner: Minimax, Alpha-Beta-Suche und Monte Carlo Tree Search
23. Constraint Satisfaction: Backtracking, Constraint-Propagierung und AC-3 an Sudoku und einer Karte tschechischer Regionen
24. Logik und wissensbasierte Systeme: Vorwärts- und Rückwärtsverkettung, Resolution und Expertensysteme
25. Planung: STRIPS, die Blockwelt, Heuristiken aus Relaxierung und Planung in KI-Agenten
26. Lokale Suche und simulierte Abkühlung: ein Handlungsreisender durch die tschechischen Regionalhauptstädte
27. Genetische Algorithmen: Population, Kreuzung, Mutation und Selektion am Rucksack für die Wanderung
28. Evolutionsstrategien und genetische Programmierung: von der 1/5-Erfolgsregel zum Keplerschen Gesetz
29. Ameisenkolonieoptimierung: wie eine Pheromonspur einen kurzen Weg findet
30. Partikelschwarmoptimierung: Trägheit, eigene Erfahrung und die Erfahrung des Schwarms
31. Neuroevolution: Evolution der Gewichte und der Gestalt neuronaler Netze und der Algorithmus NEAT
32. Fuzzy-Mengen und Zugehörigkeitsfunktionen: wie man „etwas warm“ aufschreibt
33. Fuzzy-Logik und Wahrscheinlichkeit: warum „etwas warm“ nicht „wahrscheinlich warm“ bedeutet
34. Fuzzy-Logik: t-Normen, Implikationen und WENN–DANN-Regeln
35. Fuzzy-Regelung: Mamdani und Sugeno vom Ventilator bis zum Pendel auf dem Wagen
36. Fuzzy-Clustering: der Algorithmus fuzzy c-means und Punkte zwischen den Clustern
37. Neuro-Fuzzy-Systeme (ANFIS): Fuzzy-Regeln, die aus Daten lernen
38. Markow-Ketten: Übergangsmatrix, stationäre Verteilung und PageRank
39. Hidden-Markov-Modelle: der Viterbi-Algorithmus und das unehrliche Kasino
40. Bayessche Netze: warum das Gras nass ist und was das für den Rasensprenger bedeutet
41. Der Kalman-Filter: wie man aus ungenauen Messungen schätzt, wo ein Auto ist und wie schnell es fährt
42. Arten des maschinellen Lernens: überwacht, unüberwacht, halbüberwacht und mehr
43. Prompts, Kontext und RAG: wie man einem Modell die richtigen Informationen gibt
44. Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum
45. Generative Adversarial Networks (GAN): der Fälscher gegen den Detektiv
46. Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird
47. Markow-Entscheidungsprozesse: Zustände, Aktionen, Belohnungen und Bellman-Gleichungen
48. Q-Learning und DQN: den Wert von Aktionen lernen, von der Tabelle bis zum neuronalen Netz
49. Policy Gradient und PPO: die Strategie direkt lernen
50. Wie ein KI-Agent funktioniert: ein Sprachmodell in einer Schleife mit Werkzeugen
51. Programmieren mit KI-Agenten: Auftrag, Tests und Kontrolle
52. Bewertung und Sicherheit von KI-Systemen: wie man misst und wie man überwacht

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

In den vorherigen Teilen haben wir alles Nötige vorbereitet: Ein Modell ist eine Funktion mit Parametern, die Verlustfunktion ist eine Landschaft über dem Raum der Parameter, und der Gradient zeigt in die steilste Richtung bergauf. Jetzt fügen wir das zu dem Algorithmus zusammen, mit dem fast jedes neuronale Netz der Welt lernt — dem Gradientenabstieg. Seine Idee passt in einen einzigen Satz, und seine Details entscheiden, ob ein Modell in einer Stunde lernt, in einer Woche oder gar nicht.

1. Die Idee: bergab im Nebel

Definition — Gradientenabstieg

Für eine Verlustfunktion J(θ) wählen wir Anfangsparameter θ₀ und eine Lernrate η > 0 und wiederholen

θ_t+1 = θ_t − η ∇J(θ_t),

solange sich der Verlust spürbar verbessert.

2. Lernrate: wie lang ein Schritt

Die Schrittlänge ist die wichtigste Wahl des ganzen Algorithmus. Wir zeigen das an der einfachsten Landschaft, der Parabel J(x) = x², mit Start bei x = 4. Die Ableitung ist 2x, also macht jeder Schritt x ← x − η · 2x = (1 − 2η)x. Zwölf Schritte für vier verschiedene Lernraten:

η = 0,1 — langsam

η = 0,4 — schnell

η = 0,9 — schwingt

η = 1,05 — divergiert

• η = 0,1 — jeder Schritt verkürzt den Abstand zum Minimum nur um ein Fünftel. Nach zwölf Schritten ist die Kugel erst bei x ≈ 0,27.
• η = 0,4 — jeder Schritt verkürzt ihn auf ein Fünftel; nach ein paar Schritten ist die Kugel praktisch am Grund.
• η = 0,9 — der Schritt ist so lang, dass die Kugel auf die andere Seite springt. Trotzdem nähert sie sich, weil sie immer kürzere Bögen springt.
• η = 1,05 — sie springt jedes Mal weiter, als sie war: Statt nach unten fliegt sie nach außen und ist nach zwölf Schritten bei x ≈ 12,55. Das Lernen divergiert.

Satz — wann der Abstieg auf der Parabel konvergiert

Für J(x) = x² ist x_t = (1 − 2η)^t x₀, der Abstieg konvergiert also genau dann, wenn |1 − 2η| < 1, also 0 < η < 1. Am schnellsten für η = 0,5 — dann landet er mit einem einzigen Schritt im Minimum.

3. Enge Täler und Zickzack

Echte Landschaften sind keine runden Schüsseln. Meist sind es lange, enge Täler — in einer Richtung steil, in der anderen fast flach. Nehmen wir J(x, y) = x²/2 + 10y², in Richtung y zwanzigmal steiler. Der gewöhnliche Abstieg hat hier ein Problem: Die Lernrate muss wegen der steilen Richtung klein sein (sonst würde er in y divergieren), und mit so einem kleinen Schritt bewegt er sich in der flachen Richtung x kaum. Außerdem springt er in Richtung y ständig von einer Seite zur anderen:

Jede Methode hat ihre beste Lernrate, durch Ausprobieren gefunden. Trotzdem braucht der gewöhnliche Abstieg 36 Schritte und läuft im Zickzack, während Momentum und Adam nach 9 unten sind. Warum, zeigen die nächsten zwei Kapitel.

4. Momentum: eine Kugel mit Trägheit

Definition — Abstieg mit Momentum

v_t+1 = β v_t − η ∇J(θ_t),   θ_t+1 = θ_t + v_t+1,

wobei v die „Geschwindigkeit“ ist und β ∈ [0, 1) angibt, wie viel davon in den nächsten Schritt übergeht (typisch 0,9; in unserem Tal am besten 0,6).

5. Adam: ein eigener Schritt für jeden Parameter

Definition — Adam (Kingma und Ba, 2014)

m ← β₁m + (1 − β₁)g,   s ← β₂s + (1 − β₂)g²,   θ ← θ − η m̂ / (√ŝ + ε),

wobei g = ∇J(θ), alle Operationen komponentenweise sind und m̂, ŝ die um die anfängliche Verzerrung korrigierten m, s sind (Bias-Korrektur, geteilt durch 1 − β^t). Übliche Werte: β₁ = 0,9, β₂ = 0,999.

6. Stochastischer Abstieg: Lernen in Batches

Definition — stochastischer Gradientenabstieg (SGD)

Ist der Verlust ein Mittelwert über die Daten, J(θ) = (1/n) ∑_i L_i(θ), ersetzt SGD den vollen Gradienten durch den Mittelwert über einen zufälligen Mini-Batch B ⊂ {1, …, n}: g = (1/|B|) ∑_{i ∈ B} ∇L_i(θ). Ein Durchlauf durch alle Daten heißt Epoche.

An einer linearen Regression mit 40 Punkten vergleichen wir den vollen Abstieg (Gradient über alle 40 Punkte) mit SGD in Batches zu 4 Punkten:

Nach 60 Schritten hat der volle Abstieg einen Verlust von 0,0017 und SGD 0,0027 — die SGD-Kurve ist holprig, aber fast genauso tief. Nur ging jeder SGD-Schritt bloß durch 4 Punkte statt 40, also zehnmal weniger Arbeit. Bei echten Daten mit Millionen von Beispielen ist dieser Unterschied entscheidend. Und das Rauschen hat auch einen Vorteil: Es hilft, aus flachen Mulden herauszuspringen.

7. Lokale Minima und Sattelpunkte

Der Gradientenabstieg findet den Grund des Tals, in dem er begonnen hat. Eine konvexe Funktion hat nur einen Grund, bei einer nicht konvexen hängt es vom Start ab. Die Funktion x⁴ − 3x² + x aus dem Teil über Funktionen hat zwei Minima:

Eine Kugel, die bei x = 2 startet, endet im lokalen Minimum bei x ≈ 1,13 mit dem Wert ≈ −1,07. Eine Kugel ab x = −2 findet das globale Minimum bei x ≈ −1,30 mit dem Wert ≈ −3,51. In den hohen Dimensionen neuronaler Netze zeigt sich, dass schlechte lokale Minima seltener sind, als man erwarten würde — das größere Problem sind meist Sattelpunkte, Stellen, an denen der Gradient null ist, die Landschaft aber in einer Richtung ansteigt und in einer anderen abfällt. Das Rauschen von SGD und das Momentum helfen, von ihnen abzurutschen.

8. Wie man es in der Praxis macht

• Adam oder SGD mit Momentum — die zwei häufigsten Wahlen. Adam funktioniert sofort gut, SGD mit Momentum ist nach sorgfältigem Abstimmen oft ein Stück besser.
• Lernratenplan — am Anfang ein langsamer Anlauf (Warmup), dann allmähliches Senken. Große Schritte passen weit weg vom Ziel, kleine nah dran.
• Batchgröße — typisch 32 bis Tausende Beispiele; sie wird durch den Speicher der Grafikkarte begrenzt.
• Epochen und frühes Stoppen — die Daten werden wiederholt durchlaufen, und das Training stoppt, wenn sich der Fehler auf Daten, die das Modell nicht gesehen hat, nicht mehr verbessert.
• Normalisierung der Daten — wenn die Eingaben einen ähnlichen Wertebereich haben, ist die Landschaft runder und der Abstieg leichter.

9. Zusammenfassung

• Der Gradientenabstieg wiederholt θ ← θ − η∇J(θ): einen Schritt gegen den Gradienten.
• Die Lernrate entscheidet: Eine kleine ist langsam, eine große schwingt, eine zu große divergiert.
• In engen Tälern läuft der gewöhnliche Abstieg im Zickzack; Momentum fügt Trägheit hinzu, Adam einen eigenen Schritt für jeden Parameter.
• SGD berechnet den Gradienten aus kleinen Batches — das rauscht, aber jeder Schritt ist um ein Vielfaches billiger.
• Der Abstieg findet den Grund des Tals, in dem er begonnen hat; in nicht konvexen Landschaften kommt es auf den Start an.

Mit diesem Teil ist die Mathematik vollständig, die du zum Verständnis des Lernens brauchst. Die nächsten Module der Reihe — Wahrscheinlichkeit, maschinelles Lernen und neuronale Netze — bauen darauf auf.

Siehst du das anders? Schreib an support@coden-app.com.