Markow-Entscheidungsprozesse: Zustände, Aktionen, Belohnungen und Bellman-Gleichungen

Ein MDP an einer Gitterwelt mit Klippe, Ertrag und Diskont, Wertfunktion und Bellman-Gleichung, Wertiteration und Strategie-Iteration von Grund auf geschrieben, wie Diskont, Rutschen und Schrittkosten das optimale Verhalten verändern, und eine Kontrolle per Simulation.

11 Minuten Matěj Žalmánek 2026-10-16

Serie KI-Grundlagen Teil 47 von 52

1. Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst
2. Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen
3. Daten, Modell, Training, Inferenz: die Grundbegriffe an einem einzigen Beispiel
4. Mathematische Notation lesen: Symbole, Indizes, Summen und Quantoren
5. Mengen und Relationen: der Baukasten, aus dem Definitionen in der KI bestehen
6. Funktionen und Abbildungen: warum jedes KI-Modell eine Funktion ist
7. Logik und Beweise: die Regeln, nach denen KI schließt
8. Graphen und Bäume: die Struktur, auf der Suche und neuronale Netze stehen
9. Lineare Algebra für maschinelles Lernen: Vektoren, Matrizen und warum KI vor allem multipliziert
10. Ableitungen, Gradient und Kettenregel: wie ein Modell herausfindet, in welche Richtung es lernen soll
11. Gradientenabstieg: wie ein Modell lernt
12. Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen
13. Bedingte Wahrscheinlichkeit und der Satz von Bayes: wie du deine Einschätzung änderst, wenn du etwas Neues erfährst
14. Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät
15. Dichtefunktion und Wahrscheinlichkeitsfunktion: warum eine stetige Zufallsvariable in einem Punkt die Wahrscheinlichkeit null hat
16. Erwartungswert, Varianz und Kovarianz: wo eine Verteilung liegt, wie breit sie ist und was womit zusammenhängt
17. Überblick über Wahrscheinlichkeitsverteilungen: Bernoulli-, Binomial-, Poisson-, Gleich-, Normal- und Exponentialverteilung
18. Gesetz der großen Zahlen und zentraler Grenzwertsatz: Warum sich Durchschnitte so vorhersagbar verhalten
19. Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle
20. Informationstheorie: Entropie, Kreuzentropie und KL-Divergenz — woher Verlustfunktionen kommen
21. Zustandsraumsuche: BFS, DFS, UCS und A* mit Animationen
22. Spiele und Gegner: Minimax, Alpha-Beta-Suche und Monte Carlo Tree Search
23. Constraint Satisfaction: Backtracking, Constraint-Propagierung und AC-3 an Sudoku und einer Karte tschechischer Regionen
24. Logik und wissensbasierte Systeme: Vorwärts- und Rückwärtsverkettung, Resolution und Expertensysteme
25. Planung: STRIPS, die Blockwelt, Heuristiken aus Relaxierung und Planung in KI-Agenten
26. Lokale Suche und simulierte Abkühlung: ein Handlungsreisender durch die tschechischen Regionalhauptstädte
27. Genetische Algorithmen: Population, Kreuzung, Mutation und Selektion am Rucksack für die Wanderung
28. Evolutionsstrategien und genetische Programmierung: von der 1/5-Erfolgsregel zum Keplerschen Gesetz
29. Ameisenkolonieoptimierung: wie eine Pheromonspur einen kurzen Weg findet
30. Partikelschwarmoptimierung: Trägheit, eigene Erfahrung und die Erfahrung des Schwarms
31. Neuroevolution: Evolution der Gewichte und der Gestalt neuronaler Netze und der Algorithmus NEAT
32. Fuzzy-Mengen und Zugehörigkeitsfunktionen: wie man „etwas warm“ aufschreibt
33. Fuzzy-Logik und Wahrscheinlichkeit: warum „etwas warm“ nicht „wahrscheinlich warm“ bedeutet
34. Fuzzy-Logik: t-Normen, Implikationen und WENN–DANN-Regeln
35. Fuzzy-Regelung: Mamdani und Sugeno vom Ventilator bis zum Pendel auf dem Wagen
36. Fuzzy-Clustering: der Algorithmus fuzzy c-means und Punkte zwischen den Clustern
37. Neuro-Fuzzy-Systeme (ANFIS): Fuzzy-Regeln, die aus Daten lernen
38. Markow-Ketten: Übergangsmatrix, stationäre Verteilung und PageRank
39. Hidden-Markov-Modelle: der Viterbi-Algorithmus und das unehrliche Kasino
40. Bayessche Netze: warum das Gras nass ist und was das für den Rasensprenger bedeutet
41. Der Kalman-Filter: wie man aus ungenauen Messungen schätzt, wo ein Auto ist und wie schnell es fährt
42. Arten des maschinellen Lernens: überwacht, unüberwacht, halbüberwacht und mehr
43. Prompts, Kontext und RAG: wie man einem Modell die richtigen Informationen gibt
44. Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum
45. Generative Adversarial Networks (GAN): der Fälscher gegen den Detektiv
46. Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird
47. Markow-Entscheidungsprozesse: Zustände, Aktionen, Belohnungen und Bellman-Gleichungen
48. Q-Learning und DQN: den Wert von Aktionen lernen, von der Tabelle bis zum neuronalen Netz
49. Policy Gradient und PPO: die Strategie direkt lernen
50. Wie ein KI-Agent funktioniert: ein Sprachmodell in einer Schleife mit Werkzeugen
51. Programmieren mit KI-Agenten: Auftrag, Tests und Kontrolle
52. Bewertung und Sicherheit von KI-Systemen: wie man misst und wie man überwacht

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

Bisher haben die Modelle in dieser Reihe aus Beispielen mit richtiger Antwort gelernt oder Struktur in Daten gesucht. Bestärkendes Lernen ist der dritte Weg: Ein Agent handelt, die Welt gibt ihm dafür Belohnungen und Strafen, und der Agent soll herausfinden, wie er handeln muss, um möglichst viele davon zu sammeln. Bevor wir uns ans Lernen machen, brauchen wir eine Sprache, mit der sich eine solche Aufgabe genau beschreiben lässt. Das ist der Markow-Entscheidungsprozess. In diesem Teil bauen wir ihn an einer kleinen Welt mit einer Klippe auf und berechnen das beste Verhalten exakt — unter der Annahme, dass wir die Regeln der Welt kennen.

Er knüpft an die Teile Markow-Ketten, Erwartungswert, Varianz und Kovarianz und Arten des maschinellen Lernens an.

1. Agent, Umgebung, Belohnung

Definition — Markow-Entscheidungsprozess (MDP)

Ein MDP ist ein Fünftupel (S, A, P, R, γ): eine Zustandsmenge S, eine Aktionsmenge A, Übergangswahrscheinlichkeiten P(s′ | s, a), eine Belohnung R(s, a, s′) und ein Diskontfaktor γ ∈ [0, 1). In jedem Schritt wählt der Agent im Zustand s eine Aktion a, die Welt versetzt ihn zufällig gemäß P nach s′, und der Agent erhält eine Belohnung. Markow-Eigenschaft: Der nächste Zustand hängt nur vom aktuellen Zustand und der Aktion ab, nicht von der Vorgeschichte.

Unsere Welt ist ein Gitter 6 × 5. Der Agent beginnt links (S) und kann nach oben, rechts, unten oder links gehen. Die ganze unterste Reihe ist eine Klippe: Wer hineinfällt, bekommt −10, und das Spiel ist vorbei. Nicht weit vom Start liegt ein kleines Ziel für +1, weit rechts ein großes Ziel für +10. Zwei Mauern versperren den kürzeren Weg nach oben. Und der Boden kann rutschig sein: Mit Wahrscheinlichkeit p rutscht der Agent statt in die beabsichtigte Richtung in eine der beiden dazu senkrechten Richtungen.

P(s′ | s, a) = (1 − p) · [s′ = Schritt in Richtung a] + p/2 · [s′ = Schritt quer nach links] + p/2 · [s′ = Schritt quer nach rechts]

P(s′ | s, a)

mit welcher Wahrscheinlichkeit der Agent nach der Aktion a auf dem Feld s′ landet — die ganze Verteilung, nicht nur „wohin es gehen soll“, denn der Wert eines Zuges wird als Durchschnitt über alle möglichen Landeplätze berechnet

(1 − p) · […]

die beabsichtigte Bewegung — sie bekommt den Großteil der Wahrscheinlichkeit; mit p = 0 bleibt nur dieser Term übrig, und die Welt ist deterministisch

p/2 · […]

Rutschen zur Seite, zu gleichen Teilen nach links und rechts — deshalb ist das Feld neben der Klippe gefährlich, auch wenn wir an ihr entlang und nicht in sie hinein gehen

Beispiel — ein Schritt nach rechts an der Klippe entlang

Der Agent steht auf dem Feld rechts vom Start (über ihm eine Mauer, unter ihm die Klippe) und wählt „nach rechts“, p = 0,2:

• 0,8 — nächstes Feld rechts,
• 0,1 — Klippe (Belohnung −10, Ende),
• 0,1 — Feld rechts vom Start (rutscht nach oben gegen die Mauer und bleibt stehen),

zusammen 0,8 + 0,1 + 0,1 = 1. Die erwartete unmittelbare Belohnung dieses Zuges ist 0,8 · 0 + 0,1 · (−10) + 0,1 · 0 = −1: Im Schnitt endet jeder zehnte solche Schritt mit einem Sturz.

2. Ertrag, Diskont und Strategie

Definition — Ertrag und Strategie

Der Ertrag (Return) ab dem Zeitpunkt t ist die diskontierte Summe der künftigen Belohnungen G_t = r_t+1 + γ r_t+2 + γ² r_t+3 + …. Eine Strategie (Policy) π sagt, welche Aktion in welchem Zustand zu wählen ist — deterministisch π(s) = a oder als Verteilung π(a | s). Ziel ist die Strategie mit dem größten erwarteten Ertrag.

G_t = r_t+1 + γ · G_t+1

G_t

der Ertrag von jetzt bis zum Ende — die Zahl, die der Agent so groß wie möglich haben will

r_t+1

die Belohnung gleich für den nächsten Schritt — die einzige, die er ohne Warten bekommt, daher ohne Diskont

γ

der Diskont — alles, was später kommt, wird um einen Faktor γ billiger; so wird „später“ in „weniger“ übersetzt

G_t+1

der Ertrag ab dem nächsten Schritt — dieselbe Größe einen Schritt weiter; die Rekursion, aus der gleich die Bellman-Gleichung erwächst

Satz — mit γ < 1 ist der Ertrag immer endlich

Ist jede Belohnung betragsmäßig höchstens R_max, dann gilt |G_t| ≤ R_max (1 + γ + γ² + …) = R_max / (1 − γ), selbst wenn die Episode nie endet.

Beweis. Die Dreiecksungleichung liefert |G_t| ≤ ∑_{k ≥ 0} γ^k |r_t+k+1| ≤ R_max ∑_{k ≥ 0} γ^k, und die geometrische Reihe mit dem Quotienten 0 ≤ γ < 1 hat die Summe 1/(1 − γ). ∎

Bei uns ist R_max = 10 und γ = 0,9, also |G| ≤ 10 / 0,1 = 100. Ohne Schrittkosten ist es sogar viel weniger: Eine Belohnung ungleich null gibt es nur beim Betreten eines Ziels oder der Klippe, und das höchstens einmal pro Episode, also |G| ≤ 10. Deshalb lässt sich γ = 1 nur dort verwenden, wo die Episode sicher endet.

Beispiel — der Ertrag des kürzesten Weges zum großen Ziel

Auf festem Boden führt der kürzeste Weg zum Ziel +10 über 6 Schritte. Die ersten fünf Schritte bringen die Belohnung 0, der sechste (das Betreten des Ziels) +10. Mit γ = 0,9:

G₀ = 0 + 0,9 · 0 + 0,9² · 0 + 0,9³ · 0 + 0,9⁴ · 0 + 0,9⁵ · 10 = 0,59049 · 10 = 5,9049.

Auf festem Boden passiert nichts Zufälliges, also ist das direkt der Wert des Starts — und die Berechnung per Wertiteration im Abschnitt über Strategien ergibt tatsächlich 5,90. Das kleine Ziel +1 brächte selbst nach 3 Schritten nur 0,9² · 1 = 0,81.

3. Wert und Bellman-Gleichungen

Definition — Wertfunktion und Bellmansche Optimalitätsgleichung

Der Wert eines Zustands unter der Strategie π ist der erwartete Ertrag, wenn der Agent in s beginnt und π folgt: V^π(s) = E_π[G_t | s_t = s]. Der Wert einer Aktion Q^π(s, a) ist dasselbe, wenn wir die erste Aktion selbst festlegen. Die optimalen Werte erfüllen die Bellman-Gleichung (Richard Bellman, 1957):

V*(s) = max_a ∑_s′ P(s′ | s, a) [R(s, a, s′) + γ V*(s′)],

und die optimale Strategie ist π*(s) = argmax_a Q*(s, a), wobei Q*(s, a) der Ausdruck innerhalb des Maximums ist.

V*(s) = max_a ∑_s′ P(s′ | s, a) [R(s, a, s′) + γ V*(s′)]

V*(s)

der beste erwartete Ertrag vom Feld s aus — das, was wir suchen; es steht auf beiden Seiten, die Gleichung ist also eine Bedingung, die alle Werte gleichzeitig erfüllen müssen

max_a

die Wahl des Agenten — die Aktion sucht er sich selbst aus und nimmt deshalb die beste; hier unterscheidet sich die „Optimalitäts“-Gleichung von der Gleichung für eine feste Strategie π, in der statt des Maximums π(s) steht

∑_s′ P(s′ | s, a) […]

der Durchschnitt darüber, wohin die Welt den Agenten tatsächlich wirft — darüber entscheidet der Agent nicht, daher ein Erwartungswert und kein Maximum

R(s, a, s′)

die unmittelbare Belohnung für diesen Übergang (+1, +10, −10 oder die Schrittkosten)

γ

der Diskont — die Zukunft liegt einen Schritt weiter, daher ein Faktor γ (genau wie in der Formel G_t = r_t+1 + γ G_t+1)

V*(s′)

der beste Ertrag vom Landeplatz aus — die ganze Zukunft in einer Zahl zusammengefasst, sodass nicht alle langen Wege durchlaufen werden müssen

Beispiel — die Bellman-Gleichung am Start (Rutschen 20 %, γ = 0,9)

Die fertigen optimalen Werte der Nachbarn des Starts: Feld über dem Start V* = 3,325, Feld rechts V* = 2,260, der Start selbst V* = 2,854; die Klippe ist ein Endzustand (Wert 0, Belohnung −10). Wir setzen für jede Aktion in die rechte Seite ein:

• ↑: 0,8 · (0 + 0,9 · 3,325) + 0,1 · (0 + 0,9 · 2,260) + 0,1 · (0 + 0,9 · 2,854) = 2,854,
• →: 0,8 · (0 + 0,9 · 2,260) + 0,1 · (−10 + 0,9 · 0,000) + 0,1 · (0 + 0,9 · 3,325) = 0,926,
• ↓: 0,8 · (−10 + 0,9 · 0,000) + 0,1 · (0 + 0,9 · 2,854) + 0,1 · (0 + 0,9 · 2,260) = −7,540,
• ←: 0,8 · (0 + 0,9 · 2,854) + 0,1 · (0 + 0,9 · 3,325) + 0,1 · (−10 + 0,9 · 0,000) = 1,354,

Am größten ist ↑ mit 2,854, und das ist genau V*(Start) — die Gleichung gilt (die Abweichung in der letzten Stelle ist Rundung). Die Aktion „nach oben“ ist etwas wert, obwohl der Agent mit 10 % Wahrscheinlichkeit nach links rutscht, an den Rand stößt und auf dem Start bleibt: Deshalb taucht V*(Start) auch rechts auf. Die Aktion „nach unten“ führt zu 80 % in die Klippe und fällt tief negativ aus.

4. Wertiteration

Definition — Wertiteration

Beginne mit V₀ = 0 und wiederhole für alle Zustände V_k+1(s) = max_a ∑_s′ P(s′ | s, a) [R + γ V_k(s′)], solange sich die Werte ändern. Der Bellman-Operator ist für γ < 1 eine Kontraktion: max_s |V_k+1 − V*| ≤ γ · max_s |V_k − V*|, der Fehler sinkt also mindestens wie γ^k.

# Wertiteration
V = 0 in allen Zuständen
wiederhole:
    für jeden Nicht-Endzustand s:
        für jede Aktion a:
            Q[a] = ∑ über s′ ( P(s′ | s, a) · (R(s, a, s′) + γ · V(s′)) )
        V_neu(s) = max(Q)
    Änderung = max über s |V_neu(s) − V(s)|
    V = V_neu
bis Änderung < 10⁻⁶
π(s) = Aktion mit dem größten Q[a] (berechnet aus dem endgültigen V)

Beispiel — die ersten drei Runden (Rutschen 20 %, γ = 0,9)

Wir verfolgen zwei Felder in der mittleren Reihe: A direkt links vom großen Ziel +10 und B ein Feld weiter, direkt rechts vom kleinen Ziel +1. Über B ist eine Mauer, über A frei, unter beiden gewöhnlicher Boden.

Runde k	Vk(A)	beste Aktion in A	Vk(B)	beste Aktion in B
1	8,000	→	0,800	←
2	8,000	→	5,832	→
3	9,166	→	6,343	→

Runde 1 (überall V₀ = 0): Von A führt ein Schritt nach rechts mit Wahrscheinlichkeit 0,8 ins Ziel, also 0,8 · 10 = 8,000. Von B aus ist noch nichts Fernes zu sehen, am besten ist ein Schritt nach links zum kleinen Ziel: 0,8 · 1 = 0,800.

Runde 2: Von B nach rechts gelangt man nach A, das schon den Wert 8 hat: 0,8 · 0,9 · 8 = 5,76, dazu 0,1 · 0,9 · 0,8 = 0,072 für das Rutschen nach oben (Mauer, bleibt in B mit V₁ = 0,8) und 0 für das Rutschen nach unten — insgesamt 5,832. Die beste Aktion in B ist von ← auf → umgeschlagen: Die Information über das große Ziel ist ein Feld weiter gewandert.

max_s |V_k+1(s) − V_k(s)| ≤ γ^k · max_s |V₁(s) − V₀(s)|

max |V_k+1 − V_k|

die größte Änderung in Runde k + 1 — das, was die Berechnung verfolgt und wonach sie anhält; im Diagramm unten die grüne (γ = 0,9) und die blaue (γ = 0,99) Linie

γ^k

jede Runde verkleinert den Abstand zweier Schätzungen mindestens um den Faktor γ (Kontraktion); nach k Runden also um γ^k — daher die langsame Konvergenz für γ nahe 1

max |V₁ − V₀|

die Größe der ersten Änderung; mit V₀ = 0 ist das die größte erwartete Belohnung für einen Schritt, bei uns höchstens 10 — daher die gestrichelte Schranke 10 · γ^k im Diagramm

Mit γ = 0,9 pendeln sich die Werte (Änderung unter 10⁻⁶) nach 50 Iterationen ein, mit γ = 0,99 nach 77. Der Fehler sinkt schneller, als die Schranke γ^k garantiert — sie gilt immer, ist für eine konkrete Welt aber meist pessimistisch. Je näher γ an eins liegt, desto weiter in die Zukunft muss sich die Information ausbreiten und desto länger dauert die Berechnung.

5. Was Diskont, Rutschen und Schrittkosten ändern

Jetzt das Interessanteste. Dieselbe Welt, nur andere Einstellungen — und die optimale Strategie sieht völlig anders aus.

Auf festem Boden führt der kürzeste Weg zum großen Ziel knapp an der Klippe entlang: 6 Schritte und ein Startwert von 5,90. Wenn der Boden rutscht, ist der Rand der Klippe gefährlich — jeder Schritt dort bedeutet eine Chance von 10 %, hinunterzufallen. Die optimale Strategie umgeht die Mauern deshalb oben herum: 10 Schritte statt 6, aber in die Klippe stürzen nur 0,7 % der Episoden. Würden wir auf rutschigem Boden die riskante Strategie verwenden, fiele der Agent in 30 % der Fälle, und der Startwert sänke auf 0,64 statt 2,85.

Mit γ = 0,5 ist das große Ziel so weit entfernt, dass es sich nicht lohnt — +10 nach 10 Schritten hat heute nur das Gewicht 10 · 0,5¹⁰ ≈ 0,01. Der Agent geht vorsichtig oben herum zum kleinen Ziel. Kostet dagegen jeder Schritt −1, lohnt sich das Risiko: Der Agent geht am Rand der Klippe entlang zum großen Ziel und stürzt in 27 % der Episoden ab. Der lange sichere Weg würde ihn mehr kosten als der durchschnittliche Verlust durch einen Sturz.

Die Spalte „Simulation“ ist eine Kontrolle: der durchschnittliche Ertrag aus 10 000 Episoden nach der gefundenen Strategie, mit zufälligem Rutschen. Der durchschnittliche Ertrag weicht vom berechneten Startwert höchstens um ein paar Hundertstel ab — die Bellman-Gleichung berechnet wirklich den erwarteten Ertrag.

Die Lehre für echte Anwendungen: Das Verhalten eines Agenten bestimmt nicht nur, „was das Ziel ist“, sondern auch Kleinigkeiten wie der Diskont und die Kosten pro Schritt. Wer Belohnungen entwirft, entwirft Verhalten — auch solches, das er nicht wollte.

6. Strategie-Iteration

Definition — Strategie-Iteration

Die Strategie-Iteration (Policy Iteration; Ronald Howard, 1960) wechselt zwei Schritte ab. Bewertung: Berechne für eine feste Strategie π den Wert V^π durch Lösen des Gleichungssystems V^π(s) = ∑_s′ P(s′ | s, π(s)) [R + γ V^π(s′)]. Verbesserung: Wähle in jedem Zustand die Aktion mit dem größten Wert gemäß V^π. Wenn sich die Strategie nicht mehr ändert, ist sie optimal.

# Strategie-Iteration
π = „überall nach oben“
wiederhole:
    # Bewertung: V^π durch Lösen des Gleichungssystems (bei uns durch wiederholtes Einsetzen)
    V = 0
    wiederhole, solange sich V um mehr als 10⁻⁹ ändert:
        V(s) = ∑ über s′ ( P(s′ | s, π(s)) · (R + γ · V(s′)) )   für jedes s
    # Verbesserung: in jedem Zustand die beste Aktion gemäß V^π
    π_neu(s) = argmax über a  ∑ über s′ ( P(s′ | s, a) · (R + γ · V(s′)) )
    geändert = Anzahl der Zustände, in denen π_neu(s) ≠ π(s)
    π = π_neu
bis geändert = 0

Satz — über die Strategieverbesserung

Wählt die neue Strategie π′ in jedem Zustand die Aktion mit dem größten Q^π(s, a), dann gilt V^π′(s) ≥ V^π(s) in allen Zuständen. Unterscheidet sich π′ nicht von π, erfüllt V^π die Bellmansche Optimalitätsgleichung, und π ist somit optimal.

Beweisskizze. Nach Wahl von π′ ist V^π(s) = Q^π(s, π(s)) ≤ Q^π(s, π′(s)) = E[r + γ V^π(s′)]. In V^π(s′) setzen wir dieselbe Ungleichung ein, dann wieder… Nach dem Ausrollen bleibt der erwartete Ertrag einer Strategie übrig, die in allen Schritten π′ spielt, also V^π′(s). ∎

Es gibt endlich viele deterministische Strategien — bei uns 4 Aktionen in 19 Nicht-Endfeldern, also 4¹⁹ ≈ 2,7 · 10¹¹. Keine kann sich wiederholen (jede Runde verbessert den Wert oder endet), die Strategie-Iteration endet also immer. Tatsächlich genügen überraschend wenige Runden: bei uns 6.

Auf rutschigem Boden mit γ = 0,9 und der Strategie „überall nach oben“ zu Beginn:

Nach 6 Runden ist die Strategie dieselbe wie aus der Wertiteration. Es sind wenige Runden, aber jede enthält eine vollständige Bewertung (bei uns Dutzende bis Hunderte Durchläufe durch die Welt). Welches der beiden Verfahren schneller ist, hängt von der Aufgabe ab; in der Praxis werden sie kombiniert.

7. Wenn wir die Regeln der Welt nicht kennen

Alles oben setzt voraus, dass wir P und R kennen — dass wir „in die Regeln schauen“ können. Das ist Planung (dynamische Programmierung). Beim echten bestärkenden Lernen wird der Agent in eine Welt geworfen, deren Regeln er nicht kennt: Er muss ausprobieren, Erfahrungen sammeln und die Werte daraus schätzen. Die Bellman-Gleichung bleibt aber das Herz fast aller Methoden — nur wird statt des exakten Durchschnitts über P eine Stichprobe aus einem einzigen echten Schritt verwendet. Das ist Q-Learning, das Thema des nächsten Teils.

Derselbe Rahmen beschreibt einen Roboter, der laufen lernt, die Lagerhaltung, ein Empfehlungssystem und auch ein Sprachmodell, das aus menschlichen Präferenzen lernt, wie im Teil über RLHF — dort ist der Zustand der bisherige Text, die Aktion das nächste Token und die Belohnung die Bewertung der Antwort.

8. Zusammenfassung

• MDP = Zustände, Aktionen, zufällige Übergänge, Belohnungen und Diskont; der nächste Zustand hängt nur vom aktuellen Zustand und der Aktion ab.
• Der Wert eines Zustands ist der erwartete diskontierte Ertrag; die optimalen Werte erfüllen die Bellman-Gleichung.
• Die Wertiteration wendet die Bellman-Gleichung wiederholt an; der Fehler sinkt mindestens wie γ^k (bei uns 50 Iterationen für γ = 0,9).
• Rutschen verlegt den Weg weg von der Klippe (Sturz 0,7 % statt 30 %), ein kleines γ führt zum kleinen nahen Ziel, Schrittkosten führen zum Risiko.
• Die Strategie-Iteration wechselt Bewertung und Verbesserung ab; bei uns 6 Runden.
• Ohne Kenntnis der Regeln der Welt müssen die Werte aus Erfahrung gelernt werden — das ist bestärkendes Lernen.

Willst du es selbst ausprobieren? Lass einen KI-Agenten diese Welt mit der Klippe programmieren und γ, das Rutschen und die Schrittkosten interaktiv verändern — und beobachte, wann die Strategie von einem Weg auf einen anderen „umschlägt“.

Siehst du das anders? Schreib an support@coden-app.com.