Zum Inhalt springen
coden

Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst

Künstliche Intelligenz, maschinelles Lernen, Deep Learning, Sprachmodelle und KI-Agenten — wie sie zusammenhängen, auf einer Seite. Der einführende Teil der Serie KI-Grundlagen.

6 Minuten Matěj Žalmánek 2026-10-15

Serie KI-Grundlagen Teil 1 von 52
  1. Landkarte der künstlichen Intelligenz: was was ist und wie alles zusammenpasst
  2. Eine kurze Geschichte der künstlichen Intelligenz: von Turing bis zu Sprachmodellen
  3. Daten, Modell, Training, Inferenz: die Grundbegriffe an einem einzigen Beispiel
  4. Mathematische Notation lesen: Symbole, Indizes, Summen und Quantoren
  5. Mengen und Relationen: der Baukasten, aus dem Definitionen in der KI bestehen
  6. Funktionen und Abbildungen: warum jedes KI-Modell eine Funktion ist
  7. Logik und Beweise: die Regeln, nach denen KI schließt
  8. Graphen und Bäume: die Struktur, auf der Suche und neuronale Netze stehen
  9. Lineare Algebra für maschinelles Lernen: Vektoren, Matrizen und warum KI vor allem multipliziert
  10. Ableitungen, Gradient und Kettenregel: wie ein Modell herausfindet, in welche Richtung es lernen soll
  11. Gradientenabstieg: wie ein Modell lernt
  12. Was ist Wahrscheinlichkeit: vom Würfelwurf zu den Kolmogorow-Axiomen
  13. Bedingte Wahrscheinlichkeit und der Satz von Bayes: wie du deine Einschätzung änderst, wenn du etwas Neues erfährst
  14. Zufallsvariable und Verteilungsfunktion: eine Funktion, die alles über eine Verteilung verrät
  15. Dichtefunktion und Wahrscheinlichkeitsfunktion: warum eine stetige Zufallsvariable in einem Punkt die Wahrscheinlichkeit null hat
  16. Erwartungswert, Varianz und Kovarianz: wo eine Verteilung liegt, wie breit sie ist und was womit zusammenhängt
  17. Überblick über Wahrscheinlichkeitsverteilungen: Bernoulli-, Binomial-, Poisson-, Gleich-, Normal- und Exponentialverteilung
  18. Gesetz der großen Zahlen und zentraler Grenzwertsatz: Warum sich Durchschnitte so vorhersagbar verhalten
  19. Statistik und Parameterschätzung: Maximum Likelihood, MAP und Konfidenzintervalle
  20. Informationstheorie: Entropie, Kreuzentropie und KL-Divergenz — woher Verlustfunktionen kommen
  21. Zustandsraumsuche: BFS, DFS, UCS und A* mit Animationen
  22. Spiele und Gegner: Minimax, Alpha-Beta-Suche und Monte Carlo Tree Search
  23. Constraint Satisfaction: Backtracking, Constraint-Propagierung und AC-3 an Sudoku und einer Karte tschechischer Regionen
  24. Logik und wissensbasierte Systeme: Vorwärts- und Rückwärtsverkettung, Resolution und Expertensysteme
  25. Planung: STRIPS, die Blockwelt, Heuristiken aus Relaxierung und Planung in KI-Agenten
  26. Lokale Suche und simulierte Abkühlung: ein Handlungsreisender durch die tschechischen Regionalhauptstädte
  27. Genetische Algorithmen: Population, Kreuzung, Mutation und Selektion am Rucksack für die Wanderung
  28. Evolutionsstrategien und genetische Programmierung: von der 1/5-Erfolgsregel zum Keplerschen Gesetz
  29. Ameisenkolonieoptimierung: wie eine Pheromonspur einen kurzen Weg findet
  30. Partikelschwarmoptimierung: Trägheit, eigene Erfahrung und die Erfahrung des Schwarms
  31. Neuroevolution: Evolution der Gewichte und der Gestalt neuronaler Netze und der Algorithmus NEAT
  32. Fuzzy-Mengen und Zugehörigkeitsfunktionen: wie man „etwas warm“ aufschreibt
  33. Fuzzy-Logik und Wahrscheinlichkeit: warum „etwas warm“ nicht „wahrscheinlich warm“ bedeutet
  34. Fuzzy-Logik: t-Normen, Implikationen und WENN–DANN-Regeln
  35. Fuzzy-Regelung: Mamdani und Sugeno vom Ventilator bis zum Pendel auf dem Wagen
  36. Fuzzy-Clustering: der Algorithmus fuzzy c-means und Punkte zwischen den Clustern
  37. Neuro-Fuzzy-Systeme (ANFIS): Fuzzy-Regeln, die aus Daten lernen
  38. Markow-Ketten: Übergangsmatrix, stationäre Verteilung und PageRank
  39. Hidden-Markov-Modelle: der Viterbi-Algorithmus und das unehrliche Kasino
  40. Bayessche Netze: warum das Gras nass ist und was das für den Rasensprenger bedeutet
  41. Der Kalman-Filter: wie man aus ungenauen Messungen schätzt, wo ein Auto ist und wie schnell es fährt
  42. Arten des maschinellen Lernens: überwacht, unüberwacht, halbüberwacht und mehr
  43. Prompts, Kontext und RAG: wie man einem Modell die richtigen Informationen gibt
  44. Variational Autoencoder (VAE): neue Bilder aus einem stetigen latenten Raum
  45. Generative Adversarial Networks (GAN): der Fälscher gegen den Detektiv
  46. Diffusionsmodelle: wie aus reinem Rauschen ein Bild wird
  47. Markow-Entscheidungsprozesse: Zustände, Aktionen, Belohnungen und Bellman-Gleichungen
  48. Q-Learning und DQN: den Wert von Aktionen lernen, von der Tabelle bis zum neuronalen Netz
  49. Policy Gradient und PPO: die Strategie direkt lernen
  50. Wie ein KI-Agent funktioniert: ein Sprachmodell in einer Schleife mit Werkzeugen
  51. Programmieren mit KI-Agenten: Auftrag, Tests und Kontrolle
  52. Bewertung und Sicherheit von KI-Systemen: wie man misst und wie man überwacht

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

Was du mitnimmst
  • Wie künstliche Intelligenz, maschinelles Lernen, Deep Learning und Sprachmodelle zusammenpassen.
  • Die zwei großen Familien der KI: Systeme, die suchen, und Systeme, die lernen.
  • Was ein KI-Agent ist und warum dir in ihm alles andere wiederbegegnet.

Künstliche Intelligenz, maschinelles Lernen, neuronale Netze, Sprachmodelle, Agenten. Wörter, die heute fast wie Synonyme verwendet werden — und dabei bedeutet jedes etwas anderes. Dieser Teil ist eine Landkarte: Er zeigt, was was ist und wie alles zusammenpasst. In die Tiefe gehen die weiteren Teile der Serie; jeder davon lässt sich auch für sich lesen.

1. Was künstliche Intelligenz ist

Definition — rationaler Agent (Russell und Norvig)

Ein Agent ist alles, was seine Umgebung über Sensoren wahrnimmt und über Aktionen auf sie einwirkt. Sein Verhalten wird so beschrieben.

Sei P eine nichtleere Menge möglicher Wahrnehmungen und A eine nichtleere Menge von Aktionen, die dem Agenten zur Verfügung stehen. Wir bezeichnen mit P* die Menge aller endlichen Wahrnehmungsfolgen (p1, …, pt), wobei t ∈ ℕ und pi ∈ P für i = 1, …, t. Die Agentenfunktion ist die Funktion

f : P* → A,   (p1, …, pt) ↦ f(p1, …, pt),

die jeder bisherigen Wahrnehmungsgeschichte die Aktion zuordnet, die der Agent ausführt.

Sei ferner U das Leistungsmaß — eine Zahl, die bewertet, wie gut der Agent in seiner Umgebung abgeschnitten hat — und für eine Geschichte (p1, …, pt) ∈ P* und eine Aktion a ∈ A sei E[U | p1, …, pt, a] der Erwartungswert von U unter der Voraussetzung, dass der Agent nach dieser Geschichte die Aktion a ausführt (berechnet aus dem, was der Agent über die Umgebung weiß). Wir nehmen an, dass das Maximum unten existiert (z. B. wenn A endlich ist). Der Agent f ist rational genau dann, wenn

∀ (p1, …, pt) ∈ P* :   f(p1, …, pt) ∈ argmaxa ∈ A E[U | p1, …, pt, a].

Ein rationaler Agent wählt also nach jeder Wahrnehmungsgeschichte eine der Aktionen mit dem größten erwarteten Leistungsmaß (gibt es mehrere, ist es egal, welche).

Künstliche Intelligenz ist im Verständnis von Russell und Norvig das Fachgebiet, das rationale Agenten entwirft und baut. Das ist schon eine Beschreibung eines Fachgebiets, kein mathematischer Begriff — eine formale Definition der künstlichen Intelligenz gibt es nicht.

Einfach gesagt

Künstliche Intelligenz ist das Fachgebiet, das Programme bauen will, die vernünftig entscheiden: Sie schauen, was um sie herum passiert, und wählen das, was am ehesten zum Ziel führt. Ein Schachprogramm, ein Navi und ein Chatbot sind alle künstliche Intelligenz — nur löst jedes eine andere Aufgabe mit anderen Mitteln.

Rationalität lässt sich mit einer einzigen Formel aufschreiben — der Agent wählt die Aktion mit dem besten erwarteten Ergebnis:

a* = argmaxa ∈ A E[ U | p1, …, pt, a ]

a*
die Aktion, die der Agent ausführt — die Ausgabe der ganzen Funktion f
argmaxa ∈ A
probiere in Gedanken alle verfügbaren Aktionen aus und nimm die beste; hier wird entschieden
E
der erwartete (durchschnittliche) Wert — die Welt ist unsicher, dieselbe Aktion kann unterschiedlich ausgehen, und so werden die Ergebnisse mit Wahrscheinlichkeiten gewichtet
U
das Leistungsmaß (der Nutzen) — was „gut“ bedeutet; ohne es gäbe es nichts, wonach man auswählen könnte
p1, …, pt
alles, was der Agent bisher wahrgenommen hat — er entscheidet nur nach dem, was er weiß, nicht nach dem tatsächlichen Zustand der Welt
Beispiel — ein Navi wählt die Route

Der Nutzen U ist die negative Fahrzeit in Minuten. Über die Autobahn sind es 20 Minuten, aber mit Wahrscheinlichkeit 0,3 gibt es Stau und 50 Minuten; über die Landstraße immer 30 Minuten. Die Farben entsprechen den Gliedern der Formel oben.

Autobahn: E[U | …, Autobahn] = 0,7 · (−20) + 0,3 · (−50) = −14 − 15 = −29. Landstraße: E[U | …, Landstraße] = −30 = −30.

a* = argmaxa ∈ {Autobahn, Landstraße} E[U | …, a] = Autobahn, weil −29 > −30. Der rationale Agent wählt die Autobahn — im Durchschnitt ist sie eine Minute schneller, auch wenn sie in etwa einem Drittel der Fälle schlechter ausgeht.

Das ganze Gebiet lässt sich als ineinander verschachtelte Mengen zeichnen. Deep Learning ist eine Art des maschinellen Lernens, maschinelles Lernen ist einer der Wege zur künstlichen Intelligenz — und ein KI-Agent kombiniert heute oft beides, Suche und Lernen:

Künstliche Intelligenz Suche und Planung Schach, Navigation, Pläne Maschinelles Lernen ein Modell lernt aus Daten Deep Learning neuronale Netze Generative KI Sprachmodelle, Bilder KI-Agent — sucht, plant und lernt
Landkarte der künstlichen Intelligenz

2. KI, die sucht

Die älteste Familie der KI lernt gar nichts. Sie bekommt eine genaue Beschreibung der Aufgabe — wo ich anfange, was ich tun kann, wohin ich will — und durchsucht die Möglichkeiten, bis sie eine Lösung findet. So funktioniert ein Navi, das die kürzeste Route sucht, ein Schachprogramm, das Züge vorausberechnet, oder ein Stundenplaner.

Der Vorteil: Ist die Aufgabe gut beschrieben, ist das Ergebnis verlässlich, und man kann beweisen, dass es das bestmögliche ist. Der Nachteil: Jemand muss die Aufgabe genau beschreiben — und die Welt lässt sich fast nie genau beschreiben.

Definition — Suchproblem

Ein Suchproblem ist ein Sechstupel (S, s0, A, T, G, c), wobei

  1. S eine nichtleere Menge von Zuständen ist;
  2. s0 ∈ S der Anfangszustand ist;
  3. A eine Funktion ist, die jedem Zustand s ∈ S die Menge A(s) der im Zustand s anwendbaren Aktionen zuordnet;
  4. T die Übergangsfunktion ist: Für jedes s ∈ S und a ∈ A(s) ist T(s, a) ∈ S der Zustand, in den die Aktion a vom Zustand s aus führt;
  5. G ⊆ S die Menge der Zielzustände ist;
  6. c die Schrittkosten sind: Für jedes s ∈ S und a ∈ A(s) ist c(s, a) ∈ ℝ, c(s, a) ≥ 0.

Eine Lösung des Problems ist eine Folge von Aktionen (a1, …, ak), k ∈ ℕ, zusammen mit Zuständen s1, …, sk ∈ S, sodass

  1. ai ∈ A(si−1) und si = T(si−1, ai) für jedes i = 1, …, k;
  2. sk ∈ G.

Die Kosten einer Lösung sind

C(a1, …, ak) = ∑i=1k c(si−1, ai).

Eine Lösung ist optimal genau dann, wenn ihre Kosten kleiner oder gleich den Kosten jeder anderen Lösung sind. Eine Lösung ist also ein Weg vom Anfangszustand zum Ziel über erlaubte Schritte; die optimale ist die billigste.

Einfach gesagt

Beim Navi sind die Zustände Kreuzungen, die Aktionen „fahr diese Straße entlang“, das Ziel ist eine Adresse und die Schrittkosten die Länge der Straße. Wer eine Aufgabe so beschreiben kann, kann einen allgemeinen Algorithmus darauf ansetzen — der muss nichts über Landkarten wissen.

suche(s₀):
    rand ← [s₀]                          # Zustände, die wir erreichen können, aber noch nicht expandiert haben
    besucht ← {s₀}
    solange rand nicht leer ist:
        s ← entnimm einen Zustand aus rand  # WELCHER Zustand, bestimmt die Art der Suche
        wenn s ∈ G: gib den Weg zu s zurück
        für jede Aktion a ∈ A(s):
            s′ ← T(s, a)
            wenn s′ ∉ besucht:
                füge s′ zu besucht und zu rand hinzu
    gib „es gibt keine Lösung“ zurück

Der Haken ist die Zahl der Möglichkeiten: Hat jeder Zustand b Fortsetzungen, gibt es nach d Schritten bis zu bd Wege. Im Schach ist typischerweise b ≈ 35, und nur fünf Züge jeder Seite durchzurechnen (d = 10), bedeutet 3510 ≈ 2,8 · 1015 Stellungen. Deshalb suchen Schachprogramme nicht blind, sondern beschneiden den Suchbaum geschickt.

Mehr dazu: Teil 2 — Zustandsraumsuche.

3. KI, die lernt

Definition — maschinelles Lernen (T. Mitchell)

Die Definition arbeitet mit drei Objekten:

  1. T — die Aufgabe: eine Klasse von Problemen, die das Programm lösen soll (z. B. „entscheide bei einer E-Mail, ob sie Spam ist“);
  2. P — das Leistungsmaß: eine Vorschrift, die einem Programm, das T löst, eine Zahl zuordnet, je höher, desto besser (z. B. der Anteil richtig eingeordneter E-Mails);
  3. E — die Erfahrung: die Daten, die das Programm bekommt (z. B. E-Mails mit der Kennzeichnung „Spam“ / „kein Spam“).

Ein Programm lernt aus Erfahrung E in Bezug auf die Aufgabe T und das Leistungsmaß P genau dann, wenn sich seine Leistung bei T, gemessen mit P, mit der Erfahrung E verbessert.

Mitchells Definition ist verbal und absichtlich allgemein — „verbessert sich“ wird darin nicht weiter formalisiert. Für überwachtes Lernen hat sie eine genaue Form, die unten aufgeschlüsselt ist: T ist, die Antwort y aus der Eingabe x vorherzusagen, E sind die Trainingspaare (xi, yi), und die Leistung ist umso besser, je kleiner der durchschnittliche Verlust ist.

Einfach gesagt

Statt Regeln bekommt das Programm Beispiele und leitet die Regeln selbst daraus ab. Niemand schreibt ihm auf, wie Spam aussieht — man zeigt ihm tausend E-Mails, und es bemerkt selbst, wodurch sich Spam unterscheidet.

Maschinelles Lernen wird danach eingeteilt, welches Signal das Modell beim Lernen bekommt: richtige Antworten (überwachtes Lernen), nur Daten ohne Antworten (unüberwacht), ein bisschen von beidem (halbüberwacht), aus den Daten selbst erzeugte Antworten (selbstüberwacht) oder Belohnungen für Handlungen (bestärkendes Lernen).

Beim überwachten Lernen lässt sich Mitchells „Leistungsmaß“ konkret aufschreiben. Seien (x1, y1), …, (xn, yn), n ≥ 1, die Trainingsbeispiele (Eingabe xi ∈ X und richtige Antwort yi ∈ Y), fθ : X → Y ein Modell mit Parametern θ ∈ Θ und L : Y × Y → [0, ∞) eine Verlustfunktion. Das Modell lernt, indem es die Parameter mit dem kleinsten durchschnittlichen Verlust auf den Daten sucht:

θ* = argminθ 1/n ∑i=1n L(fθ(xi), yi)

θ*
die gelernten Parameter — das Ergebnis des ganzen Trainings; mit ihnen läuft das Modell dann im Betrieb
argminθ
wir suchen die Zahlen θ, für die der Fehler am kleinsten ist — „Lernen“ ist hier buchstäblich die Suche nach einem Minimum
1/n ∑
der Durchschnitt über alle n Beispiele — das Modell soll auf allen gut sein, nicht auf einem; die Division durch n macht den Fehler für unterschiedlich große Datensätze vergleichbar
L
die Verlustfunktion — verwandelt „wie sehr sich das Modell geirrt hat“ in eine Zahl und sagt damit, welche Fehler schlimmer sind
fθ(xi)
die Antwort des Modells auf die i-te Eingabe — die einzige Stelle, an der die Parameter θ in die Formel eingehen
yi
die richtige Antwort vom Lehrer — ohne sie gäbe es nichts, womit man vergleichen könnte
Überwachtes maschinelles Lernen = Minimierung des durchschnittlichen Verlusts auf den Trainingsdaten.
Beispiel — eine Gerade durch drei Punkte

Daten (x, y): (1, 2), (2, 4), (3, 5), also n = 3. Das Modell fw(x) = w · x hat einen einzigen Parameter w ∈ ℝ; der Verlust ist das Quadrat des Fehlers L(ŷ, y) = (ŷ − y)². Die Farben entsprechen den Gliedern der Formel oben.

  • w = 1: Antworten 1, 2, 3, Fehler −1, −2, −2, Verluste 1, 4, 4, durchschnittlicher Verlust 1/3 · (1 + 4 + 4) = 3.
  • w = 2: Antworten 2, 4, 6, Fehler 0, 0, 1, Verluste 0, 0, 1, durchschnittlicher Verlust 1/3 · (0 + 0 + 1) = 1/3 ≈ 0,333.
  • Minimum: Die Ableitung nach w ist null für w* = ∑xiyi/∑xi² = 2 + 8 + 15/1 + 4 + 9 = 25/14 ≈ 1,786, mit durchschnittlichem Verlust 5/42 ≈ 0,119.

Bei großen Modellen lässt sich das Minimum nicht mit einer Formel berechnen, und man sucht es schrittweise mit dem Gradientenabstieg.

Mehr dazu: Teil 3 — Arten des maschinellen Lernens.

4. Deep Learning und neuronale Netze

Deep Learning ist maschinelles Lernen mit einer bestimmten Art von Modell: einem neuronalen Netz mit vielen Schichten. Jede Schicht rechnet die Eingabe ein wenig anders um — in einem Netz für Bilder erkennen die ersten Schichten Kanten, die nächsten Formen, die letzten ganze Gegenstände. Niemand sagt ihnen, wonach sie suchen sollen; sie lernen es aus den Daten.

Definition — geschichtetes neuronales Netz

Sei L ∈ ℕ, L ≥ 1, die Zahl der Schichten und seien n0, n1, …, nL ≥ 1 ihre Breiten (n0 ist die Dimension der Eingabe, nL die Dimension der Ausgabe). Für l = 1, …, L sei

  1. Wl ∈ ℝnl×nl−1 die Gewichtsmatrix,
  2. bl ∈ ℝnl der Bias-Vektor,

und sei φ : ℝ → ℝ eine nichtlineare Aktivierungsfunktion; für einen Vektor z bezeichnet φ(z) den Vektor, der entsteht, wenn man φ auf jede Komponente einzeln anwendet. Die Schicht l ist die Funktion

fl : ℝnl−1 → ℝnl,   fl(h) = φ(Wlh + bl).

Ein neuronales Netz mit L Schichten ist die zusammengesetzte Funktion

f = fL ∘ … ∘ f2 ∘ f1 : ℝn0 → ℝnL,   d. h. f(x) = fL(… f2(f1(x))).

(In der letzten Schicht wird φ oft weggelassen oder durch eine andere Funktion ersetzt, z. B. durch Softmax.) Die Parameter des Netzes sind θ = (W1, b1, …, WL, bL). Die Schichten 1, …, L − 1 heißen verborgen. Ein Netz ist tief, wenn es mehrere verborgene Schichten hat (meist ist L − 1 ≥ 2 gemeint; eine scharfe Grenze hat sich nicht eingebürgert).

hl = φ(Wl hl−1 + bl)

hl
die Ausgabe der Schicht l — eine neue Beschreibung der Eingabe, mit der die nächste Schicht arbeitet
φ
die Nichtlinearität (z. B. ReLU(z) = max(0, z)) — ohne sie würden die Schichten zu einer einzigen linearen Funktion zusammenfallen, und die Tiefe brächte nichts
Wl
die Gewichte — das, was das Netz lernt: wie viel welche Eingabe zu welchem Neuron beiträgt
hl−1
die Ausgabe der vorigen Schicht (bei der ersten ist es die Eingabe x) — hier werden die Schichten verkettet
bl
der Bias — erlaubt einem Neuron, sich auch dann „einzuschalten“, wenn die Eingaben null sind, und verschiebt die Schwelle
Beispiel — ein einzelnes Neuron mit ReLU

Gewichte w = (0,5; −1), Bias b = 0,2, Aktivierung φ = ReLU (die Farben entsprechen den Gliedern der Formel oben).

Für die Eingabe x = (2, 1): z = 0,5 · 2 + (−1) · 1 + 0,2 = 0,2 und die Ausgabe ReLU(0,2) = 0,2.

Für x = (1, 3): z = 0,5 · 1 + (−1) · 3 + 0,2 = −2,3 und ReLU(−2,3) = 0 — das Neuron schweigt. Ein Netz sind Tausende solcher Neuronen nebeneinander und Dutzende Schichten hintereinander.

Warum „deep“, also tief? Wegen der Anzahl der Schichten. Und warum erst jetzt, wo es neuronale Netze doch seit den Fünfzigerjahren gibt? Weil wir erst heute genug Daten und genug Rechenleistung (Grafikkarten) haben, um große Netze zu trainieren.

Mehr dazu: in Vorbereitung sind die Teile „Gradientenabstieg: wie ein Modell lernt“ und „Ein neuronales Netz von Grund auf“.

5. Generative KI und Sprachmodelle

Die meisten Modelle beantworten die Frage „Was ist das?“ — Spam oder nicht? Generative Modelle erzeugen neue Daten: Text, Bilder, Ton, Code. Ein großes Sprachmodell ist ein neuronales Netz, das an einer riesigen Menge Text nur eines gelernt hat: das nächste Wort vorherzusagen. Kann es das gut genug, kann es nebenbei auch Fragen beantworten, übersetzen und Code schreiben.

Sprachmodelle lernen in drei Schritten, und jeder ist eine andere Art des Lernens: selbstüberwachtes Lernen an Texten aus dem Internet, überwachtes Feintuning an Beispielantworten und bestärkendes Lernen danach, welche Antworten Menschen besser bewerten.

„Das nächste Wort vorhersagen“ hat eine genaue Form — die Wahrscheinlichkeit des ganzen Textes zerfällt in ein Produkt von Vorhersagen Wort für Wort:

P(w1, …, wT) = ∏t=1T Pθ(wt | w1, …, wt−1)

P(w1, …, wT)
wie wahrscheinlich der ganze Text ist — das, was ein Sprachmodell eigentlich beschreibt
∏
ein Produkt über die Positionen — die Kettenregel der Wahrscheinlichkeit; dank ihr genügt es, eine einzige Sache zu können: das nächste Wort vorherzusagen
Pθ
ein neuronales Netz mit Parametern θ, das eine Wahrscheinlichkeitsverteilung über das ganze Vokabular zurückgibt
wt
das Wort (Token), das gerade vorhergesagt wird
w1, …, wt−1
alles davor — der Kontext; deshalb sieht das Modell beim Schreiben nur das, was es schon geschrieben hat
Text wird erzeugt, indem man aus Pθ ein Wort zieht, es an den Kontext anhängt und das wiederholt.
Beispiel — was beim Lernen gemessen wird

Der Kontext ist „Die Hauptstadt Tschechiens ist“. Das Modell gibt dem Wort „Prag“ die Wahrscheinlichkeit 0,8 und dem Wort „Brünn“ 0,1. Der Verlust ist der negative Logarithmus der Wahrscheinlichkeit des richtigen Wortes: −ln 0,8 ≈ 0,223. Hätte es dem richtigen Wort nur 0,1 gegeben, wäre der Verlust −ln 0,1 ≈ 2,303 — ungefähr zehnmal mehr. Das Training (die Minimierung des Verlusts aus dem Kapitel über das Lernen) drückt die Wahrscheinlichkeit der richtigen Wörter nach oben.

Zwei Wörter hintereinander: Gibt das Modell nach „Prag“ dem Punkt die Wahrscheinlichkeit 0,9, ist die Wahrscheinlichkeit der Fortsetzung „Prag.“ nach der Formel oben (die Farben entsprechen ihren Gliedern)

P(Prag, . | Kontext) = Pθ(Prag | … Tschechiens ist) · Pθ(. | … ist Prag) = 0,8 · 0,9 = 0,72.

Mehr dazu: in Vorbereitung ist der Teil „Transformer und große Sprachmodelle“.

6. KI-Agenten: wo alles zusammenkommt

Ein KI-Agent ist ein Sprachmodell, das nicht nur antwortet, sondern handelt: Er liest Dateien, führt Befehle aus, durchsucht das Web und entscheidet anhand der Ergebnisse, was als Nächstes zu tun ist. Hier treffen sich die beiden Familien der KI wieder — das Modell hat Sprache und Urteilsvermögen gelernt, löst die Aufgabe aber wie eine Suche: Es probiert einen Schritt, schaut sich das Ergebnis an, und wenn er nicht zum Ziel führt, probiert es einen anderen.

Der Kern jedes solchen Agenten ist eine kurze Schleife — genau der Agent aus dem ersten Kapitel, der wahrnimmt und handelt:

agent(aufgabe):
    kontext ← [aufgabe]
    wiederhole:
        antwort ← sprachmodell(kontext)           # entscheide: Text oder Werkzeugaufruf?
        wenn antwort ein fertiges Ergebnis ist:
            gib antwort zurück
        ergebnis ← führe_werkzeug_aus(antwort)    # handle: Datei lesen, Befehl ausführen, suchen
        hänge antwort und ergebnis an kontext an  # nimm wahr: was dabei herauskam
    bis das Schrittbudget aufgebraucht ist

Agenten schreiben und reparieren heute Code, und genau für die Arbeit mit ihnen ist coden entstanden: Der Agent arbeitet auf deinem Computer, und du steuerst ihn vom Handy aus.

Mehr dazu: in Vorbereitung ist der Teil „Wie ein KI-Agent funktioniert“.

7. Wie du diese Serie liest

  • Jeder Teil lässt sich für sich lesen. Oben findest du, was du mitnimmst und was du vorher wissen solltest.
  • Die einfache Erklärung reicht. Die genauen mathematischen Definitionen sind zum Aufklappen versteckt — für alle, die sie wollen.
  • Die Bilder sind echt. Die Animationen in den Teilen sind das Ergebnis echter Durchläufe der Algorithmen, keine Illustrationen.

Die Liste aller Teile, einschließlich derer in Vorbereitung, steht im Serienkasten oben und in der Übersicht der Artikel.

Siehst du das anders? Schreib an support@coden-app.com.

Ein Agent auf deinem Rechner, vom Telefon aus gesteuert