Neuro-Fuzzy-Systeme (ANFIS): Fuzzy-Regeln, die aus Daten lernen

Ein Sugeno-Fuzzy-System als fünfschichtiges Netz, hybrides Lernen mit kleinsten Quadraten und Gradient, Lernen einer Funktion aus verrauschten Daten, die Wahl der Regelanzahl und Überanpassung, die Lesbarkeit gelernter Regeln und die Verwandtschaft mit RBF-Netzen.

13 Minuten Matěj Žalmánek 2026-10-15

Serie KI-Grundlagen Teil 37 von 52

Der ganze Lehrplan der Serie 52 von 83 Themen fertig

Was du mitnimmst

Wie sich ein Sugeno-Fuzzy-System als Netz schreiben lässt und welche Parameter darin gelernt werden.
Warum hybrides Lernen (kleinste Quadrate plus Gradient) den reinen Gradientenabstieg überholt.
Warum mit mehr Regeln Überanpassung droht und was von der Lesbarkeit gelernter Regeln übrig bleibt.

Vorher gut zu wissen: Fuzzy-Regelung: Mamdani und Sugeno vom Ventilator bis zum Pendel auf dem Wagen, Gradientenabstieg: wie ein Modell lernt

Die Fuzzy-Regler aus den letzten Teilen hatten eine Schwäche: Regeln und Zugehörigkeitsfunktionen musste sich jemand ausdenken. Gibt es einen erfahrenen Bediener, ist das ein Vorteil. Gibt es keinen — oder soll das System gemessene Daten nachbilden —, ist es ein Problem. Neuronale Netze sind genau umgekehrt: Sie lernen alles aus Daten, aber was sie gelernt haben, kann niemand lesen. 1993 verband Jyh-Shing Roger Jang beides im System ANFIS (Adaptive Neuro-Fuzzy Inference System): ein Sugeno-Fuzzy-System, geschrieben als Netz, dessen Parameter aus Daten gelernt werden. Mit diesem Teil endet das Modul über Fuzzy-Logik.

Es knüpft an die Teile Fuzzy-Regelung: Mamdani und Sugeno und Gradientenabstieg an.

1. Ein Fuzzy-System als Netz

Nehmen wir ein Sugeno-System erster Ordnung mit einem Eingang und vier Regeln „WENN x ist A_i, DANN y = p_ix + r_i“. Jeder Schritt seiner Berechnung ist eine Schicht des Netzes:

ANFIS mit einem Eingang und vier Regeln; orange die Schichten mit gelernten Parametern

Definition — ANFIS (Jang, 1993)

Sei n ≥ 1 die Anzahl der Regeln, und für jedes i = 1, …, n seien Parameter der Voraussetzungen c_i ∈ ℝ, σ_i > 0 und Parameter der Folgerungen p_i, r_i ∈ ℝ gegeben. ANFIS mit einem Eingang und n Regeln „WENN x ist A_i, DANN y = p_ix + r_i“ ist die Funktion y : ℝ → ℝ, deren Wert für die Eingabe x ∈ ℝ in fünf Schichten berechnet wird (für i = 1, …, n):

Zugehörigkeit: μ_i(x) = exp(−(x − c_i)²/2σ_i²) ∈ (0, 1] — die gaußsche Zugehörigkeitsfunktion des Terms A_i mit dem Zentrum c_i und der Breite σ_i.
Stärke der Regel: w_i = μ_i(x) (bei mehreren Eingängen das Produkt der Zugehörigkeiten aller Bedingungen der Regel).
Normierung: w̄_i = w_i/∑_j=1ⁿ w_j (der Nenner ist positiv, weil jedes w_j > 0).
Folgerung: w̄_i · (p_ix + r_i).
Summe: y(x) = ∑_i=1ⁿ w̄_i (p_ix + r_i).

Es ist also die Ausgabe eines Takagi-Sugeno-Reglers erster Ordnung mit dem Produkt als t-Norm, nur als Netz geschrieben; die Schichten 1 und 4 enthalten gelernte Parameter.

Einfach gesagt

Das ist genau der Sugeno-Regler aus dem letzten Teil, nur als Netz gezeichnet. Jede Regel hat einen „Wirkungsbereich“ (einen Gauß-Hügel) und darin eine lineare Vorhersage. Die Ausgabe ist der gewichtete Durchschnitt der Vorhersagen danach, wie sehr die Eingabe im Bereich welcher Regel liegt. Das ganze System ist differenzierbar und lässt sich deshalb genauso trainieren wie ein neuronales Netz.

y = ∑_i w_i/∑_j w_j · (p_ix + r_i)

y: Ausgabe des ganzen Systems für die Eingabe x — das, was wir mit den Daten vergleichen und woran der Fehler gemessen wird
∑_i: Summe über alle Regeln — jede trägt bei, keine wird „ausgewählt“; deshalb ist die Ausgabe glatt und differenzierbar
w_i/∑_j w_j: normierte Stärke w̄_i — die Division durch die Summe sorgt dafür, dass die Gewichte zusammen 1 ergeben; die Ausgabe ist also ein gewichteter Durchschnitt der Folgerungen und hängt nicht davon ab, wie hoch die Hügel sind
p_ix + r_i: lineare Folgerung der Regel — eine lokale Gerade, die die Funktion im Bereich der Regel beschreibt; eine Gerade statt einer Konstante erlaubt es, mit wenigen Regeln auch der Steigung zu folgen

Die Ausgabe ist der Durchschnitt lokaler Geraden, gewichtet danach, wie sehr die Eingabe in den Bereich welcher Regel gehört.

μ_i(x) = exp( − (x − c_i)²/2σ_i² )

μ_i(x): Zugehörigkeitsgrad aus [0, 1] — wie sehr x „um c_i“ liegt; die Exponentialfunktion einer negativen Zahl liegt immer zwischen 0 und 1 und ist im Zentrum genau 1
(x − c_i)²: Quadrat des Abstands vom Zentrum — die Zugehörigkeit fällt nach beiden Seiten gleich ab und ist auch im Zentrum glatt (mit dem Absolutbetrag hätte sie dort eine Spitze, und die Ableitung würde nicht existieren)
2σ_i²: Breite des Hügels — der Abstand wird in Einheiten von σ_i gemessen, sodass die Zugehörigkeit im Abstand σ_i vom Zentrum immer exp(−1/2) ≈ 0,61 beträgt; durch das Lernen von σ_i ändert sich, wie weit die Regel „reicht“

Beispiel — Vorwärtsdurchlauf im Punkt x = 3

Nehmen wir das System nach der nullten Lernepoche (siehe unten): Zentren c = 0, 2, 4, 6, alle Breiten σ = 1 und Folgerungen aus den kleinsten Quadraten. Für x = 3 sind die Abstände von den Zentren 3, 1, 1, 3, und damit

Zugehörigkeit und Stärke (Farben nach der Formel für μ_i): w₁ = exp(−3²/2 · 1²) = e^−4,5, w₂ = exp(−1²/2 · 1²) = e^−0,5 und symmetrisch w₃ = e^−0,5, w₄ = e^−4,5; also w = (0,0111; 0,6065; 0,6065; 0,0111);
Normierung (Farben ab diesem Schritt nach der Formel für y): die Summe ist 1,2353, also w̄ = (0,0090; 0,4910; 0,4910; 0,0090), z. B. w̄₂ = 0,6065/1,2353;
Folgerungen: die Geraden p_ix + r_i mit den gelernten Koeffizienten (9,54x + 0,01; 9,34x − 17,38; 8,56x − 36,61; 2,60x − 18,90) haben im Punkt 3 die Werte (28,63; 10,66; −10,94; −11,09) — die Koeffizienten sind gerundet, die Werte aus den genauen berechnet;
Summe der Produkte w̄_i · (p_ix + r_i): y = 0,2574 + 5,2329 − 5,3698 − 0,0997 ≈ 0,021.

Der wahre Wert ist sin(3) = sin(3²/3) ≈ 0,141. Beachte, dass die Ausgabe durch Subtraktion zweier großer, fast gleicher Beiträge entsteht — darauf kommen wir bei der Lesbarkeit zurück.

2. Hybrides Lernen

Wir wollen den mittleren quadratischen Fehler auf den Trainingsdaten minimieren. Das ginge komplett mit Gradientenabstieg. Jang bemerkte aber, dass die Ausgabe in den Parametern der Folgerungen linear ist.

Definition — mittlerer quadratischer Fehler und RMSE

Seien N ≥ 1, (x₁, y₁), …, (x_N, y_N) ∈ ℝ × ℝ Daten und ŷ : ℝ → ℝ ein Modell (seine Ausgabe für die Eingabe x ist ŷ(x)). Der mittlere quadratische Fehler des Modells ŷ auf diesen Daten ist die Zahl

E = 1/N ∑_k=1^N (ŷ(x_k) − y_k)² ≥ 0,

und der RMSE (root mean square error) ist seine Wurzel, RMSE = √E. Den einen oder den anderen zu minimieren ist dasselbe; angegeben wird aber der RMSE, weil er die Einheiten der Ausgabe hat. Alle Fehler in diesem Teil sind RMSE.

RMSE = √1/N ∑_k (ŷ(x_k) − y_k)²

ŷ(x_k): Vorhersage des Systems im k-ten Punkt — die einzige Stelle, an der die Parameter c, σ, p, r in den Fehler eingehen
− y_k, dann quadriert: Abweichung vom gemessenen Wert, quadriert — das Vorzeichen spielt keine Rolle, große Fehler wiegen mehr als kleine, und das Quadrat lässt sich glatt ableiten (und erlaubt für die Folgerungen eine exakte Lösung mit kleinsten Quadraten)
1/N ∑_k: Durchschnitt über die Punkte — der Fehler auf 40 Trainings- und auf 121 Testpunkten ist dann vergleichbar

Die Wurzel am Ende bringt den Fehler zurück in die Einheiten von y: RMSE 0,1 heißt „typischerweise um 0,1 daneben“.

Algorithmus — hybrides Lernen

Bei festen Voraussetzungen ist y(x) = ∑_i ((w̄_ix) p_i + w̄_i r_i) eine lineare Funktion der Parameter der Folgerungen. Darauf beruht dieser Algorithmus.

Eingabe: Trainingsdaten (x_k, y_k) ∈ ℝ × ℝ, k = 1, …, N; die Anzahl der Regeln n; Anfangszentren c_i ∈ ℝ und -breiten σ_i > 0; die Schrittweite η > 0; die Anzahl der Epochen T ∈ ℕ; die kleinste zulässige Breite σ_min > 0. Ausgabe: die Parameter c_i, σ_i, p_i, r_i, i = 1, …, n. Wiederhole für die Epochen t = 0, 1, …, T:

vorwärts: berechne w̄_i(x_k) für alle i und k und bestimme die Parameter der Folgerungen p_i, r_i exakt mit der Methode der kleinsten Quadrate (Definition unten);
Abbruch: ist t = T, beende und gib die Parameter zurück;
rückwärts: mache mit den so gefundenen Folgerungen einen Schritt des Gradientenabstiegs für die Zentren und Breiten (Gradienten nach dem Satz unten): c_i ← c_i − η ∂E/∂c_i, σ_i ← max(σ_min, σ_i − η ∂E/∂σ_i).

Im Beispiel dieses Teils ist η = 0,1, T = 300 und σ_min = 0,05.

Einfach gesagt

Wo sich eine Aufgabe exakt lösen lässt, löse sie exakt; dem Gradienten überlass nur das, was sich nicht exakt lösen lässt. Die lineare Regression aus dem Teil über Statistik findet die beste Gerade in einer einzigen Rechnung — und hier findet sie auf einmal die besten linearen Folgerungen aller Regeln. Der Gradient verschiebt und verbreitert dann nur noch die Hügel der Zugehörigkeitsfunktionen.

Definition — kleinste Quadrate für die Folgerungen

Seien (x_k, y_k) ∈ ℝ × ℝ, k = 1, …, N, Trainingsdaten, n ≥ 1 die Anzahl der Regeln und die Parameter der Voraussetzungen c_i, σ_i fest. Dann sind die w̄_i(x_k) bloß Zahlen (kurz w̄_i). Ordnen wir die Parameter der Folgerungen in einen Vektor θ = (p₁, r₁, …, p_n, r_n) ∈ ℝ²ⁿ und bilden für jeden Punkt k die Zeile

a_k = (w̄₁x_k, w̄₁, …, w̄_nx_k, w̄_n) ∈ ℝ²ⁿ, sodass ŷ(x_k) = a_k · θ.

Die Zeilen a₁, …, a_N bilden die Matrix A ∈ ℝ^N×2n, und y = (y₁, …, y_N) ∈ ℝ^N. Die Lösung nach der Methode der kleinsten Quadrate ist der Vektor

θ* ∈ argmin_{θ ∈ ℝ²ⁿ} ‖Aθ − y‖²/N,

also die Parameter der Folgerungen mit dem kleinsten mittleren quadratischen Fehler. Jedes solche θ* erfüllt die Normalgleichungen A^TA θ = A^Ty — ein System aus 2n linearen Gleichungen (und umgekehrt ist jede ihrer Lösungen ein Minimum; eindeutig ist sie genau dann, wenn A linear unabhängige Spalten hat). Für 4 Regeln und 40 Punkte ist A eine 40 × 8-Matrix und das System hat 8 Gleichungen. Unsere Rechnung addiert zur Diagonale von A^TA noch 10⁻⁶ (einen kleinen Ridge-Term), damit das System auch bei fast abhängigen Spalten lösbar ist, und löst es mit dem Gauß-Verfahren.

Satz — Gradient nach Zentrum und Breite

Seien (x_k, y_k) ∈ ℝ × ℝ, k = 1, …, N, Daten und ŷ ein ANFIS mit n Regeln und den Parametern c_i ∈ ℝ, σ_i > 0, p_i, r_i ∈ ℝ. Sei E sein mittlerer quadratischer Fehler auf den Daten, aufgefasst als Funktion aller Parameter, und für eine Eingabe x bezeichne w_i = exp(−(x − c_i)²/2σ_i²), W = ∑_j w_j, w̄_i = w_i/W und g_i = p_ix + r_i. Dann gilt für jedes i = 1, …, n

∂E/∂c_i = 2/N ∑_k=1^N (ŷ − y_k) (g_i − ŷ) w̄_i x_k − c_i/σ_i²,

∂E/∂σ_i = 2/N ∑_k=1^N (ŷ − y_k) (g_i − ŷ) w̄_i (x_k − c_i)²/σ_i³,

wobei ŷ, g_i und w̄_i im Punkt x = x_k genommen werden.

Beweis. Aus ŷ = ∑_j w_jg_j/W folgt mit der Quotientenregel ∂ŷ/∂w_i = g_iW − ∑_j w_jg_j/W² = g_i − ŷ/W. Die Ableitungen des Gauß-Hügels sind ∂w_i/∂c_i = w_i x − c_i/σ_i² und ∂w_i/∂σ_i = w_i (x − c_i)²/σ_i³, und die Parameter c_i, σ_i beeinflussen ŷ nur über w_i. Mit der Kettenregel ergibt ∂E/∂c_i = 2/N ∑_k (ŷ − y_k) · g_i − ŷ/W · w_i x_k − c_i/σ_i² zusammen mit w_i/W = w̄_i die erste Formel; die zweite genauso. ∎

∂E/∂c_i = 2/N ∑_k (ŷ − y_k) (g_i − ŷ) w̄_i x_k − c_i/σ_i²

∂E/∂c_i: wie sich der Fehler ändert, wenn wir das Zentrum des i-ten Hügels verschieben — der Lernschritt geht gegen dieses Vorzeichen
ŷ − y_k: Fehler im Punkt — wo das System trifft, will der Punkt nichts und trägt zum Gradienten nichts bei
g_i − ŷ: wie sich die Folgerung der Regel von der Gesamtausgabe unterscheidet — mehr Gewicht für die Regel zieht die Ausgabe zu ihrer Folgerung; sagt die Folgerung dasselbe wie das Ganze, hat es keinen Sinn, den Hügel zu verschieben
w̄_i: Anteil der Regel an der Ausgabe — Punkte weit weg vom Hügel, wo die Regel kaum mitredet, beeinflussen ihr Zentrum fast nicht
x_k − c_i/σ_i²: Richtung der Verschiebung — ein Punkt rechts vom Zentrum zieht den Hügel nach rechts, links nach links; im Zentrum selbst ist der Hügel flach, und eine Verschiebung ändert nichts

Für die Breite ist die Formel dieselbe, nur das letzte Glied ist (x_k − c_i)²/σ_i³: Entfernte Punkte wollen den Hügel verbreitern oder verschmälern, die Richtung spielt keine Rolle.

Das ganze Lernen aus dem Beispiel unten in Pseudocode (Schrittweite η = 0,1, 300 Epochen):

c = Zentren gleichmäßig auf [0, 6]   # für 4 Regeln 0, 2, 4, 6
σ = halber Abstand der Zentren       # für 4 Regeln 1
for epocha in 0 … 300:
    # vorwärts: Schichten 1–3, dann Folgerungen exakt mit kleinsten Quadraten
    wn[k][i] = w̄_i(x_k)  für alle Punkte k und Regeln i
    A = Zeilen (wn[k][1]·x_k, wn[k][1], …, wn[k][n]·x_k, wn[k][n])
    p, r = löse (AᵀA + 10⁻⁶·I)·θ = Aᵀy
    if epocha == 300: break
    # rückwärts: Gradientenschritt nach den Formeln oben
    gc, gσ = ∂E/∂c, ∂E/∂σ
    c = c − η·gc
    σ = max(0,05; σ − η·gσ)  # der Hügel darf nicht verschwinden

3. ANFIS lernt eine Funktion

Die Aufgabe: aus 40 verrauschten Stichproben (Rauschen mit Standardabweichung 0,1) die Funktion y = sin(x²/3) auf dem Intervall [0, 6] lernen. Die Funktion schwingt nach rechts immer schneller, daher sind vier gleichmäßig verteilte Regeln nicht ideal. Den Fehler messen wir auch auf 121 rauschfreien Punkten außerhalb der Trainingsdaten:

Lernen von ANFIS mit vier Regeln: oben die Ausgabe, unten die Zugehörigkeitsfunktionen

Schon in der nullten Epoche — nur mit kleinsten Quadraten für die Folgerungen und gleichmäßigen Hügeln — beträgt der Testfehler 0,394 und der Fehler auf den Trainingsdaten 0,198. Dann beginnen die Voraussetzungen zu lernen. Nach 100 Epochen liegt der Testfehler bei 0,202, nach 300 Epochen bei 0,173. Auf den Trainingsdaten sinkt er auf 0,107 — unter das Rauschniveau der Daten (0,114); vernünftigerweise geht es nicht besser. Die Zentren der Hügel haben sich dabei nur wenig verschoben; die Hauptänderung liegt in den Breiten — die letzte Regel rechts, wo die Funktion am schnellsten schwingt, ist von 1 auf 0,64 schmaler geworden.

Definition — Rauschniveau der Daten

Sei f : ℝ → ℝ die wahre Funktion, x₁, …, x_N ∈ ℝ die Eingaben, und die Trainingsausgaben seien y_k = f(x_k) + ε_k, k = 1, …, N, wobei ε_k zufällige Abweichungen (Rauschen) sind. Das Rauschniveau der Daten ist der RMSE, den die wahre Funktion f selbst als Modell auf den Trainingsdaten hätte:

√1/N ∑_k=1^N (f(x_k) − y_k)² = √1/N ∑_k=1^N ε_k².

In unserem Beispiel ist N = 40, f(x) = sin(x²/3), und die ε_k sind unabhängige zufällige Abweichungen aus einer Normalverteilung mit Erwartungswert 0 und Standardabweichung 0,1; das Rauschniveau ergab √1/40 ∑_k ε_k² = 0,114. Dass es etwas größer als 0,1 ist, ist reiner Zufall — in unseren 40 gezogenen Abweichungen.

Ein Modell, dessen Fehler auf den Trainingsdaten kleiner als das Rauschniveau ist (0,107 < 0,114), beginnt bereits, auch die zufälligen Abweichungen nachzubilden. Bei einem so kleinen Unterschied schadet das noch nicht — der Testfehler sinkt weiter —, aber es ist eine erste Warnung, auf die wir bei der Zahl der Regeln zurückkommen.

Testfehler: hybrides Lernen gegen reinen Gradienten hybrid nur Gradient gestrichelt Rauschen in den Daten

Reiner Gradientenabstieg für alle Parameter beginnt bei Folgerungen gleich null und lernt viel langsamer: Nach 300 Epochen hat er einen Testfehler von 0,387, und selbst nach 3 000 Epochen (0,188) holt er das hybride Lernen nach 300 nicht ein. Eine größere Schrittweite führt zudem schnell zur Divergenz. Die Aufgabe in einen linearen und einen nichtlinearen Teil zu zerlegen, lohnt sich.

4. Wie viele Regeln?

Anzahl der Regeln	2	3	4	6	8	12
Fehler auf den Trainingsdaten	0,510	0,181	0,107	0,098	0,089	0,085
Testfehler	0,590	0,177	0,173	0,172	0,566	0,319

Mit mehr Regeln sinkt der Fehler auf den Trainingsdaten immer weiter. Im Test steigt er aber ab acht Regeln steil an — das System hat begonnen, das Rauschen zu lernen: Mit 40 Punkten und 32 Parametern (8 Regeln × 4) hat es genug Freiheit, zwischen den Trainingspunkten wild zu schwingen. Das ist Überanpassung, dasselbe Phänomen wie bei einer zu stark gebogenen polynomialen Regression. Eine vernünftige Zahl von Regeln liegt hier zwischen drei und sechs.

Beispiel — wie viele Parameter ANFIS hat

Mit einem Eingang hat jede Regel zwei Parameter der Voraussetzung (c_i, σ_i) und zwei Parameter der Folgerung (p_i, r_i), insgesamt 4n. Bei 40 Trainingspunkten:

4 Regeln: 16 Parameter, davon 8 linear — auf jeden linearen Parameter kommen 40/8 = 5 Punkte;
8 Regeln: 32 Parameter, davon 16 linear — 40/16 = 2,5 Punkte pro linearem Parameter, und die kleinsten Quadrate haben damit genug Freiheit, auch das Rauschen zu treffen;
12 Regeln: 48 Parameter — mehr, als es Punkte gibt. Die kleinsten Quadrate bestimmen zwar „nur“ 24 Folgerungen aus 40 Gleichungen, aber die weiteren 24 Parameter der Voraussetzungen können die Hügel genau dorthin verschieben und verschmälern, wo das Rauschen gerade ausgeschlagen hat.

Eine nützliche Faustregel: Es sollte mindestens einige Male mehr Punkte geben als Parameter, die aus ihnen geschätzt werden.

5. Was sich ablesen lässt

Das Versprechen neuro-fuzzy Systeme ist, dass das gelernte Modell lesbar bleibt. Die Voraussetzungen sind lesbar: vier Regeln „um 0“, „um 2,2“, „um 4“ und „um 6,2“. Die Folgerungen aber nicht. Die Regel „WENN x ist um 2,2, DANN y = 10,06 x − 13,83“ würde in ihrem Zentrum 8,25 vorhersagen, obwohl der wahre Wert 1,0 ist. Die einzelnen Regeln gleichen sich gegenseitig aus — die Hügel überlappen sich stark, und die Ausgabe ergibt erst als Ganzes Sinn.

Beispiel — wie sich die Regeln im Punkt x = 2,195 ausgleichen

Das gelernte Zentrum der zweiten Regel ist c₂ = 2,195. Dort hat die zweite Regel volle Zugehörigkeit (w₂ = 1), die Nachbarn aber nicht null: w = (0,140; 1; 0,331; 0,000), Summe 1,471, also z. B. w̄₂ = 1/1,471 ≈ 0,680 (Farben nach der Formel für y im ersten Abschnitt, g_i = p_ix + r_i):

Regel	1	2	3	4
Gewicht `w̄`_i	0,095	0,680	0,225	0,000
Folgerung `g`_i	12,64	8,25	−25,64	−31,68
Beitrag `w̄`_i`g`_i	1,203	5,609	−5,769	0,000

Die Summe ist y = 1,203 + 5,609 − 5,769 = 1,043, der wahre Wert sin(2,195²/3) = 0,999. Die Ausgabe ist gut, entsteht aber als Differenz zweier Beiträge um ±5,7: Die zweite Regel „schießt“ nach oben „über“, und die dritte zieht sie nach unten. Keine der Regeln sagt für sich allein, wie groß y ist.

Interpretierbarkeit gibt es also nicht umsonst. Einschränkungen helfen, sie zu erhalten: geringere Überlappung der Zugehörigkeitsfunktionen, Regularisierung der Folgerungen oder Sugeno nullter Ordnung mit konstanten Folgerungen. Bezahlt wird dafür mit Genauigkeit. Es ist dieselbe Abwägung wie überall im maschinellen Lernen — zwischen dem, was ein Modell kann, und dem, was wir über es sagen können.

6. ANFIS und neuronale Netze

Verwandtschaft mit RBF-Netzen. Jang und Sun zeigten 1993, dass Netze mit radialen Basisfunktionen und Sugeno-Fuzzy-Systeme nullter Ordnung unter milden Bedingungen dasselbe sind, nur anders gedeutet.
Fluch der Dimensionalität. Mit n Eingängen und k Termen pro Eingang hat das Regelgitter kⁿ Regeln — für 10 Eingänge und 3 Terme über 59 Tausend. Deshalb wird ANFIS für wenige Eingänge eingesetzt oder mit Regeln, die per Clustering ausgewählt werden (etwa mit fuzzy c-means aus dem letzten Teil).
Anwendungen. Vorhersage von Zeitreihen (ein klassischer Test ist die chaotische Mackey-Glass-Reihe), Modellierung und Regelung von Systemen, bei denen wir Messdaten, aber wenig Theorie haben.
Heute. Tiefe Netze haben Aufgaben mit vielen Eingängen längst übernommen. Die Idee „lernfähig, aber lesbar“ lebt aber in der erklärbaren KI weiter — und Fuzzy-Schichten werden gelegentlich auch in tiefe Netze eingebaut, wo die Ausgabe mit Regeln erklärt werden muss.

Definition — Netz mit radialen Basisfunktionen (RBF)

Sei d ≥ 1 die Anzahl der Eingänge, n ≥ 1 die Anzahl der verborgenen Neuronen, c₁, …, c_n ∈ ℝ^d Zentren, v₁, …, v_n ∈ ℝ Ausgabegewichte und φ : [0, ∞) → (0, ∞) eine fallende radiale Basisfunktion (typischerweise gaußsch, φ(t) = exp(−t²/2σ²) mit σ > 0). Ein normiertes RBF-Netz ist die Funktion y : ℝ^d → ℝ,

y(x) = ∑_i=1ⁿ v_i φ(‖x − c_i‖)/∑_j=1ⁿ φ(‖x − c_j‖),

wobei ‖·‖ die euklidische Norm ist; der Nenner ist positiv, weil φ positive Werte hat. Die Ausgabe ist also ein gewichteter Durchschnitt der Ausgabegewichte, wobei das Gewicht des Neurons i mit dem Abstand der Eingabe von seinem Zentrum c_i fällt. Ein Sugeno-System nullter Ordnung mit gaußschen Zugehörigkeiten und dem Produkt als „und zugleich“ ist y = ∑_i w̄_i r_i — nach Einsetzen von w_i = φ(‖x − c_i‖) und v_i = r_i genau dieselbe Formel. Vereinfacht gesagt: Regel = Neuron, Zugehörigkeitsfunktion = Basisfunktion, Folgerung = Ausgabegewicht. (Jang und Sun, 1993, zählen die Bedingungen genau auf: gleiche Anzahl von Regeln und Neuronen, konstante Folgerungen, gaußsche Zugehörigkeiten, innerhalb einer Regel mit gleicher Breite, das Produkt als „und zugleich“ und dieselbe Art, die Ausgabe zusammenzusetzen — gewichteter Durchschnitt oder gewichtete Summe.)

Beispiel — Fluch der Dimensionalität in Zahlen

Mit n Eingängen und k Termen pro Eingang hat das vollständige Gitter kⁿ Regeln. Eine Sugeno-Folgerung erster Ordnung y = p₁x₁ + … + p_nx_n + r hat n + 1 Parameter, sodass es kⁿ(n + 1) lineare Parameter gibt. Parameter der Voraussetzungen gibt es nur 2kn — jeder Eingang hat seine k Hügel, die alle Regeln gemeinsam nutzen.

Für n = 10 und k = 3: 3¹⁰ = 59 049 Regeln, 59 049 · 11 = 649 539 Parameter der Folgerungen und 2 · 3 · 10 = 60 Parameter der Voraussetzungen. Die kleinsten Quadrate müssten ein System mit 649 539 Unbekannten lösen — und Daten bräuchte man noch viel mehr.

7. Zusammenfassung

ANFIS ist ein Sugeno-Fuzzy-System, geschrieben als fünfschichtiges Netz: Zugehörigkeit, Stärke, Normierung, Folgerung, Summe.
Hybrides Lernen bestimmt die linearen Folgerungen exakt mit kleinsten Quadraten und stimmt Zentren und Breiten der Zugehörigkeitsfunktionen per Gradient fein ab.
Für die Funktion sin(x²/3) senkte das Lernen der Voraussetzungen den Testfehler von 0,394 auf 0,173; der reine Gradient brauchte zehnmal so viele Epochen für ein schlechteres Ergebnis.
Zu viele Regeln führen zur Überanpassung — ab acht Regeln steigt der Testfehler steil an.
Die Voraussetzungen bleiben lesbar, die Folgerungen gleichen sich aber gegenseitig aus; auf die Interpretierbarkeit muss man achten.

Mit diesem Teil endet das Modul über Fuzzy-Logik: vom Wort „warm“ über die Logik und die Regler bis zu einem System, das die Regeln selbst lernt. Willst du es selbst ausprobieren? Lass einen KI-Agenten ANFIS den Stromverbrauch in Abhängigkeit von der Temperatur aus öffentlichen Daten lernen — und schau dir dann an, welche Regeln Sinn ergeben.

Siehst du das anders? Schreib an support@coden-app.com.