Neuro-fuzzy systémy (ANFIS): fuzzy pravidlá, ktoré sa učia z dát

Nech n ≥ 1 je počet pravidiel a pre každé i = 1, …, n sú dané parametre predpokladov c_i ∈ ℝ, σ_i > 0 a parametre záverov p_i, r_i ∈ ℝ. ANFIS s jedným vstupom a n pravidlami „AK x je A_i, TAK y = p_ix + r_i“ je funkcia y : ℝ → ℝ, ktorej hodnota vo vstupe x ∈ ℝ sa počíta v piatich vrstvách (pre i = 1, …, n):

1. Príslušnosť: μ_i(x) = exp(−(x − c_i)²/2σ_i²) ∈ (0, 1] — gaussovská funkcia príslušnosti termu A_i so stredom c_i a šírkou σ_i.
2. Sila pravidla: w_i = μ_i(x) (s viacerými vstupmi súčin príslušností všetkých podmienok pravidla).
3. Normalizácia: w̄_i = w_i/∑_j=1ⁿ w_j (menovateľ je kladný, pretože každé w_j > 0).
4. Záver: w̄_i · (p_ix + r_i).
5. Súčet: y(x) = ∑_i=1ⁿ w̄_i (p_ix + r_i).

Je to teda výstup regulátora Takagi–Sugeno prvého rádu so súčinom ako t-normou, len zapísaný ako sieť; vrstvy 1 a 4 obsahujú učené parametre.

Vezmime systém po nultej epoche učenia (pozri nižšie): stredy c = 0, 2, 4, 6, všetky šírky σ = 1 a závery z najmenších štvorcov. Pre x = 3 sú vzdialenosti od stredov 3, 1, 1, 3, a teda

1. príslušnosť a sila (farby podľa vzorca pre μ_i): w₁ = exp(−3²/2 · 1²) = e^−4,5,   w₂ = exp(−1²/2 · 1²) = e^−0,5 a súmerne w₃ = e^−0,5, w₄ = e^−4,5; teda w = (0,0111; 0,6065; 0,6065; 0,0111);
2. normalizácia (farby od tohto kroku podľa vzorca pre y): súčet je 1,2353, takže w̄ = (0,0090; 0,4910; 0,4910; 0,0090), napr. w̄₂ = 0,6065/1,2353;
3. závery: priamky p_ix + r_i s naučenými koeficientmi (9,54x + 0,01; 9,34x − 17,38; 8,56x − 36,61; 2,60x − 18,90) majú v bode 3 hodnoty (28,63; 10,66; −10,94; −11,09) — koeficienty sú zaokrúhlené, hodnoty vypočítané z presných;
4. súčet súčinov w̄_i · (p_ix + r_i): y = 0,2574 + 5,2329 − 5,3698 − 0,0997 ≈ 0,021.

Skutočná hodnota je sin(3) = sin(3²/3) ≈ 0,141. Všimnite si, že výstup vzniká odčítaním dvoch veľkých, takmer rovnakých príspevkov — k tomu sa vrátime pri čitateľnosti.

Nech N ≥ 1, (x₁, y₁), …, (x_N, y_N) ∈ ℝ × ℝ sú dáta a ŷ : ℝ → ℝ model (jeho výstup pre vstup x je ŷ(x)). Stredná kvadratická chyba modelu ŷ na týchto dátach je číslo

E = 1/N ∑_k=1^N (ŷ(x_k) − y_k)² ≥ 0

a RMSE (root mean square error) je jej odmocnina, RMSE = √E. Minimalizovať jednu alebo druhú je to isté; RMSE sa však uvádza, pretože má jednotky výstupu. Všetky chyby v tomto diele sú RMSE.

Pri pevných predpokladoch je y(x) = ∑_i ((w̄_ix) p_i + w̄_i r_i) lineárna funkcia parametrov záverov. Na tom stojí tento algoritmus.

Vstup: trénovacie dáta (x_k, y_k) ∈ ℝ × ℝ, k = 1, …, N; počet pravidiel n; počiatočné stredy c_i ∈ ℝ a šírky σ_i > 0; krok učenia η > 0; počet epoch T ∈ ℕ; najmenšia povolená šírka σ_min > 0. Výstup: parametre c_i, σ_i, p_i, r_i, i = 1, …, n. Pre epochy t = 0, 1, …, T opakuj:

1. dopredu: vypočítaj w̄_i(x_k) pre všetky i a k a parametre záverov p_i, r_i nájdi presne metódou najmenších štvorcov (definícia nižšie);
2. zastavenie: ak t = T, skonči a vráť parametre;
3. dozadu: s takto nájdenými závermi urob krok gradientného zostupu pre stredy a šírky (gradienty podľa vety nižšie): c_i ← c_i − η ∂E/∂c_i,    σ_i ← max(σ_min, σ_i − η ∂E/∂σ_i).

V príklade tohto dielu je η = 0,1, T = 300 a σ_min = 0,05.

Nech (x_k, y_k) ∈ ℝ × ℝ, k = 1, …, N, sú trénovacie dáta, n ≥ 1 počet pravidiel a parametre predpokladov c_i, σ_i pevné. Potom sú w̄_i(x_k) len čísla (skrátene w̄_i). Zoraďme parametre záverov do vektora θ = (p₁, r₁, …, p_n, r_n) ∈ ℝ²ⁿ a pre každý bod k zostavme riadok

a_k = (w̄₁x_k, w̄₁, …, w̄_nx_k, w̄_n) ∈ ℝ²ⁿ,   takže   ŷ(x_k) = a_k · θ.

Riadky a₁, …, a_N tvoria maticu A ∈ ℝ^N×2n a y = (y₁, …, y_N) ∈ ℝ^N. Riešenie metódou najmenších štvorcov je vektor

θ* ∈ argmin_{θ ∈ ℝ²ⁿ} ‖Aθ − y‖²/N,

t. j. parametre záverov s najmenšou strednou kvadratickou chybou. Každé také θ* spĺňa normálne rovnice A^TA θ = A^Ty — sústavu 2n lineárnych rovníc (a naopak každé ich riešenie je minimom; jediné je práve vtedy, keď má A lineárne nezávislé stĺpce). Pre 4 pravidlá a 40 bodov je A matica 40 × 8 a sústava má 8 rovníc. Náš výpočet pripočítava k diagonále A^TA ešte 10⁻⁶ (malý hrebeňový člen), aby bola sústava riešiteľná aj pri takmer závislých stĺpcoch, a rieši ju Gaussovou elimináciou.

Nech (x_k, y_k) ∈ ℝ × ℝ, k = 1, …, N, sú dáta a ŷ ANFIS s n pravidlami a parametrami c_i ∈ ℝ, σ_i > 0, p_i, r_i ∈ ℝ. Nech E je jeho stredná kvadratická chyba na dátach, chápaná ako funkcia všetkých parametrov, a pre vstup x označme w_i = exp(−(x − c_i)²/2σ_i²), W = ∑_j w_j, w̄_i = w_i/W a g_i = p_ix + r_i. Potom pre každé i = 1, …, n

∂E/∂c_i = 2/N ∑_k=1^N (ŷ − y_k) (g_i − ŷ) w̄_i x_k − c_i/σ_i²,

∂E/∂σ_i = 2/N ∑_k=1^N (ŷ − y_k) (g_i − ŷ) w̄_i (x_k − c_i)²/σ_i³,

kde ŷ, g_i a w̄_i sa berú v bode x = x_k.

Dôkaz. Zo ŷ = ∑_j w_jg_j/W vyplýva derivovaním podielu ∂ŷ/∂w_i = g_iW − ∑_j w_jg_j/W² = g_i − ŷ/W. Derivácie gaussovského kopca sú ∂w_i/∂c_i = w_i x − c_i/σ_i² a ∂w_i/∂σ_i = w_i (x − c_i)²/σ_i³, a parametre c_i, σ_i ovplyvňujú ŷ len cez w_i. Reťazovým pravidlom ∂E/∂c_i = 2/N ∑_k (ŷ − y_k) · g_i − ŷ/W · w_i x_k − c_i/σ_i² a w_i/W = w̄_i dá prvý vzorec; druhý rovnako. ∎

Nech f : ℝ → ℝ je skutočná funkcia, x₁, …, x_N ∈ ℝ vstupy a trénovacie výstupy sú y_k = f(x_k) + ε_k, k = 1, …, N, kde ε_k sú náhodné odchýlky (šum). Úroveň šumu v dátach je RMSE, ktorú by na trénovacích dátach mala sama skutočná funkcia f ako model:

√1/N ∑_k=1^N (f(x_k) − y_k)² = √1/N ∑_k=1^N ε_k².

V našom príklade je N = 40, f(x) = sin(x²/3) a ε_k sú nezávislé náhodné odchýlky z normálneho rozdelenia so strednou hodnotou 0 a smerodajnou odchýlkou 0,1; úroveň šumu vyšla √1/40 ∑_k ε_k² = 0,114. Je o niečo väčšia ako 0,1 len náhodou — v našich 40 vylosovaných odchýlkach.

Model, ktorý má na trénovacích dátach chybu menšiu ako úroveň šumu (0,107 < 0,114), už začína kopírovať aj náhodné odchýlky. Pri takom malom rozdiele to ešte nevadí — chyba na teste ďalej klesá —, ale je to prvé varovanie, ku ktorému sa vrátime pri počte pravidiel.

S jedným vstupom má každé pravidlo dva parametre predpokladu (c_i, σ_i) a dva parametre záveru (p_i, r_i), spolu 4n. Na 40 trénovacích bodov:

• 4 pravidlá: 16 parametrov, z toho 8 lineárnych — na každý lineárny parameter pripadá 40/8 = 5 bodov;
• 8 pravidiel: 32 parametrov, z toho 16 lineárnych — 40/16 = 2,5 bodu na lineárny parameter, a najmenšie štvorce tak majú dosť voľnosti preložiť aj šum;
• 12 pravidiel: 48 parametrov — viac, než je bodov. Najmenšie štvorce síce určujú „len“ 24 záverov zo 40 rovníc, ale ďalších 24 parametrov predpokladov môže kopce presunúť a zúžiť presne tam, kde šum práve vybočil.

Užitočné pravidlo palca: bodov by malo byť aspoň niekoľkokrát viac než parametrov, ktoré sa z nich odhadujú.

Naučený stred druhého pravidla je c₂ = 2,195. Tam má druhé pravidlo plnú príslušnosť (w₂ = 1), ale susedia nie nulovú: w = (0,140; 1; 0,331; 0,000), súčet 1,471, takže napr. w̄₂ = 1/1,471 ≈ 0,680 (farby podľa vzorca pre y v prvej časti, g_i = p_ix + r_i):

Súčet je y = 1,203 + 5,609 − 5,769 = 1,043, skutočná hodnota sin(2,195²/3) = 0,999. Výstup je dobrý, ale vzniká ako rozdiel dvoch príspevkov okolo ±5,7: druhé pravidlo „prestreľuje“ nahor a tretie ho sťahuje nadol. Žiadne z pravidiel samo osebe nehovorí, koľko je y.

Nech d ≥ 1 je počet vstupov, n ≥ 1 počet skrytých neurónov, c₁, …, c_n ∈ ℝ^d stredy, v₁, …, v_n ∈ ℝ výstupné váhy a φ : [0, ∞) → (0, ∞) klesajúca radiálna bázová funkcia (typicky gaussovská, φ(t) = exp(−t²/2σ²) s σ > 0). Normalizovaná sieť RBF je funkcia y : ℝ^d → ℝ,

y(x) = ∑_i=1ⁿ v_i φ(‖x − c_i‖)/∑_j=1ⁿ φ(‖x − c_j‖),

kde ‖·‖ je euklidovská norma; menovateľ je kladný, pretože φ má kladné hodnoty. Výstup je teda vážený priemer výstupných váh, kde váha neurónu i klesá so vzdialenosťou vstupu od jeho stredu c_i. Sugenov systém nultého rádu s gaussovskými príslušnosťami a súčinom ako „a zároveň“ je y = ∑_i w̄_i r_i — po dosadení w_i = φ(‖x − c_i‖) a v_i = r_i presne ten istý vzorec. Zjednodušene povedané: pravidlo = neurón, funkcia príslušnosti = bázová funkcia, záver = výstupná váha. (Jang a Sun, 1993, vymenúvajú podmienky presne: rovnaký počet pravidiel a neurónov, konštantné závery, gaussovské príslušnosti, v rámci jedného pravidla s rovnakou šírkou, súčin ako „a zároveň“ a rovnaký spôsob skladania výstupu — vážený priemer alebo vážený súčet.)

S n vstupmi a k termami na každý vstup má úplná mriežka kⁿ pravidiel. Sugenov záver prvého rádu y = p₁x₁ + … + p_nx_n + r má n + 1 parametrov, takže lineárnych parametrov je kⁿ(n + 1). Parametrov predpokladov je len 2kn — každý vstup má svojich k kopcov, zdieľaných všetkými pravidlami.

Pre n = 10 a k = 3: 3¹⁰ = 59 049 pravidiel, 59 049 · 11 = 649 539 parametrov záverov a 2 · 3 · 10 = 60 parametrov predpokladov. Najmenšie štvorce by riešili sústavu so 649 539 neznámymi — a dát by bolo treba ešte oveľa viac.