Neuro-fuzzy systémy (ANFIS): fuzzy pravidla, která se učí z dat

Nechť n ≥ 1 je počet pravidel a pro každé i = 1, …, n jsou dány parametry předpokladů c_i ∈ ℝ, σ_i > 0 a parametry závěrů p_i, r_i ∈ ℝ. ANFIS s jedním vstupem a n pravidly „KDYŽ x je A_i, PAK y = p_ix + r_i“ je funkce y : ℝ → ℝ, jejíž hodnota ve vstupu x ∈ ℝ se počítá v pěti vrstvách (pro i = 1, …, n):

1. Příslušnost: μ_i(x) = exp(−(x − c_i)²/2σ_i²) ∈ (0, 1] — gaussovská funkce příslušnosti termínu A_i se středem c_i a šířkou σ_i.
2. Síla pravidla: w_i = μ_i(x) (s více vstupy součin příslušností všech podmínek pravidla).
3. Normalizace: w̄_i = w_i/∑_j=1ⁿ w_j (jmenovatel je kladný, protože každé w_j > 0).
4. Závěr: w̄_i · (p_ix + r_i).
5. Součet: y(x) = ∑_i=1ⁿ w̄_i (p_ix + r_i).

Je to tedy výstup regulátoru Takagi–Sugeno prvního řádu se součinem jako t-normou, jen zapsaný jako síť; vrstvy 1 a 4 obsahují učené parametry.

Vezměme systém po nulté epoše učení (viz níže): středy c = 0, 2, 4, 6, všechny šířky σ = 1 a závěry z nejmenších čtverců. Pro x = 3 jsou vzdálenosti od středů 3, 1, 1, 3, a tedy

1. příslušnost a síla (barvy podle vzorce pro μ_i): w₁ = exp(−3²/2 · 1²) = e^−4,5,   w₂ = exp(−1²/2 · 1²) = e^−0,5 a souměrně w₃ = e^−0,5, w₄ = e^−4,5; tedy w = (0,0111; 0,6065; 0,6065; 0,0111);
2. normalizace (barvy od tohoto kroku podle vzorce pro y): součet je 1,2353, takže w̄ = (0,0090; 0,4910; 0,4910; 0,0090), např. w̄₂ = 0,6065/1,2353;
3. závěry: přímky p_ix + r_i s naučenými koeficienty (9,54x + 0,01; 9,34x − 17,38; 8,56x − 36,61; 2,60x − 18,90) mají v bodě 3 hodnoty (28,63; 10,66; −10,94; −11,09) — koeficienty jsou zaokrouhlené, hodnoty spočítané z přesných;
4. součet součinů w̄_i · (p_ix + r_i): y = 0,2574 + 5,2329 − 5,3698 − 0,0997 ≈ 0,021.

Skutečná hodnota je sin(3) = sin(3²/3) ≈ 0,141. Všimněte si, že výstup vzniká odečtením dvou velkých, skoro stejných příspěvků — k tomu se vrátíme u čitelnosti.

Nechť N ≥ 1, (x₁, y₁), …, (x_N, y_N) ∈ ℝ × ℝ jsou data a ŷ : ℝ → ℝ model (jeho výstup pro vstup x je ŷ(x)). Střední kvadratická chyba modelu ŷ na těchto datech je číslo

E = 1/N ∑_k=1^N (ŷ(x_k) − y_k)² ≥ 0

a RMSE (root mean square error) je její odmocnina, RMSE = √E. Minimalizovat jednu nebo druhou je totéž; RMSE se ale uvádí, protože má jednotky výstupu. Všechny chyby v tomhle dílu jsou RMSE.

Při pevných předpokladech je y(x) = ∑_i ((w̄_ix) p_i + w̄_i r_i) lineární funkce parametrů závěrů. Na tom stojí tento algoritmus.

Vstup: trénovací data (x_k, y_k) ∈ ℝ × ℝ, k = 1, …, N; počet pravidel n; počáteční středy c_i ∈ ℝ a šířky σ_i > 0; krok učení η > 0; počet epoch T ∈ ℕ; nejmenší povolená šířka σ_min > 0. Výstup: parametry c_i, σ_i, p_i, r_i, i = 1, …, n. Pro epochy t = 0, 1, …, T opakuj:

1. dopředu: spočítej w̄_i(x_k) pro všechna i a k a parametry závěrů p_i, r_i najdi přesně metodou nejmenších čtverců (definice níže);
2. zastavení: je-li t = T, skonči a vrať parametry;
3. dozadu: s takto nalezenými závěry udělej krok gradientního sestupu pro středy a šířky (gradienty podle věty níže): c_i ← c_i − η ∂E/∂c_i,    σ_i ← max(σ_min, σ_i − η ∂E/∂σ_i).

V příkladu tohoto dílu je η = 0,1, T = 300 a σ_min = 0,05.

Nechť (x_k, y_k) ∈ ℝ × ℝ, k = 1, …, N, jsou trénovací data, n ≥ 1 počet pravidel a parametry předpokladů c_i, σ_i pevné. Pak jsou w̄_i(x_k) jen čísla (zkráceně w̄_i). Seřaďme parametry závěrů do vektoru θ = (p₁, r₁, …, p_n, r_n) ∈ ℝ²ⁿ a pro každý bod k sestavme řádek

a_k = (w̄₁x_k, w̄₁, …, w̄_nx_k, w̄_n) ∈ ℝ²ⁿ,   takže   ŷ(x_k) = a_k · θ.

Řádky a₁, …, a_N tvoří matici A ∈ ℝ^N×2n a y = (y₁, …, y_N) ∈ ℝ^N. Řešení metodou nejmenších čtverců je vektor

θ* ∈ argmin_{θ ∈ ℝ²ⁿ} ‖Aθ − y‖²/N,

tj. parametry závěrů s nejmenší střední kvadratickou chybou. Každé takové θ* splňuje normální rovnice A^TA θ = A^Ty — soustavu 2n lineárních rovnic (a naopak každé jejich řešení je minimem; jediné je, právě když má A lineárně nezávislé sloupce). Pro 4 pravidla a 40 bodů je A matice 40 × 8 a soustava má 8 rovnic. Náš výpočet přičítá k diagonále A^TA ještě 10⁻⁶ (malý hřebenový člen), aby soustava byla řešitelná i při téměř závislých sloupcích, a řeší ji Gaussovou eliminací.

Nechť (x_k, y_k) ∈ ℝ × ℝ, k = 1, …, N, jsou data a ŷ ANFIS s n pravidly a parametry c_i ∈ ℝ, σ_i > 0, p_i, r_i ∈ ℝ. Nechť E je jeho střední kvadratická chyba na datech, chápaná jako funkce všech parametrů, a pro vstup x označme w_i = exp(−(x − c_i)²/2σ_i²), W = ∑_j w_j, w̄_i = w_i/W a g_i = p_ix + r_i. Pak pro každé i = 1, …, n

∂E/∂c_i = 2/N ∑_k=1^N (ŷ − y_k) (g_i − ŷ) w̄_i x_k − c_i/σ_i²,

∂E/∂σ_i = 2/N ∑_k=1^N (ŷ − y_k) (g_i − ŷ) w̄_i (x_k − c_i)²/σ_i³,

kde ŷ, g_i a w̄_i se berou v bodě x = x_k.

Důkaz. Ze ŷ = ∑_j w_jg_j/W plyne derivací podílu ∂ŷ/∂w_i = g_iW − ∑_j w_jg_j/W² = g_i − ŷ/W. Derivace gaussovského kopce jsou ∂w_i/∂c_i = w_i x − c_i/σ_i² a ∂w_i/∂σ_i = w_i (x − c_i)²/σ_i³, a parametry c_i, σ_i ovlivňují ŷ jen přes w_i. Řetízkovým pravidlem ∂E/∂c_i = 2/N ∑_k (ŷ − y_k) · g_i − ŷ/W · w_i x_k − c_i/σ_i² a w_i/W = w̄_i dá první vzorec; druhý stejně. ∎

Nechť f : ℝ → ℝ je skutečná funkce, x₁, …, x_N ∈ ℝ vstupy a trénovací výstupy jsou y_k = f(x_k) + ε_k, k = 1, …, N, kde ε_k jsou náhodné odchylky (šum). Úroveň šumu v datech je RMSE, kterou by na trénovacích datech měla sama skutečná funkce f jako model:

√1/N ∑_k=1^N (f(x_k) − y_k)² = √1/N ∑_k=1^N ε_k².

V našem příkladu je N = 40, f(x) = sin(x²/3) a ε_k jsou nezávislé náhodné odchylky z normálního rozdělení se střední hodnotou 0 a směrodatnou odchylkou 0,1; úroveň šumu vyšla √1/40 ∑_k ε_k² = 0,114. Je o něco větší než 0,1 jen náhodou — v našich 40 vylosovaných odchylkách.

Model, který má na trénovacích datech chybu menší než úroveň šumu (0,107 < 0,114), už začíná kopírovat i náhodné odchylky. Na tak malém rozdílu to ještě nevadí — chyba na testu dál klesá —, ale je to první varování, ke kterému se vrátíme u počtu pravidel.

S jedním vstupem má každé pravidlo dva parametry předpokladu (c_i, σ_i) a dva parametry závěru (p_i, r_i), celkem 4n. Na 40 trénovacích bodů:

• 4 pravidla: 16 parametrů, z toho 8 lineárních — na každý lineární parametr připadá 40/8 = 5 bodů;
• 8 pravidel: 32 parametrů, z toho 16 lineárních — 40/16 = 2,5 bodu na lineární parametr, a nejmenší čtverce tak mají dost volnosti proložit i šum;
• 12 pravidel: 48 parametrů — víc, než je bodů. Nejmenší čtverce sice určují „jen“ 24 závěrů ze 40 rovnic, ale dalších 24 parametrů předpokladů může kopce přesunout a zúžit přesně tam, kde šum zrovna vybočil.

Užitečné pravidlo palce: bodů by mělo být aspoň několikrát víc než parametrů, které se z nich odhadují.

Naučený střed druhého pravidla je c₂ = 2,195. Tam má druhé pravidlo plnou příslušnost (w₂ = 1), ale sousedé ne nulovou: w = (0,140; 1; 0,331; 0,000), součet 1,471, takže např. w̄₂ = 1/1,471 ≈ 0,680 (barvy podle vzorce pro y v první části, g_i = p_ix + r_i):

Součet je y = 1,203 + 5,609 − 5,769 = 1,043, skutečná hodnota sin(2,195²/3) = 0,999. Výstup je dobrý, ale vzniká jako rozdíl dvou příspěvků kolem ±5,7: druhé pravidlo „přestřeluje“ nahoru a třetí ho stahuje dolů. Žádné z pravidel samo o sobě neříká, kolik je y.

Nechť d ≥ 1 je počet vstupů, n ≥ 1 počet skrytých neuronů, c₁, …, c_n ∈ ℝ^d středy, v₁, …, v_n ∈ ℝ výstupní váhy a φ : [0, ∞) → (0, ∞) klesající radiální bázová funkce (typicky gaussovská, φ(t) = exp(−t²/2σ²) s σ > 0). Normalizovaná síť RBF je funkce y : ℝ^d → ℝ,

y(x) = ∑_i=1ⁿ v_i φ(‖x − c_i‖)/∑_j=1ⁿ φ(‖x − c_j‖),

kde ‖·‖ je euklidovská norma; jmenovatel je kladný, protože φ má kladné hodnoty. Výstup je tedy vážený průměr výstupních vah, kde váha neuronu i klesá se vzdáleností vstupu od jeho středu c_i. Sugenův systém nultého řádu s gaussovskými příslušnostmi a součinem jako „a zároveň“ je y = ∑_i w̄_i r_i — po dosazení w_i = φ(‖x − c_i‖) a v_i = r_i přesně týž vzorec. Zjednodušeně řečeno: pravidlo = neuron, funkce příslušnosti = bázová funkce, závěr = výstupní váha. (Jang a Sun, 1993, vyjmenovávají podmínky přesně: stejný počet pravidel a neuronů, konstantní závěry, gaussovské příslušnosti, v rámci jednoho pravidla se stejnou šířkou, součin jako „a zároveň“ a stejný způsob skládání výstupu — vážený průměr, nebo vážený součet.)

S n vstupy a k termíny na každý vstup má úplná mřížka kⁿ pravidel. Sugenův závěr prvního řádu y = p₁x₁ + … + p_nx_n + r má n + 1 parametrů, takže lineárních parametrů je kⁿ(n + 1). Parametrů předpokladů je jen 2kn — každý vstup má svých k kopců, sdílených všemi pravidly.

Pro n = 10 a k = 3: 3¹⁰ = 59 049 pravidel, 59 049 · 11 = 649 539 parametrů závěrů a 2 · 3 · 10 = 60 parametrů předpokladů. Nejmenší čtverce by řešily soustavu o 649 539 neznámých — a dat by bylo potřeba ještě mnohem víc.