Pochodne, gradient i reguła łańcuchowa: jak model ustala, w którą stronę się uczyć

Pochodna jako szybkość zmiany, pochodne cząstkowe, gradient i reguła łańcuchowa — oraz wsteczna propagacja błędu policzona liczba po liczbie na jednym neuronie.

14 minut Matěj Žalmánek 2026-10-15

Seria Podstawy AI Część 10 z 52

1. Mapa sztucznej inteligencji: co jest czym i jak to do siebie pasuje
2. Krótka historia sztucznej inteligencji: od Turinga do modeli językowych
3. Dane, model, trening, inferencja: podstawowe pojęcia na jednym przykładzie
4. Jak czytać zapis matematyczny: symbole, indeksy, sumy i kwantyfikatory
5. Zbiory i relacje: klocki, z których składają się definicje w AI
6. Funkcje i odwzorowania: dlaczego każdy model AI jest funkcją
7. Logika i dowody: reguły, według których rozumuje AI
8. Grafy i drzewa: struktura, na której opierają się przeszukiwanie i sieci neuronowe
9. Algebra liniowa dla uczenia maszynowego: wektory, macierze i dlaczego AI głównie mnoży
10. Pochodne, gradient i reguła łańcuchowa: jak model ustala, w którą stronę się uczyć
11. Spadek gradientu: jak uczy się model
12. Czym jest prawdopodobieństwo: od rzutu kostką do aksjomatów Kołmogorowa
13. Prawdopodobieństwo warunkowe i twierdzenie Bayesa: jak zmienić ocenę, gdy dowiesz się czegoś nowego
14. Zmienna losowa i dystrybuanta: jedna funkcja, która mówi o rozkładzie wszystko
15. Funkcja gęstości i funkcja prawdopodobieństwa: dlaczego zmienna ciągła ma w punkcie prawdopodobieństwo zero
16. Wartość oczekiwana, wariancja i kowariancja: gdzie leży rozkład, jak jest szeroki i co z czym się wiąże
17. Przegląd rozkładów prawdopodobieństwa: Bernoulliego, dwumianowy, Poissona, jednostajny, normalny i wykładniczy
18. Prawo wielkich liczb i centralne twierdzenie graniczne: dlaczego średnie zachowują się tak przewidywalnie
19. Statystyka i estymacja parametrów: największa wiarygodność, MAP i przedziały ufności
20. Teoria informacji: entropia, entropia krzyżowa i dywergencja KL — skąd się biorą funkcje straty
21. Przeszukiwanie przestrzeni stanów: BFS, DFS, UCS i A* z animacjami
22. Gry i przeciwnik: minimax, przycinanie alfa-beta i Monte Carlo tree search
23. Spełnianie ograniczeń: backtracking, propagacja ograniczeń i AC-3 na sudoku i mapie czeskich krajów
24. Logika i systemy z bazą wiedzy: wnioskowanie w przód i wstecz, rezolucja i systemy ekspertowe
25. Planowanie: STRIPS, świat klocków, heurystyki z relaksacji i planowanie w agentach AI
26. Przeszukiwanie lokalne i symulowane wyżarzanie: komiwojażer przez czeskie miasta wojewódzkie
27. Algorytmy genetyczne: populacja, krzyżowanie, mutacja i selekcja na plecaku na wycieczkę
28. Strategie ewolucyjne i programowanie genetyczne: od reguły jednej piątej do prawa Keplera
29. Optymalizacja kolonią mrówek: jak ślad feromonowy znajduje krótką drogę
30. Optymalizacja rojem cząstek: bezwładność, własne doświadczenie i doświadczenie roju
31. Neuroewolucja: ewolucja wag i kształtu sieci neuronowych oraz algorytm NEAT
32. Zbiory rozmyte i funkcje przynależności: jak zapisać „trochę ciepło”
33. Logika rozmyta a prawdopodobieństwo: dlaczego „trochę ciepło” nie znaczy „prawdopodobnie ciepło”
34. Logika rozmyta: t-normy, implikacje i reguły JEŻELI–TO
35. Sterowanie rozmyte: Mamdani i Sugeno od wentylatora po wahadło na wózku
36. Klasteryzacja rozmyta: algorytm fuzzy c-means i punkty między skupieniami
37. Systemy neuro-rozmyte (ANFIS): reguły rozmyte, które uczą się z danych
38. Łańcuchy Markowa: macierz przejścia, rozkład stacjonarny i PageRank
39. Ukryte modele Markowa: algorytm Viterbiego i nieuczciwe kasyno
40. Sieci bayesowskie: dlaczego trawa jest mokra i co z tego wynika dla zraszacza
41. Filtr Kalmana: jak z niedokładnych pomiarów oszacować, gdzie jest samochód i jak szybko jedzie
42. Rodzaje uczenia maszynowego: nadzorowane, nienadzorowane, półnadzorowane i inne
43. Prompty, kontekst i RAG: jak dać modelowi właściwe informacje
44. Wariacyjne autoenkodery (VAE): nowe obrazki z ciągłej przestrzeni latentnej
45. Generatywne sieci przeciwstawne (GAN): fałszerz kontra detektyw
46. Modele dyfuzyjne: jak z czystego szumu powstaje obraz
47. Procesy decyzyjne Markowa: stany, akcje, nagrody i równania Bellmana
48. Q-learning i DQN: uczenie się wartości akcji od tabeli po sieć neuronową
49. Policy gradient i PPO: uczenie się bezpośrednio polityki
50. Jak działa agent AI: model językowy w pętli z narzędziami
51. Programowanie z agentami AI: zadanie, testy i kontrola
52. Ocena i bezpieczeństwo systemów AI: jak mierzyć i jak pilnować

Pełny program serii Gotowe: 52 z 83 tematów

Model uczy się, zmieniając swoje parametry małymi krokami. Żeby wiedzieć, w którą stronę je zmienić, potrzebuje odpowiedzi na jedno pytanie: jeśli trochę przekręcę to pokrętło, jak zmieni się błąd? Na to pytanie odpowiada pochodna. Dla milionów pokręteł naraz jest to gradient. A jak obliczyć go przez całą sieć neuronową, mówi reguła łańcuchowa.

Ta część to ostatni kawałek matematyki, którego brakuje, żebyś zrozumiał, jak sieć neuronowa naprawdę się uczy. Nawiązuje do funkcji i do grafu obliczeniowego neuronu z części o grafach.

1. Pochodna: jak szybko zmienia się funkcja

Definicja — pochodna

Pochodna funkcji f w punkcie x to granica

f ′(x) = lim_{h → 0} (f(x + h) − f(x)) / h,

o ile istnieje. Ułamek pod granicą to współczynnik kierunkowy siecznej wykresu między punktami x i x + h; pochodna to współczynnik kierunkowy stycznej. Inny zapis: df/dx.

Sieczna wykresu f(x) = x² w punkcie 3 ma dla h = 2 nachylenie 8, dla h = 1 nachylenie 7, dla 0,5 nachylenie 6,5, a dla 0,1 nachylenie 6,1. Im mniejszy krok, tym bliżej siecznej do stycznej — i pochodna f ′(3) = 6:

2. Reguły i pochodne funkcji z AI

W praktyce pochodnych nie liczy się z granicy, lecz według reguł. Najważniejsze z nich:

Reguły różniczkowania

(c)′ = 0,   (xⁿ)′ = nxⁿ⁻¹,   (e^x)′ = e^x,   (ln x)′ = 1/x

(f + g)′ = f ′ + g ′,   (cf)′ = cf ′,   (fg)′ = f ′g + fg ′

Zauważ, że pochodną sigmoidy da się obliczyć z samej wartości sigmoidy — to oszczędza pracę, bo sieć i tak obliczyła ją podczas przejścia w przód. A pochodna ReLU jest najprostsza z możliwych: albo 0, albo 1. To też jeden z powodów, dla których ReLU jest tak popularna.

3. Pochodna wskazuje drogę do minimum

Twierdzenie — warunek konieczny istnienia ekstremum

Jeśli funkcja różniczkowalna f ma w punkcie x* lokalne minimum lub maksimum, to f ′(x*) = 0. Odwrotnie to nie zachodzi: f ′ = 0 może być też w punkcie przegięcia (x³ w zerze).

Dla f(x) = x² mamy f ′(x) = 2x, zero tylko w punkcie 0 — i tam jest minimum. Dla bardziej skomplikowanych funkcji równania f ′ = 0 rozwiązać nie umiemy, dlatego minimum szuka się krok po kroku: kawałek przeciwnie do kierunku pochodnej, obliczyć ponownie, kolejny kawałek.

4. Pochodne cząstkowe

Definicja — pochodna cząstkowa

Dla f : ℝⁿ → ℝ pochodna cząstkowa względem x_i, ∂f/∂x_i, to zwykła pochodna względem x_i, gdy wszystkie pozostałe zmienne trzymamy stałe.

5. Gradient: kierunek najszybszego wzrostu

Definicja — gradient

Gradient funkcji f : ℝⁿ → ℝ to wektor wszystkich pochodnych cząstkowych: ∇f = (∂f/∂x₁, …, ∂f/∂x_n).

Twierdzenie. Gradient wskazuje kierunek, w którym funkcja rośnie najszybciej, a jego długość to ta największa szybkość wzrostu. −∇f wskazuje kierunek najszybszego spadku. Gradient jest prostopadły do poziomicy.

Dla misy f(x, y) = x² + 3y² mamy ∇f = (2x, 6y); w punkcie (1, 1) to (2, 6). Strzałki na rysunku pokazują −∇f, czyli którędy w dół — i wszystkie przecinają poziomice prostopadle w stronę dna:

Strzałki nie celują prosto w środek: w kierunku y misa jest bardziej stroma, więc tam gradient jest większy. Właśnie ten „zygzak“ sprawia potem kłopoty spadkowi gradientu w wąskich dolinach.

6. Reguła łańcuchowa

Twierdzenie — pochodna funkcji złożonej

Dla funkcji złożonej h = g ∘ f, czyli h(x) = g(f(x)), zachodzi h ′(x) = g ′(f(x)) · f ′(x).

W zapisie Leibniza, gdy y = g(u) i u = f(x): dy/dx = (dy/du) · (du/dx). W dłuższym łańcuchu mnoży się wszystkie ogniwa.

7. Wsteczna propagacja błędu w jednym neuronie

Teraz złożymy to w całość. Neuron z części o grafach oblicza ŷ = σ(wx + b), a jego błąd to L = (ŷ − y)². Weźmy wejście x = 2, wagę w = 0,5, przesunięcie b = −0,5 i poprawną odpowiedź y = 1.

Przejście w przód oblicza wartości od lewej do prawej: wx = 1, z = 0,5, ŷ = σ(0,5) ≈ 0,622 i błąd L ≈ 0,143.

Przejście wstecz idzie tym samym grafem od prawej do lewej i w każdym wierzchołku mnoży to, co przyszło, przez pochodną danej operacji:

Oba gradienty są ujemne. To znaczy, że jeśli trochę zwiększymy w i b, błąd spadnie — neuron odpowie wtedy bliżej jedynki. Spadek gradientu robi dokładnie to: przesuwa parametry kawałek przeciwnie do gradientu. Cała sieć neuronowa uczy się tak samo, tylko zamiast jednego neuronu ma ich miliony, a przejście wstecz idzie przez setki warstw. Nawiasem mówiąc, wynik można sprawdzić siłowo — przesunąć w o odrobinę, obliczyć błąd ponownie i podzielić. Wyjdzie to samo, tylko wolniej.

8. Pochodne w sztucznej inteligencji

• Automatyczne różniczkowanie — biblioteki takie jak PyTorch i JAX podczas obliczeń budują graf obliczeniowy i same obliczają gradient przejściem wstecz. Nikt nie pisze pochodnych sieci ręcznie.
• Różniczkowanie numeryczne (małe h) jest dla milionów parametrów zbyt wolne — na każdy parametr jedno dodatkowe obliczenie. Wsteczna propagacja oblicza wszystkie pochodne cząstkowe kosztem mniej więcej jednego przejścia w przód.
• Zanikający gradient — pochodna sigmoidy wynosi co najwyżej 0,25. Reguła łańcuchowa przez pięć sigmoid z rzędu mnoży przez co najwyżej 0,25⁵ ≈ 0,001, więc głębokie warstwy prawie się nie uczą. Dlatego w warstwach ukrytych przyjęła się ReLU z pochodną 1.
• Gradient względem wejścia pokazuje, które piksele obrazu najbardziej wpłynęły na decyzję sieci — tak rysuje się „mapy istotności“ i szuka słabych punktów modeli.

9. Podsumowanie

• Pochodna to szybkość zmiany — nachylenie stycznej, do której zbliżają się sieczne.
• W minimum pochodna jest zerem, a jej znak mówi, którędy w dół.
• Pochodna cząstkowa zmienia jedno pokrętło, gradient to wektor wszystkich z nich i wskazuje najbardziej stromo pod górę.
• Reguła łańcuchowa mnoży pochodne ogniw funkcji złożonej.
• Wsteczna propagacja to reguła łańcuchowa na grafie obliczeniowym — tak oblicza się gradient całej sieci neuronowej.

Masz inne zdanie? Napisz na support@coden-app.com.