Похідні, градієнт і правило ланцюжка: як модель дізнається, у якому напрямку вчитися

Похідна як швидкість зміни, частинні похідні, градієнт і правило ланцюжка — і зворотне поширення помилки, обчислене число за числом на одному нейроні.

14 хвилин Matěj Žalmánek 2026-10-15

Серія Основи ШІ Частина 10 з 52

1. Мапа штучного інтелекту: що є що і як усе це пов’язано
2. Коротка історія штучного інтелекту: від Тюрінга до мовних моделей
3. Дані, модель, тренування, інференс: основні поняття на одному прикладі
4. Як читати математичний запис: символи, індекси, суми та квантори
5. Множини й відношення: конструктор, з якого складаються означення в ШІ
6. Функції й відображення: чому кожна модель у ШІ — це функція
7. Логіка й доведення: правила, за якими міркують у ШІ
8. Графи й дерева: структура, на якій тримаються пошук і нейронні мережі
9. Лінійна алгебра для машинного навчання: вектори, матриці й чому ШІ передусім множить
10. Похідні, градієнт і правило ланцюжка: як модель дізнається, у якому напрямку вчитися
11. Градієнтний спуск: як навчається модель
12. Що таке ймовірність: від кидка кубика до аксіом Колмогорова
13. Умовна ймовірність і теорема Баєса: як змінити оцінку, коли дізнаєтеся щось нове
14. Випадкова величина і функція розподілу: одна функція, яка каже про розподіл усе
15. Функція щільності та функція маси ймовірності: чому неперервна величина має в точці ймовірність нуль
16. Математичне сподівання, дисперсія і коваріація: де лежить розподіл, наскільки він широкий і що з чим пов’язано
17. Огляд розподілів ймовірностей: Бернуллі, біноміальний, Пуассона, рівномірний, нормальний і експоненційний
18. Закон великих чисел і центральна гранична теорема: чому середні поводяться так передбачувано
19. Статистика й оцінювання параметрів: максимальна правдоподібність, MAP і довірчі інтервали
20. Теорія інформації: ентропія, перехресна ентропія і KL-дивергенція — звідки беруться функції втрат
21. Пошук у просторі станів: BFS, DFS, UCS і A* з анімаціями
22. Ігри та суперник: мінімакс, альфа-бета відсікання і Monte Carlo tree search
23. Задоволення обмежень: бектрекінг, поширення обмежень і AC-3 на судоку та мапі чеських країв
24. Логіка й системи, засновані на знаннях: пряме і зворотне виведення, резолюція та експертні системи
25. Планування: STRIPS, світ кубиків, евристики з релаксації та планування в AI-агентах
26. Локальний пошук та імітація відпалу: комівояжер через обласні центри Чехії
27. Генетичні алгоритми: популяція, схрещування, мутація і добір на рюкзаку для походу
28. Еволюційні стратегії і генетичне програмування: від правила однієї п’ятої до закону Кеплера
29. Оптимізація мурашиною колонією: як феромоновий слід знаходить короткий шлях
30. Оптимізація роєм частинок: інерція, власний досвід і досвід рою
31. Нейроеволюція: еволюція ваг і форми нейронних мереж та алгоритм NEAT
32. Нечіткі множини й функції належності: як записати «трохи тепло»
33. Нечітка логіка та ймовірність: чому «трохи тепло» не означає «імовірно тепло»
34. Нечітка логіка: t-норми, імплікації та правила ЯКЩО–ТО
35. Нечітке керування: Мамдані та Суґено від вентилятора до маятника на візку
36. Нечітка кластеризація: алгоритм fuzzy c-means і точки між кластерами
37. Нейро-нечіткі системи (ANFIS): нечіткі правила, які навчаються з даних
38. Марковські ланцюги: матриця переходів, стаціонарний розподіл і PageRank
39. Приховані марковські моделі: алгоритм Вітербі й нечесне казино
40. Байєсівські мережі: чому трава мокра і що з цього випливає для дощувача
41. Фільтр Калмана: як за неточними вимірюваннями оцінити, де авто і як швидко воно їде
42. Види машинного навчання: з учителем, без учителя, з частковим залученням учителя та інші
43. Промпти, контекст і RAG: як дати моделі правильну інформацію
44. Варіаційні автокодувальники (VAE): нові зображення з неперервного латентного простору
45. Генеративні змагальні мережі (GAN): фальшувальник проти детектива
46. Дифузійні моделі: як із чистого шуму постає зображення
47. Марковські процеси ухвалення рішень: стани, дії, винагороди й рівняння Беллмана
48. Q-навчання і DQN: як навчитися цінності дій — від таблиці до нейронної мережі
49. Policy gradient і PPO: навчання безпосередньо політики
50. Як працює ШІ-агент: мовна модель у циклі з інструментами
51. Програмування з AI-агентами: завдання, тести й перевірка
52. Оцінювання і безпека систем ШІ: як вимірювати і як стежити

Повна програма серії Готово: 52 з 83 тем

Модель навчається так, що маленькими кроками змінює свої параметри. Щоб знати, у якому напрямку їх змінити, їй потрібна відповідь на одне-єдине питання: якщо я трохи поверну цю ручку, як зміниться помилка? На це питання відповідає похідна. Для мільйонів ручок одночасно це градієнт. А як обчислити його через усю нейронну мережу, підказує правило ланцюжка.

Ця частина — останній шматок математики, якого бракує, щоб ви зрозуміли, як нейронна мережа насправді навчається. Вона спирається на функції та на обчислювальний граф нейрона з частини про графи.

1. Похідна: як швидко змінюється функція

Означення — похідна

Похідна функції f у точці x — це границя

f ′(x) = lim_{h → 0} (f(x + h) − f(x)) / h,

якщо вона існує. Дріб під границею — це кутовий коефіцієнт січної графіка між точками x і x + h; похідна — це кутовий коефіцієнт дотичної. Інший запис: df/dx.

Січна графіка f(x) = x² у точці 3 має для h = 2 нахил 8, для h = 1 нахил 7, для 0,5 нахил 6,5 і для 0,1 нахил 6,1. Що менший крок, то ближча січна до дотичної — а похідна f ′(3) = 6:

2. Правила й похідні функцій зі ШІ

На практиці похідні обчислюють не через границю, а за правилами. Найважливіші з них:

Правила диференціювання

(c)′ = 0,   (xⁿ)′ = nxⁿ⁻¹,   (e^x)′ = e^x,   (ln x)′ = 1/x

(f + g)′ = f ′ + g ′,   (cf)′ = cf ′,   (fg)′ = f ′g + fg ′

Зверніть увагу: похідну сигмоїди можна обчислити з самого значення сигмоїди — це заощаджує роботу, бо мережа однаково обчислила його під час прямого проходу. А похідна ReLU — найпростіша з можливих: або 0, або 1. Це теж одна з причин, чому ReLU така популярна.

3. Похідна показує шлях до мінімуму

Теорема — необхідна умова екстремуму

Якщо диференційовна функція f має в точці x* локальний мінімум або максимум, то f ′(x*) = 0. Обернене неправильне: f ′ = 0 може бути й у точці перегину (x³ у нулі).

Для f(x) = x² маємо f ′(x) = 2x, що дорівнює нулю лише в точці 0 — і там мінімум. Для складніших функцій рівняння f ′ = 0 розв’язати не вміємо, тому мінімум шукають крок за кроком: трохи проти напрямку похідної, обчислити знову, ще трохи.

4. Частинні похідні

Означення — частинна похідна

Для f : ℝⁿ → ℝ частинна похідна за x_i, ∂f/∂x_i, — це звичайна похідна за x_i, коли всі інші змінні тримаємо сталими.

5. Градієнт: напрям найкрутішого підйому

Означення — градієнт

Градієнт функції f : ℝⁿ → ℝ — це вектор усіх частинних похідних: ∇f = (∂f/∂x₁, …, ∂f/∂x_n).

Теорема. Градієнт показує напрям, у якому функція зростає найшвидше, а його довжина — це ця найбільша швидкість зростання. −∇f показує напрям найшвидшого спадання. Градієнт перпендикулярний до лінії рівня.

Для миски f(x, y) = x² + 3y² маємо ∇f = (2x, 6y); у точці (1, 1) це (2, 6). Стрілки на малюнку показують −∇f, тобто куди вниз — і всі вони йдуть перпендикулярно до ліній рівня до дна:

Стрілки не спрямовані прямо в центр: у напрямку y миска крутіша, тож там градієнт більший. Саме цей «зигзаг» потім заважає градієнтному спуску у вузьких долинах.

6. Правило ланцюжка

Теорема — похідна складеної функції

Для складеної функції h = g ∘ f, тобто h(x) = g(f(x)), маємо h ′(x) = g ′(f(x)) · f ′(x).

У нотації Лейбніца, якщо y = g(u) і u = f(x): dy/dx = (dy/du) · (du/dx). У довшому ланцюжку перемножують усі ланки.

7. Зворотне поширення помилки в одному нейроні

Тепер складімо все докупи. Нейрон із частини про графи обчислює ŷ = σ(wx + b), а його помилка — L = (ŷ − y)². Візьмімо вхід x = 2, вагу w = 0,5, зсув b = −0,5 і правильну відповідь y = 1.

Прямий прохід обчислює значення зліва направо: wx = 1, z = 0,5, ŷ = σ(0,5) ≈ 0,622 і помилка L ≈ 0,143.

Зворотний прохід іде тим самим графом справа наліво і в кожній вершині множить те, що надійшло, на похідну відповідної операції:

Обидва градієнти від’ємні. Це означає, що коли трохи збільшити і w, і b, помилка зменшиться — нейрон тоді відповість ближче до одиниці. Градієнтний спуск робить саме це: зсуває параметри трохи проти градієнта. Уся нейронна мережа навчається так само, тільки замість одного нейрона має мільйони, а зворотний прохід іде через сотні шарів. До речі, результат можна перевірити грубою силою — зсунути w на дрібку, знову обчислити помилку й поділити. Вийде те саме, тільки повільніше.

8. Похідні в штучному інтелекті

• Автоматичне диференціювання — бібліотеки на кшталт PyTorch і JAX під час обчислення будують обчислювальний граф і самі обчислюють градієнт зворотним проходом. Ніхто не виписує похідні мереж вручну.
• Чисельне диференціювання (мале h) для мільйонів параметрів надто повільне — на кожен параметр одне додаткове обчислення. Зворотне поширення обчислює всі частинні похідні приблизно за ціною одного прямого проходу.
• Зникаючий градієнт — похідна сигмоїди не більша за 0,25. Правило ланцюжка через п’ять сигмоїд поспіль множить щонайбільше на 0,25⁵ ≈ 0,001, тож глибокі шари майже не навчаються. Тому в прихованих шарах утвердилася ReLU з похідною 1.
• Градієнт за входом показує, які пікселі зображення найбільше вплинули на рішення мережі, — так малюють «карти значущості» і шукають слабкі місця моделей.

9. Підсумок

• Похідна — це швидкість зміни: кутовий коефіцієнт дотичної, до якої наближаються січні.
• У мінімумі похідна дорівнює нулю, а її знак підказує, куди вниз.
• Частинна похідна змінює одну ручку, градієнт — це вектор усіх таких похідних, і він вказує найкрутіше вгору.
• Правило ланцюжка перемножує похідні ланок складеної функції.
• Зворотне поширення — це правило ланцюжка на обчислювальному графі; так обчислюють градієнт усієї нейронної мережі.

Маєте іншу думку? Напишіть на support@coden-app.com.