Види машинного навчання: з учителем, без учителя, з частковим залученням учителя та інші

Навчання з учителем, без учителя, з частковим залученням учителя, самонавчання й навчання з підкріпленням — з точними означеннями, поясненнями простими словами та анімаціями справжніх алгоритмів.

15 хвилин Matěj Žalmánek 2026-10-15

Серія Основи ШІ Частина 42 з 52

1. Мапа штучного інтелекту: що є що і як усе це пов’язано
2. Коротка історія штучного інтелекту: від Тюрінга до мовних моделей
3. Дані, модель, тренування, інференс: основні поняття на одному прикладі
4. Як читати математичний запис: символи, індекси, суми та квантори
5. Множини й відношення: конструктор, з якого складаються означення в ШІ
6. Функції й відображення: чому кожна модель у ШІ — це функція
7. Логіка й доведення: правила, за якими міркують у ШІ
8. Графи й дерева: структура, на якій тримаються пошук і нейронні мережі
9. Лінійна алгебра для машинного навчання: вектори, матриці й чому ШІ передусім множить
10. Похідні, градієнт і правило ланцюжка: як модель дізнається, у якому напрямку вчитися
11. Градієнтний спуск: як навчається модель
12. Що таке ймовірність: від кидка кубика до аксіом Колмогорова
13. Умовна ймовірність і теорема Баєса: як змінити оцінку, коли дізнаєтеся щось нове
14. Випадкова величина і функція розподілу: одна функція, яка каже про розподіл усе
15. Функція щільності та функція маси ймовірності: чому неперервна величина має в точці ймовірність нуль
16. Математичне сподівання, дисперсія і коваріація: де лежить розподіл, наскільки він широкий і що з чим пов’язано
17. Огляд розподілів ймовірностей: Бернуллі, біноміальний, Пуассона, рівномірний, нормальний і експоненційний
18. Закон великих чисел і центральна гранична теорема: чому середні поводяться так передбачувано
19. Статистика й оцінювання параметрів: максимальна правдоподібність, MAP і довірчі інтервали
20. Теорія інформації: ентропія, перехресна ентропія і KL-дивергенція — звідки беруться функції втрат
21. Пошук у просторі станів: BFS, DFS, UCS і A* з анімаціями
22. Ігри та суперник: мінімакс, альфа-бета відсікання і Monte Carlo tree search
23. Задоволення обмежень: бектрекінг, поширення обмежень і AC-3 на судоку та мапі чеських країв
24. Логіка й системи, засновані на знаннях: пряме і зворотне виведення, резолюція та експертні системи
25. Планування: STRIPS, світ кубиків, евристики з релаксації та планування в AI-агентах
26. Локальний пошук та імітація відпалу: комівояжер через обласні центри Чехії
27. Генетичні алгоритми: популяція, схрещування, мутація і добір на рюкзаку для походу
28. Еволюційні стратегії і генетичне програмування: від правила однієї п’ятої до закону Кеплера
29. Оптимізація мурашиною колонією: як феромоновий слід знаходить короткий шлях
30. Оптимізація роєм частинок: інерція, власний досвід і досвід рою
31. Нейроеволюція: еволюція ваг і форми нейронних мереж та алгоритм NEAT
32. Нечіткі множини й функції належності: як записати «трохи тепло»
33. Нечітка логіка та ймовірність: чому «трохи тепло» не означає «імовірно тепло»
34. Нечітка логіка: t-норми, імплікації та правила ЯКЩО–ТО
35. Нечітке керування: Мамдані та Суґено від вентилятора до маятника на візку
36. Нечітка кластеризація: алгоритм fuzzy c-means і точки між кластерами
37. Нейро-нечіткі системи (ANFIS): нечіткі правила, які навчаються з даних
38. Марковські ланцюги: матриця переходів, стаціонарний розподіл і PageRank
39. Приховані марковські моделі: алгоритм Вітербі й нечесне казино
40. Байєсівські мережі: чому трава мокра і що з цього випливає для дощувача
41. Фільтр Калмана: як за неточними вимірюваннями оцінити, де авто і як швидко воно їде
42. Види машинного навчання: з учителем, без учителя, з частковим залученням учителя та інші
43. Промпти, контекст і RAG: як дати моделі правильну інформацію
44. Варіаційні автокодувальники (VAE): нові зображення з неперервного латентного простору
45. Генеративні змагальні мережі (GAN): фальшувальник проти детектива
46. Дифузійні моделі: як із чистого шуму постає зображення
47. Марковські процеси ухвалення рішень: стани, дії, винагороди й рівняння Беллмана
48. Q-навчання і DQN: як навчитися цінності дій — від таблиці до нейронної мережі
49. Policy gradient і PPO: навчання безпосередньо політики
50. Як працює ШІ-агент: мовна модель у циклі з інструментами
51. Програмування з AI-агентами: завдання, тести й перевірка
52. Оцінювання і безпека систем ШІ: як вимірювати і як стежити

Повна програма серії Готово: 52 з 83 тем

«Модель цьому навчилася». Ця фраза щоразу звучить однаково, але означає дуже різні речі. Іноді модель навчалася на тисячах фотографій, до яких хтось підписав, що на них зображено. Іноді вона отримала лише купу даних без жодної мітки й мала знайти в них порядок. А іноді вчилася, як пес на дресируванні, — пробувала й за правильні кроки отримувала винагороду.

Тому машинне навчання поділяють за тим, який сигнал модель отримує під час навчання. Ми пройдемо основні види — від навчання з учителем до навчання з підкріпленням. Для кожного ви знайдете точне означення, пояснення простими словами та графік, який є справжнім результатом роботи алгоритму, — нічого не намальовано вручну.

1. Що означає, що машина навчається

Означення — навчання (Т. Мітчелл, 1997)

Кажуть, що програма навчається з досвіду E щодо класу задач T і міри якості P, якщо її якість на задачах із T, виміряна за допомогою P, покращується з досвідом E.

Означення — модель і параметри

Модель — це функція f_θ : 𝒳 → 𝒴 із простору входів 𝒳 у простір виходів 𝒴, задана параметрами θ ∈ ℝ^p.

Навчання (тренування) — це пошук параметрів θ, які мінімізують цільову функцію J(θ), обчислену за даними, — зазвичай градієнтним спуском θ ← θ − η ∇J(θ).

Основні види навчання коротко — вони відрізняються тим, що є в даних:

2. Навчання з учителем (supervised learning)

Означення — навчання з учителем

Дано навчальну вибірку D = {(x_i, y_i)}_i=1ⁿ пар вхід–мітка, вибраних незалежно з невідомого розподілу P(X, Y), і функцію втрат L(ŷ, y) ≥ 0.

Шукаємо модель, яка мінімізує емпіричний ризик: θ* = argmin_θ (1/n) ∑_i=1ⁿ L(f_θ(x_i), y_i).

Але мета — не навчальна вибірка: модель має добре працювати на нових даних із того самого розподілу (узагальнення). Тому якість вимірюють на відкладеній тестовій вибірці.

Залежно від того, чим є мітка y, розрізняють дві задачі.

Класифікація

Означення — класифікація

Мітки належать до скінченної множини класів: y ∈ {1, …, K}. Звичайна функція втрат — перехресна ентропія L = −∑_k [y = k] log p_θ(k | x).

Логістична регресія для двох класів: p(y = 1 | x) = σ(w^⊤x + b), де σ(z) = 1 / (1 + e^−z). Межа рішень — пряма w^⊤x + b = 0.

На графіку 60 точок двох класів. Межа навмисно починає в невдалому місці, а градієнтний спуск епоха за епохою зсуває її, доки вона не розділить класи:

Регресія

Означення — регресія

Мітки — дійсні числа: y ∈ ℝ. Звичайна функція втрат — середньоквадратична похибка MSE = (1/n) ∑_i (f(x_i) − y_i)².

Для лінійної регресії f(x) = ax + b мінімум MSE має замкнений вигляд: a = ∑(x_i − x̄)(y_i − ȳ) / ∑(x_i − x̄)², b = ȳ − ax̄ (метод найменших квадратів).

Навчання з учителем рухає більшість практичних застосувань: спам-фільтри, розпізнавання облич, діагностику за рентгенівськими знімками, оцінку вартості нерухомості. Але має одну дорогу умову — хтось мусить розмітити дані. І це часто найдорожча частина всього проєкту.

3. Навчання без учителя (unsupervised learning)

Означення — навчання без учителя

Дано лише множину входів D = {x_i}_i=1ⁿ ⊂ 𝒳, без міток. Шукаємо структуру розподілу P(X): кластери, низьковимірне представлення або саму густину p(x).

Кластеризація: k-means

Означення — k-means

Розбити точки на k кластерів C₁, …, C_k із центрами μ₁, …, μ_k так, щоб внутрішньокластерна сума квадратів була мінімальною:

J = ∑_j=1^k ∑_{x ∈ Cj} ‖x − μ_j‖².

Алгоритм Ллойда чергує два кроки: (1) віднести кожну точку до найближчого центру, (2) перемістити кожен центр у середнє його точок. Жоден крок не збільшує J, тож алгоритм завершиться — але лише в локальному мінімумі.

Центри (хрестики) навмисно всі починають у лівому нижньому куті. Уже після першої ітерації вони розходяться до своїх груп, а після чотирьох ітерацій перестають рухатися.

Інші задачі без учителя: зниження розмірності (наприклад, PCA проєктує дані на кілька напрямків, у яких вони найбільше відрізняються, — корисно і для візуалізації, і для стиснення), виявлення аномалій (те, що не схоже ні на що відоме, — шахрайський платіж, несправність машини) та оцінка густини.

4. Навчання з частковим залученням учителя (semi-supervised learning)

Означення — навчання з частковим залученням учителя

Дано малу розмічену множину D_L = {(x_i, y_i)}_i=1^l і велику нерозмічену D_U = {x_j}_j=l+1^l+u, де u ≫ l. Мета та сама, що й у навчанні з учителем, але для її досягнення використовують і D_U.

Це працює лише за одного з припущень:

• гладкість — близькі точки мають однакову мітку,
• кластери — точки одного кластера мають однакову мітку, межа класів проходить розрідженими місцями,
• многовид — дані лежать на низьковимірній поверхні, і відстань слід вимірювати вздовж неї.

Поширення міток графом

Побудуйте граф, у якому кожна точка з’єднана зі своїми k найближчими сусідами (тут k = 4). У кожному раунді кожна нерозмічена точка, що має розміченого сусіда, отримує мітку більшості розмічених сусідів. Повторюйте, доки є нерозмічені точки.

Дані — два «півмісяці» по 40 точок. Мітку мають лише дві точки — по одній у кожному півмісяці, виділені обведенням. Решта сірі:

Мітки поширюються півмісяцями, як пожежа сухою травою, і за 10 раундів усі точки розмічено правильно. Якби ми ігнорували нерозмічені дані й відносили кожну точку лише до того з двох розмічених, до якого вона ближча, правильних було б лише 84 %: кінці півмісяців лежать ближче до чужої розміченої точки, ніж до своєї. Різницю робить саме форма даних, яку ми знаємо лише завдяки нерозміченим точкам.

Схоже працюють псевдомітки (self-training): модель, натренована на малій розміченій множині, розмічає ті нерозмічені дані, у яких найбільш упевнена, і навчається далі також на них.

5. Самонавчання (self-supervised learning)

Означення — самонавчання

Дані нерозмічені, D = {x_i}, але з кожного x автоматично утворюють пару (x̃, t) = g(x): x̃ — частина або пошкоджена версія входу, а t — те, чого в ній бракує. Модель навчається як з учителем на цій допоміжній задачі (pretext task).

Передбачення наступного токена — так попередньо навчають великі мовні моделі. Текст — це послідовність токенів x₁, …, x_T, і максимізують

∑_t=1^T log p_θ(x_t | x₁, …, x_t−1).

Технічно самонавчання — це навчання з учителем, але мітки не коштують нічого, і тому його можна застосувати до всього інтернету. Для зображень використовують схожий прийом: модель отримує два різні кадрування однієї фотографії й вчиться, що вони належать одне одному (контрастивне навчання). Результат, так звану базову модель, потім донавчають для конкретної задачі на невеликій кількості розмічених даних.

6. Навчання з підкріпленням (reinforcement learning)

Означення — марковський процес вирішування

Середовище — це п’ятірка (S, A, P, R, γ): стани S, дії A, ймовірність переходу P(s′ | s, a), винагорода R(s, a, s′) і коефіцієнт дисконтування γ ∈ [0, 1).

Агент обирає дії згідно з політикою π(a | s). Мета — максимізувати очікувану віддачу (return) G = ∑_t≥0 γ^t r_t.

Q-learning навчається цінності Q(s, a) — очікуваної віддачі після дії a у стані s — за правилом

Q(s, a) ← Q(s, a) + α [r + γ max_a′ Q(s′, a′) − Q(s, a)].

Агент (помаранчевий) рухається сіткою. Кожен крок коштує −1, ціль дає +10, а пастка −10; у стіни зайти не можна. Спочатку агент нічого не знає. Після 600 епізодів Q-learning (α = 0,5, γ = 0,95, із випадковим дослідженням у 20 % кроків) стрілки показують найкращу вивчену дію в кожній клітинці:

Агент іде до цілі найкоротшим шляхом і оминає пастку. Як він навчався, видно із середньої віддачі: у перших 50 епізодах вона становила −11,1 (агент блукав і падав у пастку), в останніх 50 — уже −1,8. Різницю порівняно з оптимумом дає випадкове дослідження, яке агент під час тренування не вимикає.

Навчання з підкріпленням стоїть за програмами, які перемогли чемпіонів світу з го, за керуванням роботами — а також за донавчанням мовних моделей: RLHF (навчання з підкріпленням на основі відгуків людей) використовує як винагороду модель, натреновану на тому, які відповіді люди оцінили краще.

7. Інші способи поділу

Вид учителя — не єдиний критерій. Ось ще кілька, які ви зустрінете:

Означення — перенесення навчання (transfer learning)

Параметри θ₀, вивчені на вихідній задачі, використовують як старт для цільової задачі: θ* = argmin_θ J_ціль(θ), шукане від θ₀, часто лише в невеликій частині параметрів (донавчання, fine-tuning).

Означення — активне навчання

Модель сама обирає, які x ∈ D_U віддати на розмітку, — зазвичай ті, щодо яких вона найменш упевнена, наприклад із найвищою ентропією H(p_θ(· | x)).

Означення — генеративні та дискримінативні моделі

Дискримінативна модель навчається безпосередньо p(y | x) або межі рішень. Генеративна модель навчається розподілу даних p(x), або ж p(x, y), і вміє генерувати з нього нові дані.

А ще пакетне й потокове навчання (модель тренують один раз на всіх даних або вона навчається безперервно з кожного нового прикладу) та параметричні й непараметричні моделі (фіксована кількість параметрів, як у логістичної регресії, або модель, що зростає разом із даними, як k найближчих сусідів).

8. Порівняння

9. Підсумок

• Види навчання відрізняються тим, який досвід E отримує модель: правильні відповіді, лише дані, трохи того й іншого, відповіді, утворені з даних, або винагороди за дії.
• Навчання з учителем найпряміше, але потребує дорогих міток.
• Без учителя шукають структуру; із частковим залученням учителя нерозмічені дані допомагають поширити кілька міток на все інше.
• Самонавчання утворює мітки із самих даних — на ньому тримаються сучасні мовні моделі.
• Навчання з підкріпленням вчить діяти: пробувати, збирати винагороди й думати наперед.

На практиці види поєднують. Велику мовну модель попередньо навчають самонавчанням, донавчають з учителем на зразкових відповідях і насамкінець — навчанням з підкріпленням за оцінками людей. Три види навчання в одній моделі, з якою ви, можливо, саме зараз листуєтеся.

Маєте іншу думку? Напишіть на support@coden-app.com.