Статистика й оцінювання параметрів: максимальна правдоподібність, MAP і довірчі інтервали

Вибірка, оцінка, незміщеність і чому вибіркова дисперсія ділить на n − 1, метод максимальної правдоподібності, баєсівська оцінка MAP і довірчі інтервали — і чому навчання нейронної мережі є оцінюванням параметрів.

14 хвилин Matěj Žalmánek 2026-10-15

Серія Основи ШІ Частина 19 з 52

1. Мапа штучного інтелекту: що є що і як усе це пов’язано
2. Коротка історія штучного інтелекту: від Тюрінга до мовних моделей
3. Дані, модель, тренування, інференс: основні поняття на одному прикладі
4. Як читати математичний запис: символи, індекси, суми та квантори
5. Множини й відношення: конструктор, з якого складаються означення в ШІ
6. Функції й відображення: чому кожна модель у ШІ — це функція
7. Логіка й доведення: правила, за якими міркують у ШІ
8. Графи й дерева: структура, на якій тримаються пошук і нейронні мережі
9. Лінійна алгебра для машинного навчання: вектори, матриці й чому ШІ передусім множить
10. Похідні, градієнт і правило ланцюжка: як модель дізнається, у якому напрямку вчитися
11. Градієнтний спуск: як навчається модель
12. Що таке ймовірність: від кидка кубика до аксіом Колмогорова
13. Умовна ймовірність і теорема Баєса: як змінити оцінку, коли дізнаєтеся щось нове
14. Випадкова величина і функція розподілу: одна функція, яка каже про розподіл усе
15. Функція щільності та функція маси ймовірності: чому неперервна величина має в точці ймовірність нуль
16. Математичне сподівання, дисперсія і коваріація: де лежить розподіл, наскільки він широкий і що з чим пов’язано
17. Огляд розподілів ймовірностей: Бернуллі, біноміальний, Пуассона, рівномірний, нормальний і експоненційний
18. Закон великих чисел і центральна гранична теорема: чому середні поводяться так передбачувано
19. Статистика й оцінювання параметрів: максимальна правдоподібність, MAP і довірчі інтервали
20. Теорія інформації: ентропія, перехресна ентропія і KL-дивергенція — звідки беруться функції втрат
21. Пошук у просторі станів: BFS, DFS, UCS і A* з анімаціями
22. Ігри та суперник: мінімакс, альфа-бета відсікання і Monte Carlo tree search
23. Задоволення обмежень: бектрекінг, поширення обмежень і AC-3 на судоку та мапі чеських країв
24. Логіка й системи, засновані на знаннях: пряме і зворотне виведення, резолюція та експертні системи
25. Планування: STRIPS, світ кубиків, евристики з релаксації та планування в AI-агентах
26. Локальний пошук та імітація відпалу: комівояжер через обласні центри Чехії
27. Генетичні алгоритми: популяція, схрещування, мутація і добір на рюкзаку для походу
28. Еволюційні стратегії і генетичне програмування: від правила однієї п’ятої до закону Кеплера
29. Оптимізація мурашиною колонією: як феромоновий слід знаходить короткий шлях
30. Оптимізація роєм частинок: інерція, власний досвід і досвід рою
31. Нейроеволюція: еволюція ваг і форми нейронних мереж та алгоритм NEAT
32. Нечіткі множини й функції належності: як записати «трохи тепло»
33. Нечітка логіка та ймовірність: чому «трохи тепло» не означає «імовірно тепло»
34. Нечітка логіка: t-норми, імплікації та правила ЯКЩО–ТО
35. Нечітке керування: Мамдані та Суґено від вентилятора до маятника на візку
36. Нечітка кластеризація: алгоритм fuzzy c-means і точки між кластерами
37. Нейро-нечіткі системи (ANFIS): нечіткі правила, які навчаються з даних
38. Марковські ланцюги: матриця переходів, стаціонарний розподіл і PageRank
39. Приховані марковські моделі: алгоритм Вітербі й нечесне казино
40. Байєсівські мережі: чому трава мокра і що з цього випливає для дощувача
41. Фільтр Калмана: як за неточними вимірюваннями оцінити, де авто і як швидко воно їде
42. Види машинного навчання: з учителем, без учителя, з частковим залученням учителя та інші
43. Промпти, контекст і RAG: як дати моделі правильну інформацію
44. Варіаційні автокодувальники (VAE): нові зображення з неперервного латентного простору
45. Генеративні змагальні мережі (GAN): фальшувальник проти детектива
46. Дифузійні моделі: як із чистого шуму постає зображення
47. Марковські процеси ухвалення рішень: стани, дії, винагороди й рівняння Беллмана
48. Q-навчання і DQN: як навчитися цінності дій — від таблиці до нейронної мережі
49. Policy gradient і PPO: навчання безпосередньо політики
50. Як працює ШІ-агент: мовна модель у циклі з інструментами
51. Програмування з AI-агентами: завдання, тести й перевірка
52. Оцінювання і безпека систем ШІ: як вимірювати і як стежити

Повна програма серії Готово: 52 з 83 тем

Теорія ймовірностей іде від моделі до даних: якщо ви знаєте, що монета чесна, то обчислите, що випаде. Статистика йде навпаки — від даних до моделі: випало 6 решок із 20, то яка ж це монета? Саме це й робить машинне навчання. Модель має параметри, дані — це те, що випало, а навчання — це оцінювання параметрів. Ця частина покаже, що таке хороша оцінка, звідки береться метод максимальної правдоподібності, на якому тримається майже кожна функція втрат, і як чесно сказати, наскільки ми можемо покладатися на оцінку.

Ця частина продовжує частину «Закон великих чисел і центральна гранична теорема».

1. Вибірка, статистика, оцінка

Означення — випадкова вибірка

Випадкова вибірка обсягу n з розподілу зі щільністю (або функцією ймовірностей) f(x; θ) — це n незалежних однаково розподілених величин X₁, …, X_n із цим розподілом. Параметр θ невідомий.

Означення — статистика й оцінка

Статистика — це будь-яка функція вибірки T = T(X₁, …, X_n), яка не залежить від невідомого θ. Статистику, якою оцінюють θ, називають оцінкою і позначають θ̂.

2. Хороша оцінка: незміщеність і консистентність

Означення — незміщена оцінка

Оцінка θ̂ незміщена, якщо E[θ̂] = θ для кожного значення θ. Різницю E[θ̂] − θ називають зміщенням.

Означення — консистентна оцінка

Оцінка θ̂_n консистентна (спроможна), якщо для кожного ε > 0 виконується lim_n→∞ P(|θ̂_n − θ| ≥ ε) = 0.

Незміщеність — річ не самоочевидна. Дисперсію хочеться оцінити як середній квадрат відхилення від середнього, (1/n) ∑ (X_i − X̄)². Але така оцінка систематично занижує дисперсію: ми вимірюємо відхилення від X̄, яке підлаштувалося під дані, а не від справжнього μ.

Теорема — виправлена вибіркова дисперсія

Для випадкової вибірки з дисперсією σ² маємо E[(1/n) ∑ (X_i − X̄)²] = ((n − 1)/n) σ². Тому незміщеною оцінкою дисперсії є виправлена вибіркова дисперсія

s² = 1/(n − 1) · ∑_i=1ⁿ (X_i − X̄)².

Перевірмо це: ми 2 000 разів підкинули п’ять кубиків і щоразу обчислили обидві оцінки дисперсії. Справжня дисперсія кубика — 35/12 ≈ 2,92. Середнє оцінок із діленням на n зупинилося на 2,38 (воно цілить у 4/5 · 2,92 ≈ 2,33), а з діленням на n − 1 — на 2,97:

3. Метод максимальної правдоподібності

Означення — функція правдоподібності

Для виміряних даних x₁, …, x_n функція правдоподібності — це функція параметра

L(θ) = ∏_i=1ⁿ f(x_i; θ).

Означення — оцінка максимальної правдоподібності

Оцінка максимальної правдоподібності (англ. MLE) — це θ̂ = argmax_θ L(θ). Оскільки логарифм — зростаюча функція, це те саме, що argmax_θ ∑_i ln f(x_i; θ).

Із 20 листів 6 були спамом. Для частки спаму p маємо L(p) = p⁶(1 − p)¹⁴. Похідна логарифма 6/p − 14/(1 − p) дорівнює нулю при p̂ = 6/20 = 0,3 — це якраз частка спаму в даних. Загалом для k успіхів із n виходить p̂ = k/n. Для 60 спамів із 200 оцінка така сама, але пік набагато вужчий: дані кажуть про параметр більше.

Для часу очікування листа з експоненційним розподілом метод максимальної правдоподібності дає λ̂ = 1 / X̄. Із п’яти виміряних очікувань 1,2; 3,5; 0,4; 2,1 і 2,8 хвилини середнє дорівнює 2 хвилинам, а λ̂ = 0,5 за хвилину.

4. Баєсівська оцінка MAP

Означення — оцінка максимуму апостеріорної ймовірності

Якщо π(θ) — апріорна щільність параметра, то оцінка максимуму апостеріорної ймовірності (MAP) — це θ̂ = argmax_θ L(θ) · π(θ).

5. Довірчий інтервал

Означення — довірчий інтервал

Інтервал (T₁, T₂) зі статистиками T₁ ≤ T₂ є довірчим інтервалом для θ з рівнем довіри 1 − α, якщо P(T₁ < θ < T₂) = 1 − α для кожного θ.

Для математичного сподівання і досить великого n центральна гранична теорема дає наближений довірчий інтервал із рівнем 95 %: X̄ ± 1,96 · s/√n. Ми сорок разів підкинули 40 кубиків і з кожної вибірки обчислили інтервал. Вертикальна лінія — справжнє математичне сподівання 3,5:

Справжнє значення містять 38 із 40 інтервалів — 95 %. За 20 000 повторень це було 94,1 %, трохи менше за обіцяні 95 %, бо σ ми оцінюємо з даних, а n = 40 — ще не нескінченність.

Поширена помилка: «з імовірністю 95 % μ лежить в інтервалі (3,2; 3,9)». Для одного конкретного інтервалу μ або всередині, або ні. Ці 95 % — властивість процедури: яка частка інтервалів із багатьох повторень влучить. Твердження про ймовірність самого параметра дає лише баєсівський підхід.

6. Оцінювання в штучному інтелекті

• Навчання — це оцінювання методом максимальної правдоподібності. Перехресна ентропія в класифікації — це від’ємний логарифм правдоподібності, поділений на кількість прикладів, а середньоквадратична похибка — те саме для даних із нормальним шумом. Мінімізувати втрати = максимізувати правдоподібність.
• Регуляризація — це MAP. Штраф на ваги λ‖w‖² (L2, weight decay) відповідає нормальному апріорному розподілу ваг, L1 — розподілу Лапласа. Апріорне уявлення «ваги мають бути малими» стримує перенавчання.
• Зміщення і дисперсія моделі. Модель — це оцінка; складні моделі мають мале зміщення, але велику дисперсію (перенавчання), прості — навпаки. Регуляризація погоджується на трохи більше зміщення заради меншої дисперсії.
• Тестовий набір і довірчий інтервал. Точність на тестових даних — це оцінка справжньої точності; без довірчого інтервалу ви не дізнаєтеся, чи різниця між двома моделями справжня. Batch normalization оцінює середнє й дисперсію з кожного пакета, а мовні моделі навчають методом максимальної правдоподібності: вони максимізують правдоподібність наступного слова.

7. Підсумок

• Статистика йде від даних до моделі: оцінка — це обчислення з даних, яке має влучити в невідомий параметр.
• Хороша оцінка незміщена (у середньому цілить правильно) і консистентна (з даними стає точнішою); виправлена вибіркова дисперсія ділить на n − 1.
• Метод максимальної правдоподібності обирає параметр, за якого дані найімовірніші; для частки це k/n.
• MAP додає апріорне уявлення; у машинному навчанні це регуляризація.
• Довірчий інтервал із рівнем 95 % будує процедура, яка влучає у справжній параметр у 95 % випадків.

Маєте іншу думку? Напишіть на support@coden-app.com.