Закон великих чисел і центральна гранична теорема: чому середні поводяться так передбачувано

Вибіркове середнє, закон великих чисел і центральна гранична теорема з анімаціями — чому нормальний розподіл усюди, звідки береться похибка опитувань ±3 % і чому вдвічі точніша оцінка коштує вчетверо більше даних.

13 хвилин Matěj Žalmánek 2026-10-15

Серія Основи ШІ Частина 18 з 52

1. Мапа штучного інтелекту: що є що і як усе це пов’язано
2. Коротка історія штучного інтелекту: від Тюрінга до мовних моделей
3. Дані, модель, тренування, інференс: основні поняття на одному прикладі
4. Як читати математичний запис: символи, індекси, суми та квантори
5. Множини й відношення: конструктор, з якого складаються означення в ШІ
6. Функції й відображення: чому кожна модель у ШІ — це функція
7. Логіка й доведення: правила, за якими міркують у ШІ
8. Графи й дерева: структура, на якій тримаються пошук і нейронні мережі
9. Лінійна алгебра для машинного навчання: вектори, матриці й чому ШІ передусім множить
10. Похідні, градієнт і правило ланцюжка: як модель дізнається, у якому напрямку вчитися
11. Градієнтний спуск: як навчається модель
12. Що таке ймовірність: від кидка кубика до аксіом Колмогорова
13. Умовна ймовірність і теорема Баєса: як змінити оцінку, коли дізнаєтеся щось нове
14. Випадкова величина і функція розподілу: одна функція, яка каже про розподіл усе
15. Функція щільності та функція маси ймовірності: чому неперервна величина має в точці ймовірність нуль
16. Математичне сподівання, дисперсія і коваріація: де лежить розподіл, наскільки він широкий і що з чим пов’язано
17. Огляд розподілів ймовірностей: Бернуллі, біноміальний, Пуассона, рівномірний, нормальний і експоненційний
18. Закон великих чисел і центральна гранична теорема: чому середні поводяться так передбачувано
19. Статистика й оцінювання параметрів: максимальна правдоподібність, MAP і довірчі інтервали
20. Теорія інформації: ентропія, перехресна ентропія і KL-дивергенція — звідки беруться функції втрат
21. Пошук у просторі станів: BFS, DFS, UCS і A* з анімаціями
22. Ігри та суперник: мінімакс, альфа-бета відсікання і Monte Carlo tree search
23. Задоволення обмежень: бектрекінг, поширення обмежень і AC-3 на судоку та мапі чеських країв
24. Логіка й системи, засновані на знаннях: пряме і зворотне виведення, резолюція та експертні системи
25. Планування: STRIPS, світ кубиків, евристики з релаксації та планування в AI-агентах
26. Локальний пошук та імітація відпалу: комівояжер через обласні центри Чехії
27. Генетичні алгоритми: популяція, схрещування, мутація і добір на рюкзаку для походу
28. Еволюційні стратегії і генетичне програмування: від правила однієї п’ятої до закону Кеплера
29. Оптимізація мурашиною колонією: як феромоновий слід знаходить короткий шлях
30. Оптимізація роєм частинок: інерція, власний досвід і досвід рою
31. Нейроеволюція: еволюція ваг і форми нейронних мереж та алгоритм NEAT
32. Нечіткі множини й функції належності: як записати «трохи тепло»
33. Нечітка логіка та ймовірність: чому «трохи тепло» не означає «імовірно тепло»
34. Нечітка логіка: t-норми, імплікації та правила ЯКЩО–ТО
35. Нечітке керування: Мамдані та Суґено від вентилятора до маятника на візку
36. Нечітка кластеризація: алгоритм fuzzy c-means і точки між кластерами
37. Нейро-нечіткі системи (ANFIS): нечіткі правила, які навчаються з даних
38. Марковські ланцюги: матриця переходів, стаціонарний розподіл і PageRank
39. Приховані марковські моделі: алгоритм Вітербі й нечесне казино
40. Байєсівські мережі: чому трава мокра і що з цього випливає для дощувача
41. Фільтр Калмана: як за неточними вимірюваннями оцінити, де авто і як швидко воно їде
42. Види машинного навчання: з учителем, без учителя, з частковим залученням учителя та інші
43. Промпти, контекст і RAG: як дати моделі правильну інформацію
44. Варіаційні автокодувальники (VAE): нові зображення з неперервного латентного простору
45. Генеративні змагальні мережі (GAN): фальшувальник проти детектива
46. Дифузійні моделі: як із чистого шуму постає зображення
47. Марковські процеси ухвалення рішень: стани, дії, винагороди й рівняння Беллмана
48. Q-навчання і DQN: як навчитися цінності дій — від таблиці до нейронної мережі
49. Policy gradient і PPO: навчання безпосередньо політики
50. Як працює ШІ-агент: мовна модель у циклі з інструментами
51. Програмування з AI-агентами: завдання, тести й перевірка
52. Оцінювання і безпека систем ШІ: як вимірювати і як стежити

Повна програма серії Готово: 52 з 83 тем

Одне підкидання кубика — чиста випадковість. Але середнє десяти тисяч підкидань майже напевно дорівнює 3,5 — і з точністю, яку можна обчислити заздалегідь. Ця частина — про дві теореми, які перетворюють хаос окремих спроб на передбачуваність: закон великих чисел каже, до чого наближається середнє, а центральна гранична теорема — як воно коливається навколо цієї цілі. На них тримаються опитування громадської думки, контроль якості, A/B-тести і навчання нейронних мереж.

Ця частина продовжує частини «Математичне сподівання і дисперсія» і «Огляд розподілів».

1. Вибіркове середнє

Означення — незалежні однаково розподілені величини

Величини X₁, X₂, … є незалежними однаково розподіленими (англійською i.i.d.), якщо вони взаємно незалежні і кожна має той самий розподіл.

Означення — вибіркове середнє

Для X₁, …, X_n вибіркове середнє — це X̄_n = (X₁ + … + X_n) / n.

Теорема — математичне сподівання і дисперсія середнього

Якщо незалежні однаково розподілені X_i мають математичне сподівання μ і дисперсію σ², то

E[X̄_n] = μ,   Var(X̄_n) = σ² / n,   стандартне відхилення σ / √n.

2. Закон великих чисел

Теорема — (слабкий) закон великих чисел

Якщо незалежні однаково розподілені X_i мають математичне сподівання μ і скінченну дисперсію, то для кожного ε > 0

lim_n→∞ P(|X̄_n − μ| ≥ ε) = 0.

Доведення вміщається в один рядок: за нерівністю Чебишова P(|X̄_n − μ| ≥ ε) ≤ σ² / (nε²), а це зі зростанням n прямує до нуля. Для кубика, допуску 0,1 і 10 000 підкидань оцінка дорівнює 2,917 / 100 ≈ 0,029.

Після десяти підкидань середні чотирьох серій лежать між 3,4 і 4,1, після 10 000 підкидань — між 3,496 і 3,502. Лійка μ ± 2σ/√n звужується точно так, як каже теорема про дисперсію середнього, — і криві виходять за її межі лише зрідка. Чому саме 2σ і чому «лише зрідка», скаже наступна теорема.

Закон великих чисел не каже, що випадковість «вирівнюється». Якщо монета п’ять разів поспіль випала орлом, решка не «на черзі» — монета нічого не пам’ятає. Середнє наближається до 0,5 не тому, що надлишок орлів якось віднімається, а тому, що наступні тисячі підкидань його розбавляють.

3. Збіжність за розподілом

Означення — збіжність за розподілом

Послідовність величин Y₁, Y₂, … збігається за розподілом до величини Y, якщо lim_n→∞ F_Yn(x) = F_Y(x) у кожній точці x, де F_Y неперервна.

4. Центральна гранична теорема

Теорема — центральна гранична теорема

Якщо незалежні однаково розподілені X_i мають математичне сподівання μ і дисперсію 0 < σ² < ∞, то

(X̄_n − μ) / (σ / √n) збігається за розподілом до N(0, 1).

Розподіл одного кубика плаский — жодного дзвона. Середнє двох кубиків — трикутник, середнє п’яти вже нагадує дзвін, а середнє тридцяти від нормального розподілу майже не відрізните. Стовпці — це точний розподіл, обчислений перебором усіх можливостей, пунктиром — нормальне наближення:

Це працює навіть для дуже асиметричного розподілу — наприклад, для очікування листа, яке має експоненційний розподіл. Одне очікування сильно несиметричне (коефіцієнт асиметрії 2), середнє п’яти очікувань — менше, а середнє тридцяти вже майже симетричне (асиметрія 0,37):

Наскільки добре це наближення, покаже конкретне запитання: з якою ймовірністю середнє 30 підкидань кубика буде більшим за 4? Точне обчислення за всіма можливостями дає 0,0488. Центральна гранична теорема каже: 4 лежить на (4 − 3,5) / (1,708/√30) ≈ 1,60 стандартного відхилення вище за середнє, тож P ≈ 1 − Φ(1,60) ≈ 0,0544. Без жодного підсумовування по 6³⁰ можливостях і з похибкою менше ніж шість тисячних.

5. Навіщо це: похибка оцінки

Центральна гранична теорема каже, що оцінка через середнє у 95 % випадків лежить не далі ніж на 1,96 σ/√n від справжнього значення. Звідси випливає найуживаніша формула статистики:

• Опитування громадської думки серед 1 000 респондентів із підтримкою близько 50 % має похибку 1,96 · √(0,25 / 1 000) ≈ ±3,1 відсоткового пункту. Тому в опитуваннях беруть участь близько тисячі людей — щоб удвічі зменшити похибку, знадобилося б чотири тисячі.
• Точність моделі, виміряна на 1 000 тестових прикладах як 90 %, насправді становить 90 % ± 1,9 відсоткового пункту. Тож модель із 91 % на наборі такого самого розміру ще не обов’язково краща.

Звідки статистика бере σ, коли його не знає, і що саме означає цей інтервал, — тема наступної частини, про статистику й оцінювання.

6. Коли теореми не діють

• Нескінченна дисперсія або взагалі немає математичного сподівання. Розподіл Коші має такі важкі хвости, що математичного сподівання в нього немає зовсім — а середнє n величин Коші має точнісінько такий самий розподіл, як одна-єдина. Більше даних не допоможе анітрохи. Так само дико часто поводяться розміри міст, статки чи обвали на біржі.
• Залежні дані. Тисяча відповідей від людей з однієї вулиці або тисяча кадрів того самого відео — це не тисяча незалежних спостережень, і σ/√n сильно занизить похибку.
• Мало даних і асиметричний розподіл. Теорема гранична — для експоненційного очікування після п’яти спостережень розподіл середнього все ще помітно несиметричний.

7. Граничні теореми в штучному інтелекті

• Стохастичний градієнтний спуск. Градієнт, обчислений на пакеті (мінібатчі) з B прикладів, — це вибіркове середнє. Він вказує туди ж, куди й градієнт на всіх даних (закон великих чисел), але коливається зі стандартним відхиленням ∝ 1/√B. Учетверо більший пакет означає лише вдвічі менший шум — тому нескінченно збільшувати пакети не варто.
• Методи Монте-Карло. Коли щось не можна обчислити точно — очікувану винагороду в навчанні з підкріпленням, інтеграл у високій вимірності, — усереднюють багато випадкових вибірок. Закон великих чисел гарантує правильний результат, центральна гранична теорема каже, наскільки точний.
• Оцінювання моделей і A/B-тести тримаються на похибці 1,96 σ/√n: без неї ви не дізнаєтеся, чи нова модель справді краща, чи їй просто пощастило.
• Ініціалізація мереж. Вхід нейрона — це сума багатьох добутків ваг на активації, тож за центральною граничною теоремою він має приблизно нормальний розподіл. На цьому побудовано схеми ініціалізації Xavier і He, які добирають дисперсію ваг так, щоб сигнал у мережі ані не підсилювався, ані не згасав.

8. Підсумок

• Вибіркове середнє — випадкова величина з математичним сподіванням μ і стандартним відхиленням σ/√n.
• Закон великих чисел: зі зростанням n середнє майже напевно наближається до μ.
• Центральна гранична теорема: середнє багатьох незалежних величин має приблизно нормальний розподіл — хоч як розподілені окремі величини.
• Похибка оцінки через середнє становить приблизно ±1,96 σ/√n; удвічі точніша оцінка коштує вчетверо більше даних.
• Без скінченної дисперсії або без незалежності теореми не діють.

Маєте іншу думку? Напишіть на support@coden-app.com.