Математичне сподівання, дисперсія і коваріація: де лежить розподіл, наскільки він широкий і що з чим пов’язано

Математичне сподівання як центр мас, лінійність, дисперсія і стандартне відхилення, нерівність Чебишова, коваріація і кореляція — і чому нульова коваріація ще не означає незалежності.

14 хвилин Matěj Žalmánek 2026-10-15

Серія Основи ШІ Частина 16 з 52

1. Мапа штучного інтелекту: що є що і як усе це пов’язано
2. Коротка історія штучного інтелекту: від Тюрінга до мовних моделей
3. Дані, модель, тренування, інференс: основні поняття на одному прикладі
4. Як читати математичний запис: символи, індекси, суми та квантори
5. Множини й відношення: конструктор, з якого складаються означення в ШІ
6. Функції й відображення: чому кожна модель у ШІ — це функція
7. Логіка й доведення: правила, за якими міркують у ШІ
8. Графи й дерева: структура, на якій тримаються пошук і нейронні мережі
9. Лінійна алгебра для машинного навчання: вектори, матриці й чому ШІ передусім множить
10. Похідні, градієнт і правило ланцюжка: як модель дізнається, у якому напрямку вчитися
11. Градієнтний спуск: як навчається модель
12. Що таке ймовірність: від кидка кубика до аксіом Колмогорова
13. Умовна ймовірність і теорема Баєса: як змінити оцінку, коли дізнаєтеся щось нове
14. Випадкова величина і функція розподілу: одна функція, яка каже про розподіл усе
15. Функція щільності та функція маси ймовірності: чому неперервна величина має в точці ймовірність нуль
16. Математичне сподівання, дисперсія і коваріація: де лежить розподіл, наскільки він широкий і що з чим пов’язано
17. Огляд розподілів ймовірностей: Бернуллі, біноміальний, Пуассона, рівномірний, нормальний і експоненційний
18. Закон великих чисел і центральна гранична теорема: чому середні поводяться так передбачувано
19. Статистика й оцінювання параметрів: максимальна правдоподібність, MAP і довірчі інтервали
20. Теорія інформації: ентропія, перехресна ентропія і KL-дивергенція — звідки беруться функції втрат
21. Пошук у просторі станів: BFS, DFS, UCS і A* з анімаціями
22. Ігри та суперник: мінімакс, альфа-бета відсікання і Monte Carlo tree search
23. Задоволення обмежень: бектрекінг, поширення обмежень і AC-3 на судоку та мапі чеських країв
24. Логіка й системи, засновані на знаннях: пряме і зворотне виведення, резолюція та експертні системи
25. Планування: STRIPS, світ кубиків, евристики з релаксації та планування в AI-агентах
26. Локальний пошук та імітація відпалу: комівояжер через обласні центри Чехії
27. Генетичні алгоритми: популяція, схрещування, мутація і добір на рюкзаку для походу
28. Еволюційні стратегії і генетичне програмування: від правила однієї п’ятої до закону Кеплера
29. Оптимізація мурашиною колонією: як феромоновий слід знаходить короткий шлях
30. Оптимізація роєм частинок: інерція, власний досвід і досвід рою
31. Нейроеволюція: еволюція ваг і форми нейронних мереж та алгоритм NEAT
32. Нечіткі множини й функції належності: як записати «трохи тепло»
33. Нечітка логіка та ймовірність: чому «трохи тепло» не означає «імовірно тепло»
34. Нечітка логіка: t-норми, імплікації та правила ЯКЩО–ТО
35. Нечітке керування: Мамдані та Суґено від вентилятора до маятника на візку
36. Нечітка кластеризація: алгоритм fuzzy c-means і точки між кластерами
37. Нейро-нечіткі системи (ANFIS): нечіткі правила, які навчаються з даних
38. Марковські ланцюги: матриця переходів, стаціонарний розподіл і PageRank
39. Приховані марковські моделі: алгоритм Вітербі й нечесне казино
40. Байєсівські мережі: чому трава мокра і що з цього випливає для дощувача
41. Фільтр Калмана: як за неточними вимірюваннями оцінити, де авто і як швидко воно їде
42. Види машинного навчання: з учителем, без учителя, з частковим залученням учителя та інші
43. Промпти, контекст і RAG: як дати моделі правильну інформацію
44. Варіаційні автокодувальники (VAE): нові зображення з неперервного латентного простору
45. Генеративні змагальні мережі (GAN): фальшувальник проти детектива
46. Дифузійні моделі: як із чистого шуму постає зображення
47. Марковські процеси ухвалення рішень: стани, дії, винагороди й рівняння Беллмана
48. Q-навчання і DQN: як навчитися цінності дій — від таблиці до нейронної мережі
49. Policy gradient і PPO: навчання безпосередньо політики
50. Як працює ШІ-агент: мовна модель у циклі з інструментами
51. Програмування з AI-агентами: завдання, тести й перевірка
52. Оцінювання і безпека систем ШІ: як вимірювати і як стежити

Повна програма серії Готово: 52 з 83 тем

Розподіл випадкової величини каже про неї все — але «все» часто забагато. Щоб швидко порівняти два розподіли, досить кількох чисел: де розподіл лежить, наскільки він широкий і чи дві величини зростають разом, чи йдуть одна проти одної. Ці числа називають математичним сподіванням, дисперсією і коваріацією, і ви зустрінете їх у кожній моделі машинного навчання — від функції втрат до оптимізатора Adam.

Ця частина продовжує частини «Випадкова величина» і «Функція щільності».

1. Математичне сподівання

Означення — математичне сподівання дискретної величини

Якщо дискретна величина X набуває значень x₁, x₂, … з функцією маси ймовірності p, то її математичне сподівання — це

E[X] = ∑_i x_i · p(x_i),

якщо ряд збігається абсолютно. Позначають його також μ.

З погляду фізики математичне сподівання — це центр мас. Поставте ймовірності як тягарці на важіль: опора втримає його горизонтально лише в точці сподівання. На рисунку — більше з двох чисел на кубиках, тобто максимум. Великі числа трапляються частіше (шістка є максимумом в 11 випадках із 36, одиниця — лише в одному), тож центр мас лежить праворуч від середини: E[max] = 161/36 ≈ 4,47.

Означення — математичне сподівання неперервної величини

Якщо X має щільність f, то E[X] = ∫_−∞^∞ x · f(x) dx, якщо інтеграл збігається абсолютно.

2. Лінійність математичного сподівання

Теорема — лінійність математичного сподівання

Для випадкових величин X, Y зі скінченним сподіванням і чисел a, b виконується

E[aX + b] = a · E[X] + b,   E[X + Y] = E[X] + E[Y],

і це так навіть тоді, коли X і Y не є незалежними.

3. Дисперсія і стандартне відхилення

Означення — дисперсія

Для величини X зі сподіванням μ дисперсія — це

Var(X) = E[(X − μ)²].

Теорема — обчислювальна формула дисперсії

Var(X) = E[X²] − (E[X])².

Означення — стандартне відхилення

Стандартне відхилення — це σ = √Var(X).

4. Дисперсія суми: чому краще кинути двічі

Теорема — дисперсія лінійної функції і суми

Var(aX + b) = a² · Var(X). Якщо X і Y незалежні, то Var(X + Y) = Var(X) + Var(Y).

Порівняймо дві гри з однаковим сподіванням 7. У першій ви кидаєте два кубики й додаєте їх: Var = 35/12 + 35/12 = 35/6 ≈ 5,83, σ ≈ 2,42. У другій кидаєте один раз і подвоюєте результат: Var = 2² · 35/12 = 35/3 ≈ 11,67, σ ≈ 3,42. Середнє однакове, але друга гра значно непередбачуваніша — з двома кубиками невдачу на одному часто врівноважує вдача на другому.

На тому самому принципі ґрунтується диверсифікація інвестицій, а також те, чому середнє з кількох вимірювань коливається менше, ніж одне вимірювання. Наскільки саме менше, покаже наступна частина про закон великих чисел.

5. Нерівність Чебишова

Теорема — нерівність Чебишова

Якщо X має сподівання μ і скінченне стандартне відхилення σ > 0, то для кожного k > 0

P(|X − μ| ≥ kσ) ≤ 1 / k².

6. Коваріація і кореляція

Означення — коваріація

Для величин X, Y зі сподіваннями μ_X, μ_Y коваріація — це

Cov(X, Y) = E[(X − μ_X)(Y − μ_Y)].

Означення — коефіцієнт кореляції

Кореляція величин з додатними стандартними відхиленнями — це ρ(X, Y) = Cov(X, Y) / (σ_X σ_Y). Завжди −1 ≤ ρ ≤ 1.

Перший кубик і сума зростають разом: Cov = 35/12 ≈ 2,92 і ρ ≈ 0,71. Перший і другий кубики незалежні, і прямокутники точно знищують одне одного: Cov = 0. А що більше випаде на першому кубику, то менша різниця «другий мінус перший»: Cov ≈ −2,92, ρ ≈ −0,71.

Теорема — дисперсія суми в загальному випадку

Var(X + Y) = Var(X) + Var(Y) + 2 · Cov(X, Y). Якщо X і Y незалежні, то Cov(X, Y) = 0.

Увага, навпаки це не діє: нульова коваріація не означає незалежності. Різниця кубиків D = перший − другий і їхня сума S мають коваріацію Var(перший) − Var(другий) = 0. І все ж вони залежні: якщо сума дорівнює 12, різниця мусить бути 0. Коваріація вимірює лише лінійний зв’язок.

7. Математичне сподівання і дисперсія в штучному інтелекті

• Функція втрат. Середньоквадратична похибка (MSE) — це математичне сподівання квадрата похибки, E[(Y − ŷ)²]. Найкраща стала оцінка — саме сподівання Y, а похибка, що залишається, — це дисперсія.
• Стандартизація входів. Перш ніж подати дані в мережу, їх перетворюють на z = (x − μ) / σ — сподівання 0, стандартне відхилення 1. Тоді навчання йде швидше і стабільніше; те саме всередині мережі робить batch normalization.
• Коваріаційна матриця і PCA. Коваріації всіх пар ознак утворюють матрицю, а її власні вектори (див. частину про лінійну алгебру) показують напрямки, у яких дані коливаються найбільше.
• Оптимізатор Adam (з частини про градієнтний спуск) постійно оцінює сподівання градієнта і сподівання його квадрата — і ділить крок на корінь із другого. Де градієнт сильно коливається, кроки обережніші.
• Зміщення і дисперсія моделі. Похибку моделі можна розкласти на систематичну похибку (зміщення) і коливання між навчальними вибірками (дисперсію). Прості моделі мають велике зміщення, складні — велику дисперсію.

8. Підсумок

• Математичне сподівання — це зважене середнє, центр мас розподілу. Воно лінійне навіть для залежних величин.
• Дисперсія — це середній квадрат відхилення від середнього, стандартне відхилення — її корінь у тих самих одиницях, що й дані.
• Дисперсії незалежних величин додаються; тому сума двох кубиків коливається менше, ніж один кубик × 2.
• Нерівність Чебишова: далі ніж на kσ від середнього лежить щонайбільше 1/k² ймовірності.
• Коваріація і кореляція вимірюють лінійний зв’язок двох величин; нульова коваріація ще не означає незалежності.

Маєте іншу думку? Напишіть на support@coden-app.com.