Функція щільності та функція маси ймовірності: чому неперервна величина має в точці ймовірність нуль

Функція маси ймовірності, щільність ймовірності і площа під кривою — чому щільність не є ймовірністю, може бути більшою за 1 і як її оцінити з даних за допомогою гістограми.

13 хвилин Matěj Žalmánek 2026-10-15

Серія Основи ШІ Частина 15 з 52

1. Мапа штучного інтелекту: що є що і як усе це пов’язано
2. Коротка історія штучного інтелекту: від Тюрінга до мовних моделей
3. Дані, модель, тренування, інференс: основні поняття на одному прикладі
4. Як читати математичний запис: символи, індекси, суми та квантори
5. Множини й відношення: конструктор, з якого складаються означення в ШІ
6. Функції й відображення: чому кожна модель у ШІ — це функція
7. Логіка й доведення: правила, за якими міркують у ШІ
8. Графи й дерева: структура, на якій тримаються пошук і нейронні мережі
9. Лінійна алгебра для машинного навчання: вектори, матриці й чому ШІ передусім множить
10. Похідні, градієнт і правило ланцюжка: як модель дізнається, у якому напрямку вчитися
11. Градієнтний спуск: як навчається модель
12. Що таке ймовірність: від кидка кубика до аксіом Колмогорова
13. Умовна ймовірність і теорема Баєса: як змінити оцінку, коли дізнаєтеся щось нове
14. Випадкова величина і функція розподілу: одна функція, яка каже про розподіл усе
15. Функція щільності та функція маси ймовірності: чому неперервна величина має в точці ймовірність нуль
16. Математичне сподівання, дисперсія і коваріація: де лежить розподіл, наскільки він широкий і що з чим пов’язано
17. Огляд розподілів ймовірностей: Бернуллі, біноміальний, Пуассона, рівномірний, нормальний і експоненційний
18. Закон великих чисел і центральна гранична теорема: чому середні поводяться так передбачувано
19. Статистика й оцінювання параметрів: максимальна правдоподібність, MAP і довірчі інтервали
20. Теорія інформації: ентропія, перехресна ентропія і KL-дивергенція — звідки беруться функції втрат
21. Пошук у просторі станів: BFS, DFS, UCS і A* з анімаціями
22. Ігри та суперник: мінімакс, альфа-бета відсікання і Monte Carlo tree search
23. Задоволення обмежень: бектрекінг, поширення обмежень і AC-3 на судоку та мапі чеських країв
24. Логіка й системи, засновані на знаннях: пряме і зворотне виведення, резолюція та експертні системи
25. Планування: STRIPS, світ кубиків, евристики з релаксації та планування в AI-агентах
26. Локальний пошук та імітація відпалу: комівояжер через обласні центри Чехії
27. Генетичні алгоритми: популяція, схрещування, мутація і добір на рюкзаку для походу
28. Еволюційні стратегії і генетичне програмування: від правила однієї п’ятої до закону Кеплера
29. Оптимізація мурашиною колонією: як феромоновий слід знаходить короткий шлях
30. Оптимізація роєм частинок: інерція, власний досвід і досвід рою
31. Нейроеволюція: еволюція ваг і форми нейронних мереж та алгоритм NEAT
32. Нечіткі множини й функції належності: як записати «трохи тепло»
33. Нечітка логіка та ймовірність: чому «трохи тепло» не означає «імовірно тепло»
34. Нечітка логіка: t-норми, імплікації та правила ЯКЩО–ТО
35. Нечітке керування: Мамдані та Суґено від вентилятора до маятника на візку
36. Нечітка кластеризація: алгоритм fuzzy c-means і точки між кластерами
37. Нейро-нечіткі системи (ANFIS): нечіткі правила, які навчаються з даних
38. Марковські ланцюги: матриця переходів, стаціонарний розподіл і PageRank
39. Приховані марковські моделі: алгоритм Вітербі й нечесне казино
40. Байєсівські мережі: чому трава мокра і що з цього випливає для дощувача
41. Фільтр Калмана: як за неточними вимірюваннями оцінити, де авто і як швидко воно їде
42. Види машинного навчання: з учителем, без учителя, з частковим залученням учителя та інші
43. Промпти, контекст і RAG: як дати моделі правильну інформацію
44. Варіаційні автокодувальники (VAE): нові зображення з неперервного латентного простору
45. Генеративні змагальні мережі (GAN): фальшувальник проти детектива
46. Дифузійні моделі: як із чистого шуму постає зображення
47. Марковські процеси ухвалення рішень: стани, дії, винагороди й рівняння Беллмана
48. Q-навчання і DQN: як навчитися цінності дій — від таблиці до нейронної мережі
49. Policy gradient і PPO: навчання безпосередньо політики
50. Як працює ШІ-агент: мовна модель у циклі з інструментами
51. Програмування з AI-агентами: завдання, тести й перевірка
52. Оцінювання і безпека систем ШІ: як вимірювати і як стежити

Повна програма серії Готово: 52 з 83 тем

Частину про випадкову величину ми завершили парадоксом: ймовірність того, що ви чекатимете на автобус рівно 3 хвилини, дорівнює нулю — і все ж якийсь точний час ви чекатимете. Функція розподілу вміє з цим рахувати, але вона не надто наочна. Ця частина покаже дві функції, які набагато легше намалювати й прочитати: функцію маси ймовірності для дискретних величин і щільність для неперервних.

1. Функція маси ймовірності

Означення — функція маси ймовірності

Для дискретної випадкової величини X зі значеннями x₁, x₂, … функція маси ймовірності — це

p_X(x) = P(X = x), x ∈ ℝ.

Теорема — властивості функції маси ймовірності

Для функції маси ймовірності p дискретної величини X з функцією розподілу F виконується

1. p(x) ≥ 0 для кожного x;
2. ∑_i p(x_i) = 1;
3. F(x) = ∑_{xi ≤ x} p(x_i).

2. Чому неперервна величина не має ймовірності в точці

Візьмімо неперервну величину: час X у хвилинах до того, як вам прийде наступний лист, якщо в середньому вони приходять раз на 2 хвилини. Таке очікування має експоненційний розподіл із функцією розподілу F(x) = 1 − e^−0,5x для x ≥ 0 (чому саме таку — покаже частина про розподіли). Функція маси ймовірності тут не допоможе — у кожній точці вона дорівнювала б нулю. Тож спробуймо замість точки взяти інтервал [2, 2 + h] і звужувати його:

ширина h	P(2 < X ≤ 2 + h)	P / h
2	0,2325	0,1163
1	0,1447	0,1447
0,5	0,0814	0,1627
0,1	0,0179	0,1794
0,01	0,0018	0,1835
→ 0	→ 0	→ f(2) ≈ 0,1839

Ймовірність інтервалу прямує до нуля — 0,2325, 0,1447, …, 0,0018, — і тому в одній точці виходить нуль. Але ймовірність на одиницю довжини, тобто P / h, стабілізується: 0,1163, 0,1447, 0,1627, 0,1794, 0,1835 … і наближається до 0,1839. Це число вже дещо каже про точку 2: скільки ймовірності припадає на хвилину біля другої хвилини. Це і є щільність.

3. Площа під кривою: визначений інтеграл

Означення — визначений інтеграл

Для функції f на відрізку [a, b] розіб’ємо відрізок на n частин ширини Δx = (b − a) / n з точками x_i усередині частин. Визначений інтеграл — це границя сум

∫_a^b f(x) dx = lim_n→∞ ∑_i=1ⁿ f(x_i) · Δx,

якщо вона існує і не залежить від вибору точок x_i.

4. Функція щільності

Означення — щільність ймовірності

Функція f : ℝ → [0, ∞) є щільністю випадкової величини X, якщо для кожного x ∈ ℝ

F_X(x) = ∫_−∞^x f(t) dt.

Величину, яка має щільність, називають абсолютно неперервною.

Теорема — ймовірність як площа

Якщо X має щільність f, то для a < b

P(a < X ≤ b) = ∫_a^b f(x) dx = F(b) − F(a),

∫_−∞^∞ f(x) dx = 1, і в кожній точці, де F диференційовна, f(x) = F′(x).

Ймовірність того, що лист прийде між першою і третьою хвилиною, — це площа під кривою між 1 і 3: F(3) − F(1) = e^−0,5 − e^−1,5 ≈ 0,383.

5. Щільність — це не ймовірність

Значення щільності в точці — це не ймовірність, а ймовірність на одиницю. Ймовірність ви отримаєте, лише помноживши його на ширину інтервалу: для вузького інтервалу P(x < X ≤ x + h) ≈ f(x) · h. Для x = 2 і h = 0,1 це 0,1839 · 0,1 ≈ 0,0184, а насправді 0,0179.

Тому щільність може бути більшою за 1. Якщо ви прийдете на зупинку, куди автобус приїжджає щопівхвилини, очікування рівномірне на інтервалі [0; 0,5] і щільність там усюди дорівнює 2 — площа прямокутника 0,5 × 2 однаково 1. Це як густота населення: 2 000 мешканців на км² не кажуть, скільки людей живе в одному будинку, — кількість ви отримаєте, лише помноживши густоту на площу.

6. Оцінка щільності з даних: гістограма

Означення — гістограма як оцінка щільності

Розіб’ємо вісь на кошики (інтервали групування) ширини w. Для даних x₁, …, x_n гістограма — це функція, яка на кошику B набуває значення

f̂(x) = (кількість i з x_i ∈ B) / (n · w), x ∈ B.

Ми змоделювали 100, 1 000 і 10 000 очікувань листа (з кошиком 0,5 хвилини) і поверх гістограм намалювали справжню щільність:

Зі 100 очікувань стовпчик відрізняється від дійсності аж на 0,098, з 1 000 — на 0,017, а з 10 000 — на 0,008. Частка очікувань до однієї хвилини вийшла 0,440, 0,397 і 0,390 — справжня ймовірність F(1) ≈ 0,393. Що більше даних, то тісніше гістограма притискається до щільності, так само як емпірична функція розподілу притискалася до справжньої.

7. Дискретне й неперервне поруч

8. Щільності та функції маси ймовірності в штучному інтелекті

• Класифікатор і мовна модель повертають функцію маси ймовірності. Останній шар (softmax) дає кожному класу чи кожному слову число між 0 і 1, і всі разом вони дають 1 — саме властивості функції маси ймовірності.
• Правдоподібність. Модель навчається так, щоб навчальні дані мали якомога більшу ймовірність (для дискретних даних) або щільність (для неперервних). Від’ємний логарифм цього числа — поширена функція втрат.
• Пошук аномалій. Модель оцінює щільність звичайного трафіку; транзакція чи вимірювання в місці з дуже малою щільністю — підозрілі.
• Генеративні моделі вивчають щільність зображень, звуків чи текстів — а нове зображення — це зразок, узятий із цієї вивченої щільності.

9. Підсумок

• Дискретну величину описує функція маси ймовірності p(x) = P(X = x); стовпчики разом дають 1.
• Неперервна величина в кожній точці має ймовірність 0; сенс має ймовірність на одиницю довжини — щільність.
• Щільність f — це похідна функції розподілу, а ймовірність інтервалу — площа під нею, тобто інтеграл.
• Щільність — це не ймовірність, і вона може бути більшою за 1; загальна площа під нею завжди дорівнює 1.
• Гістограма, поділена на кількість даних і ширину кошика, оцінює щільність з даних.

Маєте іншу думку? Напишіть на support@coden-app.com.