Серія
Основи ШІ
Серія від загальної мапи штучного інтелекту до окремих алгоритмів. Кожну частину можна читати окремо — точні означення для тих, кому вони потрібні, прості пояснення для всіх.
-
Програма
Програма серії «Основи ШІ»: від основ до мовних моделей і агентів
Мапа всіх статей серії — математика, пошук, машинне навчання, обробка сигналів, нейронні мережі, LSTM, трансформери, генеративні моделі та AI-агенти.
-
Частина 1
Мапа штучного інтелекту: що є що і як усе це пов’язано
Штучний інтелект, машинне навчання, глибоке навчання, мовні моделі та AI-агенти — як вони пов’язані, на одній сторінці. Вступна частина серії «Основи ШІ».
-
Частина 2
Коротка історія штучного інтелекту: від Тюрінга до мовних моделей
Тест Тюрінга, Дартмутський семінар, золоті роки, дві зими ШІ та експертні системи, статистичне навчання, глибоке навчання й мовні моделі — часова шкала з посиланнями на частини серії та гіркий урок сімдесяти років досліджень.
-
Частина 3
Дані, модель, тренування, інференс: основні поняття на одному прикладі
Увесь шлях машинного навчання на оцінці ціни квартири: дані та їх розбиття, модель із параметрами, тренування градієнтним спуском, гіперпараметри і швидкість навчання, оцінювання, інференс і словничок понять із посиланнями на частини серії.
-
Частина 4
Як читати математичний запис: символи, індекси, суми та квантори
Словничок із близько сорока символів, з яким ви прочитаєте кожне означення в серії «Основи ШІ» — від індексів і грецьких літер через ∑ і argmin до ∀ і ∃. Зі шпаргалкою наприкінці.
-
Частина 5
Множини й відношення: конструктор, з якого складаються означення в ШІ
Множини, підмножини, операції, декартів добуток, відношення, еквівалентність і порядок — з діаграмами Венна, матрицею відношення і тим, навіщо все це потрібно у штучному інтелекті.
-
Частина 6
Функції й відображення: чому кожна модель у ШІ — це функція
Область визначення, образ, ін’єктивність, композиція, обернена функція, функції кількох змінних і опуклість — з графіками сигмоїди, ReLU й ландшафту похибки.
-
Частина 7
Логіка й доведення: правила, за якими міркують у ШІ
Висловлення, зв’язки й таблиці істинності, пастка з імплікацією, квантори та види доведень — і чому XOR зупинив перші нейронні мережі.
-
Частина 8
Графи й дерева: структура, на якій тримаються пошук і нейронні мережі
Вершини й ребра, степені, матриця суміжності, шляхи й компоненти, BFS і Дейкстра, дерева, мінімальне остовне дерево й обчислювальний граф нейрона — усе на одному графі із сімома містами.
-
Частина 9
Лінійна алгебра для машинного навчання: вектори, матриці й чому ШІ передусім множить
Вектори, скалярний добуток і косинусна подібність, матриці як перетворення, визначник, шар нейронної мережі як Wx + b і власні вектори — з малюнками, які обчислює код.
-
Частина 10
Похідні, градієнт і правило ланцюжка: як модель дізнається, у якому напрямку вчитися
Похідна як швидкість зміни, частинні похідні, градієнт і правило ланцюжка — і зворотне поширення помилки, обчислене число за числом на одному нейроні.
-
Частина 11
Градієнтний спуск: як навчається модель
Швидкість навчання, зигзаг у вузьких долинах, моментум, Adam, стохастичний спуск міні-пакетами і локальні мінімуми — з анімаціями справжніх траєкторій.
-
Частина 12
Що таке ймовірність: від кидка кубика до аксіом Колмогорова
Випадковий експеримент, простір елементарних подій, події та операції з ними, класична й частотна ймовірність і аксіоми, на яких стоїть усе подальше, — на прикладі двох кубиків.
-
Частина 13
Умовна ймовірність і теорема Баєса: як змінити оцінку, коли дізнаєтеся щось нове
Умовна ймовірність, правило добутку, незалежність, формула повної ймовірності й теорема Баєса — і чому позитивний тест на рідкісну хворобу означає лише 16,7 %.
-
Частина 14
Випадкова величина і функція розподілу: одна функція, яка каже про розподіл усе
Що таке випадкова величина, розподіл і функція розподілу, чим відрізняються дискретні й неперервні величини і як оцінити функцію розподілу з даних.
-
Частина 15
Функція щільності та функція маси ймовірності: чому неперервна величина має в точці ймовірність нуль
Функція маси ймовірності, щільність ймовірності і площа під кривою — чому щільність не є ймовірністю, може бути більшою за 1 і як її оцінити з даних за допомогою гістограми.
-
Частина 16
Математичне сподівання, дисперсія і коваріація: де лежить розподіл, наскільки він широкий і що з чим пов’язано
Математичне сподівання як центр мас, лінійність, дисперсія і стандартне відхилення, нерівність Чебишова, коваріація і кореляція — і чому нульова коваріація ще не означає незалежності.
-
Частина 17
Огляд розподілів ймовірностей: Бернуллі, біноміальний, Пуассона, рівномірний, нормальний і експоненційний
Шість найважливіших розподілів з означеннями, математичними сподіваннями і дисперсіями — дошка Гальтона, гранична теорема Пуассона, правило 68–95–99,7 і коли який розподіл застосовувати.
-
Частина 18
Закон великих чисел і центральна гранична теорема: чому середні поводяться так передбачувано
Вибіркове середнє, закон великих чисел і центральна гранична теорема з анімаціями — чому нормальний розподіл усюди, звідки береться похибка опитувань ±3 % і чому вдвічі точніша оцінка коштує вчетверо більше даних.
-
Частина 19
Статистика й оцінювання параметрів: максимальна правдоподібність, MAP і довірчі інтервали
Вибірка, оцінка, незміщеність і чому вибіркова дисперсія ділить на n − 1, метод максимальної правдоподібності, баєсівська оцінка MAP і довірчі інтервали — і чому навчання нейронної мережі є оцінюванням параметрів.
-
Частина 20
Теорія інформації: ентропія, перехресна ентропія і KL-дивергенція — звідки беруться функції втрат
Інформація як несподіванка, ентропія і код Гаффмана, перехресна ентропія, KL-дивергенція та приріст інформації — і чому функція втрат мовних моделей — це перехресна ентропія.
-
Частина 21
Пошук у просторі станів: BFS, DFS, UCS і A* з анімаціями
Основи штучного інтелекту наочно: що таке простір станів, як працюють BFS, DFS, UCS, жадібний пошук і A*, що таке евристика і як із цим пов’язане машинне навчання.
-
Частина 22
Ігри та суперник: мінімакс, альфа-бета відсікання і Monte Carlo tree search
Гра як задача пошуку, дерево гри, мінімакс, альфа-бета відсікання, оцінювальна функція і MCTS — на хрестиках-нуликах, де можна порахувати все, і шлях від Deep Blue до AlphaZero.
-
Частина 23
Задоволення обмежень: бектрекінг, поширення обмежень і AC-3 на судоку та мапі чеських країв
Змінні, домени та обмеження, граф обмежень, бектрекінг, евристики MRV і LCV, пряма перевірка, AC-3 і min-conflicts — на розфарбовуванні країв Чехії, судоку та восьми ферзях.
-
Частина 24
Логіка й системи, засновані на знаннях: пряме і зворотне виведення, резолюція та експертні системи
База знань, логічне слідування й перевірка моделей, диз’юнкти Горна, пряме і зворотне виведення, резолюція, Пролог та експертні системи від MYCIN до графів знань — на маленькій системі, яка розпізнає тварину.
-
Частина 25
Планування: STRIPS, світ кубиків, евристики з релаксації та планування в AI-агентах
Мова STRIPS і PDDL, пряме та зворотне планування, евристики hmax і hadd, аномалія Зуссмана, ієрархічне планування і перепланування — від робота Шейкі до AI-агентів, які складають собі список завдань.
-
Частина 26
Локальний пошук та імітація відпалу: комівояжер через обласні центри Чехії
Задача оптимізації, задача комівояжера, сходження на пагорб з околом 2-opt, локальні мінімуми й перезапуски, імітація відпалу, температура і графік охолодження — на маршруті через тринадцять обласних центрів із відомим оптимумом.
-
Частина 27
Генетичні алгоритми: популяція, схрещування, мутація і добір на рюкзаку для походу
Геном і пристосованість, турнірний добір, одноточкове схрещування, мутація та елітизм, теорема про схеми й передчасна збіжність — на задачі про рюкзак із відомим оптимумом, від намету до FunSearch і AlphaEvolve.
-
Частина 28
Еволюційні стратегії і генетичне програмування: від правила однієї п’ятої до закону Кеплера
(1+1)-ES і правило однієї п’ятої, популяція і самоадаптація на функції Растригіна, CMA-ES, програми як дерева, символьна регресія, яка в даних про планети знаходить третій закон Кеплера, і розбухання програм.
-
Частина 29
Оптимізація мурашиною колонією: як феромоновий слід знаходить короткий шлях
Стигмергія, дослід із подвійним мостом, мурашина система Доріго, роль параметрів α, β і ρ та вдосконалені варіанти — на маршруті через обласні центри Чехії і на 60 містах, у порівнянні з відпалом.
-
Частина 30
Оптимізація роєм частинок: інерція, власний досвід і досвід рою
Боїди та зграї, алгоритм PSO, три складові швидкості, запуск на функції Растригіна порівняно з еволюційною стратегією, роль інерції, стійкість частинки, топологія рою і теорема про відсутність безкоштовних обідів.
-
Частина 31
Нейроеволюція: еволюція ваг і форми нейронних мереж та алгоритм NEAT
Нейрон і мережа коротко, еволюція регулятора для маятника на візку, чому еволюція замість градієнта, XOR і приховані нейрони, NEAT з історичними позначками й видоутворенням, що стається без видоутворення, і наступники від HyperNEAT до AmoebaNet.
-
Частина 32
Нечіткі множини й функції належності: як записати «трохи тепло»
Чітка межа і парадокс купи, нечітка множина і ступінь належності, форми функцій належності, лінгвістична змінна, носій, ядро та α-перерізи, операції Заде і модифікатори «дуже» та «трохи» — на температурі від холоду до спеки.
-
Частина 33
Нечітка логіка та ймовірність: чому «трохи тепло» не означає «імовірно тепло»
Випадковість і розмитість, дві пляшки Бездека, аксіоми ймовірності проти нечіткої належності, межі Фреше, імовірність нечіткої події на прогнозі погоди та слова про ймовірність як нечіткі множини.
-
Частина 34
Нечітка логіка: t-норми, імплікації та правила ЯКЩО–ТО
Ступені істинності, t-норми й t-конорми (мінімум, добуток, Лукасевич), які класичні закони виживають, резидуальні імплікації та обчислення правил на вентиляторі, яким керують температура й вологість.
-
Частина 35
Нечітке керування: Мамдані та Суґено від вентилятора до маятника на візку
Регулятор і зворотний зв’язок, фазифікація, виведення і дефазифікація, центр ваги, бісектриса і середнє максимумів, регулятор Такаґі–Суґено, поверхні керування і нечіткий регулятор, який утримує жердину на візку.
-
Частина 36
Нечітка кластеризація: алгоритм fuzzy c-means і точки між кластерами
K-means і його чітке віднесення, fuzzy c-means з належностями до всіх кластерів, фазифікатор m, коефіцієнт розбиття та індекс Се — Бені для вибору кількості кластерів — і чому викидні точки дістають високі належності.
-
Частина 37
Нейро-нечіткі системи (ANFIS): нечіткі правила, які навчаються з даних
Нечітка система Суґено як п’ятишарова мережа, гібридне навчання найменшими квадратами й градієнтом, навчання функції із зашумлених даних, вибір кількості правил і перенавчання, читабельність навчених правил і зв’язок із мережами RBF.
-
Частина 38
Марковські ланцюги: матриця переходів, стаціонарний розподіл і PageRank
Марковська властивість, матриця переходів і зміна розподілу на моделі погоди, стаціонарний розподіл і ергодична теорема, Марковів аналіз голосних на поемі Махи «Máj», PageRank і генерування тексту.
-
Частина 39
Приховані марковські моделі: алгоритм Вітербі й нечесне казино
Прихована марковська модель, три задачі за Рабінером, алгоритм прямого ходу, алгоритм Вітербі, апостеріорне декодування й алгоритм Баума–Велша — на казино, яке час від часу потай підміняє кубик фальшивим.
-
Частина 40
Байєсівські мережі: чому трава мокра і що з цього випливає для дощувача
Спільний розподіл і його факторизація, байєсівська мережа й таблиці умовних ймовірностей, виведення перебором, пояснення іншою причиною, d-розділення і наближене виведення за допомогою вибірок — на мережі хмарно, дощувач, дощ, мокра трава.
-
Частина 41
Фільтр Калмана: як за неточними вимірюваннями оцінити, де авто і як швидко воно їде
Поєднання двох вимірювань і коефіцієнт підсилення Калмана, фільтр як поточне середнє, модель простору станів, прогноз і корекція, стеження за авто за GPS з оцінкою невиміряної швидкості, налаштування шумів Q і R, оптимальність і нелінійні розширення.
-
Частина 42
Види машинного навчання: з учителем, без учителя, з частковим залученням учителя та інші
Навчання з учителем, без учителя, з частковим залученням учителя, самонавчання й навчання з підкріпленням — з точними означеннями, поясненнями простими словами та анімаціями справжніх алгоритмів.
-
Частина 43
Промпти, контекст і RAG: як дати моделі правильну інформацію
Промпт і контекстне вікно, RAG крок за кроком, пошук BM25, написаний з нуля над статтями цього сайту, відмінювання й основи слів, питання іншими словами, розмір фрагментів, складання промпту і prompt injection.
-
Частина 44
Варіаційні автокодувальники (VAE): нові зображення з неперервного латентного простору
Генеративна модель із латентною змінною, VAE з нуля з трюком репараметризації, упорядкований латентний простір, генерування цифр із шуму проти звичайного автокодувальника, вплив β і колапс, інтерполяція та де використовують VAE.
-
Частина 45
Генеративні змагальні мережі (GAN): фальшувальник проти детектива
Гра генератора і дискримінатора, GAN, написаний з нуля, ненасичувана втрата, вісім кластерів на колі й колапс мод, цифри чіткіші, ніж у VAE, але не всі, і шлях від GAN до дифузійних моделей.
-
Частина 46
Дифузійні моделі: як із чистого шуму постає зображення
Прямий процес додавання шуму, мережа, що оцінює шум, DDPM і DDIM, написані з нуля, вісім кластерів без колапсу мод, скільки кроків семплювання потрібно, порівняння з VAE і GAN на цифрах і шлях до зображень за текстом.
-
Частина 47
Марковські процеси ухвалення рішень: стани, дії, винагороди й рівняння Беллмана
MDP на сітковому світі з урвищем, віддача і дисконт, функція цінності й рівняння Беллмана, ітерація цінності та ітерація політики, написані з нуля, як дисконт, посковзування і ціна кроку змінюють оптимальну поведінку, і перевірка симуляцією.
-
Частина 48
Q-навчання і DQN: як навчитися цінності дій — від таблиці до нейронної мережі
Навчання за часовими різницями, Q-навчання і SARSA на прогулянці краєм урвища, ε-жадібне дослідження, on-policy та off-policy, DQN із пам’яттю досвіду й цільовою мережею на маятнику на візку, написане з нуля, і чому навчання DQN так легко розвалюється.
-
Частина 49
Policy gradient і PPO: навчання безпосередньо політики
Стохастична політика як мережа, REINFORCE і теорема про градієнт політики, базовий рівень і перевага, actor-critic, PPO з обрізанням, написане з нуля на маятнику на візку, що стається без обрізання, і як PPO донавчило мовні моделі.
-
Частина 50
Як працює ШІ-агент: мовна модель у циклі з інструментами
Цикл міркування – виклик інструмента – результат на справжньому завданні над статтями сайту, три підходи та їхня ціна в токенах, чому росте контекст, план і пам’ять, надійність довгих завдань із перевіркою і без неї, і чому агентові потрібне схвалення.
-
Частина 51
Програмування з AI-агентами: завдання, тести й перевірка
Як написати агентові завдання з критеріями приймання, чому працювати малими кроками, експеримент із мутаційним тестуванням (скільки помилок виявляють тести щасливого шляху, граничні випадки й тести властивостей), хто має писати тести і на що звернути увагу.
-
Частина 52
Оцінювання і безпека систем ШІ: як вимірювати і як стежити
Бенчмарки й невизначеність вимірювання, як вибір за тестовим набором завищує результати, контамінація даних в експерименті, види ризиків, фільтр команд агента — заборона проти дозволу — та ешелонований захист.