Che cos’è la probabilità: dal lancio di un dado agli assiomi di Kolmogorov
Esperimento aleatorio, spazio campionario, eventi e operazioni con essi, probabilità classica e frequentista e gli assiomi su cui poggia tutto il resto — con l’esempio di due dadi.
Serie Basi di IA Parte 12 di 52
- Mappa dell’intelligenza artificiale: che cos’è ciascuna cosa e come si incastra tutto
- Breve storia dell’intelligenza artificiale: da Turing ai modelli linguistici
- Dati, modello, addestramento, inferenza: i concetti di base su un unico esempio
- Come leggere la notazione matematica: simboli, indici, sommatorie e quantificatori
- Insiemi e relazioni: i mattoncini con cui si costruiscono le definizioni nell’IA
- Funzioni e applicazioni: perché ogni modello di IA è una funzione
- Logica e dimostrazioni: le regole con cui si ragiona nell’IA
- Grafi e alberi: la struttura su cui poggiano la ricerca e le reti neurali
- Algebra lineare per l’apprendimento automatico: vettori, matrici e perché l’IA soprattutto moltiplica
- Derivate, gradiente e regola della catena: come un modello capisce in quale direzione imparare
- Discesa del gradiente: come impara un modello
- Che cos’è la probabilità: dal lancio di un dado agli assiomi di Kolmogorov
- Probabilità condizionata e teorema di Bayes: come cambiare una stima quando scopri qualcosa di nuovo
- Variabile aleatoria e funzione di ripartizione: una sola funzione che dice tutto sulla distribuzione
- Funzione di densità e funzione di massa: perché una variabile continua ha probabilità zero in un punto
- Valore atteso, varianza e covarianza: dove si trova una distribuzione, quanto è larga e che cosa è legato a che cosa
- Panoramica delle distribuzioni di probabilità: Bernoulli, binomiale, Poisson, uniforme, normale ed esponenziale
- Legge dei grandi numeri e teorema del limite centrale: perché le medie si comportano in modo così prevedibile
- Statistica e stima dei parametri: massima verosimiglianza, MAP e intervalli di confidenza
- Teoria dell’informazione: entropia, entropia incrociata e divergenza KL — da dove vengono le funzioni di perdita
- Ricerca nello spazio degli stati: BFS, DFS, UCS e A* con animazioni
- Giochi e avversari: minimax, potatura alfa-beta e Monte Carlo tree search
- Soddisfacimento di vincoli: backtracking, propagazione dei vincoli e AC-3 su un sudoku e una mappa delle regioni ceche
- Logica e sistemi basati sulla conoscenza: concatenazione in avanti e all’indietro, risoluzione e sistemi esperti
- Pianificazione: STRIPS, il mondo dei blocchi, euristiche dal rilassamento e pianificazione negli agenti IA
- Ricerca locale e ricottura simulata: un commesso viaggiatore tra i capoluoghi di regione cechi
- Algoritmi genetici: popolazione, incrocio, mutazione e selezione su uno zaino per l’escursione
- Strategie evolutive e programmazione genetica: dalla regola di un quinto alla legge di Keplero
- Ottimizzazione con colonie di formiche: come una traccia di feromone trova un percorso breve
- Ottimizzazione a sciame di particelle: inerzia, esperienza propria ed esperienza dello sciame
- Neuroevoluzione: evoluzione dei pesi e della forma delle reti neurali e l’algoritmo NEAT
- Insiemi fuzzy e funzioni di appartenenza: come scrivere «un po’ caldo»
- Logica fuzzy e probabilità: perché «un po’ caldo» non significa «probabilmente caldo»
- Logica fuzzy: t-norme, implicazioni e regole SE–ALLORA
- Controllo fuzzy: Mamdani e Sugeno, dal ventilatore al pendolo inverso su un carrello
- Clustering fuzzy: l’algoritmo fuzzy c-means e i punti tra i cluster
- Sistemi neuro-fuzzy (ANFIS): regole fuzzy che imparano dai dati
- Catene di Markov: matrice di transizione, distribuzione stazionaria e PageRank
- Modelli di Markov nascosti: l’algoritmo di Viterbi e il casinò disonesto
- Reti bayesiane: perché l’erba è bagnata e che cosa significa per l’irrigatore
- Filtro di Kalman: come stimare da misure imprecise dove si trova un’auto e a che velocità va
- Tipi di apprendimento automatico: supervisionato, non supervisionato, semi-supervisionato e altri
- Prompt, contesto e RAG: come dare a un modello le informazioni giuste
- Autoencoder variazionali (VAE): immagini nuove da uno spazio latente continuo
- Reti generative avversarie (GAN): il falsario contro il detective
- Modelli di diffusione: come il rumore puro diventa un’immagine
- Processi decisionali di Markov: stati, azioni, ricompense ed equazioni di Bellman
- Q-learning e DQN: imparare il valore delle azioni, dalla tabella alla rete neurale
- Policy gradient e PPO: imparare direttamente la politica
- Come funziona un agente IA: un modello linguistico in un ciclo con strumenti
- Programmare con agenti IA: incarico, test e controllo
- Valutazione e sicurezza dei sistemi di IA: come misurare e come sorvegliare
Programma completo della serie 52 di 83 argomenti pubblicati
- Che cosa sono un esperimento aleatorio, uno spazio campionario e un evento — e perché gli eventi sono insiemi.
- Come si calcola la probabilità classica e perché la frequenza relativa si stabilizza all’aumentare dei tentativi.
- I tre assiomi di Kolmogorov e le regole che ne discendono: evento complementare e unione.
Utile sapere prima: Insiemi e relazioni: i mattoncini con cui si costruiscono le definizioni nell’IA
Un modello linguistico non sceglie la parola successiva, ma le probabilità di tutte le parole. Un classificatore non dice «è un gatto», ma «con probabilità 0,93 è un gatto». Tutto l’apprendimento automatico si basa sul calcolo con l’incertezza — e la probabilità è la lingua in cui si parla dell’incertezza con precisione.
A scuola la probabilità si definisce di solito come «numero dei casi favorevoli diviso il numero dei casi possibili». È un buon inizio, ma non basta. In questa parte andremo dall’esperimento aleatorio, passando per gli eventi, fino alla definizione precisa su cui poggia tutto il resto. Tutti gli esempi riguardano due dadi. Ti sarà utile conoscere la parte sugli insiemi — gli eventi infatti sono insiemi.
1. Esperimento aleatorio e spazio campionario
Definizione — esperimento aleatorio
Un esperimento aleatorio è un processo di cui non conosciamo in anticipo il risultato, ma sappiamo quali risultati può dare, e che si può ripetere (almeno nel pensiero) quante volte si vuole nelle stesse condizioni.
Il lancio di un dado, il lancio di una moneta, l’estrazione di una carta, ma anche «quale e-mail arriverà dopo» o «quale parola scriverà una persona». Non sappiamo che cosa uscirà, ma sappiamo che cosa può uscire.
Definizione — spazio campionario
Lo spazio campionario Ω è l’insieme di tutti i risultati possibili di un esperimento aleatorio. I suoi elementi ω ∈ Ω si chiamano esiti elementari.
Lo spazio campionario è l’elenco completo di tutto ciò che può succedere. Per un dado è Ω = {1, 2, 3, 4, 5, 6}. Per due dadi che distinguiamo (primo e secondo) sono tutte le coppie (primo, secondo) — 6 · 6 = 36 risultati.
2. Eventi
Definizione — evento
Un evento è un sottoinsieme dello spazio campionario, A ⊆ Ω. Diciamo che l’evento A si è verificato quando il risultato dell’esperimento è un elemento di A.
Un evento è una domanda a cui, dopo l’esperimento, si può rispondere sì o no: «è uscita somma 7?» Come insieme lo scriviamo elencando i risultati per cui la risposta è sì: {(1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)}.
Definizione — evento certo ed evento impossibile
L’evento certo è l’intero spazio Ω — si verifica sempre. L’evento impossibile è l’insieme vuoto ∅ — non si verifica mai.
«La somma è tra 2 e 12» è un evento certo — non può andare diversamente. «La somma è 13» è un evento impossibile.
Nella griglia ci sono tutti i 36 risultati di due dadi; la riga è il primo dado, la colonna il secondo e il numero nella casella è la somma. Sono colorati due eventi: A = «la somma è 7» e B = «almeno su un dado è uscito un sei»:
L’evento A ha 6 risultati, l’evento B 11. Due risultati, (1, 6) e (6, 1), appartengono a entrambi — nella griglia sono viola.
3. Operazioni con gli eventi
Poiché gli eventi sono insiemi, si combinano con le stesse operazioni degli insiemi. Ogni operazione però ha anche un significato naturale a parole:
Definizione — unione di eventi
L’unione A ∪ B è l’evento «si verifica A o B (o entrambi)».
«È uscita somma 7, oppure almeno un sei» — nella griglia tutte le caselle colorate insieme, sono 15.
Definizione — intersezione di eventi
L’intersezione A ∩ B è l’evento «si verificano A e B contemporaneamente».
«La somma è 7 e contemporaneamente è uscito un sei» — è possibile solo come (1, 6) o (6, 1), nella griglia due caselle viola.
Definizione — evento complementare
L’evento complementare Ac = Ω ∖ A è l’evento «A non si verifica».
Il complementare di «almeno un sei» è «nessun sei» — nella griglia tutte le caselle fuori dall’ultima riga e dall’ultima colonna, 5 · 5 = 25.
Definizione — eventi incompatibili
Gli eventi A e B sono incompatibili quando non possono verificarsi contemporaneamente: A ∩ B = ∅.
«La somma è 7» e «è uscito un doppio» (entrambi i dadi uguali) non possono verificarsi insieme — la somma di due numeri uguali è sempre pari.
4. Probabilità classica
Definizione — probabilità classica (Laplace)
Se Ω è finito e tutti gli esiti elementari sono equiprobabili, allora P(A) = |A| / |Ω|.
Quando ogni risultato ha la stessa possibilità, basta contare quanti risultati sono «a favore» e dividere per il numero totale. La somma 7 ha 6 risultati favorevoli su 36, quindi P(A) = 6/36 = 1/6 ≈ 0,167.
Il trucco sta nella parola «equiprobabili». Con due dadi le somme non sono equiprobabili — la somma 2 esce solo come (1, 1), la somma 7 in sei modi. Per questo contiamo le coppie, non le somme. E per moltissimi eventi reali risultati equiprobabili non ce ne sono affatto: qual è la probabilità che domani piova, o che un’e-mail sia spam? Lì la definizione classica non aiuta.
5. La probabilità come frequenza a lungo termine
Definizione — frequenza relativa
Se ripetiamo l’esperimento n volte e l’evento A si verifica nA volte, la sua frequenza relativa è nA / n.
La frequenza relativa è ciò che è uscito davvero: hai lanciato una moneta dieci volte ed è uscita testa sette volte — la frequenza relativa è 0,7.
Con pochi tentativi la frequenza relativa salta di qua e di là. Ma quando i tentativi aumentano, si stabilizza. Ecco quattro simulazioni indipendenti di lanci di una moneta:
La prima simulazione aveva dopo 10 lanci il 70 % di teste, dopo 100 lanci il 40 %, dopo 1000 lanci il 49,4 % e dopo 10 000 lanci il 49,92 %. La probabilità si può intendere come il numero a cui si avvicina la frequenza relativa — proprio questo lo formulerà più avanti la legge dei grandi numeri. Così si stimano le probabilità dai dati reali: quante e-mail con una data parola erano spam, quante volte la parola «buon» è stata seguita da «giorno».
6. Gli assiomi di Kolmogorov
La definizione classica ha bisogno di risultati equiprobabili, quella frequentista di infiniti tentativi. Andrej Kolmogorov nel 1933 ha definito la probabilità in modo diverso: non dice come calcolarla, ma solo quali regole deve rispettare. Ciascuno dei punti di vista precedenti è allora solo uno dei modi di soddisfare le regole.
Definizione — probabilità (assiomi di Kolmogorov)
Una probabilità è una funzione P che associa a ogni evento A un numero P(A) e soddisfa tre assiomi:
- non negatività: P(A) ≥ 0 per ogni evento A,
- normalizzazione: P(Ω) = 1,
- additività: per eventi a due a due incompatibili A1, A2, … vale P(A1 ∪ A2 ∪ …) = P(A1) + P(A2) + …
Tre regole ragionevoli. La probabilità non è mai negativa. Qualcosa deve pur succedere, quindi l’intero spazio ha probabilità 1. E quando due cose si escludono a vicenda, la possibilità che accada l’una o l’altra è la somma delle loro possibilità. Tutto il resto ne discende.
7. Regole che discendono dagli assiomi
Teorema — probabilità dell’evento complementare
P(Ac) = 1 − P(A). In particolare P(∅) = 0 e 0 ≤ P(A) ≤ 1.
Spesso è più facile calcolare il contrario. «Almeno un sei» ha come complementare «nessun sei», che ha 25 risultati su 36. Quindi P(almeno un sei) = 1 − 25/36 = 11/36 ≈ 0,306.
Teorema — probabilità dell’unione
Per eventi qualsiasi A, B vale P(A ∪ B) = P(A) + P(B) − P(A ∩ B).
Quando sommi eventi che si sovrappongono, conti la parte comune due volte — e una volta devi sottrarla. Per somma 7 o un sei: 6/36 + 11/36 − 2/36 = 15/36. Esattamente il numero di caselle colorate nella griglia.
8. La probabilità nell’intelligenza artificiale
- I classificatori restituiscono probabilità delle classi; il softmax della parte sulla classificazione garantisce che siano non negative e sommino a 1 — esattamente secondo gli assiomi.
- I modelli linguistici sono distribuzioni di probabilità sulla parola successiva. Quando scrivono un testo, estraggono a sorte da esse.
- La stima dai dati è la frequenza relativa: il modello impara le probabilità che sono «uscite» nei dati di addestramento.
- Incertezza — un buon modello sa quando non è sicuro. Le probabilità 0,51 e 0,99 danno la stessa classe, ma un grado di fiducia completamente diverso.
La prossima parte mostrerà come cambiare la probabilità quando veniamo a sapere qualcosa di nuovo — la probabilità condizionata e il teorema di Bayes.
9. Riepilogo
- Un esperimento aleatorio ha uno spazio campionario Ω; un evento è un sottoinsieme di Ω.
- Gli eventi si combinano come insiemi: l’unione è «o», l’intersezione «e contemporaneamente», l’evento complementare «non».
- La probabilità classica è favorevoli diviso possibili — solo per risultati equiprobabili.
- La frequenza relativa si stabilizza all’aumentare dei tentativi; la probabilità è il numero a cui si avvicina.
- Assiomi di Kolmogorov: non negatività, P(Ω) = 1 e somma per eventi incompatibili. Ne discendono la regola del complementare e la formula per l’unione.
La vedi diversamente? Scrivi a support@coden-app.com.