Panoramica delle distribuzioni di probabilità: Bernoulli, binomiale, Poisson, uniforme, normale ed esponenziale
Le sei distribuzioni più importanti con definizioni, valori attesi e varianze — la macchina di Galton, il teorema limite di Poisson, la regola 68–95–99,7 e quando usare ciascuna distribuzione.
Serie Basi di IA Parte 17 di 52
- Mappa dell’intelligenza artificiale: che cos’è ciascuna cosa e come si incastra tutto
- Breve storia dell’intelligenza artificiale: da Turing ai modelli linguistici
- Dati, modello, addestramento, inferenza: i concetti di base su un unico esempio
- Come leggere la notazione matematica: simboli, indici, sommatorie e quantificatori
- Insiemi e relazioni: i mattoncini con cui si costruiscono le definizioni nell’IA
- Funzioni e applicazioni: perché ogni modello di IA è una funzione
- Logica e dimostrazioni: le regole con cui si ragiona nell’IA
- Grafi e alberi: la struttura su cui poggiano la ricerca e le reti neurali
- Algebra lineare per l’apprendimento automatico: vettori, matrici e perché l’IA soprattutto moltiplica
- Derivate, gradiente e regola della catena: come un modello capisce in quale direzione imparare
- Discesa del gradiente: come impara un modello
- Che cos’è la probabilità: dal lancio di un dado agli assiomi di Kolmogorov
- Probabilità condizionata e teorema di Bayes: come cambiare una stima quando scopri qualcosa di nuovo
- Variabile aleatoria e funzione di ripartizione: una sola funzione che dice tutto sulla distribuzione
- Funzione di densità e funzione di massa: perché una variabile continua ha probabilità zero in un punto
- Valore atteso, varianza e covarianza: dove si trova una distribuzione, quanto è larga e che cosa è legato a che cosa
- Panoramica delle distribuzioni di probabilità: Bernoulli, binomiale, Poisson, uniforme, normale ed esponenziale
- Legge dei grandi numeri e teorema del limite centrale: perché le medie si comportano in modo così prevedibile
- Statistica e stima dei parametri: massima verosimiglianza, MAP e intervalli di confidenza
- Teoria dell’informazione: entropia, entropia incrociata e divergenza KL — da dove vengono le funzioni di perdita
- Ricerca nello spazio degli stati: BFS, DFS, UCS e A* con animazioni
- Giochi e avversari: minimax, potatura alfa-beta e Monte Carlo tree search
- Soddisfacimento di vincoli: backtracking, propagazione dei vincoli e AC-3 su un sudoku e una mappa delle regioni ceche
- Logica e sistemi basati sulla conoscenza: concatenazione in avanti e all’indietro, risoluzione e sistemi esperti
- Pianificazione: STRIPS, il mondo dei blocchi, euristiche dal rilassamento e pianificazione negli agenti IA
- Ricerca locale e ricottura simulata: un commesso viaggiatore tra i capoluoghi di regione cechi
- Algoritmi genetici: popolazione, incrocio, mutazione e selezione su uno zaino per l’escursione
- Strategie evolutive e programmazione genetica: dalla regola di un quinto alla legge di Keplero
- Ottimizzazione con colonie di formiche: come una traccia di feromone trova un percorso breve
- Ottimizzazione a sciame di particelle: inerzia, esperienza propria ed esperienza dello sciame
- Neuroevoluzione: evoluzione dei pesi e della forma delle reti neurali e l’algoritmo NEAT
- Insiemi fuzzy e funzioni di appartenenza: come scrivere «un po’ caldo»
- Logica fuzzy e probabilità: perché «un po’ caldo» non significa «probabilmente caldo»
- Logica fuzzy: t-norme, implicazioni e regole SE–ALLORA
- Controllo fuzzy: Mamdani e Sugeno, dal ventilatore al pendolo inverso su un carrello
- Clustering fuzzy: l’algoritmo fuzzy c-means e i punti tra i cluster
- Sistemi neuro-fuzzy (ANFIS): regole fuzzy che imparano dai dati
- Catene di Markov: matrice di transizione, distribuzione stazionaria e PageRank
- Modelli di Markov nascosti: l’algoritmo di Viterbi e il casinò disonesto
- Reti bayesiane: perché l’erba è bagnata e che cosa significa per l’irrigatore
- Filtro di Kalman: come stimare da misure imprecise dove si trova un’auto e a che velocità va
- Tipi di apprendimento automatico: supervisionato, non supervisionato, semi-supervisionato e altri
- Prompt, contesto e RAG: come dare a un modello le informazioni giuste
- Autoencoder variazionali (VAE): immagini nuove da uno spazio latente continuo
- Reti generative avversarie (GAN): il falsario contro il detective
- Modelli di diffusione: come il rumore puro diventa un’immagine
- Processi decisionali di Markov: stati, azioni, ricompense ed equazioni di Bellman
- Q-learning e DQN: imparare il valore delle azioni, dalla tabella alla rete neurale
- Policy gradient e PPO: imparare direttamente la politica
- Come funziona un agente IA: un modello linguistico in un ciclo con strumenti
- Programmare con agenti IA: incarico, test e controllo
- Valutazione e sicurezza dei sistemi di IA: come misurare e come sorvegliare
Programma completo della serie 52 di 83 argomenti pubblicati
- Che cosa descrivono le distribuzioni di Bernoulli, binomiale e di Poisson e come sono legate tra loro.
- Quando usare le distribuzioni uniforme, normale ed esponenziale e che cosa dice la regola 68–95–99,7.
- Quali distribuzioni stanno dietro alla classificazione, alle funzioni di perdita e ai modelli generativi nell’IA.
Utile sapere prima: Valore atteso, varianza e covarianza: dove si trova una distribuzione, quanto è larga e che cosa è legato a che cosa
Una distribuzione puoi inventartela da zero ogni volta — ma non è necessario. Nella pratica poche situazioni si ripetono di continuo: sì o no, un numero di successi, un numero di eventi all’ora, un’attesa, una misura affetta da errore. Per ognuna esiste una distribuzione già pronta, con un paio di parametri e con valore atteso e varianza già calcolati. Questa parte passa in rassegna le sei più importanti — e soprattutto quando usare ciascuna.
Riprende le parti Funzione di densità e Valore atteso e varianza.
1. Distribuzione di Bernoulli
Definizione — distribuzione di Bernoulli
Una variabile X ha distribuzione di Bernoulli di parametro p ∈ [0, 1], e si scrive X ~ Be(p), se
P(X = 1) = p, P(X = 0) = 1 − p.
Una sola prova, due esiti: riuscita (1) o fallimento (0). Il lancio di una moneta, un clic su un annuncio, spam o non spam. L’unico parametro p è la probabilità di successo.
Il valore atteso è p e la varianza p(1 − p) — massima per p = 0,5, quando il risultato è meno prevedibile.
2. Distribuzione binomiale
Definizione — distribuzione binomiale
Una variabile X ha distribuzione binomiale di parametri n ∈ ℕ e p ∈ [0, 1], X ~ B(n, p), se
P(X = k) = (n su k) · pk · (1 − p)n−k, k = 0, 1, …, n,
dove (n su k) = n! / (k! (n − k)!) è il coefficiente binomiale.
È il numero di successi in n prove indipendenti con la stessa probabilità p. Il coefficiente binomiale conta in quanti modi si possono distribuire k successi fra n prove. Su dieci lanci di una moneta escono esattamente cinque teste con probabilità 252/1024 ≈ 0,246 — cioè nemmeno una volta su quattro. Otto teste o più, solo con probabilità 56/1024 ≈ 0,055.
Una variabile binomiale è la somma di n variabili di Bernoulli indipendenti, quindi per linearità il valore atteso è np e la varianza np(1 − p). Lo si vede bene nella macchina di Galton: su ciascuno dei dieci chiodi la pallina rimbalza a sinistra o a destra, ogni rimbalzo è una prova di Bernoulli e la casella in cui cade è il numero di rimbalzi verso destra — B(10; 0,5).
Le palline si accumulano al centro formando una campana — e quella forma non è un caso. Come vedremo con la distribuzione normale e nella prossima parte, la somma di molti piccoli effetti casuali dà sempre una campana.
3. Distribuzione di Poisson
Definizione — distribuzione di Poisson
Una variabile X ha distribuzione di Poisson di parametro λ > 0, X ~ Po(λ), se
P(X = k) = e−λ · λk / k!, k = 0, 1, 2, …
È il numero di eventi in un dato intervallo di tempo, quando arrivano in modo indipendente e in media λ in quell’intervallo: e-mail all’ora, richieste a un server al secondo, refusi per pagina. Se arriva in media un’e-mail ogni 2 minuti, in 4 minuti ce ne aspettiamo λ = 2. Nessuna arriva con probabilità e−2 ≈ 0,135, esattamente due con probabilità 0,271.
Una particolarità della distribuzione di Poisson: valore atteso e varianza sono entrambi uguali a λ.
Teorema — teorema limite di Poisson
Per λ > 0 fissato e per ogni k vale limn→∞ P(B(n, λ/n) = k) = e−λ λk / k!.
La distribuzione di Poisson è una binomiale con un numero enorme di prove e una probabilità piccolissima in ciascuna. Dividi i 4 minuti in n brevi intervalli; in ognuno arriva un’e-mail con probabilità 2/n. Più fine è la suddivisione, più la binomiale si avvicina alla Poisson: lo scarto totale è 0,125 con 5 intervalli, 0,024 con 20 e 0,005 con 100.
4. Distribuzione uniforme
Definizione — distribuzione uniforme continua
Una variabile X ha distribuzione uniforme sull’intervallo [a, b], X ~ U(a, b), se ha densità
f(x) = 1 / (b − a) per a ≤ x ≤ b, altrimenti 0.
Ogni tratto dell’intervallo è ugualmente probabile — il modello «non so niente, tranne gli estremi». L’attesa di un autobus che passa ogni 10 minuti è U(0, 10). Il generatore di numeri casuali di un computer restituisce U(0, 1), ed è proprio da lì che si ricavano i campioni di tutte le altre distribuzioni.
Il valore atteso è il punto medio dell’intervallo, (a + b) / 2, la varianza (b − a)² / 12. Per l’autobus aspetti quindi in media 5 minuti, con una deviazione standard di √(100/12) ≈ 2,89 minuti.
5. Distribuzione normale
Definizione — distribuzione normale
Una variabile X ha distribuzione normale (o gaussiana) con valore atteso μ e varianza σ² > 0, X ~ N(μ, σ²), se ha densità
f(x) = 1 / (σ√(2π)) · e−(x − μ)² / (2σ²), x ∈ ℝ.
La celebre curva a campana: la maggior parte dei valori attorno alla media μ, simmetrica da entrambi i lati, e più ci si allontana, più velocemente si diradano. Così sono distribuite l’altezza delle persone, gli errori di misura, il rumore dei sensori — tutto ciò che nasce dalla somma di molti piccoli effetti indipendenti.
Definizione — distribuzione normale standard
N(0, 1) si chiama distribuzione normale standard. Se X ~ N(μ, σ²), allora Z = (X − μ) / σ ~ N(0, 1).
Tutte le distribuzioni normali sono la stessa, solo spostata e allungata. Se a un valore togli la media e dividi per σ, ottieni «a quante deviazioni standard dalla media si trova» — e per questo basta un’unica tabella per tutte.
Per la distribuzione normale vale la regola 68–95–99,7: entro σ dalla media cade il 68,27 % dei valori, entro 2σ il 95,45 % ed entro 3σ il 99,73 %. Se l’altezza degli uomini adulti ha media 175 cm e σ = 7 cm, il 95 % di loro è alto tra 161 e 189 cm. La disuguaglianza di Čebyšëv della parte precedente garantiva per 2σ solo il 75 % — la distribuzione normale è molto più «raccolta».
La densità della distribuzione normale non ha una primitiva esprimibile con una formula, quindi le percentuali qui sopra si calcolano numericamente — qui con il metodo di Simpson, cioè sommando striscioline molto sottili.
6. Distribuzione esponenziale
Definizione — distribuzione esponenziale
Una variabile X ha distribuzione esponenziale di parametro λ > 0, X ~ Exp(λ), se ha densità
f(x) = λ e−λx per x ≥ 0, altrimenti 0.
È il tempo di attesa fino al prossimo evento, quando gli eventi arrivano in modo indipendente, in media λ per unità di tempo. È l’attesa di un’e-mail della parte sulla densità: λ = 0,5 al minuto, valore atteso 1/λ = 2 minuti, varianza 1/λ² = 4.
La distribuzione esponenziale e quella di Poisson descrivono lo stesso processo da due lati. Che in 4 minuti non arrivi nessuna e-mail, secondo Poisson ha probabilità e−2 ≈ 0,135 — e secondo la distribuzione esponenziale P(X > 4) = e−0,5 · 4, lo stesso numero.
Teorema — assenza di memoria della distribuzione esponenziale
Per X ~ Exp(λ) e s, t ≥ 0 vale P(X > s + t | X > s) = P(X > t).
L’attesa non ricorda da quanto tempo dura. Aspetti un’e-mail da 3 minuti e niente — la probabilità di dover aspettare ancora almeno 2 minuti è sempre e−1 ≈ 0,368, proprio come se ricominciassi da capo. Un autobus che segue l’orario non funziona così; il decadimento radioattivo e l’arrivo di richieste indipendenti sì.
7. Promemoria: quale distribuzione e quando
| Distribuzione | Che cosa descrive | E[X] | Var(X) |
|---|---|---|---|
| Be(p) | una sola prova sì/no | p | p(1 − p) |
| B(n, p) | numero di successi su n prove | np | np(1 − p) |
| Po(λ) | numero di eventi in un intervallo di tempo | λ | λ |
| U(a, b) | «qualsiasi cosa tra a e b» | (a + b) / 2 | (b − a)² / 12 |
| N(μ, σ²) | somma di molti piccoli effetti | μ | σ² |
| Exp(λ) | attesa del prossimo evento | 1/λ | 1/λ² |
8. Le distribuzioni nell’intelligenza artificiale
- Bernoulli e classificazione binaria. La regressione logistica e una rete con una sola uscita predicono il parametro p di una distribuzione di Bernoulli — «con quale probabilità è spam». La funzione di perdita (l’entropia incrociata binaria) è il logaritmo della sua probabilità cambiato di segno.
- La distribuzione categorica è una Bernoulli con più di due possibilità. Il softmax alla fine di un modello linguistico restituisce proprio i suoi parametri — la probabilità di ogni parola del vocabolario.
- La distribuzione normale è ovunque: i pesi iniziali delle reti si estraggono da N(0, σ²), l’errore quadratico medio corrisponde all’ipotesi di rumore normale e i modelli di diffusione generano immagini togliendo gradualmente il rumore a partire da un N(0, 1) puro.
- Il dropout durante l’addestramento spegne ogni neurone con una probabilità di Bernoulli; la distribuzione uniforme è la fonte di tutti i numeri casuali.
- Poisson ed esponenziale modellano il traffico: quante richieste arrivano a un server, quando arriverà la prossima, quante GPU servono.
9. Riepilogo
- La Bernoulli è una sola prova sì/no, la binomiale il numero di successi su n prove indipendenti.
- La Poisson conta gli eventi in un intervallo di tempo ed è il limite della binomiale con molte prove a bassa probabilità.
- L’uniforme dà la stessa densità a tutto l’intervallo; l’esponenziale misura un’attesa e non ha memoria.
- La normale è una campana determinata da μ e σ; entro ±σ, ±2σ e ±3σ cadono il 68,27 %, il 95,45 % e il 99,73 % dei valori.
- Scegliere una distribuzione significa scegliere un modello: ciò che descrive i dati determina anche la funzione di perdita del modello.
La vedi diversamente? Scrivi a support@coden-app.com.