Variabile aleatoria e funzione di ripartizione: una sola funzione che dice tutto sulla distribuzione
Che cosa sono una variabile aleatoria, la sua distribuzione e la funzione di ripartizione, in che cosa differiscono le variabili discrete e continue e come si stima la funzione di ripartizione dai dati.
Serie Basi di IA Parte 14 di 52
- Mappa dell’intelligenza artificiale: che cos’è ciascuna cosa e come si incastra tutto
- Breve storia dell’intelligenza artificiale: da Turing ai modelli linguistici
- Dati, modello, addestramento, inferenza: i concetti di base su un unico esempio
- Come leggere la notazione matematica: simboli, indici, sommatorie e quantificatori
- Insiemi e relazioni: i mattoncini con cui si costruiscono le definizioni nell’IA
- Funzioni e applicazioni: perché ogni modello di IA è una funzione
- Logica e dimostrazioni: le regole con cui si ragiona nell’IA
- Grafi e alberi: la struttura su cui poggiano la ricerca e le reti neurali
- Algebra lineare per l’apprendimento automatico: vettori, matrici e perché l’IA soprattutto moltiplica
- Derivate, gradiente e regola della catena: come un modello capisce in quale direzione imparare
- Discesa del gradiente: come impara un modello
- Che cos’è la probabilità: dal lancio di un dado agli assiomi di Kolmogorov
- Probabilità condizionata e teorema di Bayes: come cambiare una stima quando scopri qualcosa di nuovo
- Variabile aleatoria e funzione di ripartizione: una sola funzione che dice tutto sulla distribuzione
- Funzione di densità e funzione di massa: perché una variabile continua ha probabilità zero in un punto
- Valore atteso, varianza e covarianza: dove si trova una distribuzione, quanto è larga e che cosa è legato a che cosa
- Panoramica delle distribuzioni di probabilità: Bernoulli, binomiale, Poisson, uniforme, normale ed esponenziale
- Legge dei grandi numeri e teorema del limite centrale: perché le medie si comportano in modo così prevedibile
- Statistica e stima dei parametri: massima verosimiglianza, MAP e intervalli di confidenza
- Teoria dell’informazione: entropia, entropia incrociata e divergenza KL — da dove vengono le funzioni di perdita
- Ricerca nello spazio degli stati: BFS, DFS, UCS e A* con animazioni
- Giochi e avversari: minimax, potatura alfa-beta e Monte Carlo tree search
- Soddisfacimento di vincoli: backtracking, propagazione dei vincoli e AC-3 su un sudoku e una mappa delle regioni ceche
- Logica e sistemi basati sulla conoscenza: concatenazione in avanti e all’indietro, risoluzione e sistemi esperti
- Pianificazione: STRIPS, il mondo dei blocchi, euristiche dal rilassamento e pianificazione negli agenti IA
- Ricerca locale e ricottura simulata: un commesso viaggiatore tra i capoluoghi di regione cechi
- Algoritmi genetici: popolazione, incrocio, mutazione e selezione su uno zaino per l’escursione
- Strategie evolutive e programmazione genetica: dalla regola di un quinto alla legge di Keplero
- Ottimizzazione con colonie di formiche: come una traccia di feromone trova un percorso breve
- Ottimizzazione a sciame di particelle: inerzia, esperienza propria ed esperienza dello sciame
- Neuroevoluzione: evoluzione dei pesi e della forma delle reti neurali e l’algoritmo NEAT
- Insiemi fuzzy e funzioni di appartenenza: come scrivere «un po’ caldo»
- Logica fuzzy e probabilità: perché «un po’ caldo» non significa «probabilmente caldo»
- Logica fuzzy: t-norme, implicazioni e regole SE–ALLORA
- Controllo fuzzy: Mamdani e Sugeno, dal ventilatore al pendolo inverso su un carrello
- Clustering fuzzy: l’algoritmo fuzzy c-means e i punti tra i cluster
- Sistemi neuro-fuzzy (ANFIS): regole fuzzy che imparano dai dati
- Catene di Markov: matrice di transizione, distribuzione stazionaria e PageRank
- Modelli di Markov nascosti: l’algoritmo di Viterbi e il casinò disonesto
- Reti bayesiane: perché l’erba è bagnata e che cosa significa per l’irrigatore
- Filtro di Kalman: come stimare da misure imprecise dove si trova un’auto e a che velocità va
- Tipi di apprendimento automatico: supervisionato, non supervisionato, semi-supervisionato e altri
- Prompt, contesto e RAG: come dare a un modello le informazioni giuste
- Autoencoder variazionali (VAE): immagini nuove da uno spazio latente continuo
- Reti generative avversarie (GAN): il falsario contro il detective
- Modelli di diffusione: come il rumore puro diventa un’immagine
- Processi decisionali di Markov: stati, azioni, ricompense ed equazioni di Bellman
- Q-learning e DQN: imparare il valore delle azioni, dalla tabella alla rete neurale
- Policy gradient e PPO: imparare direttamente la politica
- Come funziona un agente IA: un modello linguistico in un ciclo con strumenti
- Programmare con agenti IA: incarico, test e controllo
- Valutazione e sicurezza dei sistemi di IA: come misurare e come sorvegliare
Programma completo della serie 52 di 83 argomenti pubblicati
- Che una variabile aleatoria è una comunissima funzione che associa un numero al risultato di un esperimento.
- Che cos’è la funzione di ripartizione, quali proprietà ha e come ricavarne la probabilità di un intervallo.
- In che cosa differiscono le variabili discrete e continue e come si stima la funzione di ripartizione dai dati.
Utile sapere prima: Che cos’è la probabilità: dal lancio di un dado agli assiomi di Kolmogorov, Funzioni e applicazioni: perché ogni modello di IA è una funzione
Nella parte Che cos’è la probabilità abbiamo lavorato con gli eventi: «la somma è 7», «è uscito un sei». Però di solito non ci interessa sapere se qualcosa è successo, ma quanto: quanti minuti aspetteremo l’autobus, quanto costerà un’azione, che temperatura segnerà il termometro. Per questo la matematica ha la variabile aleatoria — e una funzione che ne dice proprio tutto.
1. Variabile aleatoria
Definizione — variabile aleatoria
Sia (Ω, 𝓕, P) uno spazio di probabilità. Una variabile aleatoria è una funzione X : Ω → ℝ tale che per ogni x ∈ ℝ l’insieme {ω ∈ Ω : X(ω) ≤ x} sia un evento, cioè appartenga a 𝓕.
Una variabile aleatoria non ha niente di aleatorio e non è nemmeno una variabile: è una comunissima funzione che a ogni risultato dell’esperimento associa un numero. Il caso sta nel risultato ω; la variabile si limita a trasformarlo in un numero con cui si può fare i conti. La condizione nella definizione garantisce che possiamo chiederci «qual è la probabilità che X ≤ x?».
Su uno stesso esperimento possono esserci più variabili. Il lancio di due dadi ha 36 risultati; S(ω) è la somma dei due dadi, N(ω) il numero di sei. Al risultato (3, 6) S associa il numero 9 e N il numero 1. Nella figura S è rappresentata come funzione: ogni casella a sinistra porta il suo valore e la colonna a destra mostra quante caselle finiscono su quel valore.
2. Distribuzione di una variabile aleatoria
Definizione — distribuzione di una variabile aleatoria
La distribuzione di una variabile aleatoria X è la probabilità su ℝ che a un insieme di valori B associa PX(B) = P(X ∈ B) = P({ω : X(ω) ∈ B}).
La distribuzione dice come la probabilità totale 1 si ripartisce tra i valori possibili. Per la somma di due dadi, al valore 7 toccano sei caselle su 36, cioè 6/36, ai valori 2 e 12 solo una ciascuno. Il numero di sei N ha un’altra distribuzione: 0 con probabilità 25/36, 1 con 10/36 e 2 con 1/36.
Una volta nota la distribuzione, i risultati originali ω non contano più. Due giochi del tutto diversi possono avere variabili con la stessa distribuzione — e per i calcoli sono allora indistinguibili.
3. Funzione di ripartizione
Definizione — funzione di ripartizione
La funzione di ripartizione di una variabile aleatoria X è la funzione FX : ℝ → [0, 1],
FX(x) = P(X ≤ x).
La funzione di ripartizione nel punto x risponde: «con che probabilità esce al massimo x?». Per la somma di due dadi F(7) = 21/36 ≈ 0,583 — una somma di 7 o meno occupa 1 + 2 + 3 + 4 + 5 + 6 = 21 caselle.
Per la somma dei dadi la funzione di ripartizione è una scala. Tra un valore e l’altro non cambia nulla — F(7,5) vale sempre 21/36, perché una somma di 7,5 non può uscire. In ogni valore possibile la funzione salta esattamente della probabilità di quel valore: nel sette di 6/36. Il punto pieno mostra quanto vale la funzione nel punto di salto; il cerchietto vuoto, a che valore si avvicinava da sinistra.
Teorema — la funzione di ripartizione determina la distribuzione
Due variabili aleatorie hanno la stessa distribuzione se e solo se hanno la stessa funzione di ripartizione.
Una sola funzione di una sola variabile contiene proprio tutto ciò che si può sapere sulla distribuzione. Per questo si chiama «di ripartizione»: descrive come la probabilità è ripartita lungo la retta dei numeri.
4. Proprietà della funzione di ripartizione
Teorema — proprietà della funzione di ripartizione
Ogni funzione di ripartizione F
- è non decrescente: x ≤ y ⇒ F(x) ≤ F(y);
- ha i limiti limx→−∞ F(x) = 0 e limx→+∞ F(x) = 1;
- è continua a destra: limy→x⁺ F(y) = F(x).
E viceversa: ogni funzione con queste tre proprietà è la funzione di ripartizione di una qualche variabile aleatoria.
La scala sale e basta (i valori «al massimo x» si aggiungono, non spariscono), parte da zero e arriva a uno (a sinistra non c’è niente, a destra c’è tutto). La continuità a destra è quel punto pieno in cima al gradino: F(7) comprende già il sette, perché nella definizione c’è ≤.
Teorema — probabilità di un intervallo
Per a < b vale P(a < X ≤ b) = F(b) − F(a).
Da «al massimo b» togli «al massimo a» e resta «più di a, ma al massimo b». Somma 5, 6 o 7: F(7) − F(4) = 21/36 − 6/36 = 15/36 ≈ 0,417 — nella figura il segmento arancione a destra.
5. Variabili discrete e continue
Definizione — variabile aleatoria discreta
Una variabile aleatoria X è discreta se esiste un insieme finito o numerabile di valori {x1, x2, …} con ∑i P(X = xi) = 1.
I valori si possono contare sulle dita (magari all’infinito): la somma dei dadi, il numero di e-mail in un’ora, la parola che scriverà un modello linguistico. La funzione di ripartizione è una scala.
Definizione — variabile aleatoria continua
Una variabile aleatoria X è continua se la sua funzione di ripartizione FX è continua. Allora P(X = x) = 0 per ogni x ∈ ℝ.
I valori riempiono un intero intervallo: tempo, lunghezza, temperatura. La funzione di ripartizione non ha nessun salto — e un salto nel punto x sarebbe proprio P(X = x). Per questo ogni singolo valore ha probabilità zero, anche se può verificarsi.
Un esempio: l’autobus passa ogni 10 minuti e tu arrivi alla fermata in un momento a caso. Il tempo di attesa X è continuo e ugualmente probabile ovunque tra 0 e 10 minuti, quindi F(x) = x/10 per 0 ≤ x ≤ 10. Che tu aspetti al massimo 3 minuti ha probabilità F(3) = 0,3; che tu aspetti tra 3 e 5 minuti, F(5) − F(3) = 0,2. Ma che tu aspetti esattamente 3 minuti — neanche un miliardesimo di secondo in più — ha probabilità 0. Come fare i conti con questo e che cosa mostra la funzione di densità è il tema della prossima parte.
6. Funzione di ripartizione empirica
Definizione — funzione di ripartizione empirica
Per i valori misurati x1, …, xn la funzione di ripartizione empirica è
F̂n(x) = (numero di i con xi ≤ x) / n.
Spesso la vera funzione di ripartizione non la conosciamo — abbiamo solo i dati. La funzione di ripartizione empirica ne è la stima a partire dai dati: quale frazione dei valori misurati è al massimo x. Ogni misura aggiunge un gradino di altezza 1/n.
Abbiamo simulato 10, 100 e 1 000 attese dell’autobus. La retta tratteggiata è la vera funzione di ripartizione x/10, la scala colorata la funzione empirica ricavata dai dati:
Con dieci misure la stima si discosta dalla realtà fino a 0,268, con cento di 0,085 e con mille ormai solo di 0,025. Che la funzione di ripartizione empirica aderisca a quella vera man mano che i dati aumentano lo afferma il teorema di Glivenko-Cantelli — la garanzia matematica che una distribuzione si può imparare dai dati.
7. Variabili aleatorie nell’intelligenza artificiale
- I dati sono variabili aleatorie. L’età di un cliente, il prezzo di un appartamento, la luminosità di un pixel — un modello di apprendimento automatico presuppone che i dati di addestramento siano valori di variabili aleatorie con una distribuzione sconosciuta, e cerca di stimare da essi quella distribuzione (o una sua parte).
- Generare numeri casuali da qualsiasi distribuzione. Quello che un computer sa fare soprattutto è un numero uniforme U tra 0 e 1. Prendiamo il più piccolo x per cui F(x) ≥ U e otteniamo un valore con distribuzione F. Per U = 0,6 e la somma dei dadi: F(7) ≈ 0,583 è ancora poco, F(8) = 26/36 ≈ 0,722 basta già — esce 8. Così sceglie anche un modello linguistico la parola successiva.
- Quantili e mediana. La mediana è il valore in cui F raggiunge per la prima volta 0,5: per la somma dei dadi è 7. Quando di un server si scrive che «il 95 % delle richieste riceve risposta entro 200 ms», si sta dicendo che F(200 ms) ≥ 0,95.
- I modelli generativi (modelli di diffusione, VAE) partono da rumore casuale — un vettore di variabili aleatorie con distribuzione nota — e imparano a trasformarlo in un’immagine o in un testo.
8. Riepilogo
- Una variabile aleatoria è una funzione che associa un numero al risultato di un esperimento.
- La distribuzione dice come la probabilità si ripartisce tra i valori; la funzione di ripartizione F(x) = P(X ≤ x) la determina per intero.
- F è non decrescente, va da 0 a 1, è continua a destra e P(a < X ≤ b) = F(b) − F(a).
- Una variabile discreta ha una F a scala; una continua ha una F senza salti, e ogni singolo valore ha probabilità 0.
- La funzione di ripartizione empirica stima F dai dati e le si avvicina man mano che cresce il numero di misure.
La vedi diversamente? Scrivi a support@coden-app.com.