Funzione di densità e funzione di massa: perché una variabile continua ha probabilità zero in un punto
Funzione di massa di probabilità, densità di probabilità e area sotto la curva — perché la densità non è una probabilità, può essere maggiore di 1 e come la si stima dai dati con un istogramma.
Serie Basi di IA Parte 15 di 52
- Mappa dell’intelligenza artificiale: che cos’è ciascuna cosa e come si incastra tutto
- Breve storia dell’intelligenza artificiale: da Turing ai modelli linguistici
- Dati, modello, addestramento, inferenza: i concetti di base su un unico esempio
- Come leggere la notazione matematica: simboli, indici, sommatorie e quantificatori
- Insiemi e relazioni: i mattoncini con cui si costruiscono le definizioni nell’IA
- Funzioni e applicazioni: perché ogni modello di IA è una funzione
- Logica e dimostrazioni: le regole con cui si ragiona nell’IA
- Grafi e alberi: la struttura su cui poggiano la ricerca e le reti neurali
- Algebra lineare per l’apprendimento automatico: vettori, matrici e perché l’IA soprattutto moltiplica
- Derivate, gradiente e regola della catena: come un modello capisce in quale direzione imparare
- Discesa del gradiente: come impara un modello
- Che cos’è la probabilità: dal lancio di un dado agli assiomi di Kolmogorov
- Probabilità condizionata e teorema di Bayes: come cambiare una stima quando scopri qualcosa di nuovo
- Variabile aleatoria e funzione di ripartizione: una sola funzione che dice tutto sulla distribuzione
- Funzione di densità e funzione di massa: perché una variabile continua ha probabilità zero in un punto
- Valore atteso, varianza e covarianza: dove si trova una distribuzione, quanto è larga e che cosa è legato a che cosa
- Panoramica delle distribuzioni di probabilità: Bernoulli, binomiale, Poisson, uniforme, normale ed esponenziale
- Legge dei grandi numeri e teorema del limite centrale: perché le medie si comportano in modo così prevedibile
- Statistica e stima dei parametri: massima verosimiglianza, MAP e intervalli di confidenza
- Teoria dell’informazione: entropia, entropia incrociata e divergenza KL — da dove vengono le funzioni di perdita
- Ricerca nello spazio degli stati: BFS, DFS, UCS e A* con animazioni
- Giochi e avversari: minimax, potatura alfa-beta e Monte Carlo tree search
- Soddisfacimento di vincoli: backtracking, propagazione dei vincoli e AC-3 su un sudoku e una mappa delle regioni ceche
- Logica e sistemi basati sulla conoscenza: concatenazione in avanti e all’indietro, risoluzione e sistemi esperti
- Pianificazione: STRIPS, il mondo dei blocchi, euristiche dal rilassamento e pianificazione negli agenti IA
- Ricerca locale e ricottura simulata: un commesso viaggiatore tra i capoluoghi di regione cechi
- Algoritmi genetici: popolazione, incrocio, mutazione e selezione su uno zaino per l’escursione
- Strategie evolutive e programmazione genetica: dalla regola di un quinto alla legge di Keplero
- Ottimizzazione con colonie di formiche: come una traccia di feromone trova un percorso breve
- Ottimizzazione a sciame di particelle: inerzia, esperienza propria ed esperienza dello sciame
- Neuroevoluzione: evoluzione dei pesi e della forma delle reti neurali e l’algoritmo NEAT
- Insiemi fuzzy e funzioni di appartenenza: come scrivere «un po’ caldo»
- Logica fuzzy e probabilità: perché «un po’ caldo» non significa «probabilmente caldo»
- Logica fuzzy: t-norme, implicazioni e regole SE–ALLORA
- Controllo fuzzy: Mamdani e Sugeno, dal ventilatore al pendolo inverso su un carrello
- Clustering fuzzy: l’algoritmo fuzzy c-means e i punti tra i cluster
- Sistemi neuro-fuzzy (ANFIS): regole fuzzy che imparano dai dati
- Catene di Markov: matrice di transizione, distribuzione stazionaria e PageRank
- Modelli di Markov nascosti: l’algoritmo di Viterbi e il casinò disonesto
- Reti bayesiane: perché l’erba è bagnata e che cosa significa per l’irrigatore
- Filtro di Kalman: come stimare da misure imprecise dove si trova un’auto e a che velocità va
- Tipi di apprendimento automatico: supervisionato, non supervisionato, semi-supervisionato e altri
- Prompt, contesto e RAG: come dare a un modello le informazioni giuste
- Autoencoder variazionali (VAE): immagini nuove da uno spazio latente continuo
- Reti generative avversarie (GAN): il falsario contro il detective
- Modelli di diffusione: come il rumore puro diventa un’immagine
- Processi decisionali di Markov: stati, azioni, ricompense ed equazioni di Bellman
- Q-learning e DQN: imparare il valore delle azioni, dalla tabella alla rete neurale
- Policy gradient e PPO: imparare direttamente la politica
- Come funziona un agente IA: un modello linguistico in un ciclo con strumenti
- Programmare con agenti IA: incarico, test e controllo
- Valutazione e sicurezza dei sistemi di IA: come misurare e come sorvegliare
Programma completo della serie 52 di 83 argomenti pubblicati
- Che cos’è la funzione di massa di una variabile discreta e che legame ha con la funzione di ripartizione.
- Che cos’è la densità, perché la probabilità di un intervallo è l’area sotto di essa e perché la densità può essere maggiore di 1.
- Come stimare la densità dai dati con un istogramma e a che cosa servono le densità nell’intelligenza artificiale.
Utile sapere prima: Variabile aleatoria e funzione di ripartizione: una sola funzione che dice tutto sulla distribuzione, Derivate, gradiente e regola della catena: come un modello capisce in quale direzione imparare
La parte sulla variabile aleatoria si è chiusa con un paradosso: che tu aspetti l’autobus esattamente 3 minuti ha probabilità zero — eppure un tempo esatto lo aspetterai comunque. La funzione di ripartizione sa farci i conti, ma non è molto intuitiva. Questa parte mostra due funzioni molto più facili da disegnare e da leggere: la funzione di massa di probabilità per le variabili discrete e la densità per quelle continue.
1. Funzione di massa di probabilità
Definizione — funzione di massa di probabilità
Per una variabile aleatoria discreta X con valori x1, x2, … la funzione di massa di probabilità è
pX(x) = P(X = x), x ∈ ℝ.
A ogni valore associa la probabilità con cui esce. Per la somma di due dadi p(7) = 6/36 ≈ 0,167, p(2) = 1/36 e p(7,5) = 0 — una somma di 7,5 non può uscire. In inglese si chiama probability mass function, in breve PMF: la probabilità è una «massa» concentrata in singoli punti.
Teorema — proprietà della funzione di massa
Per la funzione di massa p di una variabile discreta X con funzione di ripartizione F vale
- p(x) ≥ 0 per ogni x;
- ∑i p(xi) = 1;
- F(x) = ∑xi ≤ x p(xi).
Le barre non sono mai negative e tutte insieme fanno uno. La funzione di ripartizione della parte precedente è solo la somma progressiva delle barre da sinistra: F(7) = 1/36 + 2/36 + … + 6/36 = 21/36. Al contrario, p(x) è l’altezza del gradino che F fa nel punto x.
2. Perché una variabile continua non ha probabilità in un punto
Prendiamo una variabile continua: il tempo X, in minuti, prima che ti arrivi la prossima e-mail, se in media ne arriva una ogni 2 minuti. Un’attesa del genere ha una distribuzione esponenziale con funzione di ripartizione F(x) = 1 − e−0,5x per x ≥ 0 (perché proprio questa lo vedremo nella parte sulle distribuzioni). La funzione di massa qui non aiuta — in ogni punto varrebbe zero. Proviamo allora, invece di un punto, con l’intervallo [2, 2 + h] e restringiamolo:
| ampiezza h | P(2 < X ≤ 2 + h) | P / h |
|---|---|---|
| 2 | 0,2325 | 0,1163 |
| 1 | 0,1447 | 0,1447 |
| 0,5 | 0,0814 | 0,1627 |
| 0,1 | 0,0179 | 0,1794 |
| 0,01 | 0,0018 | 0,1835 |
| → 0 | → 0 | → f(2) ≈ 0,1839 |
La probabilità dell’intervallo tende a zero — 0,2325, 0,1447, …, 0,0018 —, ed è per questo che in un singolo punto viene zero. Ma la probabilità per unità di lunghezza, cioè P / h, si stabilizza: 0,1163, 0,1447, 0,1627, 0,1794, 0,1835… e si avvicina a 0,1839. Questo numero dice qualcosa sul punto 2: quanta probabilità spetta a ogni minuto intorno al secondo minuto. È la densità.
3. L’area sotto la curva: l’integrale definito
Definizione — integrale definito
Per una funzione f sull’intervallo [a, b] dividiamo l’intervallo in n parti di ampiezza Δx = (b − a) / n con punti xi all’interno delle parti. L’integrale definito è il limite delle somme
∫ab f(x) dx = limn→∞ ∑i=1n f(xi) · Δx,
se esiste e non dipende dalla scelta dei punti xi.
L’integrale è l’area sotto il grafico della funzione tra a e b. La tagli in rettangoli stretti «altezza per base», li sommi, e più i rettangoli sono stretti, più il risultato è preciso. È l’operazione inversa della derivata: la derivata dice quanto in fretta qualcosa cresce, l’integrale somma quanto è cresciuto in tutto.
4. Funzione di densità
Definizione — densità di probabilità
Una funzione f : ℝ → [0, ∞) è la densità di una variabile aleatoria X se per ogni x ∈ ℝ
FX(x) = ∫−∞x f(t) dt.
Una variabile che ha una densità si dice assolutamente continua.
La densità è una curva sotto la quale sta tutta la probabilità. L’area sotto di essa a sinistra di x è la probabilità che la variabile valga al massimo x. Dove la curva è alta, i valori escono spesso; dove è bassa, di rado. Per l’attesa di un’e-mail è massima in zero e poi scende — le attese brevi sono frequenti, quelle lunghe rare.
Teorema — la probabilità come area
Se X ha densità f, allora per a < b
P(a < X ≤ b) = ∫ab f(x) dx = F(b) − F(a),
∫−∞∞ f(x) dx = 1 e in ogni punto in cui F è derivabile vale f(x) = F′(x).
La probabilità di un intervallo è l’area sotto la densità sopra quell’intervallo, e l’area totale è 1. La densità è la derivata della funzione di ripartizione — proprio ciò a cui si avvicinava il rapporto P / h nella tabella. Per l’attesa di un’e-mail viene f(x) = 0,5 · e−0,5x.
Che l’e-mail arrivi tra il primo e il terzo minuto è l’area sotto la curva tra 1 e 3: F(3) − F(1) = e−0,5 − e−1,5 ≈ 0,383.
5. La densità non è una probabilità
Il valore della densità in un punto non è una probabilità — è una probabilità per unità. La probabilità la ottieni solo moltiplicandola per l’ampiezza dell’intervallo: per un intervallo stretto vale P(x < X ≤ x + h) ≈ f(x) · h. Per x = 2 e h = 0,1 fa 0,1839 · 0,1 ≈ 0,0184; il valore vero è 0,0179.
Per questo la densità può essere maggiore di 1. Se arrivi a una fermata dove l’autobus passa ogni mezzo minuto, l’attesa è uniforme sull’intervallo [0; 0,5] e la densità lì vale ovunque 2 — l’area del rettangolo 0,5 × 2 è sempre 1. È come la densità di popolazione: 2 000 abitanti per km² non dicono quante persone vivono in una casa — il numero lo ottieni solo moltiplicando la densità per la superficie.
6. Stimare la densità dai dati: l’istogramma
Definizione — l’istogramma come stima della densità
Dividiamo l’asse in classi di ampiezza w. Per i dati x1, …, xn l’istogramma è la funzione che sulla classe B assume il valore
f̂(x) = (numero di i con xi ∈ B) / (n · w), x ∈ B.
Conti quante misure cadono in ogni classe e dividi per il numero di misure e per l’ampiezza della classe — così l’area totale delle barre è esattamente 1 e l’istogramma è una stima della densità. È la stessa cosa del rapporto P / h, solo che al posto della probabilità vera usi la frazione dei dati.
Abbiamo simulato 100, 1 000 e 10 000 attese di un’e-mail (con classi di 0,5 minuti) e sopra gli istogrammi abbiamo disegnato la densità vera:
Con 100 attese una barra si discosta dalla realtà fino a 0,098, con 1 000 di 0,017 e con 10 000 di 0,008. La frazione di attese entro un minuto è risultata 0,440, 0,397 e 0,390 — la probabilità vera è F(1) ≈ 0,393. Man mano che i dati aumentano, l’istogramma aderisce alla densità, così come la funzione di ripartizione empirica aderiva a quella vera.
7. Discreto e continuo a confronto
| Variabile discreta | Variabile continua | |
|---|---|---|
| La descrive | la funzione di massa p(x) | la densità f(x) |
| P(X = x) | p(x) | 0 |
| Valori | tra 0 e 1 | ≥ 0, possono anche superare 1 |
| In totale | ∑ p(xi) = 1 | ∫ f(x) dx = 1 |
| P(a < X ≤ b) | somma delle barre | area sotto la curva |
| Funzione di ripartizione | a scala, salti di p(x) | continua, pendenza f(x) |
8. Densità e funzioni di massa nell’intelligenza artificiale
- Un classificatore e un modello linguistico restituiscono una funzione di massa. L’ultimo strato (softmax) dà a ogni classe o a ogni parola un numero tra 0 e 1, e tutti insieme fanno 1 — esattamente le proprietà di una funzione di massa.
- Verosimiglianza. Il modello impara in modo che i dati di addestramento abbiano la probabilità più alta possibile (per dati discreti) o la densità più alta (per dati continui). Il logaritmo negativo di quel numero è una comune funzione di perdita.
- Rilevamento di anomalie. Il modello stima la densità del traffico abituale; una transazione o una misura in una zona a densità molto bassa è sospetta.
- I modelli generativi imparano la densità di immagini, suoni o testi — e una nuova immagine è un campione estratto da quella densità appresa.
9. Riepilogo
- Una variabile discreta è descritta dalla funzione di massa p(x) = P(X = x); le barre tutte insieme fanno 1.
- Una variabile continua ha probabilità 0 in ogni punto; ciò che ha senso è la probabilità per unità di lunghezza — la densità.
- La densità f è la derivata della funzione di ripartizione, e la probabilità di un intervallo è l’area sotto di essa — un integrale.
- La densità non è una probabilità e può essere maggiore di 1; l’area totale sotto di essa è sempre 1.
- Un istogramma diviso per il numero di dati e per l’ampiezza della classe stima la densità dai dati.
La vedi diversamente? Scrivi a support@coden-app.com.