Función de densidad y función de probabilidad: por qué una variable continua tiene probabilidad cero en cada punto
Función de probabilidad, densidad de probabilidad y área bajo la curva: por qué la densidad no es una probabilidad, por qué puede ser mayor que 1 y cómo se estima a partir de los datos con un histograma.
Serie Fundamentos de IA Parte 15 de 52
- Mapa de la inteligencia artificial: qué es cada cosa y cómo encaja todo
- Breve historia de la inteligencia artificial: de Turing a los modelos de lenguaje
- Datos, modelo, entrenamiento, inferencia: los conceptos básicos en un solo ejemplo
- Cómo leer la notación matemática: símbolos, subíndices, sumatorios y cuantificadores
- Conjuntos y relaciones: las piezas con las que se construyen las definiciones en IA
- Funciones y aplicaciones: por qué todo modelo de IA es una función
- Lógica y demostraciones: las reglas con las que se razona en IA
- Grafos y árboles: la estructura sobre la que se apoyan la búsqueda y las redes neuronales
- Álgebra lineal para aprendizaje automático: vectores, matrices y por qué la IA sobre todo multiplica
- Derivadas, gradiente y regla de la cadena: cómo sabe un modelo en qué dirección aprender
- Descenso de gradiente: cómo aprende un modelo
- Qué es la probabilidad: del lanzamiento de un dado a los axiomas de Kolmogórov
- Probabilidad condicionada y teorema de Bayes: cómo cambiar una estimación cuando te enteras de algo nuevo
- Variable aleatoria y función de distribución: una sola función que lo dice todo sobre la distribución
- Función de densidad y función de probabilidad: por qué una variable continua tiene probabilidad cero en cada punto
- Esperanza, varianza y covarianza: dónde está una distribución, qué anchura tiene y qué se relaciona con qué
- Resumen de las distribuciones de probabilidad: Bernoulli, binomial, Poisson, uniforme, normal y exponencial
- Ley de los grandes números y teorema central del límite: por qué las medias se comportan de forma tan predecible
- Estadística y estimación de parámetros: máxima verosimilitud, MAP e intervalos de confianza
- Teoría de la información: entropía, entropía cruzada y divergencia KL, el origen de las funciones de pérdida
- Búsqueda en el espacio de estados: BFS, DFS, UCS y A* con animaciones
- Juegos y adversarios: minimax, poda alfa-beta y Monte Carlo tree search
- Satisfacción de restricciones: backtracking, propagación de restricciones y AC-3 con un sudoku y un mapa de regiones checas
- Lógica y sistemas basados en conocimiento: encadenamiento hacia delante y hacia atrás, resolución y sistemas expertos
- Planificación: STRIPS, el mundo de bloques, heurísticas a partir de la relajación y la planificación en los agentes de IA
- Búsqueda local y recocido simulado: un viajante por las capitales regionales checas
- Algoritmos genéticos: población, cruce, mutación y selección en una mochila para la excursión
- Estrategias evolutivas y programación genética: de la regla de un quinto a la ley de Kepler
- Optimización por colonia de hormigas: cómo un rastro de feromona encuentra un camino corto
- Optimización por enjambre de partículas: inercia, experiencia propia y experiencia del enjambre
- Neuroevolución: evolución de los pesos y la forma de las redes neuronales, y el algoritmo NEAT
- Conjuntos difusos y funciones de pertenencia: cómo escribir «algo cálido»
- Lógica difusa y probabilidad: por qué «algo cálido» no significa «probablemente cálido»
- Lógica difusa: t-normas, implicaciones y reglas SI–ENTONCES
- Control difuso: Mamdani y Sugeno, del ventilador al péndulo invertido sobre un carro
- Agrupamiento difuso: el algoritmo fuzzy c-means y los puntos entre clusters
- Sistemas neuro-difusos (ANFIS): reglas difusas que aprenden de los datos
- Cadenas de Markov: matriz de transición, distribución estacionaria y PageRank
- Modelos ocultos de Márkov: el algoritmo de Viterbi y el casino deshonesto
- Redes bayesianas: por qué está mojada la hierba y qué significa eso para el aspersor
- El filtro de Kalman: cómo estimar a partir de mediciones imprecisas dónde está un coche y a qué velocidad va
- Tipos de aprendizaje automático: supervisado, no supervisado, semisupervisado y más
- Prompts, contexto y RAG: cómo darle a un modelo la información correcta
- Autocodificadores variacionales (VAE): imágenes nuevas a partir de un espacio latente continuo
- Redes generativas adversarias (GAN): el falsificador contra el detective
- Modelos de difusión: cómo el ruido puro se convierte en una imagen
- Procesos de decisión de Markov: estados, acciones, recompensas y ecuaciones de Bellman
- Q-learning y DQN: aprender el valor de las acciones, de la tabla a la red neuronal
- Gradiente de la política y PPO: aprender directamente la política
- Cómo funciona un agente de IA: un modelo de lenguaje en un bucle con herramientas
- Programación con agentes de IA: encargo, pruebas y revisión
- Evaluación y seguridad de los sistemas de IA: cómo medir y cómo vigilar
Temario completo de la serie 52 de 83 temas publicados
- Qué es la función de probabilidad de una variable discreta y qué relación tiene con la función de distribución.
- Qué es la densidad, por qué la probabilidad de un intervalo es el área bajo ella y por qué la densidad puede ser mayor que 1.
- Cómo estimar la densidad a partir de los datos con un histograma y para qué sirven las densidades en la inteligencia artificial.
Conviene conocer antes: Variable aleatoria y función de distribución: una sola función que lo dice todo sobre la distribución, Derivadas, gradiente y regla de la cadena: cómo sabe un modelo en qué dirección aprender
La parte sobre la variable aleatoria terminó con una paradoja: que esperes el autobús exactamente 3 minutos tiene probabilidad cero y, aun así, alguna duración exacta vas a esperar. La función de distribución sabe calcular con esto, pero no es muy intuitiva. En esta parte veremos dos funciones que se dibujan y se leen mucho más fácilmente: la función de probabilidad para las variables discretas y la densidad para las continuas.
1. Función de probabilidad
Definición — función de probabilidad
Para una variable aleatoria discreta X con valores x1, x2, …, la función de probabilidad es
pX(x) = P(X = x), x ∈ ℝ.
A cada valor le asigna la probabilidad con la que sale. Para la suma de dos dados, p(7) = 6/36 ≈ 0,167, p(2) = 1/36 y p(7,5) = 0: una suma de 7,5 no puede salir. En inglés se llama probability mass function, abreviado PMF: la probabilidad es una «masa» concentrada en puntos concretos.
Teorema — propiedades de la función de probabilidad
Para la función de probabilidad p de una variable discreta X con función de distribución F se cumple
- p(x) ≥ 0 para todo x;
- ∑i p(xi) = 1;
- F(x) = ∑xi ≤ x p(xi).
Las barras no son negativas y entre todas suman uno. La función de distribución de la parte anterior no es más que la suma acumulada de las barras desde la izquierda: F(7) = 1/36 + 2/36 + … + 6/36 = 21/36. Y al revés, p(x) es la altura del escalón que da F en el punto x.
2. Por qué una variable continua no tiene probabilidad en un punto
Tomemos una variable continua: el tiempo X, en minutos, hasta que te llega el siguiente correo, si de media llega uno cada 2 minutos. Una espera así sigue una distribución exponencial con función de distribución F(x) = 1 − e−0,5x para x ≥ 0 (por qué precisamente esa lo veremos en la parte sobre distribuciones). La función de probabilidad aquí no sirve: valdría cero en todos los puntos. Así que, en lugar de un punto, tomemos el intervalo [2, 2 + h] y vayamos estrechándolo:
| anchura h | P(2 < X ≤ 2 + h) | P / h |
|---|---|---|
| 2 | 0,2325 | 0,1163 |
| 1 | 0,1447 | 0,1447 |
| 0,5 | 0,0814 | 0,1627 |
| 0,1 | 0,0179 | 0,1794 |
| 0,01 | 0,0018 | 0,1835 |
| → 0 | → 0 | → f(2) ≈ 0,1839 |
La probabilidad del intervalo tiende a cero (0,2325, 0,1447, …, 0,0018), y por eso en un único punto sale cero. Pero la probabilidad por unidad de longitud, es decir, P / h, se estabiliza: 0,1163, 0,1447, 0,1627, 0,1794, 0,1835… y se acerca a 0,1839. Este número sí dice algo sobre el punto 2: cuánta probabilidad corresponde a cada minuto alrededor del minuto dos. Es la densidad.
3. El área bajo la curva: la integral definida
Definición — integral definida
Para una función f en el intervalo [a, b], dividimos el intervalo en n subintervalos de anchura Δx = (b − a) / n con puntos xi dentro de cada uno. La integral definida es el límite de las sumas
∫ab f(x) dx = limn→∞ ∑i=1n f(xi) · Δx,
si existe y no depende de la elección de los puntos xi.
La integral es el área bajo la gráfica de la función entre a y b. La cortas en rectángulos estrechos de «altura por anchura», los sumas y, cuanto más estrechos sean, más preciso es el resultado. Es la operación inversa de la derivada: la derivada dice a qué ritmo crece algo; la integral suma cuánto ha crecido en total.
4. Función de densidad
Definición — densidad de probabilidad
Una función f : ℝ → [0, ∞) es la densidad de una variable aleatoria X si para todo x ∈ ℝ
FX(x) = ∫−∞x f(t) dt.
Una variable que tiene densidad se llama absolutamente continua.
La densidad es una curva bajo la cual está toda la probabilidad. El área bajo ella a la izquierda de x es la probabilidad de que la variable salga como mucho x. Donde la curva está alta, los valores salen a menudo; donde está baja, rara vez. En la espera del correo es máxima en cero y luego baja: las esperas cortas son frecuentes y las largas, raras.
Teorema — la probabilidad como área
Si X tiene densidad f, entonces para a < b
P(a < X ≤ b) = ∫ab f(x) dx = F(b) − F(a),
∫−∞∞ f(x) dx = 1 y en cada punto donde F es derivable se cumple f(x) = F′(x).
La probabilidad de un intervalo es el área bajo la densidad sobre ese intervalo, y el área total es 1. La densidad es la derivada de la función de distribución: justo aquello a lo que se acercaba el cociente P / h en la tabla. Para la espera del correo sale f(x) = 0,5 · e−0,5x.
Que el correo llegue entre el primer y el tercer minuto es el área bajo la curva entre 1 y 3: F(3) − F(1) = e−0,5 − e−1,5 ≈ 0,383.
5. La densidad no es una probabilidad
El valor de la densidad en un punto no es una probabilidad: es probabilidad por unidad. La probabilidad se obtiene al multiplicarla por la anchura del intervalo: para un intervalo estrecho, P(x < X ≤ x + h) ≈ f(x) · h. Para x = 2 y h = 0,1 da 0,1839 · 0,1 ≈ 0,0184; el valor real es 0,0179.
Por eso la densidad puede ser mayor que 1. Si llegas a una parada donde el autobús pasa cada medio minuto, la espera es uniforme en el intervalo [0; 0,5] y la densidad vale 2 en todo él: el área del rectángulo 0,5 × 2 sigue siendo 1. Es como la densidad de población: 2 000 habitantes por km² no dice cuánta gente vive en una casa; el número se obtiene al multiplicar la densidad por la superficie.
6. Estimar la densidad a partir de los datos: el histograma
Definición — el histograma como estimación de la densidad
Dividimos el eje en clases de anchura w. Para los datos x1, …, xn, el histograma es la función que en la clase B toma el valor
f̂(x) = (número de i con xi ∈ B) / (n · w), x ∈ B.
Cuentas cuántas mediciones caen en cada clase y lo divides entre el número de mediciones y entre la anchura de la clase; así el área total de las barras es exactamente 1 y el histograma es una estimación de la densidad. Es lo mismo que el cociente P / h, solo que en lugar de la probabilidad real usas la fracción de los datos.
Hemos simulado 100, 1 000 y 10 000 esperas del correo (con clases de 0,5 minutos) y hemos dibujado la densidad real sobre los histogramas:
Con 100 esperas, una barra se aleja de la realidad hasta 0,098; con 1 000, 0,017, y con 10 000, 0,008. La fracción de esperas de como mucho un minuto salió 0,440, 0,397 y 0,390; la probabilidad real es F(1) ≈ 0,393. A medida que llegan más datos, el histograma se ciñe a la densidad, igual que la función de distribución empírica se ceñía a la verdadera.
7. Discreta y continua, cara a cara
| Variable discreta | Variable continua | |
|---|---|---|
| Se describe con | la función de probabilidad p(x) | la densidad f(x) |
| P(X = x) | p(x) | 0 |
| Valores | entre 0 y 1 | ≥ 0, pueden ser incluso mayores que 1 |
| En total | ∑ p(xi) = 1 | ∫ f(x) dx = 1 |
| P(a < X ≤ b) | suma de barras | área bajo la curva |
| Función de distribución | escalera, saltos de p(x) | continua, con pendiente f(x) |
8. Densidades y funciones de probabilidad en la inteligencia artificial
- Un clasificador y un modelo de lenguaje devuelven una función de probabilidad. La última capa (softmax) asigna a cada clase o a cada palabra un número entre 0 y 1, y todos juntos suman 1: exactamente las propiedades de una función de probabilidad.
- Verosimilitud. El modelo aprende de forma que los datos de entrenamiento tengan la mayor probabilidad posible (con datos discretos) o la mayor densidad (con datos continuos). El logaritmo negativo de ese número es una función de pérdida habitual.
- Detección de anomalías. El modelo estima la densidad del tráfico normal; una transacción o una medición en una zona de densidad muy baja es sospechosa.
- Los modelos generativos aprenden la densidad de imágenes, sonidos o textos, y una imagen nueva es una muestra de esa densidad aprendida.
9. Resumen
- Una variable discreta se describe con la función de probabilidad p(x) = P(X = x); las barras suman 1 entre todas.
- Una variable continua tiene probabilidad 0 en cada punto; lo que tiene sentido es la probabilidad por unidad de longitud: la densidad.
- La densidad f es la derivada de la función de distribución, y la probabilidad de un intervalo es el área bajo ella: una integral.
- La densidad no es una probabilidad y puede ser mayor que 1; el área total bajo ella es siempre 1.
- Un histograma dividido entre el número de datos y la anchura de la clase estima la densidad a partir de los datos.
¿Lo ves de otra manera? Escribe a support@coden-app.com.