Esperanza, varianza y covarianza: dónde está una distribución, qué anchura tiene y qué se relaciona con qué
La esperanza como centro de gravedad, la linealidad, la varianza y la desviación típica, la desigualdad de Chebyshev, la covarianza y la correlación, y por qué una covarianza nula no implica independencia.
Serie Fundamentos de IA Parte 16 de 52
- Mapa de la inteligencia artificial: qué es cada cosa y cómo encaja todo
- Breve historia de la inteligencia artificial: de Turing a los modelos de lenguaje
- Datos, modelo, entrenamiento, inferencia: los conceptos básicos en un solo ejemplo
- Cómo leer la notación matemática: símbolos, subíndices, sumatorios y cuantificadores
- Conjuntos y relaciones: las piezas con las que se construyen las definiciones en IA
- Funciones y aplicaciones: por qué todo modelo de IA es una función
- Lógica y demostraciones: las reglas con las que se razona en IA
- Grafos y árboles: la estructura sobre la que se apoyan la búsqueda y las redes neuronales
- Álgebra lineal para aprendizaje automático: vectores, matrices y por qué la IA sobre todo multiplica
- Derivadas, gradiente y regla de la cadena: cómo sabe un modelo en qué dirección aprender
- Descenso de gradiente: cómo aprende un modelo
- Qué es la probabilidad: del lanzamiento de un dado a los axiomas de Kolmogórov
- Probabilidad condicionada y teorema de Bayes: cómo cambiar una estimación cuando te enteras de algo nuevo
- Variable aleatoria y función de distribución: una sola función que lo dice todo sobre la distribución
- Función de densidad y función de probabilidad: por qué una variable continua tiene probabilidad cero en cada punto
- Esperanza, varianza y covarianza: dónde está una distribución, qué anchura tiene y qué se relaciona con qué
- Resumen de las distribuciones de probabilidad: Bernoulli, binomial, Poisson, uniforme, normal y exponencial
- Ley de los grandes números y teorema central del límite: por qué las medias se comportan de forma tan predecible
- Estadística y estimación de parámetros: máxima verosimilitud, MAP e intervalos de confianza
- Teoría de la información: entropía, entropía cruzada y divergencia KL, el origen de las funciones de pérdida
- Búsqueda en el espacio de estados: BFS, DFS, UCS y A* con animaciones
- Juegos y adversarios: minimax, poda alfa-beta y Monte Carlo tree search
- Satisfacción de restricciones: backtracking, propagación de restricciones y AC-3 con un sudoku y un mapa de regiones checas
- Lógica y sistemas basados en conocimiento: encadenamiento hacia delante y hacia atrás, resolución y sistemas expertos
- Planificación: STRIPS, el mundo de bloques, heurísticas a partir de la relajación y la planificación en los agentes de IA
- Búsqueda local y recocido simulado: un viajante por las capitales regionales checas
- Algoritmos genéticos: población, cruce, mutación y selección en una mochila para la excursión
- Estrategias evolutivas y programación genética: de la regla de un quinto a la ley de Kepler
- Optimización por colonia de hormigas: cómo un rastro de feromona encuentra un camino corto
- Optimización por enjambre de partículas: inercia, experiencia propia y experiencia del enjambre
- Neuroevolución: evolución de los pesos y la forma de las redes neuronales, y el algoritmo NEAT
- Conjuntos difusos y funciones de pertenencia: cómo escribir «algo cálido»
- Lógica difusa y probabilidad: por qué «algo cálido» no significa «probablemente cálido»
- Lógica difusa: t-normas, implicaciones y reglas SI–ENTONCES
- Control difuso: Mamdani y Sugeno, del ventilador al péndulo invertido sobre un carro
- Agrupamiento difuso: el algoritmo fuzzy c-means y los puntos entre clusters
- Sistemas neuro-difusos (ANFIS): reglas difusas que aprenden de los datos
- Cadenas de Markov: matriz de transición, distribución estacionaria y PageRank
- Modelos ocultos de Márkov: el algoritmo de Viterbi y el casino deshonesto
- Redes bayesianas: por qué está mojada la hierba y qué significa eso para el aspersor
- El filtro de Kalman: cómo estimar a partir de mediciones imprecisas dónde está un coche y a qué velocidad va
- Tipos de aprendizaje automático: supervisado, no supervisado, semisupervisado y más
- Prompts, contexto y RAG: cómo darle a un modelo la información correcta
- Autocodificadores variacionales (VAE): imágenes nuevas a partir de un espacio latente continuo
- Redes generativas adversarias (GAN): el falsificador contra el detective
- Modelos de difusión: cómo el ruido puro se convierte en una imagen
- Procesos de decisión de Markov: estados, acciones, recompensas y ecuaciones de Bellman
- Q-learning y DQN: aprender el valor de las acciones, de la tabla a la red neuronal
- Gradiente de la política y PPO: aprender directamente la política
- Cómo funciona un agente de IA: un modelo de lenguaje en un bucle con herramientas
- Programación con agentes de IA: encargo, pruebas y revisión
- Evaluación y seguridad de los sistemas de IA: cómo medir y cómo vigilar
Temario completo de la serie 52 de 83 temas publicados
- Qué es la esperanza, por qué es el centro de gravedad de la distribución y por qué las esperanzas siempre se suman.
- Qué miden la varianza y la desviación típica, cuándo se suman las varianzas y qué garantiza la desigualdad de Chebyshev.
- Qué son la covarianza y la correlación, cómo se ven en los datos y por qué una covarianza nula no implica independencia.
Conviene conocer antes: Función de densidad y función de probabilidad: por qué una variable continua tiene probabilidad cero en cada punto
La distribución de una variable aleatoria lo dice todo, pero «todo» suele ser demasiado. Para comparar dos distribuciones de un vistazo bastan unos pocos números: dónde está la distribución, qué anchura tiene y si dos variables crecen juntas o van en sentidos opuestos. Esos números se llaman esperanza, varianza y covarianza, y te los encontrarás en cualquier modelo de aprendizaje automático, desde la función de pérdida hasta el optimizador Adam.
Continúa las partes Variable aleatoria y Función de densidad.
1. Esperanza
Definición — esperanza de una variable discreta
Si una variable discreta X toma los valores x1, x2, … con función de probabilidad p, su esperanza es
E[X] = ∑i xi · p(xi),
siempre que la serie converja absolutamente. También se denota μ.
Es la media ponderada de los valores posibles, donde el peso es la probabilidad. Con un dado, (1 + 2 + … + 6) / 6 = 3,5. La esperanza no tiene por qué ser un valor que pueda salir: un 3,5 no saldrá nunca en un dado. Es «la media a la que llegarás a la larga».
En términos físicos, la esperanza es el centro de gravedad. Coloca las probabilidades como pesas sobre una palanca: el punto de apoyo solo la mantiene horizontal en la esperanza. En la figura está el mayor de los dos números de dos dados, es decir, el máximo. Los números altos son más frecuentes (el seis es el máximo en 11 de los 36 casos; el uno, solo en uno), así que el centro de gravedad queda a la derecha del centro: E[max] = 161/36 ≈ 4,47.
Definición — esperanza de una variable continua
Si X tiene densidad f, entonces E[X] = ∫−∞∞ x · f(x) dx, siempre que la integral converja absolutamente.
Lo mismo, solo que en lugar de sumar sobre puntos se integra sobre el área bajo la densidad. Para la espera del correo de la parte anterior (densidad 0,5 · e−0,5x) sale E[X] = 2 minutos: justo la media que pusimos en el ejemplo.
2. Linealidad de la esperanza
Teorema — linealidad de la esperanza
Para variables aleatorias X, Y con esperanza finita y números a, b se cumple
E[aX + b] = a · E[X] + b, E[X + Y] = E[X] + E[Y],
y esto vale aunque X e Y no sean independientes.
La media de una suma es la suma de las medias. La suma de dos dados tiene esperanza 3,5 + 3,5 = 7, sin necesidad de ninguna tabla. Y si tiras una sola vez y duplicas el resultado, también sale 2 · 3,5 = 7. La linealidad es la propiedad más útil de toda la probabilidad: descompones las variables complicadas en piezas sencillas y sumas sus medias.
3. Varianza y desviación típica
Definición — varianza
Para una variable X con esperanza μ, la varianza es
Var(X) = E[(X − μ)²].
Es la distancia al cuadrado media respecto a la media. Si los valores caen muy cerca de la esperanza, la varianza es pequeña; si se van lejos, es grande. El cuadrado garantiza que las desviaciones hacia arriba y hacia abajo no se anulen, y castiga más las desviaciones grandes que las pequeñas.
Teorema — fórmula de cálculo de la varianza
Var(X) = E[X²] − (E[X])².
«La media de los cuadrados menos el cuadrado de la media». Con un dado, E[X²] = (1 + 4 + 9 + 16 + 25 + 36) / 6 = 91/6, así que Var(X) = 91/6 − 3,5² = 35/12 ≈ 2,92. Se deduce de la linealidad: basta con desarrollar (X − μ)².
Definición — desviación típica
La desviación típica es σ = √Var(X).
La varianza tiene unas unidades raras: para una espera en minutos sale en minutos al cuadrado. La raíz lo devuelve todo a su sitio: σ es «la distancia típica a la media», en las mismas unidades que los datos. Con un dado, σ ≈ 1,71; en la espera del correo la varianza es 4 y σ = 2 minutos.
4. Varianza de una suma: por qué compensa tirar dos veces
Teorema — varianza de una función lineal y de una suma
Var(aX + b) = a² · Var(X). Si X e Y son independientes, entonces Var(X + Y) = Var(X) + Var(Y).
Desplazar en b no cambia la anchura; estirar a veces la multiplica por a². Y las varianzas de variables independientes se suman, a diferencia de las desviaciones típicas.
Comparemos dos juegos con la misma esperanza, 7. En el primero tiras dos dados y los sumas: Var = 35/12 + 35/12 = 35/6 ≈ 5,83, σ ≈ 2,42. En el segundo tiras una vez y duplicas el resultado: Var = 2² · 35/12 = 35/3 ≈ 11,67, σ ≈ 3,42. La media es la misma, pero el segundo juego es bastante más alocado: con dos dados, la mala suerte en uno a menudo se compensa con la buena suerte en el otro.
En el mismo principio se basan la diversificación de las inversiones y el hecho de que la media de varias mediciones oscile menos que una sola medición. Cuánto menos exactamente lo veremos en la próxima parte, sobre la ley de los grandes números.
5. Desigualdad de Chebyshev
Teorema — desigualdad de Chebyshev
Si X tiene esperanza μ y desviación típica finita σ > 0, entonces para todo k > 0
P(|X − μ| ≥ kσ) ≤ 1 / k².
Lejos de la media no puede haber mucha probabilidad, y eso vale para cualquier distribución. A más de dos desviaciones típicas de la media cae como mucho una cuarta parte de los valores; a más de tres, como mucho una novena parte. En la suma de dos dados, 2σ ≈ 4,83, y tan lejos del siete solo están las sumas 2 y 12: en realidad 2/36 ≈ 0,056, muy por debajo del límite garantizado de 0,25.
6. Covarianza y correlación
Definición — covarianza
Para variables X, Y con esperanzas μX, μY, la covarianza es
Cov(X, Y) = E[(X − μX)(Y − μY)].
Cuando X está por encima de su media, ¿suele estar también Y por encima de la suya? Entonces el producto de las desviaciones es casi siempre positivo y la covarianza es positiva. Si van en sentidos opuestos, es negativa. En la figura, cada producto es un rectángulo que va del cruce de las medias hasta el punto: los verdes son positivos; los naranjas, negativos. La covarianza es su área media con signo.
Definición — coeficiente de correlación
La correlación de dos variables con desviaciones típicas positivas es ρ(X, Y) = Cov(X, Y) / (σX σY). Siempre se cumple −1 ≤ ρ ≤ 1.
La covarianza depende de las unidades: en centímetros sale 10 000 veces mayor que en metros. La correlación la divide entre las dos desviaciones típicas y obtiene un número sin unidades: 1 significa que los puntos están sobre una recta creciente; −1, sobre una decreciente, y 0, que no hay ninguna relación lineal.
El primer dado y la suma crecen juntos: Cov = 35/12 ≈ 2,92 y ρ ≈ 0,71. El primer y el segundo dado son independientes y los rectángulos se anulan exactamente: Cov = 0. Y cuanto más sale en el primer dado, menor es la diferencia «segundo menos primero»: Cov ≈ −2,92, ρ ≈ −0,71.
Teorema — varianza de una suma en general
Var(X + Y) = Var(X) + Var(Y) + 2 · Cov(X, Y). Si X e Y son independientes, Cov(X, Y) = 0.
Las variables que crecen juntas aumentan la varianza de la suma; las que van en sentidos opuestos la reducen, que es justo lo que hace una cobertura en las inversiones. Con variables independientes, el término de la covarianza desaparece y queda la regla del apartado anterior.
Cuidado, al revés no funciona: covarianza nula no significa independencia. La diferencia de los dados D = primero − segundo y su suma S tienen covarianza Var(primero) − Var(segundo) = 0. Y, sin embargo, son dependientes: si la suma es 12, la diferencia tiene que ser 0. La covarianza solo mide la relación lineal.
7. Esperanza y varianza en la inteligencia artificial
- Función de pérdida. El error cuadrático medio (MSE) es la esperanza del cuadrado del error, E[(Y − ŷ)²]. La mejor estimación constante es precisamente la esperanza de Y, y el error que queda es la varianza.
- Estandarización de las entradas. Antes de pasar los datos a la red se transforman en z = (x − μ) / σ: esperanza 0 y desviación típica 1. Así el aprendizaje es más rápido y estable; lo mismo hace dentro de la red la batch normalization.
- Matriz de covarianzas y PCA. Las covarianzas de todos los pares de características forman una matriz, y sus vectores propios (véase la parte sobre álgebra lineal) señalan las direcciones en las que los datos varían más.
- El optimizador Adam (de la parte sobre el descenso de gradiente) va estimando la esperanza del gradiente y la esperanza de su cuadrado, y divide el paso entre la raíz de esta última. Donde el gradiente oscila mucho, da pasos más prudentes.
- Sesgo y varianza del modelo. El error de un modelo se puede descomponer en un error sistemático (sesgo) y en la variación entre conjuntos de entrenamiento (varianza). Los modelos simples tienen mucho sesgo; los complejos, mucha varianza.
8. Resumen
- La esperanza es una media ponderada: el centro de gravedad de la distribución. Es lineal, incluso para variables dependientes.
- La varianza es la media de los cuadrados de las desviaciones respecto a la media; la desviación típica es su raíz, en las mismas unidades que los datos.
- Las varianzas de variables independientes se suman; por eso la suma de dos dados oscila menos que un dado × 2.
- Desigualdad de Chebyshev: a más de kσ de la media hay como mucho 1/k² de la probabilidad.
- La covarianza y la correlación miden la relación lineal entre dos variables; una covarianza nula no implica independencia.
¿Lo ves de otra manera? Escribe a support@coden-app.com.