Ley de los grandes números y teorema central del límite: por qué las medias se comportan de forma tan predecible
Media muestral, ley de los grandes números y teorema central del límite con animaciones: por qué la distribución normal está en todas partes, de dónde sale el error de ±3 % de las encuestas y por qué una estimación el doble de precisa cuesta cuatro veces más datos.
Serie Fundamentos de IA Parte 18 de 52
- Mapa de la inteligencia artificial: qué es cada cosa y cómo encaja todo
- Breve historia de la inteligencia artificial: de Turing a los modelos de lenguaje
- Datos, modelo, entrenamiento, inferencia: los conceptos básicos en un solo ejemplo
- Cómo leer la notación matemática: símbolos, subíndices, sumatorios y cuantificadores
- Conjuntos y relaciones: las piezas con las que se construyen las definiciones en IA
- Funciones y aplicaciones: por qué todo modelo de IA es una función
- Lógica y demostraciones: las reglas con las que se razona en IA
- Grafos y árboles: la estructura sobre la que se apoyan la búsqueda y las redes neuronales
- Álgebra lineal para aprendizaje automático: vectores, matrices y por qué la IA sobre todo multiplica
- Derivadas, gradiente y regla de la cadena: cómo sabe un modelo en qué dirección aprender
- Descenso de gradiente: cómo aprende un modelo
- Qué es la probabilidad: del lanzamiento de un dado a los axiomas de Kolmogórov
- Probabilidad condicionada y teorema de Bayes: cómo cambiar una estimación cuando te enteras de algo nuevo
- Variable aleatoria y función de distribución: una sola función que lo dice todo sobre la distribución
- Función de densidad y función de probabilidad: por qué una variable continua tiene probabilidad cero en cada punto
- Esperanza, varianza y covarianza: dónde está una distribución, qué anchura tiene y qué se relaciona con qué
- Resumen de las distribuciones de probabilidad: Bernoulli, binomial, Poisson, uniforme, normal y exponencial
- Ley de los grandes números y teorema central del límite: por qué las medias se comportan de forma tan predecible
- Estadística y estimación de parámetros: máxima verosimilitud, MAP e intervalos de confianza
- Teoría de la información: entropía, entropía cruzada y divergencia KL, el origen de las funciones de pérdida
- Búsqueda en el espacio de estados: BFS, DFS, UCS y A* con animaciones
- Juegos y adversarios: minimax, poda alfa-beta y Monte Carlo tree search
- Satisfacción de restricciones: backtracking, propagación de restricciones y AC-3 con un sudoku y un mapa de regiones checas
- Lógica y sistemas basados en conocimiento: encadenamiento hacia delante y hacia atrás, resolución y sistemas expertos
- Planificación: STRIPS, el mundo de bloques, heurísticas a partir de la relajación y la planificación en los agentes de IA
- Búsqueda local y recocido simulado: un viajante por las capitales regionales checas
- Algoritmos genéticos: población, cruce, mutación y selección en una mochila para la excursión
- Estrategias evolutivas y programación genética: de la regla de un quinto a la ley de Kepler
- Optimización por colonia de hormigas: cómo un rastro de feromona encuentra un camino corto
- Optimización por enjambre de partículas: inercia, experiencia propia y experiencia del enjambre
- Neuroevolución: evolución de los pesos y la forma de las redes neuronales, y el algoritmo NEAT
- Conjuntos difusos y funciones de pertenencia: cómo escribir «algo cálido»
- Lógica difusa y probabilidad: por qué «algo cálido» no significa «probablemente cálido»
- Lógica difusa: t-normas, implicaciones y reglas SI–ENTONCES
- Control difuso: Mamdani y Sugeno, del ventilador al péndulo invertido sobre un carro
- Agrupamiento difuso: el algoritmo fuzzy c-means y los puntos entre clusters
- Sistemas neuro-difusos (ANFIS): reglas difusas que aprenden de los datos
- Cadenas de Markov: matriz de transición, distribución estacionaria y PageRank
- Modelos ocultos de Márkov: el algoritmo de Viterbi y el casino deshonesto
- Redes bayesianas: por qué está mojada la hierba y qué significa eso para el aspersor
- El filtro de Kalman: cómo estimar a partir de mediciones imprecisas dónde está un coche y a qué velocidad va
- Tipos de aprendizaje automático: supervisado, no supervisado, semisupervisado y más
- Prompts, contexto y RAG: cómo darle a un modelo la información correcta
- Autocodificadores variacionales (VAE): imágenes nuevas a partir de un espacio latente continuo
- Redes generativas adversarias (GAN): el falsificador contra el detective
- Modelos de difusión: cómo el ruido puro se convierte en una imagen
- Procesos de decisión de Markov: estados, acciones, recompensas y ecuaciones de Bellman
- Q-learning y DQN: aprender el valor de las acciones, de la tabla a la red neuronal
- Gradiente de la política y PPO: aprender directamente la política
- Cómo funciona un agente de IA: un modelo de lenguaje en un bucle con herramientas
- Programación con agentes de IA: encargo, pruebas y revisión
- Evaluación y seguridad de los sistemas de IA: cómo medir y cómo vigilar
Temario completo de la serie 52 de 83 temas publicados
- Por qué la media muestral se acerca a la esperanza y por qué su oscilación solo disminuye con la raíz cuadrada del número de datos.
- Qué dice el teorema central del límite y por qué la media de muchas variables casi siempre tiene una distribución normal.
- Cómo calcular a partir de ahí el error de una estimación: en encuestas, al evaluar modelos y en el descenso de gradiente.
Conviene conocer antes: Resumen de las distribuciones de probabilidad: Bernoulli, binomial, Poisson, uniforme, normal y exponencial
Una sola tirada de dado es puro azar. Pero la media de diez mil tiradas es casi con seguridad 3,5, y con una precisión que podemos calcular de antemano. Esta parte trata de dos teoremas que convierten el caos de los intentos individuales en previsibilidad: la ley de los grandes números dice hacia dónde se acerca la media, y el teorema central del límite, cómo oscila alrededor de ese objetivo. En ellos se apoyan las encuestas de opinión, el control de calidad, los tests A/B y el entrenamiento de redes neuronales.
Continúa las partes Esperanza y varianza y Resumen de las distribuciones.
1. Media muestral
Definición — variables independientes e idénticamente distribuidas
Las variables X1, X2, … son independientes e idénticamente distribuidas (abreviado i.i.d.) si son independientes entre sí y todas tienen la misma distribución.
Repites una y otra vez el mismo experimento en las mismas condiciones, y un resultado no influye en otro: tiradas del mismo dado, respuestas de personas elegidas al azar, mediciones con el mismo aparato.
Definición — media muestral
Para X1, …, Xn, la media muestral es X̄n = (X1 + … + Xn) / n.
Es la media de toda la vida de los valores medidos. Ojo con la diferencia: la esperanza μ es una propiedad de la distribución, un número fijo. La media muestral se calcula a partir de los datos y, como los datos son aleatorios, también ella es una variable aleatoria: en cada nuevo experimento sale un poco distinta.
Teorema — esperanza y varianza de la media
Si las Xi i.i.d. tienen esperanza μ y varianza σ², entonces
E[X̄n] = μ, Var(X̄n) = σ² / n, desviación típica σ / √n.
La media apunta al lugar correcto y su oscilación disminuye a medida que hay más datos, pero solo con la raíz cuadrada. Un dado tiene σ ≈ 1,71; la media de 100 dados, apenas 0,171. Para una estimación el doble de precisa necesitas cuatro veces más datos. El teorema se deduce directamente de la linealidad y de la suma de varianzas de variables independientes que vimos en las partes anteriores.
2. Ley de los grandes números
Teorema — ley (débil) de los grandes números
Si las Xi i.i.d. tienen esperanza μ y varianza finita, entonces para todo ε > 0
limn→∞ P(|X̄n − μ| ≥ ε) = 0.
Por pequeña que sea la tolerancia ε que elijas, con suficientes datos la media se alejará de la verdadera esperanza más de ε solo con una probabilidad ínfima. La media de los datos es una buena estimación de la esperanza, y cuantos más datos, mejor.
La demostración cabe en una línea: por la desigualdad de Chebyshev, P(|X̄n − μ| ≥ ε) ≤ σ² / (nε²), y eso tiende a cero cuando n crece. Para un dado, una tolerancia de 0,1 y 10 000 tiradas, la cota sale 2,917 / 100 ≈ 0,029.
Tras diez tiradas, las medias de las cuatro series están entre 3,4 y 4,1; tras 10 000 tiradas, entre 3,496 y 3,502. El embudo μ ± 2σ/√n se estrecha exactamente como dice el teorema sobre la varianza de la media, y las curvas solo se salen de él excepcionalmente. Por qué precisamente 2σ y por qué «solo excepcionalmente» lo dirá el siguiente teorema.
La ley de los grandes números no dice que el azar «se compense». Si una moneda sale cara cinco veces seguidas, a la cruz no «le toca»: la moneda no tiene memoria. La media no se acerca a 0,5 porque el exceso de caras se vaya restando, sino porque los miles de lanzamientos siguientes lo diluyen.
3. Convergencia en distribución
Definición — convergencia en distribución
Una sucesión de variables Y1, Y2, … converge en distribución a una variable Y si limn→∞ FYn(x) = FY(x) en todo punto x en el que FY sea continua.
No se trata de que los valores Yn se acerquen a un número, sino de que la forma de su distribución se acerca a la forma de otra distribución. Así es como, en la parte anterior, la distribución binomial se acercaba a la de Poisson.
4. Teorema central del límite
Teorema — teorema central del límite
Si las Xi i.i.d. tienen esperanza μ y varianza 0 < σ² < ∞, entonces
(X̄n − μ) / (σ / √n) converge en distribución a N(0, 1).
Sea cual sea la distribución de cada intento —uniforme, asimétrica, con varios picos—, la media de muchos de ellos tiene aproximadamente una distribución normal con esperanza μ y desviación típica σ/√n. Por eso la campana de Gauss está en todas partes: aparece siempre que se suman muchas pequeñas influencias independientes. El tablero de Galton de la parte anterior es exactamente eso.
La distribución de un solo dado es plana: ni rastro de campana. La media de dos dados es un triángulo, la de cinco ya recuerda a una campana y la de treinta apenas se distingue de una normal. Las barras son la distribución exacta, calculada enumerando todas las posibilidades; en discontinua, la aproximación normal:
Funciona incluso con distribuciones muy asimétricas, como la espera de un correo, que sigue una distribución exponencial. Una sola espera es muy asimétrica (asimetría 2), la media de cinco esperas lo es menos y la de treinta ya es casi simétrica (asimetría 0,37):
Una pregunta concreta muestra lo buena que es la aproximación: ¿con qué probabilidad la media de 30 tiradas de dado será mayor que 4? El cálculo exacto con todas las posibilidades da 0,0488. El teorema central del límite dice: 4 está (4 − 3,5) / (1,708/√30) ≈ 1,60 desviaciones típicas por encima de la media, así que P ≈ 1 − Φ(1,60) ≈ 0,0544. Sin una sola suma sobre 630 posibilidades y con un error de menos de seis milésimas.
5. Para qué sirve: el error de estimación
El teorema central del límite dice que una estimación mediante la media queda, en el 95 % de los casos, a menos de 1,96 σ/√n del valor real. De ahí sale la fórmula más usada de la estadística:
- Una encuesta de opinión con 1 000 encuestados y un apoyo de alrededor del 50 % tiene un error de 1,96 · √(0,25 / 1 000) ≈ ±3,1 puntos porcentuales. Por eso las encuestas preguntan a unas mil personas: para reducir el error a la mitad necesitarían cuatro mil.
- La precisión de un modelo medida en 1 000 ejemplos de prueba como un 90 % es en realidad un 90 % ± 1,9 puntos porcentuales. Por tanto, un modelo con un 91 % en un conjunto del mismo tamaño todavía no tiene por qué ser mejor.
De dónde saca la estadística σ cuando no lo conoce y qué significa exactamente ese intervalo es el tema de la próxima parte, sobre estadística y estimación.
6. Cuándo no se cumplen los teoremas
- Varianza infinita o ninguna esperanza. La distribución de Cauchy tiene colas tan pesadas que ni siquiera tiene esperanza, y la media de n variables de Cauchy tiene exactamente la misma distribución que una sola. Más datos no ayudan en absoluto. Igual de salvajes suelen ser el tamaño de las ciudades, las fortunas o los desplomes de la bolsa.
- Datos dependientes. Mil respuestas de gente de una misma calle o mil fotogramas del mismo vídeo no son mil observaciones independientes, y σ/√n subestima mucho el error.
- Pocos datos y una distribución asimétrica. El teorema es un resultado límite: con la espera exponencial, tras cinco observaciones la distribución de la media sigue siendo claramente asimétrica.
7. Los teoremas límite en la inteligencia artificial
- Descenso de gradiente estocástico. El gradiente calculado con un lote (minibatch) de B ejemplos es una media muestral. Apunta igual que el gradiente con todos los datos (ley de los grandes números), pero oscila con una desviación típica ∝ 1/√B. Un lote cuatro veces mayor solo reduce el ruido a la mitad; por eso no compensa agrandar los lotes indefinidamente.
- Métodos de Monte Carlo. Cuando algo no se puede calcular con exactitud —la recompensa esperada en el aprendizaje por refuerzo, una integral en alta dimensión—, se promedian muchas muestras aleatorias. La ley de los grandes números garantiza el resultado correcto y el teorema central del límite dice con qué precisión.
- La evaluación de modelos y los tests A/B se basan en el error 1,96 σ/√n: sin él no sabrás si el modelo nuevo es realmente mejor o si solo ha tenido suerte.
- Inicialización de redes. La entrada de una neurona es una suma de muchos pesos por activaciones, así que, por el teorema central del límite, tiene aproximadamente una distribución normal. En eso se basan los esquemas de inicialización de Xavier y de He, que eligen la varianza de los pesos para que la señal ni se amplifique ni se apague al atravesar la red.
8. Resumen
- La media muestral es una variable aleatoria con esperanza μ y desviación típica σ/√n.
- Ley de los grandes números: al crecer n, la media se acerca casi con seguridad a μ.
- Teorema central del límite: la media de muchas variables independientes tiene aproximadamente una distribución normal, sea cual sea la distribución de cada variable.
- El error de una estimación mediante la media es de unos ±1,96 σ/√n; una estimación el doble de precisa cuesta cuatro veces más datos.
- Sin varianza finita o sin independencia, los teoremas no se cumplen.
¿Lo ves de otra manera? Escribe a support@coden-app.com.