Teoría de la información: entropía, entropía cruzada y divergencia KL, el origen de las funciones de pérdida

La información como sorpresa, la entropía y el código de Huffman, la entropía cruzada, la divergencia KL y la ganancia de información, y por qué la función de pérdida de los modelos de lenguaje es la entropía cruzada.

13 minutos Matěj Žalmánek 2026-10-15

Serie Fundamentos de IA Parte 20 de 52

1. Mapa de la inteligencia artificial: qué es cada cosa y cómo encaja todo
2. Breve historia de la inteligencia artificial: de Turing a los modelos de lenguaje
3. Datos, modelo, entrenamiento, inferencia: los conceptos básicos en un solo ejemplo
4. Cómo leer la notación matemática: símbolos, subíndices, sumatorios y cuantificadores
5. Conjuntos y relaciones: las piezas con las que se construyen las definiciones en IA
6. Funciones y aplicaciones: por qué todo modelo de IA es una función
7. Lógica y demostraciones: las reglas con las que se razona en IA
8. Grafos y árboles: la estructura sobre la que se apoyan la búsqueda y las redes neuronales
9. Álgebra lineal para aprendizaje automático: vectores, matrices y por qué la IA sobre todo multiplica
10. Derivadas, gradiente y regla de la cadena: cómo sabe un modelo en qué dirección aprender
11. Descenso de gradiente: cómo aprende un modelo
12. Qué es la probabilidad: del lanzamiento de un dado a los axiomas de Kolmogórov
13. Probabilidad condicionada y teorema de Bayes: cómo cambiar una estimación cuando te enteras de algo nuevo
14. Variable aleatoria y función de distribución: una sola función que lo dice todo sobre la distribución
15. Función de densidad y función de probabilidad: por qué una variable continua tiene probabilidad cero en cada punto
16. Esperanza, varianza y covarianza: dónde está una distribución, qué anchura tiene y qué se relaciona con qué
17. Resumen de las distribuciones de probabilidad: Bernoulli, binomial, Poisson, uniforme, normal y exponencial
18. Ley de los grandes números y teorema central del límite: por qué las medias se comportan de forma tan predecible
19. Estadística y estimación de parámetros: máxima verosimilitud, MAP e intervalos de confianza
20. Teoría de la información: entropía, entropía cruzada y divergencia KL, el origen de las funciones de pérdida
21. Búsqueda en el espacio de estados: BFS, DFS, UCS y A* con animaciones
22. Juegos y adversarios: minimax, poda alfa-beta y Monte Carlo tree search
23. Satisfacción de restricciones: backtracking, propagación de restricciones y AC-3 con un sudoku y un mapa de regiones checas
24. Lógica y sistemas basados en conocimiento: encadenamiento hacia delante y hacia atrás, resolución y sistemas expertos
25. Planificación: STRIPS, el mundo de bloques, heurísticas a partir de la relajación y la planificación en los agentes de IA
26. Búsqueda local y recocido simulado: un viajante por las capitales regionales checas
27. Algoritmos genéticos: población, cruce, mutación y selección en una mochila para la excursión
28. Estrategias evolutivas y programación genética: de la regla de un quinto a la ley de Kepler
29. Optimización por colonia de hormigas: cómo un rastro de feromona encuentra un camino corto
30. Optimización por enjambre de partículas: inercia, experiencia propia y experiencia del enjambre
31. Neuroevolución: evolución de los pesos y la forma de las redes neuronales, y el algoritmo NEAT
32. Conjuntos difusos y funciones de pertenencia: cómo escribir «algo cálido»
33. Lógica difusa y probabilidad: por qué «algo cálido» no significa «probablemente cálido»
34. Lógica difusa: t-normas, implicaciones y reglas SI–ENTONCES
35. Control difuso: Mamdani y Sugeno, del ventilador al péndulo invertido sobre un carro
36. Agrupamiento difuso: el algoritmo fuzzy c-means y los puntos entre clusters
37. Sistemas neuro-difusos (ANFIS): reglas difusas que aprenden de los datos
38. Cadenas de Markov: matriz de transición, distribución estacionaria y PageRank
39. Modelos ocultos de Márkov: el algoritmo de Viterbi y el casino deshonesto
40. Redes bayesianas: por qué está mojada la hierba y qué significa eso para el aspersor
41. El filtro de Kalman: cómo estimar a partir de mediciones imprecisas dónde está un coche y a qué velocidad va
42. Tipos de aprendizaje automático: supervisado, no supervisado, semisupervisado y más
43. Prompts, contexto y RAG: cómo darle a un modelo la información correcta
44. Autocodificadores variacionales (VAE): imágenes nuevas a partir de un espacio latente continuo
45. Redes generativas adversarias (GAN): el falsificador contra el detective
46. Modelos de difusión: cómo el ruido puro se convierte en una imagen
47. Procesos de decisión de Markov: estados, acciones, recompensas y ecuaciones de Bellman
48. Q-learning y DQN: aprender el valor de las acciones, de la tabla a la red neuronal
49. Gradiente de la política y PPO: aprender directamente la política
50. Cómo funciona un agente de IA: un modelo de lenguaje en un bucle con herramientas
51. Programación con agentes de IA: encargo, pruebas y revisión
52. Evaluación y seguridad de los sistemas de IA: cómo medir y cómo vigilar

Temario completo de la serie 52 de 83 temas publicados

Cuando entrenas un clasificador o un modelo de lenguaje, casi seguro que minimizas la «entropía cruzada». ¿De dónde sale ese nombre? De la teoría de la información, que Claude Shannon fundó en 1948 mientras buscaba la manera más económica de enviar mensajes por una línea telefónica. Resultó que la pregunta «¿cuántos bits necesito?» y la pregunta «¿con qué acierto predice el modelo?» son en realidad la misma. Con esta parte se cierra el módulo de probabilidad y estadística.

Continúa las partes Resumen de las distribuciones y Estadística y estimación.

1. La información como sorpresa

Definición — información de un suceso

La información (autoinformación) de un suceso con probabilidad p > 0 es

I(p) = −log₂ p   bits.

Un bit es la información que da la respuesta a una pregunta de sí o no cuando las dos respuestas son igual de probables. Un número del 1 al 1024 lo adivinas con 10 preguntas («¿es mayor que 512?»…), precisamente porque cada respuesta aporta 1 bit y log₂ 1024 = 10.

2. Entropía

Definición — entropía

La entropía de una variable discreta X con función de probabilidad p es la esperanza de su información:

H(X) = −∑_x p(x) log₂ p(x),

donde el término con p(x) = 0 se toma como 0.

Teorema — cotas de la entropía

Para una variable con n valores posibles se cumple 0 ≤ H(X) ≤ log₂ n. El cero se alcanza si y solo si el resultado es seguro, y el máximo, si y solo si la distribución es uniforme.

3. La entropía como longitud de código

Teorema — teorema de codificación de fuente de Shannon

Todo código binario unívocamente decodificable para símbolos con distribución p tiene una longitud media de palabra de al menos H(p) bits, y existe un código con longitud media menor que H(p) + 1.

Cuatro letras A, B, C, D con probabilidades 1/2, 1/4, 1/8, 1/8 tienen una entropía de 1,75 bits. Un código de longitud fija necesita 2 bits por letra. El código de Huffman (0, 10, 110, 111) tiene una longitud media de 1/2 · 1 + 1/4 · 2 + 2 · 1/8 · 3 = 1,75 bits: exactamente la entropía. Así, el mensaje ABACABAD cabe en 14 bits en lugar de 16:

4. Entropía cruzada

Definición — entropía cruzada

Para una distribución real p y un modelo q sobre los mismos valores, la entropía cruzada es

H(p, q) = −∑_x p(x) log₂ q(x).

Teorema — desigualdad de Gibbs

H(p, q) ≥ H(p), con igualdad si y solo si q = p.

5. Divergencia KL

Definición — divergencia de Kullback-Leibler

D_KL(p ‖ q) = ∑_x p(x) log₂ (p(x) / q(x)) = H(p, q) − H(p).

Ojo: la divergencia KL no es una distancia, porque no es simétrica. D_KL(0,7 ‖ 0,5) = 0,119, pero D_KL(0,5 ‖ 0,7) = 0,126. Importa qué es la realidad y qué es el modelo.

6. Ganancia de información

Definición — entropía condicional

H(Y | X) = ∑_x P(X = x) · H(Y | X = x), donde H(Y | X = x) es la entropía de la distribución condicional de Y.

Definición — ganancia de información (información mutua)

I(X; Y) = H(Y) − H(Y | X).

7. La teoría de la información en la inteligencia artificial

• La entropía cruzada como función de pérdida. Para un ejemplo cuya clase correcta es y, vale −log q(y): cuánto ha sorprendido al modelo la respuesta correcta. Su media sobre los datos es la log-verosimilitud negativa, así que minimizar la entropía cruzada es aplicar el método de máxima verosimilitud de la parte anterior. Las bibliotecas usan el logaritmo natural (la unidad es el nat): 1 bit = ln 2 ≈ 0,693 nats.
• La perplejidad de un modelo de lenguaje es 2^H, donde H es la entropía cruzada por palabra en bits. Una perplejidad de 8 significa que el modelo está, en promedio, tan indeciso como si eligiera entre ocho palabras igual de probables.
• La divergencia KL sostiene los autoencoders variacionales (VAE), la destilación de modelos (un modelo pequeño imita la distribución de uno grande) y el ajuste fino de modelos de lenguaje con retroalimentación humana (RLHF), donde una penalización por divergencia KL impide que el modelo se aleje demasiado del original.
• Comprimir y predecir son lo mismo. Un modelo que predice bien el siguiente símbolo sabe comprimir bien los datos, y viceversa. Por eso los modelos de lenguaje se comparan por el número de bits por carácter.

8. Resumen

• La información de un suceso, −log₂ p, mide la sorpresa en bits; las informaciones de sucesos independientes se suman.
• La entropía es la sorpresa media, como mucho log₂ n, y es la cota inferior de la longitud media de un código.
• La entropía cruzada mide cuántos bits cuesta el modelo q con datos que siguen p; es mínima cuando q = p.
• La divergencia KL es el precio de un mal modelo: H(p, q) − H(p) ≥ 0, y no es simétrica.
• La función de pérdida de los clasificadores y de los modelos de lenguaje es la entropía cruzada, es decir, la máxima verosimilitud.

¿Lo ves de otra manera? Escribe a support@coden-app.com.