Procesos de decisión de Markov: estados, acciones, recompensas y ecuaciones de Bellman

Un MDP en un mundo de cuadrícula con acantilado, el retorno y el descuento, la función de valor y la ecuación de Bellman, la iteración de valores y la iteración de políticas escritas desde cero, cómo el descuento, el deslizamiento y el coste del paso cambian el comportamiento óptimo, y una comprobación por simulación.

11 minutos Matěj Žalmánek 2026-10-16

Serie Fundamentos de IA Parte 47 de 52

1. Mapa de la inteligencia artificial: qué es cada cosa y cómo encaja todo
2. Breve historia de la inteligencia artificial: de Turing a los modelos de lenguaje
3. Datos, modelo, entrenamiento, inferencia: los conceptos básicos en un solo ejemplo
4. Cómo leer la notación matemática: símbolos, subíndices, sumatorios y cuantificadores
5. Conjuntos y relaciones: las piezas con las que se construyen las definiciones en IA
6. Funciones y aplicaciones: por qué todo modelo de IA es una función
7. Lógica y demostraciones: las reglas con las que se razona en IA
8. Grafos y árboles: la estructura sobre la que se apoyan la búsqueda y las redes neuronales
9. Álgebra lineal para aprendizaje automático: vectores, matrices y por qué la IA sobre todo multiplica
10. Derivadas, gradiente y regla de la cadena: cómo sabe un modelo en qué dirección aprender
11. Descenso de gradiente: cómo aprende un modelo
12. Qué es la probabilidad: del lanzamiento de un dado a los axiomas de Kolmogórov
13. Probabilidad condicionada y teorema de Bayes: cómo cambiar una estimación cuando te enteras de algo nuevo
14. Variable aleatoria y función de distribución: una sola función que lo dice todo sobre la distribución
15. Función de densidad y función de probabilidad: por qué una variable continua tiene probabilidad cero en cada punto
16. Esperanza, varianza y covarianza: dónde está una distribución, qué anchura tiene y qué se relaciona con qué
17. Resumen de las distribuciones de probabilidad: Bernoulli, binomial, Poisson, uniforme, normal y exponencial
18. Ley de los grandes números y teorema central del límite: por qué las medias se comportan de forma tan predecible
19. Estadística y estimación de parámetros: máxima verosimilitud, MAP e intervalos de confianza
20. Teoría de la información: entropía, entropía cruzada y divergencia KL, el origen de las funciones de pérdida
21. Búsqueda en el espacio de estados: BFS, DFS, UCS y A* con animaciones
22. Juegos y adversarios: minimax, poda alfa-beta y Monte Carlo tree search
23. Satisfacción de restricciones: backtracking, propagación de restricciones y AC-3 con un sudoku y un mapa de regiones checas
24. Lógica y sistemas basados en conocimiento: encadenamiento hacia delante y hacia atrás, resolución y sistemas expertos
25. Planificación: STRIPS, el mundo de bloques, heurísticas a partir de la relajación y la planificación en los agentes de IA
26. Búsqueda local y recocido simulado: un viajante por las capitales regionales checas
27. Algoritmos genéticos: población, cruce, mutación y selección en una mochila para la excursión
28. Estrategias evolutivas y programación genética: de la regla de un quinto a la ley de Kepler
29. Optimización por colonia de hormigas: cómo un rastro de feromona encuentra un camino corto
30. Optimización por enjambre de partículas: inercia, experiencia propia y experiencia del enjambre
31. Neuroevolución: evolución de los pesos y la forma de las redes neuronales, y el algoritmo NEAT
32. Conjuntos difusos y funciones de pertenencia: cómo escribir «algo cálido»
33. Lógica difusa y probabilidad: por qué «algo cálido» no significa «probablemente cálido»
34. Lógica difusa: t-normas, implicaciones y reglas SI–ENTONCES
35. Control difuso: Mamdani y Sugeno, del ventilador al péndulo invertido sobre un carro
36. Agrupamiento difuso: el algoritmo fuzzy c-means y los puntos entre clusters
37. Sistemas neuro-difusos (ANFIS): reglas difusas que aprenden de los datos
38. Cadenas de Markov: matriz de transición, distribución estacionaria y PageRank
39. Modelos ocultos de Márkov: el algoritmo de Viterbi y el casino deshonesto
40. Redes bayesianas: por qué está mojada la hierba y qué significa eso para el aspersor
41. El filtro de Kalman: cómo estimar a partir de mediciones imprecisas dónde está un coche y a qué velocidad va
42. Tipos de aprendizaje automático: supervisado, no supervisado, semisupervisado y más
43. Prompts, contexto y RAG: cómo darle a un modelo la información correcta
44. Autocodificadores variacionales (VAE): imágenes nuevas a partir de un espacio latente continuo
45. Redes generativas adversarias (GAN): el falsificador contra el detective
46. Modelos de difusión: cómo el ruido puro se convierte en una imagen
47. Procesos de decisión de Markov: estados, acciones, recompensas y ecuaciones de Bellman
48. Q-learning y DQN: aprender el valor de las acciones, de la tabla a la red neuronal
49. Gradiente de la política y PPO: aprender directamente la política
50. Cómo funciona un agente de IA: un modelo de lenguaje en un bucle con herramientas
51. Programación con agentes de IA: encargo, pruebas y revisión
52. Evaluación y seguridad de los sistemas de IA: cómo medir y cómo vigilar

Temario completo de la serie 52 de 83 temas publicados

Hasta ahora, los modelos de la serie aprendían de ejemplos con la respuesta correcta o buscaban estructura en los datos. El aprendizaje por refuerzo es un tercer camino: el agente actúa, el mundo le da a cambio recompensas y castigos, y el agente tiene que descubrir cómo actuar para acumular la mayor cantidad posible. Antes de ponernos a aprender, necesitamos un lenguaje con el que describir ese problema con precisión. Ese lenguaje es el proceso de decisión de Markov. En esta parte lo construiremos sobre un pequeño mundo con un acantilado y calcularemos el mejor comportamiento con exactitud — suponiendo que conocemos las reglas del mundo.

Continúa las partes Cadenas de Markov, Esperanza, varianza y covarianza y Tipos de aprendizaje automático.

1. Agente, entorno, recompensa

Definición — proceso de decisión de Markov (MDP)

Un MDP es una quíntupla (S, A, P, R, γ): un conjunto de estados S, un conjunto de acciones A, las probabilidades de transición P(s′ | s, a), la recompensa R(s, a, s′) y el factor de descuento γ ∈ [0, 1). En cada paso, el agente en el estado s elige una acción a, el mundo lo traslada al azar según P a s′ y el agente recibe una recompensa. Propiedad de Markov: el estado siguiente depende solo del estado actual y de la acción, no de la historia.

Nuestro mundo es una cuadrícula de 6 × 5. El agente empieza a la izquierda (S) y puede ir hacia arriba, a la derecha, hacia abajo o a la izquierda. Toda la fila de abajo es un acantilado: quien cae en él recibe −10 y la partida termina. Cerca del inicio hay un objetivo pequeño que vale +1, y muy a la derecha, un objetivo grande que vale +10. Dos paredes cierran el camino más corto por arriba. Y el suelo puede resbalar: con probabilidad p, en lugar de ir en la dirección deseada, el agente resbala hacia una de las dos direcciones perpendiculares.

P(s′ | s, a) = (1 − p) · [s′ = paso en la dirección a] + p/2 · [s′ = paso perpendicular a la izquierda] + p/2 · [s′ = paso perpendicular a la derecha]

P(s′ | s, a)

con qué probabilidad termina el agente en la casilla s′ tras la acción a — toda la distribución, no solo «adónde debería ir», porque el valor de una jugada se calculará como un promedio sobre todos los lugares posibles de llegada

(1 − p) · […]

el movimiento deseado — se lleva la mayor parte de la probabilidad; con p = 0 solo queda este término y el mundo es determinista

p/2 · […]

el resbalón hacia un lado, a partes iguales a la izquierda y a la derecha — por él, la casilla junto al acantilado es peligrosa aunque vayamos a lo largo de él y no hacia él

Ejemplo — un paso a la derecha a lo largo del acantilado

El agente está en la casilla a la derecha del inicio (encima tiene una pared, debajo el acantilado) y elige «derecha», p = 0,2:

• 0,8 — la siguiente casilla a la derecha,
• 0,1 — el acantilado (recompensa −10, fin),
• 0,1 — la casilla a la derecha del inicio (resbala hacia arriba contra la pared y se queda donde está),

en total 0,8 + 0,1 + 0,1 = 1. La recompensa inmediata esperada de esta jugada es 0,8 · 0 + 0,1 · (−10) + 0,1 · 0 = −1: en promedio, uno de cada diez pasos así termina en caída.

2. Retorno, descuento y política

Definición — retorno y política

El retorno desde el instante t es la suma descontada de las recompensas futuras G_t = r_t+1 + γ r_t+2 + γ² r_t+3 + …. Una política (policy) π dice qué acción elegir en cada estado — de forma determinista π(s) = a, o como una distribución π(a | s). El objetivo es la política con el mayor retorno esperado.

G_t = r_t+1 + γ · G_t+1

G_t

el retorno desde ahora hasta el final — el número que el agente quiere hacer lo más grande posible

r_t+1

la recompensa justo por el siguiente paso — la única que recibe sin esperar, por eso va sin descuento

γ

el descuento — todo lo que llega más tarde se abarata en un factor γ; así «más tarde» se convierte en «menos»

G_t+1

el retorno desde el siguiente paso — la misma magnitud un paso más allá; la recursión de la que enseguida nacerá la ecuación de Bellman

Teorema — con γ < 1, el retorno es siempre finito

Si cada recompensa es, en valor absoluto, como mucho R_max, entonces |G_t| ≤ R_max (1 + γ + γ² + …) = R_max / (1 − γ), aunque el episodio no terminara nunca.

Demostración. La desigualdad triangular da |G_t| ≤ ∑_{k ≥ 0} γ^k |r_t+k+1| ≤ R_max ∑_{k ≥ 0} γ^k, y la serie geométrica de razón 0 ≤ γ < 1 suma 1/(1 − γ). ∎

En nuestro caso R_max = 10 y γ = 0,9, así que |G| ≤ 10 / 0,1 = 100. Sin coste por paso es mucho menos todavía: solo dan una recompensa distinta de cero la entrada en un objetivo o en el acantilado, y como mucho una vez por episodio, así que |G| ≤ 10. Por eso γ = 1 solo se puede usar donde el episodio termina con seguridad.

Ejemplo — el retorno del camino más corto al objetivo grande

Sobre suelo firme, el camino más corto al objetivo +10 tiene 6 pasos. Los cinco primeros dan recompensa 0; el sexto (la entrada en el objetivo), +10. Con γ = 0,9:

G₀ = 0 + 0,9 · 0 + 0,9² · 0 + 0,9³ · 0 + 0,9⁴ · 0 + 0,9⁵ · 10 = 0,59049 · 10 = 5,9049.

Sobre suelo firme no ocurre nada aleatorio, así que esto es directamente el valor del inicio — y el cálculo con iteración de valores en la sección sobre políticas da, en efecto, 5,90. El objetivo pequeño +1, aun a 3 pasos, daría solo 0,9² · 1 = 0,81.

3. El valor y las ecuaciones de Bellman

Definición — función de valor y ecuación de optimalidad de Bellman

El valor de un estado bajo la política π es el retorno esperado cuando el agente empieza en s y sigue π: V^π(s) = E_π[G_t | s_t = s]. El valor de una acción Q^π(s, a) es lo mismo, pero eligiendo nosotros la primera acción. Los valores óptimos cumplen la ecuación de Bellman (Richard Bellman, 1957):

V*(s) = max_a ∑_s′ P(s′ | s, a) [R(s, a, s′) + γ V*(s′)],

y la política óptima es π*(s) = argmax_a Q*(s, a), donde Q*(s, a) es la expresión dentro del máximo.

V*(s) = max_a ∑_s′ P(s′ | s, a) [R(s, a, s′) + γ V*(s′)]

V*(s)

el mejor retorno esperado desde la casilla s — lo que buscamos; aparece a ambos lados, así que la ecuación es una condición que deben cumplir todos los valores a la vez

max_a

la elección del agente — la acción la escoge él mismo, así que toma la mejor; aquí la ecuación «de optimalidad» se diferencia de la ecuación para una política fija π, donde en lugar del máximo está π(s)

∑_s′ P(s′ | s, a) […]

el promedio sobre adónde lanza realmente el mundo al agente — eso no lo decide el agente, por eso es una esperanza y no un máximo

R(s, a, s′)

la recompensa inmediata por esta transición (+1, +10, −10 o el coste del paso)

γ

el descuento — el futuro está un paso más allá, por eso un factor γ (igual que en la fórmula G_t = r_t+1 + γ G_t+1)

V*(s′)

el mejor retorno desde el lugar de llegada — todo el futuro resumido en un solo número, así que no hace falta recorrer todos los caminos largos

Ejemplo — la ecuación de Bellman en el inicio (deslizamiento del 20 %, γ = 0,9)

Valores óptimos ya calculados de los vecinos del inicio: la casilla sobre el inicio V* = 3,325, la casilla de la derecha V* = 2,260, el propio inicio V* = 2,854; el acantilado es terminal (valor 0, recompensa −10). Sustituimos en el lado derecho para cada acción:

• ↑: 0,8 · (0 + 0,9 · 3,325) + 0,1 · (0 + 0,9 · 2,260) + 0,1 · (0 + 0,9 · 2,854) = 2,854,
• →: 0,8 · (0 + 0,9 · 2,260) + 0,1 · (−10 + 0,9 · 0,000) + 0,1 · (0 + 0,9 · 3,325) = 0,926,
• ↓: 0,8 · (−10 + 0,9 · 0,000) + 0,1 · (0 + 0,9 · 2,854) + 0,1 · (0 + 0,9 · 2,260) = −7,540,
• ←: 0,8 · (0 + 0,9 · 2,854) + 0,1 · (0 + 0,9 · 3,325) + 0,1 · (−10 + 0,9 · 0,000) = 1,354,

La mayor es ↑ con 2,854, y eso es exactamente V*(inicio) — la ecuación se cumple (la diferencia en la última cifra es redondeo). La acción «arriba» merece la pena aunque haya una probabilidad del 10 % de que el agente resbale a la izquierda, choque con el borde y se quede en el inicio: por eso V*(inicio) aparece también a la derecha. La acción «abajo» lleva en un 80 % de los casos al acantilado y sale muy negativa.

4. Iteración de valores

Definición — iteración de valores

Empieza con V₀ = 0 y repite para todos los estados V_k+1(s) = max_a ∑_s′ P(s′ | s, a) [R + γ V_k(s′)] mientras los valores cambien. Para γ < 1, el operador de Bellman es una contracción: max_s |V_k+1 − V*| ≤ γ · max_s |V_k − V*|, así que el error disminuye al menos como γ^k.

# iteración de valores
V = 0 en todos los estados
repite:
    para cada estado no terminal s:
        para cada acción a:
            Q[a] = ∑ sobre s′ ( P(s′ | s, a) · (R(s, a, s′) + γ · V(s′)) )
        V_nuevo(s) = max(Q)
    cambio = max sobre s |V_nuevo(s) − V(s)|
    V = V_nuevo
hasta que cambio < 10⁻⁶
π(s) = acción con el mayor Q[a] (calculado a partir del V final)

Ejemplo — las tres primeras rondas (deslizamiento del 20 %, γ = 0,9)

Seguimos dos casillas de la fila central: A, justo a la izquierda del objetivo grande +10, y B, una casilla más allá, justo a la derecha del objetivo pequeño +1. Encima de B hay una pared, encima de A está libre, y debajo de ambas hay suelo normal.

ronda k	Vk(A)	mejor acción en A	Vk(B)	mejor acción en B
1	8,000	→	0,800	←
2	8,000	→	5,832	→
3	9,166	→	6,343	→

Ronda 1 (en todas partes V₀ = 0): desde A, el paso a la derecha lleva con probabilidad 0,8 al objetivo, es decir, 0,8 · 10 = 8,000. Desde B todavía no se ve nada lejano; lo mejor es un paso a la izquierda, hacia el objetivo pequeño: 0,8 · 1 = 0,800.

Ronda 2: desde B hacia la derecha se llega a A, que ya tiene valor 8: 0,8 · 0,9 · 8 = 5,76, más 0,1 · 0,9 · 0,8 = 0,072 por resbalar hacia arriba (pared, se queda en B con V₁ = 0,8) y 0 por resbalar hacia abajo — en total 5,832. La mejor acción en B ha pasado de ← a →: la información sobre el objetivo grande ha viajado una casilla más.

max_s |V_k+1(s) − V_k(s)| ≤ γ^k · max_s |V₁(s) − V₀(s)|

max |V_k+1 − V_k|

el mayor cambio en la ronda k + 1 — lo que vigila el cálculo y según lo cual se detiene; en la gráfica de abajo, la línea verde (γ = 0,9) y la azul (γ = 0,99)

γ^k

cada ronda reduce la diferencia entre dos estimaciones al menos γ veces (contracción); tras k rondas, por tanto, γ^k veces — de ahí la convergencia lenta para γ cercano a 1

max |V₁ − V₀|

el tamaño del primer cambio; con V₀ = 0 es la mayor recompensa esperada por un solo paso, en nuestro caso como mucho 10 — de ahí la cota discontinua 10 · γ^k de la gráfica

Con γ = 0,9, los valores se estabilizan (cambio por debajo de 10⁻⁶) tras 50 iteraciones; con γ = 0,99, tras 77. El error disminuye más deprisa de lo que garantiza la cota γ^k — esta se cumple siempre, pero en un mundo concreto suele ser pesimista. Cuanto más cerca de uno está γ, más lejos en el futuro tiene que propagarse la información y más tarda el cálculo.

5. Qué cambian el descuento, el deslizamiento y el coste del paso

Ahora viene lo más interesante. El mismo mundo, solo con otros ajustes — y la política óptima es completamente distinta.

Sobre suelo firme, el camino más corto al objetivo grande va pegado al acantilado: 6 pasos y un valor del inicio de 5,90. Cuando el suelo resbala, el borde del acantilado es peligroso — cada paso por allí supone una probabilidad del 10 % de caer. Por eso la política óptima rodea las paredes por arriba: 10 pasos en lugar de 6, pero solo cae al acantilado en el 0,7 % de los episodios. Si sobre suelo resbaladizo usáramos la política arriesgada, el agente caería en el 30 % de los casos y el valor del inicio bajaría a 0,64 en lugar de 2,85.

Con γ = 0,5, el objetivo grande está tan lejos que no compensa — +10 dentro de 10 pasos pesa hoy solo 10 · 0,5¹⁰ ≈ 0,01. El agente va con cuidado por arriba hacia el objetivo pequeño. Cuando, en cambio, cada paso cuesta −1, compensa arriesgarse: el agente va hacia el objetivo grande por el borde del acantilado y cae en el 27 % de los episodios. El camino largo y seguro le costaría más que la pérdida media por caída.

La columna «simulación» es una comprobación: el retorno medio de 10 000 episodios siguiendo la política encontrada, con deslizamiento aleatorio. El retorno medio se diferencia del valor calculado del inicio como mucho en unas centésimas — la ecuación de Bellman calcula de verdad el retorno esperado.

Moraleja para las aplicaciones reales: el comportamiento del agente no lo determina solo «cuál es el objetivo», sino también detalles como el descuento y el coste por paso. Quien diseña las recompensas diseña el comportamiento — también el que no quería.

6. Iteración de políticas

Definición — iteración de políticas

La iteración de políticas (Ronald Howard, 1960) alterna dos pasos. Evaluación: para una política fija π, calcula V^π resolviendo el sistema V^π(s) = ∑_s′ P(s′ | s, π(s)) [R + γ V^π(s′)]. Mejora: en cada estado, elige la acción con el mayor valor según V^π. Cuando la política deja de cambiar, es óptima.

# iteración de políticas
π = «arriba en todas partes»
repite:
    # evaluación: V^π resolviendo el sistema (aquí, por sustitución repetida)
    V = 0
    repite mientras V cambie en más de 10⁻⁹:
        V(s) = ∑ sobre s′ ( P(s′ | s, π(s)) · (R + γ · V(s′)) )   para cada s
    # mejora: en cada estado, la mejor acción según V^π
    π_nueva(s) = argmax sobre a  ∑ sobre s′ ( P(s′ | s, a) · (R + γ · V(s′)) )
    cambiados = número de estados donde π_nueva(s) ≠ π(s)
    π = π_nueva
hasta que cambiados = 0

Teorema — de mejora de la política

Si la nueva política π′ elige en cada estado la acción con el mayor Q^π(s, a), entonces V^π′(s) ≥ V^π(s) en todos los estados. Si π′ no se diferencia de π, V^π cumple la ecuación de optimalidad de Bellman y, por tanto, π es óptima.

Esbozo de la demostración. Por la elección de π′, V^π(s) = Q^π(s, π(s)) ≤ Q^π(s, π′(s)) = E[r + γ V^π(s′)]. En V^π(s′) sustituimos la misma desigualdad, y luego otra vez… Tras desarrollarlo todo queda el retorno esperado de la política que juega π′ en todos los pasos, es decir, V^π′(s). ∎

Hay un número finito de políticas deterministas — en nuestro caso 4 acciones en 19 casillas no terminales, es decir, 4¹⁹ ≈ 2,7 · 10¹¹. Ninguna puede repetirse (cada ronda mejora el valor o termina), así que la iteración de políticas termina siempre. En realidad bastan sorprendentemente pocas rondas: en nuestro caso, 6.

Sobre suelo resbaladizo con γ = 0,9 y la política «arriba en todas partes» al principio:

Tras 6 rondas, la política es la misma que la de la iteración de valores. Hay pocas rondas, pero cada una contiene una evaluación completa (en nuestro caso, de decenas a cientos de pasadas por el mundo). Cuál de los dos métodos es más rápido depende del problema; en la práctica se combinan.

7. Cuando no conocemos las reglas del mundo

Todo lo anterior supone que conocemos P y R — que podemos «mirar las reglas». Eso es planificación (programación dinámica). En el aprendizaje por refuerzo real, el agente es lanzado a un mundo cuyas reglas no conoce: tiene que probar, acumular experiencia y estimar los valores a partir de ella. Pero la ecuación de Bellman sigue siendo el corazón de casi todos los métodos — solo que, en lugar del promedio exacto sobre P, se usa una muestra de un único paso real. Eso es Q-learning, el tema de la próxima parte.

El mismo marco describe un robot que aprende a andar, la gestión de existencias en un almacén, un sistema de recomendación y también un modelo de lenguaje entrenado con preferencias humanas en la parte sobre RLHF — allí el estado es el texto hasta el momento, la acción el siguiente token y la recompensa la valoración de la respuesta.

8. Resumen

• MDP = estados, acciones, transiciones aleatorias, recompensas y descuento; el estado siguiente depende solo del estado actual y de la acción.
• El valor de un estado es el retorno descontado esperado; los valores óptimos cumplen la ecuación de Bellman.
• La iteración de valores repite la ecuación de Bellman; el error disminuye al menos como γ^k (en nuestro caso, 50 iteraciones para γ = 0,9).
• El deslizamiento aleja el camino del acantilado (caída del 0,7 % en lugar del 30 %), un γ pequeño lleva al objetivo pequeño y cercano, y el coste por paso, a arriesgarse.
• La iteración de políticas alterna evaluación y mejora; en nuestro caso, 6 rondas.
• Sin conocer las reglas del mundo, los valores hay que aprenderlos de la experiencia — eso es el aprendizaje por refuerzo.

¿Quieres probarlo tú mismo? Pide a un agente de IA que programe este mundo con acantilado y que permita cambiar de forma interactiva γ, el deslizamiento y el coste del paso — y observa cuándo la política «salta» de un camino a otro.

¿Lo ves de otra manera? Escribe a support@coden-app.com.