Evaluación y seguridad de los sistemas de IA: cómo medir y cómo vigilar

Los benchmarks y la incertidumbre de la medición, cómo elegir según el conjunto de prueba infla los resultados, la contaminación de datos en un experimento, los tipos de riesgo, el filtro de comandos del agente como prohibición frente a permiso y la defensa en profundidad.

12 minutos Matěj Žalmánek 2026-10-16

Serie Fundamentos de IA Parte 52 de 52

1. Mapa de la inteligencia artificial: qué es cada cosa y cómo encaja todo
2. Breve historia de la inteligencia artificial: de Turing a los modelos de lenguaje
3. Datos, modelo, entrenamiento, inferencia: los conceptos básicos en un solo ejemplo
4. Cómo leer la notación matemática: símbolos, subíndices, sumatorios y cuantificadores
5. Conjuntos y relaciones: las piezas con las que se construyen las definiciones en IA
6. Funciones y aplicaciones: por qué todo modelo de IA es una función
7. Lógica y demostraciones: las reglas con las que se razona en IA
8. Grafos y árboles: la estructura sobre la que se apoyan la búsqueda y las redes neuronales
9. Álgebra lineal para aprendizaje automático: vectores, matrices y por qué la IA sobre todo multiplica
10. Derivadas, gradiente y regla de la cadena: cómo sabe un modelo en qué dirección aprender
11. Descenso de gradiente: cómo aprende un modelo
12. Qué es la probabilidad: del lanzamiento de un dado a los axiomas de Kolmogórov
13. Probabilidad condicionada y teorema de Bayes: cómo cambiar una estimación cuando te enteras de algo nuevo
14. Variable aleatoria y función de distribución: una sola función que lo dice todo sobre la distribución
15. Función de densidad y función de probabilidad: por qué una variable continua tiene probabilidad cero en cada punto
16. Esperanza, varianza y covarianza: dónde está una distribución, qué anchura tiene y qué se relaciona con qué
17. Resumen de las distribuciones de probabilidad: Bernoulli, binomial, Poisson, uniforme, normal y exponencial
18. Ley de los grandes números y teorema central del límite: por qué las medias se comportan de forma tan predecible
19. Estadística y estimación de parámetros: máxima verosimilitud, MAP e intervalos de confianza
20. Teoría de la información: entropía, entropía cruzada y divergencia KL, el origen de las funciones de pérdida
21. Búsqueda en el espacio de estados: BFS, DFS, UCS y A* con animaciones
22. Juegos y adversarios: minimax, poda alfa-beta y Monte Carlo tree search
23. Satisfacción de restricciones: backtracking, propagación de restricciones y AC-3 con un sudoku y un mapa de regiones checas
24. Lógica y sistemas basados en conocimiento: encadenamiento hacia delante y hacia atrás, resolución y sistemas expertos
25. Planificación: STRIPS, el mundo de bloques, heurísticas a partir de la relajación y la planificación en los agentes de IA
26. Búsqueda local y recocido simulado: un viajante por las capitales regionales checas
27. Algoritmos genéticos: población, cruce, mutación y selección en una mochila para la excursión
28. Estrategias evolutivas y programación genética: de la regla de un quinto a la ley de Kepler
29. Optimización por colonia de hormigas: cómo un rastro de feromona encuentra un camino corto
30. Optimización por enjambre de partículas: inercia, experiencia propia y experiencia del enjambre
31. Neuroevolución: evolución de los pesos y la forma de las redes neuronales, y el algoritmo NEAT
32. Conjuntos difusos y funciones de pertenencia: cómo escribir «algo cálido»
33. Lógica difusa y probabilidad: por qué «algo cálido» no significa «probablemente cálido»
34. Lógica difusa: t-normas, implicaciones y reglas SI–ENTONCES
35. Control difuso: Mamdani y Sugeno, del ventilador al péndulo invertido sobre un carro
36. Agrupamiento difuso: el algoritmo fuzzy c-means y los puntos entre clusters
37. Sistemas neuro-difusos (ANFIS): reglas difusas que aprenden de los datos
38. Cadenas de Markov: matriz de transición, distribución estacionaria y PageRank
39. Modelos ocultos de Márkov: el algoritmo de Viterbi y el casino deshonesto
40. Redes bayesianas: por qué está mojada la hierba y qué significa eso para el aspersor
41. El filtro de Kalman: cómo estimar a partir de mediciones imprecisas dónde está un coche y a qué velocidad va
42. Tipos de aprendizaje automático: supervisado, no supervisado, semisupervisado y más
43. Prompts, contexto y RAG: cómo darle a un modelo la información correcta
44. Autocodificadores variacionales (VAE): imágenes nuevas a partir de un espacio latente continuo
45. Redes generativas adversarias (GAN): el falsificador contra el detective
46. Modelos de difusión: cómo el ruido puro se convierte en una imagen
47. Procesos de decisión de Markov: estados, acciones, recompensas y ecuaciones de Bellman
48. Q-learning y DQN: aprender el valor de las acciones, de la tabla a la red neuronal
49. Gradiente de la política y PPO: aprender directamente la política
50. Cómo funciona un agente de IA: un modelo de lenguaje en un bucle con herramientas
51. Programación con agentes de IA: encargo, pruebas y revisión
52. Evaluación y seguridad de los sistemas de IA: cómo medir y cómo vigilar

Temario completo de la serie 52 de 83 temas publicados

«El nuevo modelo es 3 puntos mejor». «El agente es seguro, tiene prohibidos los comandos peligrosos». Las dos frases suenan tranquilizadoras y las dos pueden ser falsas sin que nadie mienta. La primera por cómo se mide; la segunda por cómo se prohíbe. En la última parte del módulo sobre agentes veremos las dos preguntas que más se plantean sobre los sistemas de IA: cómo saber qué saben hacer de verdad y cómo conseguir que no hagan lo que no deben.

Continúa las partes Evaluación de modelos, Cómo funciona un agente de IA y Programación con agentes de IA.

1. Cómo se mide lo que sabe hacer un modelo

Definición — benchmark

Un benchmark es un conjunto fijo de tareas con respuestas correctas conocidas y una regla de puntuación, con el que se comparan los modelos: preguntas de opción múltiple de muchas disciplinas (MMLU), problemas de matemáticas con enunciado (GSM8K), correcciones de errores reales en proyectos de código abierto verificadas con tests (SWE-bench). El resultado suele ser la proporción de tareas resueltas correctamente. Lo complementan las comparaciones hechas por personas (la gente vota cuál de dos respuestas anónimas es mejor) y tus propias pruebas sobre las tareas que te importan a ti.

Pero incluso un examen honesto tiene una precisión limitada. Un modelo que resuelve el 82 % de 200 tareas tiene un intervalo de confianza del 95 % entre 76,1 y 86,7 %; un modelo con el 85 %, entre 79,4 y 89,3 %. Los intervalos se solapan en gran parte: con una medición así no se puede decir cuál es mejor. Con 2 000 tareas, el intervalo para el 82 % quedaría ya solo entre 80,3 y 83,6 %. Siempre que veas una diferencia de unos pocos puntos porcentuales, pregunta con cuántas tareas se midió.

Definición — intervalo de confianza del 95 %

El modelo resuelve cada tarea con una probabilidad desconocida p; en n tareas medimos la proporción p̂. Un intervalo de confianza del 95 % es un procedimiento que, a partir de p̂ y n, calcula un intervalo de modo que, si repitiéramos la medición con conjuntos nuevos, contendría el p real en el 95 % de los casos. No es la afirmación «p está en el intervalo con una probabilidad del 95 %»: lo aleatorio es el intervalo, no p.

En esta parte calculamos los intervalos con la fórmula de Wilson (Edwin B. Wilson, 1927). A diferencia de la sencilla p̂ ± 1,96 · √(p̂(1 − p̂) / n), no se sale de 0 y 100 % y funciona también para proporciones cercanas a los extremos:

( p̂ + z² / 2n ± z √( p̂(1 − p̂) / n + z² / 4n² ) ) / ( 1 + z² / n )

p̂

proporción medida de respuestas correctas: el punto de partida alrededor del cual construimos el intervalo

z² / 2n

desplazamiento hacia el centro: como si añadiéramos a los resultados z²/2 ≈ 2 respuestas correctas y 2 incorrectas. Así un conjunto pequeño no puede afirmar «100 %, intervalo de anchura cero»

z √(…)

la mitad de la anchura del intervalo; el primer término bajo la raíz es la varianza de la proporción medida, que disminuye con n; por eso cuatro veces más tareas dan solo un intervalo la mitad de ancho

1 + z² / n

el denominador devuelve el centro desplazado y la anchura a la escala correcta; para n grande es casi 1 y la fórmula pasa a ser la sencilla p̂ ± z · √(p̂(1 − p̂) / n)

Ejemplo — intervalo para el 82 % de 200 tareas y diferencia entre dos modelos

z² = 1,96² = 3,8416. Centro: 0,82 + 3,8416 / 400 = 0,8296. Mitad de la anchura: 1,96 · √(0,82 · 0,18 / 200 + 3,8416 / 160 000) = 1,96 · √(0,000738 + 0,000024) = 0,0541. Denominador: 1 + 3,8416 / 200 = 1,0192.

Intervalo: de (0,8296 − 0,0541) / 1,0192 = 0,7609 a (0,8296 + 0,0541) / 1,0192 = 0,8671, es decir, entre 76,1 y 86,7 %.

¿Es real la diferencia del 85 % frente al 82 %? El error estándar de la diferencia entre dos proporciones independientes es √(0,82 · 0,18 / 200 + 0,85 · 0,15 / 200) = 0,0371, así que el intervalo del 95 % para la diferencia es 3 ± 1,96 · 3,71 = 3 ± 7,3 puntos. Contiene el cero: la diferencia no se puede distinguir del azar. (Cuando los dos modelos resuelven las mismas tareas, se puede medir con más sensibilidad de forma pareada, solo en las tareas en las que difieren).

¿Cuántas tareas hacen falta para que la mitad de la anchura sea 1 punto? De z √(p(1 − p) / n) ≤ 0,01 se sigue n ≥ z² p(1 − p) / 0,01² = 3,8416 · 0,82 · 0,18 / 0,0001 ≈ 5 671 tareas.

2. El conjunto de prueba se desgasta

Definición — sobreajuste adaptativo al conjunto de prueba

Cuando se elige repetidamente según los resultados en el mismo conjunto de prueba (la mejor de muchas variantes, configuraciones, prompts), el resultado deja de ser una estimación imparcial. La variante elegida es la mejor en parte solo porque el azar la favoreció en ese conjunto. Con datos nuevos le irá peor. De forma más general lo resume la ley de Goodhart: cuando una medida se convierte en objetivo, deja de medir bien.

Experimento: medimos K variantes de un modelo, todas con una precisión real del 70 %, en el mismo conjunto y anunciamos el resultado de la mejor. Media de 300 repeticiones:

En un conjunto de 100 tareas, elegir entre 100 variantes anuncia de media un 81,1 %, y entre 500 variantes un 83,2 %: 13 puntos más de lo que cualquiera de ellas sabe hacer de verdad. Un conjunto mayor ayuda (con 1 000 tareas, 73,6 %), pero el problema no desaparece. En el experimento, las variantes se equivocan de forma independiente; las variantes reales de un mismo modelo se parecen en sus errores, así que el efecto suele ser menor, aunque va en la misma dirección. La protección: elegir en un conjunto (el de validación) y medir la cifra final una sola vez en otro conjunto distinto y sin tocar.

Por qué sale así se puede calcular con exactitud. El número de tareas X que resuelve una variante sigue una distribución binomial Bin(n, 0,7). La mejor de K variantes llega al menos a t tareas cuando lo consigue al menos una de ellas:

P(max ≥ t) = 1 − ( 1 − P(X ≥ t) )^K

P(X ≥ t)

probabilidad de que una variante resuelva por casualidad al menos t tareas; para t por encima del nivel real es pequeña, y precisamente de ella vive la selección

K

número de variantes probadas; está en el exponente porque (1 − P)^K es la probabilidad de que no lo consiga ninguna de las variantes independientes

P(max ≥ t)

probabilidad de que el resultado anunciado (el mejor) llegue a t; al crecer K se acerca a uno incluso para t altos

Ejemplo — el 80 % de 100 tareas

Una variante: X ~ Bin(100; 0,7) tiene valor esperado 70 y desviación típica √(100 · 0,7 · 0,3) = 4,58 tareas. Resuelve al menos 80 tareas con probabilidad P(X ≥ 80) = 0,0165, es decir, en torno al 1,6 % de los casos: más de dos desviaciones típicas por encima de la media.

Con 100 variantes: P(max ≥ 80) = 1 − (1 − 0,0165)¹⁰⁰ = 0,810. El resultado «80 % o más», que en una sola variante es una rareza, lo anunciaremos en cuatro de cada cinco experimentos.

El valor esperado del mejor resultado se puede calcular con la fórmula sin simulación: E[max] = ∑_t=1ⁿ P(max ≥ t). Sale 81,1 % para 100 variantes, 83,2 % para 500 variantes y 73,6 % para 100 variantes en un conjunto de 1 000 tareas: lo mismo que dio la simulación con 300 repeticiones (81,1, 83,2 y 73,6 %).

3. Contaminación: el modelo ha visto las respuestas

Definición — contaminación de datos

La contaminación se produce cuando las tareas de prueba (o copias muy parecidas) acaban en los datos de entrenamiento. En los grandes modelos de lenguaje, entrenados con una gran parte de internet, es un problema serio: los benchmarks son públicos, a menudo incluso con las soluciones, y el modelo puede haberlos memorizado. El resultado medido mide entonces la memoria, no la capacidad.

Experimento con los dígitos de 8 × 8 de la parte sobre agrupamiento: un clasificador del vecino más cercano aprende solo de tres ejemplos de cada cifra, así que con 200 dígitos de prueba logra honestamente un 60 %. Después, una parte de los dígitos de prueba se «filtra» a los datos de entrenamiento:

ŷ(x) = y_i*,   i* = argmin_{i ∈ entrenamiento} ∑_j=1⁶⁴ (x_j − x_i,j)²

∑ (x_j − x_i,j)²

cuadrado de la distancia euclídea entre dos imágenes de 64 píxeles; es pequeño cuando las imágenes se parecen

argmin_{i ∈ entrenamiento}

qué ejemplo de entrenamiento está más cerca; se busca solo entre lo que el modelo «ha visto», y por eso la fuga de datos de prueba cambia directamente las respuestas

y_i*

la respuesta es la cifra del vecino más cercano; nada de generalizar, solo «se parece a aquello»

Con una fuga del 10 %, la precisión salta al 69 %; con el 25 %, al 79 %; con la mitad, al 92 %, y con todo el conjunto de prueba, al 100 %. Lo interesante es que mejoran también los dígitos que no se filtraron (con la fuga de la mitad, 86 % en lugar de 60 %): los ejemplos filtrados se parecen a los demás de prueba y, por tanto, ayudan también con ellos. Por eso no basta con comprobar si el modelo ha visto exactamente la misma pregunta: basta con que haya visto otras parecidas. La defensa: conjuntos de prueba no públicos, tareas nuevas creadas después de terminar el entrenamiento del modelo y comprobar si el modelo es capaz de «completar» la tarea de memoria.

4. Qué puede salir mal

La seguridad de los sistemas de IA no es una sola cosa. Ayuda distinguir de dónde viene el daño:

• Errores: el modelo se equivoca o se inventa cosas (alucinaciones) y una persona se lo cree.
• Uso indebido: alguien usa el modelo para hacer daño: correos fraudulentos, ayuda con un ataque, desinformación.
• Ataques al sistema: una inyección de prompts en un documento o en la web toma el control del agente; un «jailbreak» se salta las reglas del modelo.
• Acciones peligrosas: un agente con acceso al ordenador o a cuentas hace algo irreversible, aunque nadie lo quisiera.
• Desalineación de objetivos: el sistema optimiza exactamente lo que le pedimos en lugar de lo que queríamos (sobreoptimización de la recompensa). A medida que los sistemas son más autónomos, este es un tema de investigación y también de regulación.

5. Prohibir o permitir

Un ejemplo concreto de la práctica con agentes: el agente puede ejecutar comandos en la terminal. ¿Cómo evitar que ejecute algo peligroso? Comparamos dos filtros sobre 28 comandos: 12 habituales (tests, git, listar archivos) y 16 peligrosos (borrar, enviar datos fuera, ejecutar un script ajeno).

Definición — lista de prohibiciones y lista de permisos

Una lista de prohibiciones (denylist) bloquea los patrones peligrosos enumerados y deja pasar todo lo demás. Una lista de permisos (allowlist) deja pasar solo los comandos seguros enumerados y detiene todo lo demás; en un agente, normalmente de modo que tiene que darle el visto bueno una persona. El principio de seguridad del mínimo privilegio recomienda lo segundo.

La prohibición contiene los patrones «rm -rf», «curl | sh», «DROP TABLE», «--force», «.ssh». Los permisos dejan pasar solo listar y leer archivos, git sin escritura, ejecutar tests y crear una carpeta, y todo ello sin tuberías ni punto y coma.

la prohibición deja pasar c ⇔ ¬ ∃ z ∈ Z: z es subcadena de c
los permisos dejan pasar c ⇔ ∃ a ∈ A: c empieza por a ∧ c no contiene | ; & ` $

¬ ∃ z ∈ Z

prohibición: deja pasar todo aquello en lo que no encuentra ninguno de los patrones prohibidos. La respuesta por defecto es «sí»: cualquier forma de escribirlo que no se le ocurrió al autor pasa

∃ a ∈ A: c empieza por a

permisos: dejan pasar solo un comando que empiece por alguno de los prefijos permitidos. La respuesta por defecto es «no»: un comando desconocido espera a una persona

sin | ; & ` $

sin esto, un comienzo permitido se podría «alargar»: git status; rm -rf ~ empieza por el permitido git status

La prohibición detuvo solo 5 de los 16 comandos peligrosos. Basta con escribir rm -r -f en lugar de rm -rf, borrar archivos con find -delete o con Python, descargar un script con wget en lugar de curl, o codificar el comando en base64. Una lista de prohibiciones siempre va un paso por detrás del ingenio, y un modelo de lenguaje es ingenioso aunque no quiera hacer daño a nadie: solo busca otro camino para cumplir la tarea. Los permisos detuvieron todos los 16. El precio: 3 de los 12 comandos habituales (instalar una biblioteca, un commit, borrar un archivo temporal) tiene que aprobarlos una persona. Ese es exactamente el papel de la persona que supervisa al agente: decidir en los casos que las reglas no cubren.

Ejemplo — los filtros como clasificadores

Un filtro es un clasificador con la clase positiva «peligroso», así que se puede describir con las cifras de la parte sobre evaluación. La exhaustividad (TPR, proporción de comandos peligrosos detenidos) y la tasa de falsas alarmas (FPR, proporción de comandos habituales detenidos):

Prohibición: TPR = 5 / 16 = 0,313, FPR = 0 / 12 = 0,00. Permisos: TPR = 16 / 16 = 1,00, FPR = 3 / 12 = 0,25.

Aquí una falsa alarma cuesta unos segundos a una persona que hace clic en «aprobar»; un comando peligroso que se cuela puede costar el proyecto entero. Con costes tan desiguales compensa un filtro con exhaustividad alta aun a costa de falsas alarmas: es decir, los permisos.

6. Defensa en profundidad

Ninguna capa basta por sí sola: al modelo se le puede convencer, el filtro se puede sortear y la persona se cansa. Por eso las capas se combinan:

• Modelo: ajuste fino para que rechace peticiones dañinas y reconozca su incertidumbre (la parte sobre RLHF).
• Instrucciones y separación de los datos: el prompt de sistema; los textos de la web y de los documentos marcados como datos, no como órdenes.
• Permisos: herramientas con los mínimos derechos necesarios, listas de permisos, cuentas y claves separadas.
• Aislamiento: el agente se ejecuta en un contenedor o en una máquina virtual, sin acceso a lo que no necesita.
• Persona en el bucle: aprobación de los pasos irreversibles e inusuales.
• Registro y control: lo que hizo el agente se puede rastrear y deshacer después (git, copias de seguridad, logs).

P_daño = p₁ · p₂ · … · p_m

p₁

probabilidad de que la primera capa deje pasar la acción dañina (por ejemplo, que el modelo no la rechace)

p₂

probabilidad de que la deje pasar la segunda capa (el filtro de comandos); se multiplican porque la acción tiene que atravesar todas las capas

p_m

la última capa (aislamiento, copia de seguridad); cada capa adicional con p < 1 reduce el resultado, aunque ella sola sea débil

P_daño

probabilidad de que la acción dañina llegue hasta el final

Cuatro capas, cada una de las cuales deja pasar el 10 % de las acciones dañinas, dan 0,1⁴ = 0,0001: una de cada diez mil. Pero las capas no suelen ser independientes: una inyección de prompts que convence al modelo a menudo convence también a la persona que aprueba según la explicación del modelo. Si las capas de la segunda a la cuarta se dejaran engañar siempre que se engaña la primera, quedaría P_daño = 0,1. Por eso las capas deben basarse en principios distintos: el modelo, en el contenido; el filtro, en la sintaxis del comando; el aislamiento, en aquello a lo que el proceso tiene acceso siquiera.

Definición — red teaming y evaluación de capacidades peligrosas

El red teaming es la búsqueda deliberada de fallos: personas (y cada vez más a menudo otros modelos) intentan llevar al sistema a hacer lo que no debe, y las debilidades encontradas se corrigen. La evaluación de capacidades peligrosas mide si el modelo es capaz de tareas que podrían causar un daño grave (por ejemplo, ayudar en un ciberataque), y los grandes desarrolladores endurecen las protecciones según los resultados antes de publicar el modelo.

A las medidas técnicas se suma también la regulación. El Reglamento europeo de inteligencia artificial (AI Act, en vigor desde 2024 y aplicable de forma gradual) clasifica los sistemas según el riesgo: prohíbe directamente algunas prácticas e impone obligaciones detalladas a los sistemas de alto riesgo que deciden sobre personas, en la contratación, en los créditos o en la sanidad.

7. Resumen

• Un benchmark es un examen: útil para comparar, pero con una precisión limitada. Con 200 tareas, el 82 % tiene un intervalo entre 76,1 y 86,7 %.
• Elegir según el mismo conjunto de prueba infla el resultado: elegir entre 100 variantes con una precisión real del 70 % anuncia un 81,1 %.
• La contaminación mide la memoria en lugar de la capacidad; la fuga de la mitad de la prueba subió la precisión del 60 % al 92 %.
• Riesgos: errores, uso indebido, ataques al sistema, acciones peligrosas y desalineación de objetivos.
• La lista de prohibiciones detuvo 5 de los 16 comandos peligrosos; la lista de permisos, todos los 16, a costa de tener que aprobar.
• La seguridad se apoya en capas: modelo, separación de los datos, permisos, aislamiento, persona en el bucle y registro.

¿Quieres probarlo tú mismo? Escribe diez tareas de tu trabajo con sus resultados correctos y pide a un agente de IA que compare con ellas dos modelos, y que añada al resultado el intervalo de confianza. Después intenta inventar tres comandos que se salten el filtro de prohibiciones de tu agente.

¿Lo ves de otra manera? Escribe a support@coden-app.com.