Breve historia de la inteligencia artificial: de Turing a los modelos de lenguaje

El test de Turing, el taller de Dartmouth, los años dorados, dos inviernos de la IA y los sistemas expertos, el aprendizaje estadístico, el aprendizaje profundo y los modelos de lenguaje: una cronología con enlaces a las partes de la serie y la amarga lección de setenta años de investigación.

10 minutos Matěj Žalmánek 2026-10-16

Serie Fundamentos de IA Parte 2 de 52

1. Mapa de la inteligencia artificial: qué es cada cosa y cómo encaja todo
2. Breve historia de la inteligencia artificial: de Turing a los modelos de lenguaje
3. Datos, modelo, entrenamiento, inferencia: los conceptos básicos en un solo ejemplo
4. Cómo leer la notación matemática: símbolos, subíndices, sumatorios y cuantificadores
5. Conjuntos y relaciones: las piezas con las que se construyen las definiciones en IA
6. Funciones y aplicaciones: por qué todo modelo de IA es una función
7. Lógica y demostraciones: las reglas con las que se razona en IA
8. Grafos y árboles: la estructura sobre la que se apoyan la búsqueda y las redes neuronales
9. Álgebra lineal para aprendizaje automático: vectores, matrices y por qué la IA sobre todo multiplica
10. Derivadas, gradiente y regla de la cadena: cómo sabe un modelo en qué dirección aprender
11. Descenso de gradiente: cómo aprende un modelo
12. Qué es la probabilidad: del lanzamiento de un dado a los axiomas de Kolmogórov
13. Probabilidad condicionada y teorema de Bayes: cómo cambiar una estimación cuando te enteras de algo nuevo
14. Variable aleatoria y función de distribución: una sola función que lo dice todo sobre la distribución
15. Función de densidad y función de probabilidad: por qué una variable continua tiene probabilidad cero en cada punto
16. Esperanza, varianza y covarianza: dónde está una distribución, qué anchura tiene y qué se relaciona con qué
17. Resumen de las distribuciones de probabilidad: Bernoulli, binomial, Poisson, uniforme, normal y exponencial
18. Ley de los grandes números y teorema central del límite: por qué las medias se comportan de forma tan predecible
19. Estadística y estimación de parámetros: máxima verosimilitud, MAP e intervalos de confianza
20. Teoría de la información: entropía, entropía cruzada y divergencia KL, el origen de las funciones de pérdida
21. Búsqueda en el espacio de estados: BFS, DFS, UCS y A* con animaciones
22. Juegos y adversarios: minimax, poda alfa-beta y Monte Carlo tree search
23. Satisfacción de restricciones: backtracking, propagación de restricciones y AC-3 con un sudoku y un mapa de regiones checas
24. Lógica y sistemas basados en conocimiento: encadenamiento hacia delante y hacia atrás, resolución y sistemas expertos
25. Planificación: STRIPS, el mundo de bloques, heurísticas a partir de la relajación y la planificación en los agentes de IA
26. Búsqueda local y recocido simulado: un viajante por las capitales regionales checas
27. Algoritmos genéticos: población, cruce, mutación y selección en una mochila para la excursión
28. Estrategias evolutivas y programación genética: de la regla de un quinto a la ley de Kepler
29. Optimización por colonia de hormigas: cómo un rastro de feromona encuentra un camino corto
30. Optimización por enjambre de partículas: inercia, experiencia propia y experiencia del enjambre
31. Neuroevolución: evolución de los pesos y la forma de las redes neuronales, y el algoritmo NEAT
32. Conjuntos difusos y funciones de pertenencia: cómo escribir «algo cálido»
33. Lógica difusa y probabilidad: por qué «algo cálido» no significa «probablemente cálido»
34. Lógica difusa: t-normas, implicaciones y reglas SI–ENTONCES
35. Control difuso: Mamdani y Sugeno, del ventilador al péndulo invertido sobre un carro
36. Agrupamiento difuso: el algoritmo fuzzy c-means y los puntos entre clusters
37. Sistemas neuro-difusos (ANFIS): reglas difusas que aprenden de los datos
38. Cadenas de Markov: matriz de transición, distribución estacionaria y PageRank
39. Modelos ocultos de Márkov: el algoritmo de Viterbi y el casino deshonesto
40. Redes bayesianas: por qué está mojada la hierba y qué significa eso para el aspersor
41. El filtro de Kalman: cómo estimar a partir de mediciones imprecisas dónde está un coche y a qué velocidad va
42. Tipos de aprendizaje automático: supervisado, no supervisado, semisupervisado y más
43. Prompts, contexto y RAG: cómo darle a un modelo la información correcta
44. Autocodificadores variacionales (VAE): imágenes nuevas a partir de un espacio latente continuo
45. Redes generativas adversarias (GAN): el falsificador contra el detective
46. Modelos de difusión: cómo el ruido puro se convierte en una imagen
47. Procesos de decisión de Markov: estados, acciones, recompensas y ecuaciones de Bellman
48. Q-learning y DQN: aprender el valor de las acciones, de la tabla a la red neuronal
49. Gradiente de la política y PPO: aprender directamente la política
50. Cómo funciona un agente de IA: un modelo de lenguaje en un bucle con herramientas
51. Programación con agentes de IA: encargo, pruebas y revisión
52. Evaluación y seguridad de los sistemas de IA: cómo medir y cómo vigilar

Temario completo de la serie 52 de 83 temas publicados

La inteligencia artificial no es nueva. Su historia es más antigua que los ordenadores personales y recuerda a una montaña rusa: periodos de entusiasmo y grandes promesas, seguidos de desencanto y fuga de dinero —los «inviernos»—, y luego un nuevo auge cuando resultaba que una vieja idea de pronto funcionaba. La mayoría de las ideas en las que se basan los modelos de lenguaje actuales se inventaron hace décadas. En esta parte las recorremos en el orden en que llegaron, y en cada una que explicamos en la serie encontrarás un enlace a la parte correspondiente.

Continúa la parte Mapa de la inteligencia artificial.

1. Los comienzos: ¿puede pensar una máquina?

Definición — test de Turing

En 1950 Alan Turing sustituyó la vaga pregunta «¿pueden pensar las máquinas?» por una prueba: un juez se escribe con dos interlocutores ocultos, una persona y una máquina, y debe averiguar quién es quién. Si la máquina logra disimular tan bien como una persona, según Turing no tenemos motivo para negarle la inteligencia. El propio Turing hablaba del «juego de imitación».

Definición — el test de Turing como prueba estadística

El juez mantiene n conversaciones independientes y en cada una determina qué interlocutor es la máquina. Sea S el número de aciertos. Si la máquina es indistinguible de una persona, el juez solo adivina y S ~ Bin(n, ½), es decir, ES = n/2 y la desviación típica es σ = √n / 2. La máquina supera el test si el resultado no difiere estadísticamente del azar: |z| < 1,96 (prueba bilateral al nivel del 5 %, aproximación normal de la distribución binomial).

Nota. Esta es una formalización actual, no la de Turing. Turing describió el test en 1950 con palabras y, en lugar de un umbral, dio una predicción: hacia el año 2000, un juez medio, tras cinco minutos de conversación, no identificaría correctamente a la máquina con una probabilidad superior al 70 %.

z = (S − n/2) / √n / 2

S

cuántas veces reconoció el juez a la máquina: lo único que se mide en el test

n/2

cuántas veces acertaría adivinando sin más; lo restamos porque solo interesa lo que está por encima del azar

√n / 2

la dispersión típica de adivinar; al dividir comparamos el exceso con el ruido habitual: 6 de más en 100 conversaciones no es lo mismo que 6 de más en 10 000

Ejemplo — 100 conversaciones

El juez reconoció a la máquina en 56 de 100 conversaciones. Adivinando esperaría 100/2 = 50, la desviación es √100 / 2 = 5, así que z = (56 − 50) / 5 = 1,2. Es menos que 1,96: no difiere del azar y la máquina superó el test. No lo habría superado si el juez hubiera acertado al menos 50 + 1,96 · 5 = 59,8, es decir, en 60 conversaciones.

• 1943 Neurona artificial. Warren McCulloch y Walter Pitts describieron la neurona como un elemento lógico con umbral. → parte de la serie
• 1950 Test de Turing. Alan Turing, en el artículo Computing Machinery and Intelligence, propuso el juego de imitación en lugar de la pregunta «¿piensan las máquinas?».
• 1950 Ajedrez por búsqueda. Claude Shannon describió cómo jugaría al ajedrez un ordenador: buscar jugadas hasta cierta profundidad y evaluar las posiciones con una función. → parte de la serie

2. Los años dorados (1956–1974)

En un taller en Dartmouth en el verano de 1956 se reunieron personas que creían que «cada aspecto del aprendizaje o cualquier otro rasgo de la inteligencia puede, en principio, describirse con tanta precisión que una máquina pueda simularlo». Siguieron dos décadas de optimismo. Los programas demostraban teoremas, resolvían problemas verbales, jugaban a las damas y hablaban de bloques sobre una mesa. Herbert Simon predijo en 1965 que en veinte años las máquinas serían capaces de hacer cualquier trabajo que hace una persona.

• 1956 Taller de Dartmouth. John McCarthy, Marvin Minsky, Nathaniel Rochester y Claude Shannon convocaron un taller de verano; el nombre «artificial intelligence» se impuso.
• 1956 Logic Theorist. Allen Newell y Herbert Simon: un programa que demostraba teoremas matemáticos mediante búsqueda. → parte de la serie
• 1958 Perceptrón. Frank Rosenblatt construyó una neurona que aprende; los periódicos escribían sobre una máquina que andaría y hablaría. → parte de la serie
• 1959 Aprendizaje automático. Arthur Samuel: un programa de damas que mejoraba jugando contra sí mismo. De él viene la expresión machine learning. → parte de la serie
• 1960 Filtro de Kalman. Rudolf Kálmán: estimación del estado a partir de mediciones ruidosas; voló con el Apolo. → parte de la serie
• 1965 Conjuntos difusos. Lotfi Zadeh introdujo la pertenencia a un conjunto como un número entre 0 y 1. → parte de la serie
• 1966 ELIZA. Joseph Weizenbaum escribió un programa que imitaba a un psicoterapeuta con unas pocas reglas, y la gente le confiaba sus secretos.
• 1969 El libro Perceptrons. Marvin Minsky y Seymour Papert mostraron lo que una sola neurona no puede hacer (XOR); el interés por las redes neuronales decayó. → parte de la serie
• 1971 Shakey y STRIPS. El robot Shakey de Stanford planificaba sus pasos en el lenguaje STRIPS. → parte de la serie
• 1973 Informe Lighthill. El Gobierno británico encargó evaluar los resultados de la IA; el informe fue crítico y la financiación se recortó.

El perceptrón: la primera neurona que aprende

Definición — perceptrón

Un perceptrón con pesos w ∈ ℝ^d y sesgo b ∈ ℝ asigna una entrada x ∈ ℝ^d a la clase +1 si w · x + b > 0 y, si no, a la clase −1 (w · x = w₁x₁ + … + w_dx_d es el producto escalar). En un ejemplo (x, y) con la clase correcta y ∈ {−1, +1} se equivoca si y · (w · x + b) ≤ 0. La frontera w · x + b = 0 es una recta (en general, un hiperplano).

La regla de Rosenblatt corrige los pesos solo cuando el perceptrón se equivoca:

w ← w + η · y · x

w

los pesos: lo único que se aprende; el nuevo valor es el antiguo más una corrección, así que se aprende poco a poco, un ejemplo tras otro

η

tasa de aprendizaje: lo grande que es el paso; en un perceptrón que parte de ceros solo escala todos los pesos por igual y, por tanto, no cambia la frontera

y

la clase correcta ±1: fija la dirección; un ejemplo positivo atrae los pesos hacia sí, uno negativo los aleja

x

la entrada en la que se equivocó: la corrección apunta justo ahí; una entrada con valor 0 no contribuyó al error y por eso su peso no cambia

perceptron(data, η):
    w ← (0, …, 0);  b ← 0
    repetir:
        chyb ← 0
        para cada ejemplo (x, y) en data:
            si y · (w · x + b) ≤ 0:              # se equivocó (o está en la frontera)
                w ← w + η · y · x
                b ← b + η · y
                chyb ← chyb + 1
    mientras chyb > 0                            # una época entera sin errores: listo
    devolver w, b

Ejemplo — un perceptrón aprende AND

Datos: (0, 0) → −1, (0, 1) → −1, (1, 0) → −1, (1, 1) → +1; η = 1, inicio w = (0, 0), b = 0.

1. (0, 0), y = −1: −1 · (0 + 0) = 0 ≤ 0, error. w = (0, 0) + (−1) · (0, 0) = (0, 0), b = 0 − 1 = −1.
2. (0, 1) y (1, 0): −1 · (0 − 1) = 1 > 0, correcto, nada cambia.
3. (1, 1), y = +1: 1 · (0 + 0 − 1) = −1 ≤ 0, error. w = (0, 0) + (1, 1) = (1, 1), b = −1 + 1 = 0.

Y así sigue: 18 correcciones en total, la última en la época 8, y el resultado es w = (3, 2), b = −4. Comprobación: 3 · 1 + 2 · 1 − 4 = 1 > 0 y, para las demás entradas, −4, −2, −1 < 0.

Teorema — un perceptrón no puede con XOR (Minsky y Papert, 1969)

No existen w₁, w₂, b tales que un perceptrón clasifique correctamente (0, 0) → −1, (1, 1) → −1, (0, 1) → +1, (1, 0) → +1.

Demostración. Una clasificación correcta significaría b ≤ 0, w₁ + w₂ + b ≤ 0, w₂ + b > 0 y w₁ + b > 0. Sumando las dos últimas desigualdades, w₁ + w₂ + 2b > 0, es decir, w₁ + w₂ + b > −b ≥ 0, lo que contradice la segunda desigualdad. ∎

3. Dos inviernos y los sistemas expertos (1974–1993)

Definición — invierno de la inteligencia artificial

Un invierno de la IA es un periodo en el que, tras promesas incumplidas, la financiación y el interés por el campo caen bruscamente. Se suele hablar de dos: aproximadamente 1974–1980 (tras el informe Lighthill en el Reino Unido y los recortes de la agencia de subvenciones estadounidense DARPA) y 1987–1993 (tras el hundimiento del mercado de ordenadores especializados para el lenguaje Lisp y el desencanto con los sistemas expertos).

Entre los inviernos llegó una ola de sistemas expertos: en lugar de inteligencia general, un campo estrecho y cientos de reglas redactadas con especialistas («si temperatura > 38 y … entonces …»). Funcionaban y daban dinero. Pero las reglas eran difíciles de mantener, los sistemas no sabían hacer nada fuera de su campo y no podían aprender. A la sombra de aquella época, sin embargo, volvieron discretamente las redes neuronales: la retropropagación (1986) mostró cómo entrenar redes de varias capas.

• 1975 Algoritmos genéticos. John Holland sintetizó la evolución de una población de soluciones con cruce y mutación. → parte de la serie
• 1980 Sistemas expertos. XCON (R1) configuraba ordenadores de la empresa DEC con reglas de expertos y ahorraba millones de dólares al año. → parte de la serie
• 1986 Retropropagación. David Rumelhart, Geoffrey Hinton y Ronald Williams mostraron cómo entrenar redes de varias capas. → parte de la serie
• 1988 Redes bayesianas. Judea Pearl: razonamiento probabilístico sobre un grafo de dependencias. → parte de la serie
• 1989 Redes convolucionales. Yann LeCun enseñó a una red convolucional a leer códigos postales escritos a mano. → parte de la serie
• 1989 Q-learning. Christopher Watkins: aprender el valor de las acciones sin conocer las reglas del mundo. → parte de la serie

Retropropagación: cómo entrenar varias capas

Definición — retropropagación (backpropagation)

La retropropagación es un algoritmo que, para una red formada por capas h_l = φ(W_lh_l−1 + b_l), calcula el gradiente de la pérdida L respecto a todos los pesos. Calcula las derivadas desde la salida hacia la entrada según la regla de derivación de la función compuesta (la regla de la cadena) y reutiliza cada resultado intermedio, de modo que el gradiente completo cuesta del mismo orden que una pasada hacia delante por la red.

Para una sola neurona ŷ = σ(z), z = wx + b con la pérdida L = ½(ŷ − y)², la cadena es así:

∂L/∂w = ∂L/∂ŷ · ∂ŷ/∂z · ∂z/∂w

∂L/∂w

lo que queremos: cómo cambia el error si movemos el peso; el signo dice en qué dirección desplazarlo

∂L/∂ŷ

= ŷ − y: cuánto depende el error de la salida; aquí empieza la pasada hacia atrás

∂ŷ/∂z

= ŷ(1 − ŷ) en la sigmoide: lo sensible que es la activación; en una neurona saturada es casi 0 y el aprendizaje se detiene

∂z/∂w

= x: cuánto aportó el peso a la suma; en una red de varias capas aquí está la salida de la capa anterior y la cadena continúa hacia atrás

Ejemplo — un paso de aprendizaje

x = 1, w = 0,5, b = 0, respuesta correcta y = 1. Hacia delante: z = 0,5, ŷ = σ(0,5) = 1 / (1 + e^−0,5) = 0,6225, L = ½ · (0,6225 − 1)² = 0,0713.

Hacia atrás: ∂L/∂ŷ = −0,3775, ∂ŷ/∂z = 0,6225 · 0,3775 = 0,2350, ∂z/∂w = 1. Producto: ∂L/∂w = −0,0887.

Paso con η = 1: w ← 0,5 − 1 · (−0,0887) = 0,5887. El gradiente es negativo, así que el peso crece y la salida se acerca a 1.

zpětné_šíření(x, y):
    h₀ ← x                                   # hacia delante: guarda los resultados intermedios
    para l = 1 … L:
        zₗ ← Wₗ · hₗ₋₁ + bₗ
        hₗ ← φ(zₗ)
    δ ← ∂Ztráta/∂h_L                         # hacia atrás: empieza por el error de la salida
    para l = L … 1:
        δ ← δ ⊙ φ′(zₗ)                       # a través de la activación (componente a componente)
        ∂Ztráta/∂Wₗ ← δ · hₗ₋₁ᵀ               # gradiente de los pesos de esta capa
        ∂Ztráta/∂bₗ ← δ
        δ ← Wₗᵀ · δ                          # envía la culpa una capa más abajo
    devolver todos los ∂Ztráta/∂Wₗ, ∂Ztráta/∂bₗ

En profundidad: Una red neuronal desde cero.

4. Aprendizaje estadístico (1993–2012)

El campo se transformó. En lugar de «programemos la inteligencia» llegó «aprendámoslo de los datos», y con ello la probabilidad, la estadística y la medición cuidadosa. El reconocimiento de voz, los filtros de spam, las recomendaciones y la búsqueda funcionaban gracias a modelos ocultos de Márkov, métodos bayesianos, SVM y conjuntos de árboles. La expresión «inteligencia artificial» apenas se usaba entonces: se decía aprendizaje automático. Deep Blue venció a Kaspárov en 1997, pero no aprendiendo: con la fuerza bruta de la búsqueda y una función de evaluación ajustada a mano.

• 1995 SVM. Corinna Cortes y Vladimir Vapnik: clasificación con el mayor margen y el truco del núcleo. → parte de la serie
• 1997 Deep Blue. Un ordenador de IBM venció al campeón mundial de ajedrez Garri Kaspárov, mediante búsqueda, no aprendizaje. → parte de la serie
• 1997 LSTM. Sepp Hochreiter y Jürgen Schmidhuber: una red recurrente con puertas que recuerda durante mucho tiempo. → parte de la serie
• 2001 Bosque aleatorio. Leo Breiman: un conjunto de árboles de decisión vota. → parte de la serie

5. Aprendizaje profundo (2012–2018)

En 2012 la competición de reconocimiento de imágenes ImageNet la ganó la red convolucional profunda AlexNet (Alex Krizhevsky, Ilya Sutskever y Geoffrey Hinton) con tal ventaja que en pocos años el campo se mudó a las redes neuronales. No era una idea nueva: las redes convolucionales existían desde finales de los años 80. Nuevas eran tres cosas: grandes datos etiquetados (ImageNet tenía más de un millón de imágenes), tarjetas gráficas que multiplican matrices mil veces más rápido y unos cuantos trucos pequeños (ReLU, dropout). Siguió una avalancha: voz, traducción, juegos, generación.

• 2012 AlexNet. Una red convolucional profunda entrenada en tarjetas gráficas ganó la competición ImageNet con gran ventaja. → parte de la serie
• 2013 word2vec. Tomáš Mikolov et al.: palabras como vectores con los que se pueden calcular analogías. → parte de la serie
• 2014 GAN. Ian Goodfellow: dos redes enfrentadas generan imágenes. → parte de la serie
• 2014 Atención. Dzmitry Bahdanau et al.: una red de traducción se fija en las palabras importantes de la frase. → parte de la serie
• 2015 DQN. DeepMind enseñó a una sola red a jugar a decenas de juegos de Atari a partir de la pantalla. → parte de la serie
• 2016 AlphaGo. El programa de DeepMind venció a Lee Sedol al go por 4 a 1; el juego se consideraba dominio de la intuición humana.
• 2017 Transformer. El artículo «Attention Is All You Need» (Vaswani et al., Google): la arquitectura de los modelos de lenguaje actuales. → parte de la serie
• 2017 PPO. John Schulman et al. (OpenAI): aprendizaje estable de una política. → parte de la serie

Ejemplo — por qué ayudó ReLU

La derivada de la sigmoide es σ′(z) = σ(z)(1 − σ(z)) ≤ ¼ (máximo en z = 0). En la retropropagación estas derivadas se multiplican a través de todas las capas, así que tras diez capas sigmoides el gradiente es como mucho (¼)¹⁰ = 9,5 · 10^-7 de su tamaño original (los pesos pueden agrandarlo o reducirlo, pero este factor se mantiene). ReLU(z) = max(0, z) tiene derivada 1 para z > 0: el gradiente atraviesa las neuronas activas sin reducirse, y así las redes profundas se pueden entrenar.

6. Modelos de lenguaje (desde 2018)

El transformer de 2017 escalaba mejor que nada de lo anterior. Los modelos GPT preentrenados con una gran parte de internet mostraron que un modelo más grande y más datos traen una mejora predecible. En 2020 GPT-3 resolvía tareas para las que nadie lo había entrenado, solo a partir de unos pocos ejemplos en el prompt. Ajustándolo según las preferencias humanas surgió ChatGPT (noviembre de 2022), el primer modelo de lenguaje que probaron cientos de millones de personas. Hoy los modelos se convierten en agentes que trabajan en el ordenador por su cuenta.

• 2020 GPT-3. Un modelo de lenguaje con 175 000 millones de parámetros resuelve tareas nuevas solo a partir de ejemplos en el prompt. → parte de la serie
• 2020 Modelos de difusión. Jonathan Ho et al.: la imagen emerge del ruido paso a paso. → parte de la serie
• 2020 AlphaFold 2. DeepMind predice la forma tridimensional de las proteínas con una precisión cercana a la experimental.
• 2022 ChatGPT. Un modelo de lenguaje ajustado según las preferencias humanas; en dos meses lo usaban, según estimaciones, 100 millones de personas. → parte de la serie
• 2024 Premios Nobel. El de Física para John Hopfield y Geoffrey Hinton (redes neuronales), el de Química para Demis Hassabis y John Jumper (AlphaFold) junto con David Baker.
• 2024 Agentes. Los modelos de lenguaje con herramientas programan, buscan y trabajan en el ordenador por su cuenta. → parte de la serie

La atención: la fórmula en la que se basa el transformer

Atención(Q, K, V) = softmax(QK^T / √d_k) V

QK^T

productos escalares de cada consulta con cada clave: grandes cuando los vectores apuntan en la misma dirección; así una palabra «busca» las palabras que le conciernen

√d_k

el producto escalar de d_k componentes aleatorias tiene una varianza proporcional a d_k; sin la división, al crecer la dimensión el softmax se aferraría a una sola palabra y los gradientes desaparecerían

softmax

convierte puntuaciones cualesquiera en pesos positivos que suman 1 y, a diferencia de «elige el máximo», se puede derivar, así que se puede aprender

V

valores: la información que realmente se transmite; la salida es su media ponderada

Ejemplo — una consulta, dos claves

q = (1, 0), k₁ = (1, 0), k₂ = (0, 1), v₁ = (10, 0), v₂ = (0, 10), d_k = 2.

Puntuaciones: q · k₁ / √2 = 0,707 y q · k₂ / √2 = 0. Softmax: e^0,707 / (e^0,707 + e⁰) = 0,670 y 0,330. Salida: 0,670 · (10, 0) + 0,330 · (0, 10) = (6,70; 3,30). La consulta «miró» más a la primera palabra porque su clave se le parece, pero tampoco ignoró la segunda.

En profundidad: Atención y Transformers.

La ley de escalado: por qué «más» funciona de forma predecible

L(N, D) = E + A / N^α + B / D^β

E

la pérdida irreducible: el propio texto es incierto y ni siquiera un modelo infinito sabe con certeza la palabra siguiente

A / N^α

el impuesto por un modelo pequeño (N parámetros); baja según una potencia: el doble de parámetros lo reduce solo un 21 %, y por eso los modelos crecen en órdenes de magnitud

B / D^β

el impuesto por pocos datos (D tokens); va aparte porque un modelo enorme con pocos datos choca con este término

Ejemplo — Gopher frente a Chinchilla

Constantes ajustadas sobre cientos de modelos (Hoffmann et al., 2022): E = 1,69, A = 406,4, B = 410,7, α = 0,34, β = 0,28.

• Gopher: N = 280 mil millones, D = 300 mil millones: L = 1,69 + 0,052 + 0,251 = 1,993; cómputo 5,0 · 10²³.
• Chinchilla: N = 70 mil millones, D = 1 400 mil millones: L = 1,69 + 0,083 + 0,163 = 1,937; cómputo 5,9 · 10²³.

Con un cómputo comparable, Chinchilla, cuatro veces más pequeño, es mejor: en Gopher el término de datos superaba claramente al de parámetros (0,251 frente a 0,052), así que compensaba quitar parámetros y añadir datos.

7. Qué nos enseña la historia

Definición — la amarga lección (the bitter lesson)

Richard Sutton resumió en un ensayo de 2019 setenta años de investigación: a largo plazo, los métodos generales capaces de aprovechar la creciente potencia de cálculo —la búsqueda y el aprendizaje— ganan a los métodos en los que las personas introducen a mano su conocimiento sobre la tarea. El conocimiento manual ayuda a corto plazo, pero al final lo adelanta un método que lo aprende por sí mismo a partir de datos y cómputo.

Y se ve una cosa más cuando miramos de dónde vienen las ideas que explicamos en la serie. De los 37 hitos de la cronología, 30 tienen una parte propia:

La mayoría (7) son de la década de 2010, pero casi igual de importantes son los años 50 y 80. El perceptrón, la retropropagación, las redes convolucionales, LSTM y el Q-learning tienen décadas; esperaban a los datos y a la potencia de cálculo. Casi todo lo que hoy parece un milagro es una combinación ingeniosa de ideas viejas a gran escala. Y cada ola de entusiasmo ha terminado hasta ahora en desencanto; la única pregunta es cuán profundo.

8. Resumen

• 1950 el test de Turing, 1956 Dartmouth (el nombre «inteligencia artificial» procede de la propuesta del taller de 1955), 1958 el perceptrón.
• Tras los años dorados llegaron dos inviernos (aproximadamente 1974–1980 y 1987–1993), con los sistemas expertos entre ellos.
• Desde los años 90, el aprendizaje estadístico: a partir de datos en lugar de reglas, con medición y probabilidad.
• 2012 AlexNet y el aprendizaje profundo; 2017 el transformer; 2022 ChatGPT; hoy los agentes.
• La amarga lección: a largo plazo ganan los métodos generales que aprovechan el cómputo, la búsqueda y el aprendizaje.
• La mayoría de las ideas actuales son antiguas; lo nuevo son los datos, el cómputo y la escala.

¿Quieres probarlo tú mismo? Pide a un agente de IA que te escriba un programa ELIZA con veinte reglas y conversa con él. Después compara la misma conversación con un modelo de lenguaje actual y piensa qué parte de la diferencia es «inteligencia».

¿Lo ves de otra manera? Escribe a support@coden-app.com.