Tipos de aprendizaje automático: supervisado, no supervisado, semisupervisado y más
Aprendizaje supervisado, no supervisado, semisupervisado, autosupervisado y por refuerzo, con definiciones precisas, explicaciones sencillas y animaciones de algoritmos reales.
Serie Fundamentos de IA Parte 42 de 52
- Mapa de la inteligencia artificial: qué es cada cosa y cómo encaja todo
- Breve historia de la inteligencia artificial: de Turing a los modelos de lenguaje
- Datos, modelo, entrenamiento, inferencia: los conceptos básicos en un solo ejemplo
- Cómo leer la notación matemática: símbolos, subíndices, sumatorios y cuantificadores
- Conjuntos y relaciones: las piezas con las que se construyen las definiciones en IA
- Funciones y aplicaciones: por qué todo modelo de IA es una función
- Lógica y demostraciones: las reglas con las que se razona en IA
- Grafos y árboles: la estructura sobre la que se apoyan la búsqueda y las redes neuronales
- Álgebra lineal para aprendizaje automático: vectores, matrices y por qué la IA sobre todo multiplica
- Derivadas, gradiente y regla de la cadena: cómo sabe un modelo en qué dirección aprender
- Descenso de gradiente: cómo aprende un modelo
- Qué es la probabilidad: del lanzamiento de un dado a los axiomas de Kolmogórov
- Probabilidad condicionada y teorema de Bayes: cómo cambiar una estimación cuando te enteras de algo nuevo
- Variable aleatoria y función de distribución: una sola función que lo dice todo sobre la distribución
- Función de densidad y función de probabilidad: por qué una variable continua tiene probabilidad cero en cada punto
- Esperanza, varianza y covarianza: dónde está una distribución, qué anchura tiene y qué se relaciona con qué
- Resumen de las distribuciones de probabilidad: Bernoulli, binomial, Poisson, uniforme, normal y exponencial
- Ley de los grandes números y teorema central del límite: por qué las medias se comportan de forma tan predecible
- Estadística y estimación de parámetros: máxima verosimilitud, MAP e intervalos de confianza
- Teoría de la información: entropía, entropía cruzada y divergencia KL, el origen de las funciones de pérdida
- Búsqueda en el espacio de estados: BFS, DFS, UCS y A* con animaciones
- Juegos y adversarios: minimax, poda alfa-beta y Monte Carlo tree search
- Satisfacción de restricciones: backtracking, propagación de restricciones y AC-3 con un sudoku y un mapa de regiones checas
- Lógica y sistemas basados en conocimiento: encadenamiento hacia delante y hacia atrás, resolución y sistemas expertos
- Planificación: STRIPS, el mundo de bloques, heurísticas a partir de la relajación y la planificación en los agentes de IA
- Búsqueda local y recocido simulado: un viajante por las capitales regionales checas
- Algoritmos genéticos: población, cruce, mutación y selección en una mochila para la excursión
- Estrategias evolutivas y programación genética: de la regla de un quinto a la ley de Kepler
- Optimización por colonia de hormigas: cómo un rastro de feromona encuentra un camino corto
- Optimización por enjambre de partículas: inercia, experiencia propia y experiencia del enjambre
- Neuroevolución: evolución de los pesos y la forma de las redes neuronales, y el algoritmo NEAT
- Conjuntos difusos y funciones de pertenencia: cómo escribir «algo cálido»
- Lógica difusa y probabilidad: por qué «algo cálido» no significa «probablemente cálido»
- Lógica difusa: t-normas, implicaciones y reglas SI–ENTONCES
- Control difuso: Mamdani y Sugeno, del ventilador al péndulo invertido sobre un carro
- Agrupamiento difuso: el algoritmo fuzzy c-means y los puntos entre clusters
- Sistemas neuro-difusos (ANFIS): reglas difusas que aprenden de los datos
- Cadenas de Markov: matriz de transición, distribución estacionaria y PageRank
- Modelos ocultos de Márkov: el algoritmo de Viterbi y el casino deshonesto
- Redes bayesianas: por qué está mojada la hierba y qué significa eso para el aspersor
- El filtro de Kalman: cómo estimar a partir de mediciones imprecisas dónde está un coche y a qué velocidad va
- Tipos de aprendizaje automático: supervisado, no supervisado, semisupervisado y más
- Prompts, contexto y RAG: cómo darle a un modelo la información correcta
- Autocodificadores variacionales (VAE): imágenes nuevas a partir de un espacio latente continuo
- Redes generativas adversarias (GAN): el falsificador contra el detective
- Modelos de difusión: cómo el ruido puro se convierte en una imagen
- Procesos de decisión de Markov: estados, acciones, recompensas y ecuaciones de Bellman
- Q-learning y DQN: aprender el valor de las acciones, de la tabla a la red neuronal
- Gradiente de la política y PPO: aprender directamente la política
- Cómo funciona un agente de IA: un modelo de lenguaje en un bucle con herramientas
- Programación con agentes de IA: encargo, pruebas y revisión
- Evaluación y seguridad de los sistemas de IA: cómo medir y cómo vigilar
Temario completo de la serie 52 de 83 temas publicados
- Cinco tipos de aprendizaje automático según la señal que recibe el modelo al aprender.
- Por qué pueden bastar unas pocas etiquetas y muchos datos sin etiquetar, y cómo aprenden los modelos de lenguaje.
- Cómo un agente aprende a actuar solo a partir de recompensas y castigos.
Conviene conocer antes: Mapa de la inteligencia artificial: qué es cada cosa y cómo encaja todo, Cómo leer la notación matemática: símbolos, subíndices, sumatorios y cuantificadores
«El modelo lo ha aprendido». Esta frase suena siempre igual, pero significa cosas muy distintas. A veces el modelo aprendió de miles de fotos en las que alguien había escrito qué aparecía en ellas. Otras veces solo recibió un montón de datos sin una sola etiqueta y tuvo que encontrar en ellos un orden. Y otras aprendió como un perro en el adiestramiento: probando, y recibiendo una recompensa por los buenos pasos.
Por eso el aprendizaje automático se clasifica según qué señal recibe el modelo al aprender. Recorreremos los tipos principales, desde el aprendizaje supervisado hasta el aprendizaje por refuerzo. En cada uno encontrarás una definición precisa, una explicación sencilla y un gráfico que es el resultado real de un algoritmo: nada está dibujado a mano.
1. Qué significa que una máquina aprenda
Definición — aprendizaje (T. Mitchell, 1997)
Se dice que un programa aprende de la experiencia E con respecto a una clase de tareas T y una medida de rendimiento P si su rendimiento en las tareas de T, medido por P, mejora con la experiencia E.
Aprende lo que mejora con la práctica. La tarea T puede ser «reconocer el spam», la medida P «cuántos correos clasifica bien» y la experiencia E «mil correos que alguien ya ha ordenado». Los tipos de aprendizaje se diferencian sobre todo en cómo es esa experiencia E.
Definición — modelo y parámetros
Un modelo es una función fθ : 𝒳 → 𝒴 del espacio de entradas 𝒳 al espacio de salidas 𝒴, determinada por unos parámetros θ ∈ ℝp.
El aprendizaje (entrenamiento) es la búsqueda de los parámetros θ que minimizan una función objetivo J(θ) calculada a partir de los datos, típicamente por descenso de gradiente θ ← θ − η ∇J(θ).
Un modelo es una máquina con muchas perillas: los parámetros. Aprender es girar las perillas hasta que la máquina haga lo que queremos. La función objetivo es un número que dice cuánto se equivoca todavía; el descenso de gradiente gira siempre las perillas en la dirección en la que menos se equivoca.
Los tipos principales de aprendizaje en pocas palabras; se diferencian en lo que hay disponible en los datos:
Aprender a responder como el profesor.
Encontrar estructura en los datos.
Sacar partido también de los datos sin etiquetas.
Así aprenden los modelos de lenguaje.
Aprender a actuar.
2. Aprendizaje supervisado (supervised learning)
Definición — aprendizaje supervisado
Se tiene un conjunto de entrenamiento D = {(xi, yi)}i=1n de pares entrada–etiqueta, extraídos de forma independiente de una distribución desconocida P(X, Y), y una función de pérdida L(ŷ, y) ≥ 0.
Buscamos el modelo que minimiza el riesgo empírico: θ* = argminθ (1/n) ∑i=1n L(fθ(xi), yi).
Pero el objetivo no es el conjunto de entrenamiento: el modelo debe funcionar bien con datos nuevos de la misma distribución (generalización). Por eso el rendimiento se mide en un conjunto de prueba apartado.
Como un niño con un libro de dibujos: debajo de cada dibujo pone «perro» o «gato». El modelo mira ejemplos con la respuesta correcta y se ajusta para acertar. La función de pérdida es el castigo por cada error. Y el examen lo hace con dibujos que nunca ha visto: las respuestas aprendidas de memoria no cuentan.
Según qué sea la etiqueta y, distinguimos dos tareas.
Clasificación
Definición — clasificación
Las etiquetas pertenecen a un conjunto finito de clases: y ∈ {1, …, K}. La pérdida habitual es la entropía cruzada L = −∑k [y = k] log pθ(k | x).
Regresión logística para dos clases: p(y = 1 | x) = σ(w⊤x + b), donde σ(z) = 1 / (1 + e−z). La frontera de decisión es la recta w⊤x + b = 0.
La clasificación responde a «en qué cajón va esto»: ¿spam o no? ¿Perro, gato o loro? La regresión logística traza una línea entre las clases y, para cada punto, dice con qué seguridad está en uno u otro lado.
En el gráfico hay 60 puntos de dos clases. La frontera empieza mal a propósito y el descenso de gradiente la va desplazando época tras época hasta separar las clases:
Regresión
Definición — regresión
Las etiquetas son números reales: y ∈ ℝ. La pérdida habitual es el error cuadrático medio MSE = (1/n) ∑i (f(xi) − yi)2.
Para la regresión lineal f(x) = ax + b, el mínimo del MSE tiene forma cerrada: a = ∑(xi − x̄)(yi − ȳ) / ∑(xi − x̄)2, b = ȳ − ax̄ (método de mínimos cuadrados).
La regresión responde a «cuánto»: cuánto costará un piso, qué temperatura hará mañana. La regresión lineal traza una recta entre los puntos de modo que la suma de los cuadrados de las distancias verticales —discontinuas en la figura— sea la menor posible.
El aprendizaje supervisado impulsa la mayoría de las aplicaciones prácticas: filtros de spam, reconocimiento facial, diagnóstico a partir de radiografías, tasación de inmuebles. Pero tiene una condición cara: alguien tiene que etiquetar los datos. Y eso suele ser lo más caro de todo el proyecto.
3. Aprendizaje no supervisado (unsupervised learning)
Definición — aprendizaje no supervisado
Solo se tiene un conjunto de entradas D = {xi}i=1n ⊂ 𝒳, sin etiquetas. Buscamos la estructura de la distribución P(X): grupos, una representación de baja dimensión o la propia densidad p(x).
Te dan una caja de fotos sin pie y tienes que ordenarlas. Nadie te dice según qué: tú mismo te das cuenta de que unas son del mar y otras de la montaña. El modelo busca parecidos y patrones que están en los datos, aunque nadie les haya puesto nombre.
Agrupamiento: k-means
Definición — k-means
Divide los puntos en k grupos C1, …, Ck con centros μ1, …, μk de modo que la suma de cuadrados dentro de los grupos sea mínima:
J = ∑j=1k ∑x ∈ Cj ‖x − μj‖2.
El algoritmo de Lloyd alterna dos pasos: (1) asigna cada punto al centro más cercano, (2) mueve cada centro a la media de sus puntos. Ningún paso aumenta J, así que el algoritmo termina, pero solo en un mínimo local.
Pones tres banderas en una sala. Cada persona se coloca junto a la más cercana. Luego llevas cada bandera al centro de su corrillo. La gente se reparte de nuevo, las banderas se mueven otra vez… y al cabo de unas rondas ya no cambia nada. Los corrillos son los grupos.
Los centros (las cruces) empiezan a propósito todos en la esquina inferior izquierda. Ya tras la primera iteración salen hacia sus grupos, y tras cuatro iteraciones dejan de moverse.
Otras tareas no supervisadas: la reducción de dimensionalidad (por ejemplo, el PCA proyecta los datos sobre unas pocas direcciones en las que más varían, útil tanto para visualizar como para comprimir), la detección de anomalías (lo que no se parece a nada conocido: un pago fraudulento, la avería de una máquina) y la estimación de densidad.
4. Aprendizaje semisupervisado (semi-supervised learning)
Definición — aprendizaje semisupervisado
Se tiene un pequeño conjunto etiquetado DL = {(xi, yi)}i=1l y uno grande sin etiquetar DU = {xj}j=l+1l+u, donde u ≫ l. El objetivo es el mismo que en el aprendizaje supervisado, pero para alcanzarlo se aprovecha también DU.
Solo funciona bajo alguno de estos supuestos:
- suavidad: los puntos cercanos tienen la misma etiqueta,
- grupos: los puntos de un mismo grupo tienen la misma etiqueta y la frontera entre clases pasa por zonas poco densas,
- variedad: los datos están sobre una superficie de baja dimensión y la distancia debe medirse a lo largo de ella.
Tienes diez mil fotos, pero solo te ha dado tiempo a describir diez. Aun así, las fotos sin etiquetar ayudan: muestran qué «aspecto» tienen los datos, dónde están los corrillos y por dónde pasa el vacío entre ellos. Después, las etiquetas se extienden solas por los corrillos.
Propagación de etiquetas por un grafo
Construye un grafo en el que cada punto está unido a sus k vecinos más cercanos (aquí k = 4). En cada ronda, cada punto sin etiquetar que tenga un vecino etiquetado recibe la etiqueta mayoritaria de sus vecinos etiquetados. Repite mientras queden puntos sin etiquetar.
Los datos son dos «lunas» de 40 puntos cada una. Solo dos puntos tienen etiqueta, uno en cada luna, resaltados con un contorno. Los demás son grises:
Las etiquetas se extienden por las lunas como el fuego por la hierba seca y en 10 rondas todos los puntos están bien etiquetados. Si ignoráramos los datos sin etiquetar y clasificáramos cada punto solo según a cuál de los dos puntos etiquetados está más cerca, solo acertaríamos el 84 %: los extremos de las lunas están más cerca del punto etiquetado ajeno que del propio. La diferencia la marca precisamente la forma de los datos, que conocemos solo gracias a los puntos sin etiquetar.
De forma parecida funcionan las pseudoetiquetas (self-training): un modelo entrenado con el pequeño conjunto etiquetado etiqueta los datos sin etiquetar de los que está más seguro y sigue aprendiendo también de ellos.
5. Aprendizaje autosupervisado (self-supervised learning)
Definición — aprendizaje autosupervisado
Los datos no están etiquetados, D = {xi}, pero a partir de cada x se fabrica automáticamente un par (x̃, t) = g(x): x̃ es una parte o una versión dañada de la entrada y t lo que le falta. El modelo aprende de forma supervisada en esta tarea pretexto (pretext task).
Predicción del siguiente token: así se preentrenan los grandes modelos de lenguaje. Un texto es una secuencia de tokens x1, …, xT y se maximiza
∑t=1T log pθ(xt | x1, …, xt−1).
Aquí sí hay profesor, pero nadie ha tenido que pagarle: las respuestas están escondidas en los propios datos. Tapas una palabra de una frase y el modelo adivina cuál era. Así el texto de internet se corrige a sí mismo, y por el camino el modelo tiene que asimilar la gramática, hechos y algo de razonamiento; si no, adivinaría mal.
Técnicamente, el aprendizaje autosupervisado es aprendizaje supervisado, pero las etiquetas no cuestan nada, y por eso puede aplicarse a todo internet. Con las imágenes se usa un truco parecido: el modelo recibe dos recortes distintos de la misma foto y aprende que van juntos (aprendizaje contrastivo). El resultado, el llamado modelo fundacional, se ajusta después para una tarea concreta con una pequeña cantidad de datos etiquetados.
6. Aprendizaje por refuerzo (reinforcement learning)
Definición — proceso de decisión de Markov
El entorno es una quíntupla (S, A, P, R, γ): estados S, acciones A, probabilidad de transición P(s′ | s, a), recompensa R(s, a, s′) y factor de descuento γ ∈ [0, 1).
El agente elige acciones según una política π(a | s). El objetivo es maximizar el retorno esperado G = ∑t≥0 γt rt.
El Q-learning aprende el valor Q(s, a) —el retorno esperado tras la acción a en el estado s— con la regla
Q(s, a) ← Q(s, a) + α [r + γ maxa′ Q(s′, a′) − Q(s, a)].
Nadie le dice al agente cuál es la jugada correcta. Prueba, y el mundo le devuelve por cada paso una recompensa o un castigo. Poco a poco recuerda qué jugadas compensan y dónde, incluidas las que solo compensan diez pasos después. El factor de descuento γ indica cuánto le importan las recompensas futuras frente a las inmediatas.
El agente (naranja) se mueve por una cuadrícula. Cada paso cuesta −1, la meta da +10 y la trampa −10; no se puede entrar en las paredes. Al principio no sabe nada. Tras 600 episodios de Q-learning (α = 0,5, γ = 0,95, con exploración aleatoria en el 20 % de los pasos), las flechas muestran la mejor acción aprendida en cada casilla:
El agente va por el camino más corto a la meta y esquiva la trampa. Cómo aprendió se ve en el retorno medio: en los primeros 50 episodios era −11,1 (el agente daba vueltas y caía en la trampa); en los últimos 50, ya −1,8. La diferencia con el óptimo se debe a la exploración aleatoria, que el agente no desactiva durante el entrenamiento.
El aprendizaje por refuerzo está detrás de los programas que vencieron a campeones del mundo de go, del control de robots y también del ajuste fino de los modelos de lenguaje: el RLHF (aprendizaje por refuerzo a partir de retroalimentación humana) usa como recompensa un modelo entrenado con las respuestas que las personas valoraron mejor.
7. Otras formas de clasificarlo
El tipo de profesor no es el único criterio. Aquí tienes algunos más con los que te encontrarás:
Definición — aprendizaje por transferencia (transfer learning)
Los parámetros θ0 aprendidos en una tarea de origen se usan como punto de partida para una tarea de destino: θ* = argminθ Jdestino(θ), buscado a partir de θ0, a menudo solo en una pequeña parte de los parámetros (ajuste fino, fine-tuning).
Quien sabe ir en bici aprende antes a ir en moto. A un modelo que ya «ha visto mundo» basta con completarle el aprendizaje con unos cientos de ejemplos de tu tarea.
Definición — aprendizaje activo
El propio modelo elige qué x ∈ DU mandar etiquetar, típicamente aquellos con mayor incertidumbre, por ejemplo con la entropía más alta H(pθ(· | x)).
En lugar de que una persona lo etiquete todo, el modelo solo pregunta por lo que no entiende. El mismo resultado con una fracción del trabajo.
Definición — modelos generativos y discriminativos
Un modelo discriminativo aprende directamente p(y | x) o una frontera de decisión. Un modelo generativo aprende la distribución de los datos p(x), o bien p(x, y), y sabe muestrear de ella datos nuevos.
Un modelo discriminativo distingue un perro de un gato. Un modelo generativo sabe tan bien cómo es un perro que puede dibujarlo. Tanto los modelos de lenguaje como los generadores de imágenes son generativos.
Y además el aprendizaje por lotes frente al aprendizaje en línea (el modelo se entrena una vez con todos los datos, o aprende continuamente de cada nuevo ejemplo) y los modelos paramétricos frente a no paramétricos (un número fijo de parámetros, como la regresión logística, o un modelo que crece con los datos, como los k vecinos más cercanos).
8. Comparación
| Tipo de aprendizaje | Datos | Señal | Tareas típicas | Ejemplos de algoritmos |
|---|---|---|---|---|
| Supervisado | (x, y) | respuesta correcta | clasificación, regresión | regresión logística, árboles de decisión, redes neuronales |
| No supervisado | x | ninguna | agrupamiento, reducción de dimensionalidad, anomalías | k-means, PCA, autocodificadores |
| Semisupervisado | pocos (x, y) + muchos x | pocas respuestas | clasificación con etiquetas caras | propagación de etiquetas, pseudoetiquetas |
| Autosupervisado | x | fabricada a partir de los datos | preentrenamiento de modelos fundacionales | predicción de tokens, enmascaramiento, aprendizaje contrastivo |
| Por refuerzo | interacción con el entorno | recompensa | juegos, robots, control, RLHF | Q-learning, policy gradient, PPO |
9. Resumen
- Los tipos de aprendizaje se diferencian en qué experiencia E recibe el modelo: respuestas correctas, solo datos, un poco de ambos, respuestas fabricadas a partir de los datos o recompensas por sus acciones.
- El aprendizaje supervisado es el más directo, pero necesita etiquetas caras.
- El no supervisado busca estructura; en el semisupervisado, los datos sin etiquetar ayudan a extender unas pocas etiquetas a todo lo demás.
- El autosupervisado fabrica las etiquetas a partir de los propios datos: sobre él se apoyan los modelos de lenguaje actuales.
- El aprendizaje por refuerzo enseña a actuar: probar, acumular recompensas y pensar a largo plazo.
En la práctica, los tipos se combinan. Un gran modelo de lenguaje se preentrena con aprendizaje autosupervisado, se ajusta de forma supervisada con respuestas de ejemplo y, por último, con aprendizaje por refuerzo según las valoraciones de personas. Tres tipos de aprendizaje en un solo modelo, con el que quizá estés chateando ahora mismo.
¿Lo ves de otra manera? Escribe a support@coden-app.com.