Imagínese enseñar a conducir a un adolescente (da miedo, ¿verdad?). Usted explica las normas de circulación, pero las verdaderas lecciones se aprenden con la experiencia al volante: frenar demasiado tarde ante una señal de «Stop» provoca un sobresalto, mientras que tomar una curva con suavidad se ve recompensado con un gesto de aprobación (o un suspiro de alivio). Con el tiempo, el conductor aprende a base de ensayo, error y recompensa.
Así es, en esencia, como funciona el aprendizaje por refuerzo. Se trata de un tipo de aprendizaje automático en el que el sistema aprende al realizar acciones y recibir retroalimentación —tanto positiva como negativa— en función de los resultados. Por ejemplo, un sistema de aprendizaje por refuerzo podría aprender a jugar a un videojuego ganando puntos por las jugadas acertadas y perdiendo puntos por las erróneas.
El aprendizaje por refuerzo aún no se ha popularizado en los círculos de la ciberseguridad, pero los expertos afirman que merece la pena explorarlo, teniendo en cuenta su potencial para ayudar a los sistemas a decidir de forma adaptativa y en tiempo real qué pasos dar a continuación en situaciones desconocidas . Los ataques pueden evolucionar con tanta rapidez que las defensas basadas en firmas no logran seguirles el ritmo, y los modelos tradicionales de aprendizaje automático se basan en datos históricos que, a menudo, son escasos, obsoletos o sesgados.
«El aprendizaje por refuerzo es diferente: consiste en aprender a partir de información evaluativa, que puede ser una recompensa o una penalización», afirma Andrew Barto, catedrático emérito de Informática en la Universidad de Massachusetts Amherst y autor de «Reinforcement Learning: An Introduction». «El sistema realiza una acción y recibe una respuesta en forma de puntuación, que intenta maximizar».
«[Un sistema de aprendizaje por refuerzo] hace algo y recibe retroalimentación en forma de puntuación, que intenta maximizar».»Andrew Barto, catedrático emérito de Informática de la Universidad de Massachusetts Amherst
Si el aprendizaje por refuerzo llega a imponerse —y, dados los ajustados presupuestos de seguridad actuales y la incertidumbre económica general, se trata de un «si» muy grande—, sus defensores creen que podría marcar el comienzo de una nueva era de la ciberhigiene . Al automatizar las tareas rutinarias y repetitivas que son fundamentales para la ciberhigiene (como las evaluaciones del tráfico de red, los análisis de malware y la gestión de parches , entre otras), los equipos de seguridad tendrán más libertad para ocuparse de problemas más complejos y defender las redes informáticas de forma más eficaz, con más datos en tiempo real.
Las ventajas del aprendizaje por refuerzo en el ámbito de la seguridad
La ciberseguridad rara vez se desarrolla tal y como se describe en los libros de texto. Los atacantes siempre están ideando nuevas estratagemas, y las defensas que se basan únicamente en datos históricos —como los mensajes de phishing de ayer , las firmas de malware conocidas o los análisis de vulnerabilidades del año pasado — pueden tener dificultades para mantenerse al día. Esos modelos tradicionales de aprendizaje automático pueden ser supervisados (el modelo aprende a partir de datos etiquetados que ya cuentan con las respuestas correctas, como imágenes etiquetadas como «gato» o «perro») o no supervisados, en los que el modelo identifica agrupaciones o patrones en datos sin etiquetar (como agrupar a clientes con hábitos de compra similares).
«El aprendizaje por refuerzo es una solución al problema de la escasez de datos al que nos enfrentamos a menudo en el ámbito de la seguridad».»Christoph Landolt, investigador de doctorado, Centro Helmholtz CISPA para la Seguridad de la Información
Por el contrario, un método ayuda a los sistemas a determinar qué hacer en situaciones que no han visto antes. Para implementar un método de aprendizaje por refuerzo, el equipo de ciberseguridad entrena a un agente de IA —un programa capaz de tomar decisiones por sí mismo— para que reconozca las amenazas y adapte sus respuestas con el paso del tiempo. Los ingenieros le presentan al agente escenarios de ataque simulados, recompensándolo con una buena puntuación por las acciones que refuerzan las defensas y penalizándolo por aquellas que no lo hacen, hasta que aprende a responder de manera eficaz ante las amenazas del mundo real.
Encontrar datos suficientes —o los datos adecuados— para determinadas técnicas de aprendizaje automático suele suponer un reto, señala Anupam Joshi, vicerrector y director de inteligencia artificial de la Universidad de Maryland, en el condado de Baltimore. «Disponer de datos no es fácil, y suelen ser muy retrospectivos», afirma.
Ahí es donde un sistema de aprendizaje por refuerzo puede funcionar mejor, al determinar qué acciones llevar a cabo en ataque o en defensa, incluso cuando no dispone de datos perfectos desde el principio, añade Joshi. El bucle de retroalimentación —ya sea mediante recompensa o penalización— sustituye a los conjuntos de datos etiquetados de los que depende el aprendizaje supervisado. En otras palabras, el aprendizaje por refuerzo no se limita a clasificar un correo electrónico de phishing de como malicioso; es capaz de aprender qué hacer cuando detecta un patrón sospechoso que no ha visto antes.
[Véase también: Cómo la IA mejora la detección de anomalías y reduce la fatiga por alertas]
Otro punto fuerte del aprendizaje por refuerzo es su capacidad para aprender en entornos simulados y seguros antes de su implementación en sistemas reales, lo cual reviste especial importancia en el ámbito de la ciberseguridad, ya que las organizaciones no pueden permitirse cometer errores en redes en funcionamiento que podrían provocar la caída de infraestructuras críticas, afirma Christoph Landolt, investigador de doctorado del Centro Helmholtz para la Seguridad de la Información (CISPA).
«El aprendizaje por refuerzo es una solución al problema de la escasez de datos al que nos enfrentamos a menudo en el ámbito de la seguridad», afirma. «No conviene entrenar los modelos con datos confidenciales y exclusivos sobre amenazas, pero sí se pueden crear simulaciones que ayuden a los modelos a aprender cómo reaccionar».
Esto significa que las organizaciones pueden crear entornos de ataque sintéticos, como simulaciones de «equipo rojo» (en las que los hackers éticos imitan ataques reales), pruebas de estrés de denegación de servicio de tipo « » (que inundan los sistemas con tráfico para poner a prueba su resiliencia) o entornos aislados de ransomware (laboratorios aislados para estudiar el malware de forma segura), en los que los agentes de aprendizaje por refuerzo pueden practicar sus respuestas, cometer errores de forma segura y mejorar, añade Joshi. En el caso de amenazas demasiado infrecuentes como para aparecer en los conjuntos de datos de entrenamiento del mundo real, tales como las amenazas persistentes avanzadas o los exploits de día cero de , estos entornos ofrecen a las organizaciones una forma de prepararse sin tener que esperar a que se produzca el peor de los casos.
Los inconvenientes del aprendizaje por refuerzo
La realidad, por supuesto, es más compleja que la simulación. Landolt advierte sobre la «brecha entre la simulación y la realidad», en la que los modelos que dan buenos resultados en un entorno controlado pueden fallar en condiciones reales cuando las condiciones de la red o el comportamiento de los atacantes difieren.
Por ejemplo, cuando el equipo de Barto estaba entrenando a un agente de aprendizaje por refuerzo para que condujera un coche de carreras simulado por un circuito, el sistema descubrió que chocar contra el muro a toda velocidad le permitía girar y terminar la carrera más rápido. «Es evidente que esa fue una señal de recompensa errónea», afirma Barto. «Lo vimos y dijimos: “Vaya, eso no es lo que queremos”».
En el ámbito de la seguridad, ese resultado podría resultar desastroso. Según el Sr. Joshi, un sistema de aprendizaje por refuerzo mal diseñado podría aprender a detener el ransomware cerrando de forma agresiva procesos legítimos, o bien impedir las brechas de seguridad restringiendo en exceso la actividad normal de los usuarios. Si no se controla, la solución del sistema podría acabar generando problemas tan graves como el propio ataque.
Aunque el aprendizaje por refuerzo pueda resultar prometedor, no es precisamente barato. A diferencia del aprendizaje automático tradicional, el aprendizaje por refuerzo debe gestionar enormes cantidades de información: todos los estados posibles de una red y todas las acciones que un sistema podría llevar a cabo en respuesta a ellos. «Esto supone rápidamente una enorme carga computacional», afirma Joshi. El reto no consiste únicamente en entrenar los modelos, sino en gestionar la enorme complejidad de las opciones y los resultados. Para las organizaciones, esto significa que el aprendizaje por refuerzo requiere una importante inversión en infraestructura y una planificación minuciosa antes de que pueda aportar un valor real.
El futuro del aprendizaje por refuerzo
Según Landolt, el aprendizaje por refuerzo sigue siendo, en gran medida, experimental en el ámbito de la ciberseguridad en la actualidad, pero sus futuras aplicaciones tienen un enorme potencial.
«El aprendizaje por refuerzo no es algo en lo que la gente suela pensar cuando piensa en los [grandes modelos de lenguaje] actuales.»Anupam Joshi, vicerrector y director de inteligencia artificial de la Universidad de Maryland, Condado de Baltimore
Las empresas que dispongan de acceso a sus propios datos de visibilidad y vulnerabilidades en tiempo real podrían entrenar a un agente de aprendizaje por refuerzo con esos datos para diseñar secuencias basadas en las mejores prácticas y el momento más adecuado para aplicar parches a miles de sus ordenadores, tabletas y otros dispositivos finales.
Landolt ve un gran potencial en ámbitos como las tecnologías de engaño; por ejemplo, el uso de «honeypots» que engañan a los atacantes para que interactúen con sistemas falsos mientras los defensores recaban información. Los agentes de aprendizaje por refuerzo podrían aprender a colocar y adaptar estos señuelos de la mejor manera posible en tiempo real. Otro ámbito prometedor es la defensa contra objetivos móviles, en la que los sistemas se reconfiguran continuamente para que los atacantes se enfrenten a un panorama en constante cambio.
Landolt también señala los ataques dirigidos como un ámbito en el que el aprendizaje por refuerzo podría destacar. Al simular un movimiento lateral dentro de las redes —como pasar de un servicio web a una base de datos—, los agentes de aprendizaje por refuerzo podrían practicar cómo defenderse frente a adversarios que buscan los activos más valiosos. Joshi añade que las organizaciones podrían llegar a enfrentar a agentes de aprendizaje por refuerzo contra agentes ofensivos en partidas de dos jugadores al estilo «equipo rojo contra equipo azul», lo que permitiría a ambas partes aprender y mejorar conjuntamente.
Por otro lado, los atacantes también pueden recurrir al aprendizaje por refuerzo. Landolt advierte de que los adversarios podrían manipular directamente a los agentes de aprendizaje por refuerzo envenenando sus señales de recompensa o presentándoles observaciones engañosas. Un agente de detección de malware, por ejemplo, podría verse inducido a ignorar el tráfico malicioso o incluso a llevar a cabo acciones destructivas sobre archivos legítimos. Al igual que en los incidentes tradicionales de « » (contaminación de datos), en los que los atacantes se centran en los datos de entrenamiento que se introducen en los grandes modelos de lenguaje, las empresas harían bien en limitar los privilegios de acceso a los agentes de aprendizaje por refuerzo y utilizar una lista de materiales de software (SBOM) que permita realizar un seguimiento de los componentes de los productos de software.
Este doble uso —como «bueno» y como «malo»— pone de relieve por qué las organizaciones no pueden ignorar la evolución del aprendizaje por refuerzo. «Los ataques serán más rápidos gracias al uso de la inteligencia artificial», afirma Landolt. Para los responsables de seguridad, ir un paso por delante significa no solo prepararse para implementar el aprendizaje por refuerzo de forma responsable, sino también prever cómo los adversarios podrían utilizarlo con fines maliciosos.
La comunidad en general ya está haciendo grandes apuestas. La empresa xAI de Elon Musk, por ejemplo, dedicó 10 veces más potencia de cálculo al aprendizaje por refuerzo para su modelo Grok 4 que para el modelo Grok 3—a , lo que pone de manifiesto hasta qué punto el aprendizaje por refuerzo se ha convertido en un elemento fundamental para mejorar el rendimiento de la IA. A medida que los laboratorios de inteligencia artificial de todo el mundo destinen recursos a este campo, sus técnicas madurarán más rápidamente, lo que, en última instancia, las llevará al ámbito de la ciberseguridad.
«El aprendizaje por refuerzo no es algo en lo que la gente suela pensar cuando piensa en los [grandes modelos de lenguaje] actuales», afirma Joshi. «El mero hecho de ser consciente de que existe esta otra forma de hacer las cosas, que resulta especialmente útil para aprender y evolucionar con el tiempo, ya merece la pena».
