Las empresas están adoptando la IA agentiva a un ritmo acelerado, a menudo más rápido de lo que sus modelos de gobernanza pueden soportar. El afán por la eficiencia y la innovación puede impulsar la incorporación de agentes experimentales a la fase de producción, lo que genera riesgos nuevos y subestimados para los equipos de operaciones de TI y de ciberseguridad.
El reto no consiste únicamente en gestionar agentes individuales, sino en dirigir un ecosistema en constante expansión de agentes que interactúan, delegan y ejecutan decisiones a la velocidad de una máquina en toda la empresa. Cuando los agentes ponen en marcha una serie de flujos de trabajo automatizados, los pequeños desajustes o errores de configuración pueden acumularse rápidamente, sobre todo cuando los agentes planifican nuevos enfoques, crean tareas y las delegan a agentes subordinados, acceden a datos confidenciales o reconfiguran sistemas a una velocidad que los seres humanos no pueden seguir, y mucho menos gestionar.
El pasado mes de noviembre, un informe de McKinsey titulado « » ( ) reveló que el 23 % de las organizaciones ya están implantando un sistema de IA con agentes en algún ámbito de su empresa, y que otro 39 % está experimentando con agentes. En términos de años de adopción de la IA, « November 2025 » parece que fue hace ya una generación, y es indudable que el nivel de adopción a mediados de 2026 será mayor. El lanzamiento del modelo Opus 4.6 de Anthropic en February 2026 pareció encender la mecha en todo el sector y coincide con los propios informes de Anthropic March 2026 y , que muestran que el uso de una categoría específica de flujos de trabajo de API centrados en la automatización se duplicó desde November 2025, lo que indica un aumento hacia el trabajo autónomo impulsado por la automatización a través de Claude Code y la API de Claude (y un menor aumento en las interacciones tipo chatbot con Claude.ai). Este ritmo también agravará las deficiencias en materia de gobernanza, que resultarán más difíciles de detectar y más costosas de corregir.
En marzo, el código fuente de Claude Code (la interfaz de línea de comandos para interactuar con Claude) fue publicado accidentalmente por Anthropic. Aunque no se revelaron los secretos mejor guardados de los métodos de entrenamiento ni los pesos del modelo de Anthropic, sí que permitió a los investigadores conocer mejor una de las capas de protección de Anthropic. La pauta, al menos por parte del cliente, es la «defensa basada en las vibraciones» (una expresión a la que mi propia instancia de Claude hizo referencia cuando «nosotros» analizamos juntos la filtración del mapa de origen). En la ficha del sistema « » (April 7 ) y en la ficha de «Mythos Preview» (), Anthropic afirma: «Claude Mythos Preview es, en prácticamente todas las dimensiones que podemos medir, el modelo mejor alineado que hemos lanzado hasta la fecha, con una ventaja significativa». Aun así, creemos que probablemente supone el mayor riesgo relacionado con la alineación de todos los modelos que hemos publicado hasta la fecha». Es muy eficaz, pero requiere medidas de control. A continuación, explican que esas capacidades que hacen que el modelo sea tan potente son también las que, según prevén, aumentarán el riesgo. Al igual que en el alpinismo, se necesita un guía con más experiencia para acompañarle en ascensiones más peligrosas, pero eso no significa que sean menos peligrosas. Incluso cuando estén mejor coordinadas, las medidas adoptadas pueden seguir siendo increíblemente arriesgadas.
La adopción de agentes altamente flexibles requiere modelos de gobernanza que se adapten a su autonomía, capacidad de juicio y escala.
Aunque los conjuntos de instrucciones y las preferencias de la IA puedan llegar a formar parte de una estrategia integral de defensa en profundidad, resulta difícil de aceptar para la mayoría de los puristas de la seguridad. Estamos acostumbrados a recurrir a controles técnicos formales, cuantificables y precisos, pero enseñar a los agentes de IA a cumplir las normas implica incluir indicaciones como «Si sospecha de un comportamiento malicioso, señálelo» en un archivo de preferencias o en un conjunto de instrucciones. Esto puede ayudar a evitar algunas averías, pero no es más que una recomendación, no una norma. La adopción de estos agentes tan flexibles requiere modelos de gobernanza que se adapten a su autonomía, capacidad de juicio y envergadura. A medida que las organizaciones pasan rápidamente de la fase de experimentación a la de producción, los responsables de TI y de seguridad deben reevaluar no solo qué hacen los agentes, sino también cómo se supervisan, se limitan y se les exige rendir cuentas a los sistemas de agentes.
Los riesgos de la IA con capacidad de acción
Desde hace tres años y medio, las organizaciones han estado experimentando con la IA generativa y aún están tratando de comprender los riesgos que pueden acompañar a sus ventajas. En conjunto, estamos aprendiendo mucho sobre la gestión de la memoria y el contexto, las medidas de seguridad y los «hooks», así como sobre cómo someter a pruebas de estrés el comportamiento alucinatorio. Estos retos se limitan, en su mayoría, a la información errónea que puede surgir en una conversación con la IA, pero los flujos de trabajo autónomos pueden amplificar rápidamente el daño. La IA general (GenAI) se asocia con frecuencia a interacciones al estilo de los chatbots y a ciclos de pregunta-respuesta. La IA agentiva va un paso más allá: actúa de forma independiente, y ahí radica un peligro aún mayor. Los agentes de IA pueden actuar a gran escala, con una rapidez y un alcance que superan la capacidad de supervisión humana. Además, pueden agravar las decisiones erróneas a lo largo de un flujo de trabajo sin contar con la fuerza correctora que aporta el juicio reflexivo.
Lo que antes era una teoría en desarrollo se está convirtiendo rápidamente en realidad. La «Mythos Preview System Card» documentaba la capacidad de una versión inicial del modelo Mythos para razonar de forma creativa y lograr así un aprovechamiento satisfactorio del software empresarial. El sector pudo vislumbrar lo que podría suponer un ecosistema adversario basado en agentes y cómo las herramientas basadas en agentes pueden tomar caminos inesperados para alcanzar sus objetivos. Anthropic aplicó medidas de entrenamiento para mejorar sustancialmente estos comportamientos en la versión final de Mythos Preview, y estos resultados servirán de base para el trabajo en materia de seguridad en futuros modelos. La naturaleza de la IA es tal que, incluso la mejor alineación posible no garantiza un cumplimiento perfecto de las normas, y los modelos más potentes pueden tener un mayor impacto debido a las acciones inesperadas que llevan a cabo.
El coste de la expansión descontrolada de los agentes va más allá de los considerables riesgos en materia de seguridad y cumplimiento normativo. Los agentes individuales pueden tomar decisiones contradictorias para distintos equipos de trabajo o departamentos de la empresa, lo que puede generar incertidumbre o ciclos de conflicto. Las cargas de trabajo redundantes o los comportamientos descontrolados pueden provocar un aumento repentino de los costes de infraestructura o una caída drástica de la disponibilidad. O imagínese un agente al que se le haya encomendado acelerar el cumplimiento de las actualizaciones y que lo haga forzando reinicios inmediatos en toda la red, lo que altera los procesos en curso y provoca una interrupción generalizada del servicio.
Un agente demasiado entusiasta decidió que la forma más eficaz de limpiar un directorio de archivos era eliminar todo lo que tuviera más de seis meses de antigüedad.
Imagine a otra persona encargada de poner en orden las bandejas de entrada de correo electrónico, pero que, a continuación, archive los correos que aún requieran una acción urgente o que exijan un tratamiento especial por motivos de cumplimiento normativo. Le escribo basándome en mi propia experiencia: un agente demasiado entusiasta decidió que la forma más eficaz de limpiar un directorio de archivos era eliminar todo lo que tuviera más de seis meses de antigüedad. Cuando mis hooks preexistentes impidieron que se ejecutara un comando de eliminación, el sistema encontró un comando que yo no le había indicado explícitamente que evitara y lo utilizó en su lugar. Fue una valiosa lección para mí: y la IA de aquel día (y no se preocupe, tenía copias de seguridad).
Sin una gobernanza adecuada y sin la intervención humana (en el lugar adecuado en del proceso), las acciones que parecen tener un alcance modesto y una intención benigna pueden causar daños en toda la empresa. Los seis riesgos más importantes que conlleva poner en funcionamiento una IA autónoma sin medidas de protección sólidas son los siguientes:
- de la expansión desordenada: los agentes pueden multiplicarse rápidamente, lo que fragmenta el trabajo y genera solapamientos entre equipos.
- Desviación gradual de la configuración: A medida que las indicaciones, las preferencias y las configuraciones se van desviando, la actividad y el impacto de los agentes pueden variar, lo que da lugar a que estos se alejen de su propósito original.
- Infraestructura operativa frágil: Los agentes no controlados pueden hacer que los sistemas sean frágiles, de modo que pequeños cambios provoquen fallos impredecibles.
- Runaway costs: Agentic AI can use a lot more compute than GenAI chatbots, and a swarm of undermanaged agents running 24/7 can be shockingly expensive.
- Respuesta más lenta ante incidentes: Sin supervisión, resulta difícil determinar qué agente actuó, por qué lo hizo o cuál ha sido el alcance de su impacto.
- Desconfianza en los sistemas autónomos: El comportamiento impredecible de los agentes merma la confianza en la automatización y frena su implantación.
La gobernanza contribuye a mantener la IA autónoma por el buen camino, estableciendo límites claros, contrastando el comportamiento con la intención definida y haciendo que las acciones de los agentes sean transparentes y estén sujetas a rendición de cuentas. Mediante el uso de entornos de pruebas aislados, entornos de pruebas, la supervisión con intervención humana y la toma de decisiones transparente, las organizaciones pueden evitar un crecimiento descontrolado, detectar a tiempo los comportamientos de riesgo y generar confianza en los sistemas autónomos antes de que los problemas lleguen al entorno de producción.
Elementos de la gobernanza agencial
El objetivo de la gobernanza de los agentes es garantizar que las acciones y los resultados sean seguros y se ajusten a las prácticas de seguridad, las obligaciones normativas, las prácticas de privacidad y los objetivos empresariales. Para alcanzar estos objetivos es necesaria una estrecha colaboración entre los equipos de TI y de seguridad. De hecho, yo diría que estos equipos ya no pueden permitirse en absoluto considerarse equipos independientes. Sus flujos de trabajo y el ritmo al que trabajan estarán tan estrechamente entrelazados que tendrán que trabajar en perfecta sincronía entre sí y con su tecnología autónoma. Es necesario establecer desde el principio una estrategia de gobernanza y colaboración que evolucione al mismo tiempo que las capacidades de la IA.
Es necesario establecer políticas de gobernanza impulsadas por personas para evitar o contener una proliferación innecesaria de agentes.
Podemos dividir las preocupaciones relativas a la proliferación de agentes en dos categorías: humanas y técnicas. Los seres humanos provocarán, sin pretenderlo, una proliferación descontrolada de agentes cuando las personas y los equipos creen nuevos agentes a su antojo para gestionar tareas específicas, quizá sin tener en cuenta las mejores prácticas generales sobre cómo y cuándo crear, gestionar y retirar un agente. Es imprescindible que se establezcan estas políticas de gobernanza impulsadas por personas para evitar o contener una proliferación innecesaria de agentes. Algunas de las consideraciones técnicas que se exponen en la siguiente sección también abordan este riesgo.
En cuanto a los aspectos técnicos de la gestión de los agentes de IA empresariales, comenzaremos por lo básico:
- Pruebe los agentes exhaustivamente antes de su implementación. No se puede insistir lo suficiente en esto.
- Defina quién es el responsable y quién debe rendir cuentas de cada agente de IA.
- Limite los permisos de los agentes mediante controles de acceso basados en el principio del mínimo privilegio.
- Registrar y supervisar la actividad de los agentes para facilitar la auditoría y la resolución de problemas.
- Establezca políticas de uso aceptable y de cumplimiento normativo.
- Mantenga a las personas informadas en el caso de acciones de alto riesgo o irreversibles. La inteligencia artificial se encuentra todavía en una fase inicial, y hay algunas tareas que se prestan mejor que otras a una adopción temprana.
Esto es lo mínimo imprescindible; los equipos de ciberseguridad y de operaciones de TI deberían ir un poco más allá:
- Considere a los agentes de IA como una nueva clase de actores. Los agentes no son servicios de software deterministas al uso, ni son responsables ni se espera que tengan un criterio ético y contextual como lo tendrían los empleados humanos. Las empresas deberían definir una clasificación específica para los agentes que tenga en cuenta su autonomía y su comportamiento probabilístico, y que establezca políticas, procesos de revisión y vías de escalación adecuados. El agente es una identidad y , una aplicación y , y un comportamiento que permite supervisarlo todo en un solo lugar.
- Controle la intención de un agente, no solo su acceso. El control de las API es un paso fundamental para la gestión de los agentes de IA, pero no es suficiente. La empresa debe definir qué pretende lograr un agente y cuáles son las limitaciones de sus acciones. Esto incluye su capacidad para crear subagentes o para colaborar con otros sistemas de agentes que puedan tener permisos superiores, objetivos contradictorios o límites distintos.
- Observe el comportamiento, no solo los resultados. Es importante evaluar no solo los resultados de un agente, sino también sus decisiones en su contexto. Si no sabe por qué y cómo un agente ha pasado de la indicación inicial a las opciones de decisión y, finalmente, a la acción definitiva, no sabrá realmente si está funcionando correctamente. Este nivel de trazabilidad resulta asimismo fundamental para el cumplimiento normativo y las investigaciones de incidentes de seguridad. Este aspecto es uno de los más difíciles de abordar correctamente y, a día de hoy, no existe una solución única válida para todos los casos.
- Limite su independencia. Más allá de los controles de acceso basados en el principio del privilegio mínimo, exija a los agentes que actúen con certeza. Exija a los agentes que recurran a un ser humano cuando el nivel de confianza en una acción propuesta sea inferior a un umbral aceptable. El exceso de confianza es una característica distintiva de los resultados de los modelos LLM, y pueden surgir riesgos considerables cuando un agente de IA, en esencia, finge estar seguro ante la incertidumbre en lugar de recurrir a un apoyo adicional.
- Prevea los errores y diseñe con vistas a su contención. Los agentes acabarán actuando de forma inesperada. Las organizaciones deben limitar el alcance de los sistemas sobre los que un agente puede influir y restringir la frecuencia con la que puede intervenir, a fin de que las organizaciones puedan desactivar un agente de manera oportuna, con un daño limitado.
- Evalúe periódicamente los permisos y los objetivos. Los agentes son sistemas adaptativos que operan en entornos en constante cambio. A medida que cambian las instrucciones, los modelos y las necesidades de la organización, los permisos y objetivos obsoletos pueden generar incertidumbre o riesgos.
Estos principios deberían contribuir a que cualquier agente se mantenga dentro de los límites establecidos. Sin embargo, para gestionar el riesgo adicional que supone la proliferación descontrolada de agentes, existen consideraciones adicionales que abordan a los agentes como un sistema.
Cuatro factores para el control de multitudes basado en la agencia
Por sí solo, un agente mal gestionado supone un riesgo para la organización. Cuando el número de agentes de la empresa crece de forma exponencial, también lo hace el riesgo potencial. A medida que la empresa incorpora más agentes al entorno de producción (y esos agentes, tal vez, generen subagentes para completar sus tareas), la gobernanza debe adquirir una nueva dimensión. No se trata únicamente de gestionar herramientas individuales, sino un ecosistema complejo y en constante evolución formado por agentes automáticos probabilísticos. Entre las consideraciones clave en este nivel se incluyen:
- Inventario y registro de agentes centralizados. Al igual que ocurre con los dispositivos finales, no es posible gestionar los agentes que no se ven, por lo que la primera tarea consiste en crear un inventario centralizado. Una vez hecho esto, no se limite a considerar únicamente a los agentes individuales, sino toda la cartera en su conjunto. En su conjunto, ¿refleja el sistema de agentes la misión y los objetivos de la empresa? ¿Suponen estos agentes, en su conjunto, riesgos que quizá no resulten evidentes a nivel individual?
- Observabilidad continua y gobernanza integral. Para gestionar un sistema de agentes, es necesario tener una visión global de todo el sistema. Una visión global permite observar cómo interactúan los agentes, dónde se solapan las competencias y cómo se acumula el riesgo en todo el sistema de agentes. La supervisión y la gobernanza centralizadas permiten a las organizaciones aplicar políticas de manera coherente en todo el sistema de agentes, detectar desviaciones a lo largo del tiempo e intervenir rápidamente cuando el comportamiento de los agentes se desvía de los objetivos de la empresa.
- Gestión del ciclo de vida. Los agentes que se han olvidado con el paso del tiempo, o que han sido sustituidos por herramientas más eficaces pero que nunca se han desactivado, pueden seguir actuando, consumir recursos o convertirse en una superficie de ataque no detectada. Las empresas necesitan planes claros para identificar y retirar los agentes que resulten redundantes o que ya no sean útiles para el negocio.
- Seguimiento del uso de recursos y gestión de costes. Es necesario tener en cuenta el efecto acumulativo de los agentes sobre los recursos de la empresa. Es posible que un agente concreto se encuentre dentro de los parámetros establecidos y esté aportando eficiencia, pero es importante comprender el uso global de los recursos y tener una visión clara de en qué aspectos se están sobrepasando dichos parámetros.
Si bien los retos que plantea un ecosistema de agentes en constante expansión se van manifestando con el paso del tiempo, mucho después de que los agentes iniciales entren en fase de producción, ya desde el principio debería existir una visión a nivel de sistema sobre la gobernanza de los agentes. Antes de que el primer agente entre en fase de producción, las organizaciones deben plantearse cómo gestionar y proteger un ecosistema más amplio de agentes que interactúan entre sí.
La gobernanza permite que la empresa basada en la agencia sea escalable
Hoy en día, estamos intentando encajar a la fuerza los sistemas probabilísticos en los antiguos controles técnicos binarios. Es necesario encontrar un equilibrio entre la adopción de tecnologías innovadoras, el cambio de perspectiva sobre a qué se adaptan (y a qué no se adaptan) los controles técnicos, y la adaptación de los mecanismos de gobernanza a la era moderna. Las organizaciones que adopten una nueva perspectiva sobre lo que significa la buena gobernanza facilitarán la transformación digital y protegerán la resiliencia en el proceso. Esas organizaciones se destacarán del resto en materia de productividad e innovación. Hacerlo bien no consiste en limitar la IA, sino en garantizar que los sistemas autónomos actúen de forma coherente al servicio de los resultados empresariales previstos.
Si bien los equipos de seguridad y operaciones conocen bien los fundamentos de la gobernanza, la IA autónoma cambia radicalmente la magnitud, el ritmo y la naturaleza del reto. La gobernanza debe tener en cuenta ahora unos sistemas en constante evolución formados por agentes que actúan e interactúan más allá de la supervisión humana directa y, en ocasiones, aquellos que operan basándose en la «defensa por intuición», lo que puede suponer una nueva frontera inquietante para quienes son profesionales con amplia experiencia en este ámbito. En ese sentido, las organizaciones deben volver a los principios fundamentales, no para recrear antiguos controles, sino para replantearse la gobernanza desde cero de cara a una era de toma de decisiones autónoma. Si se aplica correctamente, esa gobernanza evitará que la proliferación de agentes se convierta en un caos destructivo y garantizará que la rapidez y la escala sigan siendo ventajas, en lugar de inconvenientes.
