La tecnología de IA generativa ya está proporcionando a algunas empresas pioneras importantes mejoras en ventas, atención al cliente, marketing y automatización, y un sinfín de otras empresas están preparando a su personal para la implantación de la IA generativa en el nuevo año. La promesa de un aumento repentino de la productividad resulta sumamente tentadora, pero las empresas deben conocer los riesgos que asumen al implementar la IA y el papel de la IA en la ciberseguridad.
Al igual que ocurre con cualquier otra tecnología digital conectada, los modelos de lenguaje a gran escala (LLM) de IA generativa, los datos con los que se entrenan —y los empleados que los utilizan— pueden dar lugar a posibles fugas de datos y ataques. De hecho, ya se han producido un par de filtraciones sorprendentes:
En tres ocasiones distintas la pasada primavera, empleados de Samsung filtraron inadvertidamente material confidencial a ChatGPT al subirlo al servicio, entre el que se incluían código de software y la grabación de una reunión, lo que llevó a la empresa a prohibir el uso de los servicios de GenAI entre su personal. (La comodidad que ofrecen productos como ChatGPT o Bard, de Google, hace que sea fácil olvidar que las conversaciones que mantenga con este tipo de chatbots no son privadas.) La información que introduzca puede hacerse pública.) Hace apenas unas semanas, unos empleados de Microsoft expusieron accidentalmente 38 terabytes de datos de entrenamiento de modelos de lenguaje a gran escala (LLM) al subirlos a la plataforma para desarrolladores GitHub.
Este tipo de incidente podría ocurrirle a cualquier empresa que trabaje con modelos de lenguaje a gran escala (LLM), pero es poco probable que eso frene la inversión empresarial en la IA generativa.
Una encuesta realizada por Gartner en noviembre reveló que los responsables empresariales ajenos al ámbito de las tecnologías de la información tienen previsto destinar, de media, el 6.5 % de su presupuesto funcional a la IA generativa en 2024 —algo que Harvard Business Review calificó como «una proporción asombrosa de recursos en un entorno con restricciones». Y según un informe de Bloomberg Intelligence titulado « » ( ), el mercado de la IA generativa podría crecer un 42 % anual y alcanzar los 1.3 billones de dólares en 2032. Esto hace que recaiga sobre las empresas la responsabilidad de diseñar, desarrollar e implementar estos sistemas de forma segura; de lo contrario, los autores de amenazas encontrarán en estos modelos y en los datos que los alimentan un auténtico tesoro.
«La IA generativa es una potente herramienta de productividad, pero debemos saber cómo proteger estos sistemas», afirma Caleb Sima, antiguo director de seguridad (CSO) de Robinhood Financial y actual presidente de la Iniciativa para la Seguridad de la IA de la Cloud Security Alliance.
Sin duda, existen numerosos riesgos asociados al uso de los modelos de lenguaje grande (LLM), como los ataques de denegación de servicio distribuido (DDoS) , que podrían impedir que los clientes o los empleados tuvieran acceso al modelo. También existen riesgos relacionados con la seguridad de las aplicaciones de los propios modelos, así como de las aplicaciones que se integran en ellos, lo que podría dar lugar a fugas de datos y al secuestro de modelos. Además, está la cuestión del acceso: imagínese los problemas que podrían derivarse de conceder a un modelo de lenguaje grande (LLM) un alto nivel de permisos dentro de una organización, lo que le permitiría acceder a otras bases de datos y aplicaciones o realizar tareas como emitir cheques o suspender servicios. Al menos en un futuro previsible, será necesario mantener a los modelos de lenguaje a gran escala (LLM) bajo estricto control.
Para evitar las brechas de seguridad relacionadas con los modelos de lenguaje grande (LLM), será necesario adoptar medidas específicas para proteger estos sistemas. A continuación se enumeran los tres principales ataques a los que, según los expertos, podrían enfrentarse las empresas —seguidos de un reto general relacionado con la IA general al que sin duda se enfrentará toda organización— y la mejor forma de defenderse de cada uno de ellos:
1. Ataques de inyección de comandos
¿Qué es eso? Esto implica que un atacante elabore una indicación —es decir, una solicitud («Genere ideas para el lanzamiento de un nuevo producto con temática festiva») o una pregunta («¿Cuál es la ruta más rápida de Los Ángeles a Boston?») que indique al modelo de lenguaje grande (LLM) lo que se desea que haga —diseñada para manipular al LLM con el fin de que realice una acción no deseada o maliciosa, como provocar el bloqueo de una aplicación o engañarlo para que revele información no pública, hacer que un chatbot de atención al cliente solicite datos personales u otra información confidencial, conceder al atacante acceso no autorizado, crear malware o un artículo de noticias falso, o realizar compras no autorizadas.
«La IA generativa es una potente herramienta de productividad, pero debemos saber cómo proteger estos sistemas.»Caleb Sima, presidente de la Iniciativa de Seguridad en la IA de la Cloud Security Alliance
La mejor defensa: . Aunque los expertos afirman que, por el momento, no existe ninguna forma de defenderse por completo contra los ataques de inyección de comandos dirigidos a los modelos de lenguaje grande (LLM), las empresas pueden adoptar una serie de medidas para mitigar el riesgo. El Proyecto Abierto de Seguridad de Aplicaciones Web (OWASP) recomienda lo siguiente:
- Limite el acceso con privilegios de un modelo de lenguaje grande (LLM) o de un complemento de LLM a los niveles más bajos posibles. Por ejemplo, la creación de modelos de lenguaje grande (LLM) específicos para cada área de negocio —como I+D, marketing y asuntos jurídicos— a los que solo puedan acceder los usuarios de dichas divisiones. Los complementos de los modelos de lenguaje grande (LLM) —que ofrecen a estos modelos capacidades adicionales, como la traducción de idiomas o la interacción con otras aplicaciones y bases de datos— deben someterse a un riguroso control de seguridad y utilizarse solo de forma mínima.
- Incorpore a personas en el proceso siempre que sea posible para que verifiquen y aprueben los resultados, especialmente cuando el modelo de lenguaje grande (LLM) interactúe con datos o software externos.
- Separe las solicitudes de los usuarios de las fuentes de contenido externas y procéselas por separado, a fin de evitar cualquier interacción no deseada.
- Trate al LLM como un usuario no de confianza y limite su capacidad para interactuar con usuarios y sistemas únicamente a lo estrictamente necesario. Tenga en cuenta el principio del mínimo privilegio. En lo que respecta a las herramientas de IA generativa (y, de hecho, a cualquier otra herramienta o procedimiento utilizado en una red informática empresarial), zero trust es su mejor aliado.
2. Ataques de adulteración de datos
¿Qué es eso? Los ataques de «envenenamiento de datos» contra los modelos de lenguaje a gran escala (LLM) actúan bien dirigiéndose a los datos de entrenamiento que se introducen en el modelo, bien calibrando de forma maliciosa el LLM para crear vulnerabilidades en el sistema que comprometerían la precisión o la eficacia del modelo. Al contaminar los datos, los autores de las amenazas también podrían pretender manipular el modelo para que difunda información falsa. Dichos ataques podrían ser perpetrados por empleados de que guarden rencor o por personas ajenas a la empresa que consigan acceder a los datos de entrenamiento.
«Realice un seguimiento de la procedencia del modelo de aprendizaje automático [de una herramienta de IA] a lo largo del tiempo e incluso verifique la firma digital para asegurarse de que sabe que una organización en la que confía afirma que ese es su modelo.»Walter Haydock, fundador y director ejecutivo de StackAware
La mejor defensa: Para defenderse de los ataques de «envenenamiento de datos», las empresas deben centrarse en la integridad de sus datos de entrenamiento y en la integridad del propio modelo. «Es importante comprender la procedencia de los datos con los que se entrena un modelo, así como la procedencia del propio modelo», afirma Walter Haydock, fundador y director ejecutivo de StackAware, una empresa especializada en ciberseguridad basada en la inteligencia artificial.
Haydock aconseja a las empresas que realicen un seguimiento de los paquetes de software que utilizan para desarrollar sus modelos de IA mediante una lista de componentes de software (SBOM) de « ». Esta lista de todos los componentes y dependencias de un producto de software determinado se ha convertido en un aspecto fundamental y habitual de la actividad empresarial actual (y, según , ahora es obligatorio para todos los proveedores que vendan software al Gobierno federal), ya que permite detectar los elementos de riesgo de una aplicación que podrían dejar a su empresa expuesta a ataques.
[Lea también: El plan de acción del Gobierno de EE. UU. para reforzar las cadenas de suministro]
«Realice un seguimiento de la procedencia de un modelo concreto de aprendizaje automático de (se abre en una nueva pestaña) a lo largo del tiempo, e incluso verifique la firma digital para asegurarse de que sabe que una organización en la que confía afirma que se trata de su modelo», afirma Haydock.
3. Fuga de datos
¿Qué es eso? En lo que respecta a los modelos de lenguaje a gran escala (LLM), las fugas de datos son similares a las que se producen en otras bases de datos y sistemas de almacenamiento de datos. Si estos sistemas y los datos asociados no se gestionan adecuadamente, los modelos de lenguaje grande (LLM) —y los flujos de datos que los alimentan— podrían revelar datos sensibles, datos sujetos a regulación o propiedad intelectual, lo que podría dar lugar a graves brechas de seguridad y violaciones de la privacidad.
La mejor defensa: Las organizaciones deben comprender de dónde proceden los datos que introducen en el modelo, asegurarse de que sean precisos y no hayan sido alterados, y comprobar que se hayan eliminado los datos sensibles, confidenciales o sujetos a normativa. Haydock y otros aconsejan a las organizaciones que se aseguren de contar con procesos para depurar los datos antes de introducirlos en el modelo. «La mejor forma de evitar la fuga de datos es asegurarse de que dichos datos nunca lleguen al modelo», afirma. Esto implica asegurarse de que los datos de entrenamiento que utilizan los investigadores para «enseñar» al modelo no incluyan información confidencial de los clientes, propiedad intelectual de la empresa ni ninguna otra «joya de la corona» e en materia de datos que merezca la pena proteger.
Al utilizar sistemas de inteligencia artificial de terceros, las organizaciones deben asegurarse de que el modelo de IA generativa no se esté entrenando con datos facilitados por los usuarios; dicha restricción debe quedar claramente especificada en el contrato con el proveedor del servicio. Además, los programas de formación en ciberseguridad para el personal de deben actualizarse para incluir contenidos sobre la inteligencia artificial, de modo que los trabajadores sepan que no deben compartir datos confidenciales con modelos de terceros.
Muchos servicios de GenAI están tomando medidas para proteger los datos de los clientes. Las organizaciones también deben actuar con cautela a la hora de conectar estos servicios de IA generativa a sus propias fuentes de datos internas y archivos de investigación, ya que el riesgo de fuga de datos confidenciales aumenta drásticamente al conectar dichos servicios a los almacenes de datos existentes.
Y otra cosa más: el uso inevitable de la «IA en la sombra»
¿Qué es eso? El «otro riesgo» con el que probablemente se enfrentarán todas las organizaciones en la era de la IA generativa: el uso indebido de servicios de IA generativa de terceros por parte del personal. Del mismo modo que la informática móvil y en la nube introdujeron en las empresas dispositivos finales no autorizados , y aplicaciones mediante la «» y la «TI en la sombra», los modelos de lenguaje grande (LLM) orientados al consumidor están permitiendo a los empleados adquirir acceso a estos servicios de IA de última generación y utilizarlos para diversos tipos de trabajo.
La mejor defensa: . Aprenda de las experiencias de épocas anteriores en el ámbito de la tecnología móvil y de la computación en la nube:. No hace mucho tiempo, las empresas tenían que averiguar cómo gestionar los riesgos asociados al hecho de que los empleados utilizaran sus propios dispositivos y programas informáticos personales en el trabajo y se conectaran a la red informática de su empresa. Al igual que entonces, las empresas reaccionarán de forma diferente: algunas intentarán impedir por completo el uso de la IA generativa por parte de los empleados, mientras que otras tratarán de moderarlo caso por caso.
[Lea también: Por qué los trabajadores violan las políticas de ciberseguridad]
«Las prohibiciones absolutas no van a funcionar», afirma Haydock. «La gente simplemente los va a ignorar». «La mejor forma [de gestionar el riesgo] es reconocer que se trata de una realidad y controlarla en la medida de lo posible», afirma. Por lo general, esto implica que los empleados soliciten autorización para utilizar cualquier nuevo servicio de IA generativa, y que los equipos de seguridad y de tecnología evalúen dicho servicio antes de incluirlo en una lista autorizada de proveedores de IA que el personal pueda utilizar.
Lograr que esa política sea la adecuada requerirá un proceso de prueba y error hasta que se alcance el equilibrio adecuado entre la productividad del personal y la seguridad. De hecho, es probable que eso sea lo que ocurra a la hora de garantizar la seguridad de la IA generativa (GenAI) de forma más generalizada dentro de la empresa. Lo importante ahora es identificar los principales riesgos y empezar a adoptar las medidas adecuadas para gestionarlos.
