La tecnología de IA generativa ya está llevando a algunas empresas listas para usar grandes impulsos en ventas, servicio al cliente, marketing y automatización, e innumerables otras empresas están preparando a su personal para las implementaciones de GenAI en el nuevo año. La promesa de los estallidos de productividad es extremadamente seductora, pero las empresas necesitan saber qué riesgos están asumiendo al implementar la IA y el rol de la IA en la ciberseguridad.
Al igual que con cualquier otra tecnología digital conectada, los modelos de lenguaje grande (LLM) de GenAI, los datos en los que están capacitados y los empleados que los utilizan pueden desencadenar posibles fugas y ataques de datos. De hecho, ya se han producido un par de fugas impresionantes:
En tres ocasiones separadas la primavera pasada, los empleados de Samsung filtraron inadvertidamente material confidencial a ChatGPT en una carga al servicio, incluido el código de software y una grabación de reunión, lo que hizo que la empresa prohibiera el uso de los servicios de GenAI entre el personal. (La comodidad de los productos como ChatGPT o Bard de Google hace que sea fácil olvidar que cualquier conversación que tenga con dichos chatbots no es privada. La información que alimenta puede hacerse pública). Hace solo semanas, los colaboradores de Microsoft expusieron accidentalmente 38 terabytes de datos de capacitación de LLM mientras los colocaban en la plataforma de desarrollo GitHub.
Este tipo de filtración podría sucederle a cualquier empresa que trabaje con LLM, pero no es probable que eso detenga la inversión empresarial en GenAI.
Una encuesta de Gartner realizada en noviembre reveló que los líderes comerciales fuera del plan de TI asignan, en promedio, el 6.5 % de su presupuesto funcional a la IA generativa en 2024 , algo que la Harvard Business Reviewllamó “una participación sorprendente de recursos en un entorno limitado”. Según un informe de Bloomberg Intelligence, el mercado de GenAI podría crecer un 42 % anual y alcanzar los 1.3 billones de dólares en 2032. Eso pone la responsabilidad sobre las empresas de diseñar, construir e implementar estos sistemas de maneras seguras, o los actores de amenazas encontrarán un tesoro de valor en estos modelos y en los datos que se alimentan de ellos.
“La IA generativa es una poderosa herramienta de productividad, pero tenemos que saber cómo proteger estos sistemas”, dice Caleb Sima, exdirector de seguridad (CSO) de Robinhood Financial y actual presidente de la Iniciativa de seguridad de IA de Cloud Security Alliance.
Para estar seguros, hay muchos riesgos asociados con el uso de LLM, como ataques de denegación de servicio distribuido (DDoS), que podrían hacer que el modelo no esté disponible para los clientes o empleados. También hay riesgos en la seguridad de las aplicaciones de los modelos en sí, así como en las aplicaciones que se conectan a ellos, todo lo cual podría conducir a la fuga de datos y el secuestro de modelos. Luego, está el problema del acceso: imagine los problemas que podrían surgir al otorgar a una LLM un permiso alto permiso dentro de una organización, lo que le permite acceder a otras bases de datos y aplicaciones o realizar tareas como cortar verificaciones o desactivar el servicio. Para el futuro previsible, al menos, los LLM deben mantenerse con una correa corta.
Evitar las violaciones de seguridad relacionadas con los LLM requerirá pasos específicos para proteger estos sistemas. A continuación, se presentan los tres principales ataques que los expertos creen que las empresas pueden enfrentar, seguidos de un desafío general de GenAI que todas las organizaciones seguramente enfrentarán, y cómo defenderse mejor de cada uno:
1. Ataques de inyección rápidos
¿Qué es? Esto implica que un atacante elabore una indicación, es decir, una solicitud (“Generar ideas para el lanzamiento de un nuevo producto con un tema festivo”) o una pregunta (“¿Cuál es la ruta más rápida de Los Ángeles a Boston?”) que le dice a una LLM lo que desea que haga: diseñado para manipular la LLM en una acción no deseada o maliciosa, como bloquear una aplicación o engañarla para que revele información no pública, hacer que un chatbot de servicio al cliente solicite datos personales u otra información confidencial, otorgar al atacante acceso no autorizado, crear malware o un artículo de noticias falso o realizar compras no aprobadas.
“La IA generativa es una poderosa herramienta de productividad, pero tenemos que saber cómo proteger estos sistemas”.Caleb Sima, presidente de la Iniciativa de seguridad de IA de Cloud Security Alliance
La mejor defensa: Si bien los expertos dicen que no hay manera de defenderse completamente de los ataques de inyección rápidos que apuntan a los LLM, hay medidas que las empresas pueden tomar para mitigar el riesgo. El proyecto de seguridad de aplicaciones web abiertas (Open Web Application Security Project, OWASP) aconseja lo siguiente:
- Limite el acceso privilegiado de un complemento LLM o LLM a los niveles más bajos posibles. Por ejemplo, crear LLM específicos del negocio, como para I+D, marketing y legal, a los que solo pueden acceder los usuarios de esas divisiones. Los complementos de LLM (que ofrecen capacidades adicionales de LLM como traducción de idiomas o interacción con otras aplicaciones y bases de datos) deben examinarse por su seguridad y utilizarse solo mínimamente.
- Ponga a los humanos en el ciclo siempre que sea posible para verificar y aprobar la salida, especialmente cuando el LLM interactúa con datos o software externos.
- Separe las indicaciones del usuario de fuentes de contenido externas y procese esas indicaciones por separado para evitar cualquier interacción no deseada.
- Trate el LLM como un usuario no confiable y limite su capacidad de interactuar con usuarios y sistemas solo a aquellos que son absolutamente necesarios. Piense en el principio de menor privilegio. Cuando se trata de herramientas de GenAI (y, en ese caso, cualquier otra herramienta y procedimiento utilizado en una red de computadoras empresarial), cero confianza es su amigo.
2. Ataques de envenenamiento de datos
¿Qué es? Los ataques de envenenamiento de datos contra los LLM funcionan ya sea dirigiéndose a los datos de capacitación que se suministran al modelo o calibrando maliciosamente el LLM para crear vulnerabilidades en el sistema que comprometerían la precisión o efectividad del modelo. Al envenenar los datos, es posible que los actores de amenazas también deseen manipular el modelo para propagar falsedades. Dichos ataques pueden ser realizados por empleados con rencor o personas externas que logren obtener acceso a los datos de capacitación.
“Haga un seguimiento del origen del modelo de aprendizaje automático de [una herramienta de IA] a lo largo del tiempo e incluso verifique la firma digital para asegurarse de saber que una organización en la que confía está diciendo que este es su modelo”.Walter Haydock, fundador y director ejecutivo de StackAware
La mejor defensa: Para defenderse de los ataques de envenenamiento de datos, las empresas deben enfocarse en la integridad de sus datos de capacitación y la integridad del modelo en sí. “Quiere comprender el origen de los datos en los que se capacita un modelo y el origen del modelo en sí”, dice Walter Haydock, fundador y director ejecutivo de la firma de ciberseguridad de IA StackAware.
Haydock recomienda a las empresas hacer un seguimiento de los paquetes de software que utilizan para crear sus modelos de IA en una lista de materiales (SBOM) de software. Esta lista de todos los componentes y dependencias dentro de un producto de software determinado se ha convertido en un aspecto vital y estándar para hacer negocios hoy en día (y ahora se requiere que todos los proveedores vendan software al gobierno federal), ya que puede eliminar las partes riesgosas de una aplicación que pueden dejar a su empresa abierta al ataque.
“Realice un seguimiento del origen de un determinado modelo de aprendizaje automático (se abre en una nueva pestaña) con el tiempo e incluso verifique la firma digital para asegurarse de saber que una organización en la que confía dice que este es su modelo”, dice Haydock.
3. Filtración de datos
¿Qué es? Cuando se trata de LLM, la fuga de datos es similar a la fuga de datos con otras bases de datos y sistemas de almacenamiento de datos. Si estos sistemas y datos asociados no se gestionan correctamente, los LLM, y los procesos de datos que los alimentan, pueden revelar datos confidenciales, datos regulados o propiedad intelectual, lo que puede conducir a graves violaciones de seguridad y violaciones de privacidad.
La mejor defensa: las organizaciones deben entender de dónde provienen los datos que están introduciendo en el modelo, que son precisos y no han sido alterados, y que se han desinfectado los datos confidenciales, de propiedad exclusiva o regulados. Haydock y otros recomiendan a las organizaciones asegurarse de que tengan procesos implementados para desinfectar los datos antes de que se incorporen al modelo. “La mejor manera de evitar la fuga de datos es asegurarse de que esos datos nunca alcancen el modelo”, dice. Eso significa asegurarse de que los datos de capacitación utilizados por los investigadores para “enseñar” el modelo no incluyan información confidencial del cliente, propiedad intelectual empresarial ni ninguna otra “joya oculta” de datos que valga la pena proteger.
Al usar sistemas de IA de terceros, las organizaciones deben asegurarse de que el modelo GenAI no se esté capacitando sobre los datos proporcionados por el usuario; esa restricción debe deletrearse en el contrato con el proveedor de servicios. Y los programas de capacitación en ciberseguridad del personal deben actualizarse para incluir debates sobre IA, para que los trabajadores sepan que no deben compartir datos confidenciales con modelos de terceros.
Muchos servicios de GenAI están tomando medidas para proteger los datos del cliente. Las organizaciones también deben tener cuidado al conectar estos servicios de GenAI a sus propias fuentes de datos internas y archivos de investigación, porque el riesgo de fuga de datos confidenciales aumenta drásticamente al conectar los servicios de GenAI a los almacenes de datos existentes.
Y otra cosa: el uso inevitable de la “IA oculta”
¿Qué es? El “otro riesgo” que todas las organizaciones probablemente encontrarán en la era de GenAI: el uso fraudulento de servicios de GenAI de terceros entre el personal. Así como la computación móvil y en la nube introdujo dispositivos y aplicaciones de endpoint fraudulentos con “TI oculta”, los LLM basados en el consumidor permiten a los colaboradores acceder a estos servicios de GenAI y usarlos para diversos tipos de trabajo.
La mejor defensa: aprenda las lecciones de las eras anteriores de la computación móvil y en la nube. No fue hace mucho tiempo cuando las empresas tuvieron que averiguar cómo gestionar los riesgos asociados con el uso de sus propios dispositivos y software personales mientras estaban en el trabajo y se conectaban con la red informática de su empleador. Así como entonces, las empresas responderán de manera diferente, y algunas intentarán detener todo uso de GenAI impulsado por los empleados y otras intentarán moderarlo caso por caso.
[Leer también: Por qué los trabajadores violan las políticas de ciberseguridad]
“Las prohibiciones absolutas no van a funcionar”, dice Haydock. “La gente solo los va a ignorar. La manera óptima [de gestionar el riesgo] es reconocer que esta es una realidad y obtener la mayor cantidad de control posible”, dice. Por lo general, eso significa que los empleados solicitan la aprobación para el uso de cualquier nuevo servicio de GenAI y que el equipo de seguridad y tecnología examine el servicio antes de agregarlo a una lista aprobada de proveedores de IA que el personal puede usar.
Hacer que esa política sea correcta va a tomar algo de prueba y error hasta que se alcance el equilibrio correcto entre la productividad y la seguridad del personal. De hecho, es probable que ese sea el caso con la protección de GenAI de manera más amplia dentro de la empresa. Lo importante que debe hacer ahora es reconocer los riesgos principales y comenzar a tomar las medidas adecuadas para gestionarlos.
