Resumen
Muchas organizaciones creen que no utilizan IA, pero por supuesto sus empleados están experimentando con todo tipo de nuevas herramientas de IA, ya que la curiosidad por la IA se apodera de la cultura. Lo que esos trabajadores no saben es cómo pueden estar exponiendo los datos de la empresa. Está ocurriendo rápidamente, y cualquier empresa que no tenga una estrategia de IA necesita establecer parámetros y límites ahora.
La clave es informar a los empleados sobre el riesgo y aprender de ellos cómo estas herramientas ayudan a realizar el trabajo, para que sus límites protejan sin prohibir el crecimiento empresarial.
Presentadora: Stephanie Aceves, directora sénior de gestión de productos, Tanium
Invitada: Candy Alexander, CISO y líder de práctica cibernética, NeuEon Inc.
Notas del programa
Para obtener más información sobre la IA en la sombra y la TI en la sombra, consulte nuestros artículos en Focal Point, la galardonada revista de noticias cibernéticas en línea de Tanium, y estos otros recursos útiles.
- Los empleados adoptan la 'IA en la sombra' y ponen en riesgo los datos de la empresa | Focal Point
- Ep. 18: Iluminando la TI en la sombra | Let's Converge
- 4 Prioridades de liderazgo críticas para los CISO en la era de la IA | Focal Point
- Prevenir el sesgo de la IA comienza desde arriba: pregúntele a estas directoras de IA | Focal Point
- ¿Qué es la monitorización de la experiencia digital? Por qué la estrategia DEM es importante y refuerza la experiencia del empleado y del cliente | Tanium
- 8 Etapas de la 'Montaña Rusa Emocional' de la IA | Tanium
Transcripción
La siguiente entrevista se ha editado para mayor claridad.
"El otro día escuché un comercial en algo de YouTube que estaba viendo, y dijeron: "Oh, con el uso de la IA, que es más inteligente que los humanos,..." y simplemente me reí… El marketing se está aferrando a esto para productos de consumo, diciendo que la IA es lo mejor que existe. Eso es lo que nuestra comunidad de usuarios finales está escuchando."Candy Alexander, CISO y líder de práctica cibernética, NeuEon Inc.
Stephanie Aceves: Hola, mi nombre es Stephanie Aceves. Soy directora sénior de gestión de productos en Tanium, y hoy en Let's Converge, hablamos sobre shadow IT y shadow AI. Bienvenidos a la segunda parte de nuestra serie de dos partes que analiza este problema cada vez más peligroso para las empresas.
En la primera parte, cubrimos algunas de las herramientas de gestión de proyectos que sus empleados pueden estar usando sin que usted lo sepa, y lo que puede ser un hecho sorprendente para algunos: que sus empleados que usan shadow IT realmente tienen buenas intenciones. La mayoría de las veces, simplemente están tratando de descubrir cómo hacer su trabajo mejor y más rápido. Y no se dan cuenta de que al usar tecnología no aprobada, pueden estar poniendo a la empresa en riesgo.
Acompañándome hoy para hablar sobre este tema está Candy Alexander, directora de seguridad de la información y líder de práctica cibernética en NeuEon Inc., una destacada firma de consultoría en gestión empresarial. Además de desarrollar y gestionar programas de seguridad corporativa, Candy ha sido elegida – dos veces – como presidenta internacional de la Asociación de Seguridad de Sistemas de Información, y ha sido durante mucho tiempo directora en su junta internacional.
Bien, volvamos a nuestra discusión.
Hay un nuevo actor que está entrando en el espacio, y se trata de la IA en la sombra.
Alexander: Es verdaderamente una era revolucionaria en la que estamos entrando con la IA, y puede ir en múltiples direcciones. Solo espero y tengo confianza en que irá bien, pero creo que habrá algunos sustos aterradores en el camino.
Aceves: En las empresas con las que trabajamos en mi trabajo, hablamos con ejecutivos sobre las preocupaciones relacionadas con el… resurgimiento de la IA, específicamente con la llegada de los LLMs [modelos de lenguaje de gran escala]. Y cuando hablamos con ellos, hay una preocupación real en torno a la filtración de datos, que es un problema similar al que hemos definido en la típica TI en la sombra. Y llegas a entender que muchas veces la IA, especialmente con los LLMs, el riesgo es que estás entrenando el modelo con lo que podría ser información sensible. ¿Puede compartir un poco más específicamente desde la perspectiva de la IA y cómo está afectando o cómo espera que afecte a las empresas a medida que continuamos evolucionando, adaptándonos y aprovechando este nuevo tipo de tecnología?
Alexander: Es curioso porque esta es una introducción interesante de tecnologías "nuevas", pero en realidad no son nuevas. Quiero decir, seamos honestos, la IA ha existido desde siempre.
Aceves: Absolutamente.
Alexander: Pero, por supuesto, ahora que se ha vuelto mainstream, todo el mundo ha estado usando IA y se está volviendo más significativa con la… disponibilidad de ChatGPT. Entonces muchas organizaciones dirán, bueno, nosotros no usamos IA. Y por supuesto uno simplemente se ríe por lo bajo, porque ciertamente lo hacen. Tenemos empleados que usarán, por ejemplo, ChatGPT o …Google Bard o Gemini ahora, para hacer cosas como usarlo para mejorar su escritura o currículums o marketing, lo que sea. Así que es realmente difícil tener un control sobre ese uso. Además de eso, la otra parte del espectro es el uso de algún tipo de IA, IA generativa, para la completación de código, ¿verdad?
Esta semana hablé precisamente sobre software de cadena de suministro. Y esta es, en mi opinión, una de las formas en que vamos a poder identificar el uso de la IA en cuanto al desarrollo y luego poder evaluarlo. Así que vamos a poder identificar, nuevamente con el uso del software de cadena de suministro, cadena de suministro, qué tipos de IA estás utilizando, vamos a explorar la IA explicable, de la que todo el mundo habla ahora, y luego establecer parámetros en torno a su uso… y evaluar constantemente ese uso. Y eso es importante. Pero quiero volver al otro lado, donde están las organizaciones que dicen, bueno, realmente no tenemos una estrategia de IA. Y mi consejo para ellas es que más vale que se apresuren a hacerlo ahora y establezcan esos parámetros.
Y debe comenzar con algo tan simple como su política de uso aceptable. Establezcan esos parámetros, esas barreras de protección, ese control direccional sobre lo que es aceptable y lo que no lo es. Y… tengan en cuenta que la IA generativa es exactamente eso: aprende de forma generativa y aumenta su conocimiento y alcance en función de la información que se le proporciona. Así que piensen en esto: ¿realmente quieren que la información corporativa forme parte de ese lago de datos o del conjunto de datos? En absoluto. Por lo tanto, deben pensar en el caso de uso. Y al igual que con la cadena de suministro de software, [les sugiero que] tracen un mapa de los componentes y cómo interactúan entre sí, ¿cuándo entran en juego? Lo mismo ocurre con un caso de uso de IA para usuarios finales, ya sea Microsoft Copilot u otra herramienta de IA. Necesitas entender cómo se va a utilizar y si quieres usar una IA de código abierto o si quieres usar una IA privada para tu organización, de modo que las consultas que se introduzcan en ese uso de IA permanezcan dentro de los límites de tu organización.
Aceves: Me encanta eso. Y sabes, algunas de las personas líderes con las que he hablado, sus preocupaciones en torno a la IA, específicamente con la IA generativa y estos modelos GPT, es realmente que muchos de ellos ahora están integrados en tecnologías que en realidad no [nos dimos cuenta] – como hey, mi motor de búsqueda ahora está usando algún tipo de GPT. En esas situaciones, ni siquiera el usuario es consciente de ello todo el tiempo. Y por eso la política corporativa se vuelve más difícil porque un usuario no es consciente de que está haciendo algo que es inherentemente arriesgado para la organización.
Escuchamos que una gran cantidad de organizaciones están tratando de trasladar esos modelos reales al interior, para tener derechos y propiedad sobre los datos y cualquier aprendizaje que ocurra sobre esos modelos, pero ¿cómo aplican controles para que sea redirigido a un modelo aprobado internamente o en general simplemente evitar que se use de maneras que quizás estén un poco más enmascaradas – y no por razones maliciosas, sino que todos con los que hablamos, [cada empresa] está hablando sobre la IA que están usando. Y me encanta que lo hayas señalado.
La IA existe desde hace mucho tiempo. La mayoría de las tecnologías usan algún tipo de aprendizaje automático o están tomando grandes conjuntos de datos y realmente extrayendo conclusiones e inteligencia de ellos. Pero fue realmente la llegada de GPT disponible para los consumidores lo que provocó esta explosión masiva. Entonces, con el conocimiento de que la IA acecha en cada rincón, ¿cómo pueden las empresas realmente comenzar a mitigar ese riesgo de fuga de datos? Me encantaría decir que existe una lista de todos los sitios web del mundo que van a utilizar algún tipo de LLM y entrenar sus modelos con sus datos, pero ¿cómo nos adelantamos a eso?
Alexander: Vaya, eso es enorme. Porque está en todas partes, y en mi humilde opinión, [las soluciones] tendrán que ser multifacéticas. Y lo estamos viendo. Estamos viendo cómo surge legislación de diferentes países alrededor del mundo para establecer esos parámetros desde una perspectiva regulatoria. Y luego se reduce a una perspectiva tecnológica. Entonces comenzamos con el gobierno, luego se traslada al uso organizacional del mismo, y creo que todavía estamos esperando y veremos un mayor desarrollo sobre cómo poder identificarlo a través de la tecnología.
Al igual que, por ejemplo, una analogía a eso es la computación en la nube. ¿Cómo averiguas dónde están todas tus instancias de datos en la nube? Bueno, solo hay un par de actores en ese espacio ahora mismo. Y uno realmente bueno que, en mi humilde opinión, te ayudará a identificar dónde estás en la nube; vamos a necesitar ese mismo tipo de tecnología con el uso de la IA, algo así como sentado en tu perímetro proverbial o el perímetro de lo que sea que eso sea.
No sé si eso va a estar en el escritorio o en cualquier otro lugar, pero ese tipo de filtrado y sensor. Y luego el tercer componente, y odio decir esto, esto vuelve a ese modelo de "personas, procesos y tecnología", es hacer que tus usuarios sean conscientes de lo que está pasando. ¿Por qué es la IA potencialmente peligrosa? Solo la están mirando – incluso los comerciales de televisión… Escuché un comercial el otro día en algún YouTube que estaba viendo y dijeron, "Oh, con el uso de la IA, que es más inteligente que los humanos…," y simplemente me reí.
Aceves: Dios mío.
Alexander: El marketing de [productos de consumo] está aferrándose a esto, [diciendo] que la IA es lo mejor que existe. Así que eso es lo que nuestra comunidad de usuarios finales está escuchando, y lo están viendo a través del uso de, "¿No es divertido jugar con Gemini o ChatGPT, o incluso entrar a Facebook y tomar mi imagen y hacerme ver como un modelo?"
Quiero decir, están viendo la IA como algo fantástico. No están viendo los peligros inherentes, no están escuchando esas historias de terror que nosotros escuchamos, donde tuvimos un ChatGPT o algún tipo de chatbot interactuando con una persona en Europa que estaba deprimida y lo empujó al punto en que se quitó la vida. Entonces no están comprendiendo los riesgos, los verdaderos riesgos que son inherentes a la inteligencia artificial. Por supuesto, han tomado medidas para rectificar el sesgo y las alucinaciones que ocurren con la IA, pero en cuanto a una persona común y corriente en la calle, no están comprendiendo estos riesgos.
Ahí es donde tenemos que intervenir como profesionales de seguridad y asesorar a la empresa y a nuestra comunidad de usuarios de que junto con lo bueno viene lo malo, simplemente para mantenerlo básico. Asesorarlos, esta es la razón por la que queremos quedarnos con una IA corporativa y no usar algunas de esas cosas externas. Y hacerles saber sobre la filtración de datos, la filtración involuntaria de datos corporativos. Esta es la razón por la que quieres hacerlos conscientes del sesgo y las alucinaciones que puedes obtener y la integridad de los datos. Hay una gran cantidad de cosas que son inherentes al uso de la IA hoy en día. Es como el Salvaje Oeste. Es bueno, pero es peligroso.
Aceves: Y creo también que mi rol ahora está en la gestión de productos y siento firmemente que los proveedores tienen una responsabilidad. Y mientras construimos productos que nuestros clientes necesitan, y la IA es absolutamente una herramienta que puede generar valor y resultados que están buscando, existe una responsabilidad en los proveedores y desarrolladores de software.
Cuando GPT salió por primera vez para el consumidor, estaba leyendo artículos y fue interesante ver a investigadores de seguridad, de hecho había uno en Europa también, que estaban interactuando con los LLMs y pudieron usar – hablaron sobre la psicología junguiana y el yo sombra para lograr que la IA admitiera secretos que no deberían haber sido revelados a un consumidor. Y fue fascinante, profundizas en lo técnico, la forma en que se ejecutó, y creo que la empresa publicó un comunicado diciendo que fue una conversación extendida con la IA.
Cuando pienso en extendida, tengo mis propias ideas sobre cuánto tiempo llevaría eso. Creo que fue algo así como ocho a 10 preguntas, lo cual para mí, sentado frente a una nueva tecnología, eso no es extendido.
Alexander: Correcto.
Aceves: Eso es una interacción de quizás 5 a 10 minutos donde estoy preguntando y evaluando. Y entonces hay una responsabilidad que los proveedores tienen, especialmente con sus clientes finales, de implementar [estas] barreras de protección. Creo que la seguridad experimentó un gran cambio en esto con las prácticas de codificación segura.
Me gradué en la universidad con un título en ciencias de la computación e ingeniería de software, y no tuve ni una sola clase dedicada a la seguridad. Ahora los tiempos han cambiado y existen prácticas de codificación segura integradas por defecto. Y espero que tengamos que adoptarlas desde el principio con la IA porque hay demasiado riesgo aquí. Como usted menciona, no solo existe el riesgo de filtración de datos, sino que, una vez que los modelos comienzan a aprender por sí mismos, no se tiene tanto control como se tendría con cualquier otro conjunto de código.
Y sé que existen versiones de ciencia ficción sobre este temor, pero es una preocupación legítima sobre qué salvaguardas están implementadas y cómo la IA puede comprenderlas y potencialmente manipularlas en el contexto de un negocio. Así que me alegra que lo haya mencionado y lo hablamos con clientes que desean adoptar más tecnologías habilitadas por IA. Y están nerviosos. Y no solo por la filtración de datos. Sino que es algo sobre lo que verdaderamente no tenemos control. Es casi como una inteligencia por derecho propio, que tiene reglas y paradigmas a los que se adhiere y que no siempre son transparentes ni siquiera para su creador, lo cual es simplemente fascinante de considerar.
Alexander: Creo que esa es la parte aterradora. Y creo que por eso los legisladores están entrando en juego. Porque se reduce a – lo que estás tocando, en mi opinión – es ético, moral. Y ese no es el espacio en el que trabajo, pero me alegra escuchar y ver que los gobiernos lo están haciendo. Porque eso es absolutamente aterrador. Pero dicho esto, no es el espacio en el que me muevo, pero sí es mi espacio para hacer que los usuarios sean conscientes – cómo vamos a aplicar esto y ser conscientes de los riesgos inherentes al mismo.
La buena noticia es que, a menos que seas investigador, probablemente no entrarás en ese ámbito, ese ámbito realmente interesante que no está definido y que es algo cambiante e impreciso, en contraposición al uso en aplicaciones empresariales. Pero eso no significa que no exista la posibilidad de que el uso empresarial salga mal y tenga consecuencias o resultados inesperados. Y eso es lo que, de nuevo, es nuestro trabajo. Así que [esa es una] laaaarga vuelta a toda esa cuestión de [cómo] necesitamos mantenernos alerta y hacer conscientes a otros de los riesgos inherentes a la IA en la sombra.
Aceves: Sí, absolutamente. Estaba viendo algo aleatorio en YouTube, …algo sobre comunicación animal, investigadores compartiendo cómo están usando la IA para entender a las belugas y pueden usar la inteligencia artificial para básicamente determinar qué ballena está hablando… Y así las aplicaciones son simplemente tan fascinantes, incluso fuera de la seguridad, empiezas a ver estos paralelismos.
Mi experiencia es en respuesta a incidentes y red teaming. Y entonces uno de los mayores problemas que tienen los equipos de seguridad es el volumen de ruido, y es un modelo similar al de un equipo de biología marina que tiene toneladas de grabaciones de audio y no pueden filtrarlas. No saben. Y entonces han estado usando inteligencia artificial para seleccionar las cosas importantes e identificar, OK, este es este lenguaje o esta palabra que esta ballena está usando, y es fascinante ver la convergencia de todas estas cosas.
Alexander: Es verdaderamente revolucionario, ¿lo sabes, verdad? Quiero decir, todos están usando IA y es emocionante, fabuloso, pero como dije, también da un poco de miedo al mismo tiempo.
Aceves: Muchas gracias por esa fascinante conversación, Candy.
He estado hablando con Candy Alexander, CISO y líder de práctica cibernética en NeuEon Inc.
Si desea obtener más información sobre la TI en la sombra y la IA en la sombra, consulte Focal Point, la revista de noticias cibernéticas en línea de Tanium. Tenemos enlaces a artículos relevantes en las notas del programa. Simplemente visite Tanium.com/p para publicaciones.
Para escuchar más conversaciones con los principales líderes empresariales y expertos en seguridad de hoy, asegúrese de suscribirse a Let's Converge en su aplicación de podcast favorita. Y si le gustó este episodio, adelante y denos una calificación de cinco estrellas.
Gracias por escuchar. Esperamos compartir más perspectivas cibernéticas en el próximo episodio de Let's Converge.
