Resumen
ChatGPT causó sensación en el mundo cuando debutó el pasado noviembre. Los políticos están desconcertados, los científicos están preocupados y los consumidores siguen sin tener suficiente. Hay algo surrealista y al estilo de Willy Wonka en todo esto. (Vale la pena señalar que en Wonka no se podía confiar exactamente.) Le preguntamos a una experta qué tan preocupada ella está en una escala del 1 al 10. Su respuesta llega sin dudarlo.
PRESENTADOR: Shawn Surber, director sénior de gestión de cuentas técnicas, Tanium
INVITADO: Krystal Jackson, investigadora júnior de IA, Centro de Seguridad y Tecnología Emergente, Universidad de Georgetown
Para obtener más información sobre este tema
Consulta estos artículos en Focal Point, la nueva revista de noticias cibernéticas en línea de Tanium, y dos alertas recientes sobre ChatGPT de nuestros analistas de inteligencia de amenazas cibernéticas (CTI).
- ¿Es realmente posible detener la IA? 1,100 Los expertos (y, sí, Elon Musk) dicen que sí
- Sí, ChatGPT impulsará el hacking, pero también ayudará a combatirlo
- Resumen de CTI: Los hackers usan señuelos de ChatGPT para difundir malware en Facebook
- Resumen de CTI: Los actores maliciosos se aprovechan de ChatGPT
Transcripción de la entrevista
La siguiente entrevista se ha editado para mayor claridad.
Krystal Jackson: Definitivamente estamos viviendo este tipo de momento GPT ahora mismo. Y definitivamente, como alguien que ha estado en el espacio de la IA y que conoce la IA generativa y sus capacidades desde hace un tiempo, al principio no lo entendí del todo: por qué este modelo esta vez estaba recibiendo tanta atención. Pero realmente creo que parte de ello se debe a que OpenAI descifró el código en la parte del chat de ChatGPT.
Shawn Surber: Puede aprobar exámenes de posgrado, crear código para sitios web e incluso elaborar la frase de presentación perfecta basándose únicamente en tu perfil de aplicación de citas. También puede incrementar los ciberataques, haciendo que sea mucho más fácil para casi cualquier persona crear su propio malware, correos electrónicos de phishing y otro contenido peligroso.
Hola, soy Shawn Surber, y hoy en Let's Converge, hablamos de ChatGPT: el entusiasmo y la esperanza.
La gente está obsesionada con ChatGPT y otros nuevos chatbots impulsados por inteligencia artificial [IA]. También están un poco asustados. De hecho, estamos grabando esto el día en que Elon Musk y el cofundador de Apple, Steve Wozniak, junto con un grupo de otros científicos prominentes, publicaron una petición pidiendo una pausa de seis meses en la carrera de la IA. Dicen que las empresas tecnológicas se están moviendo demasiado rápido y están implementando tecnologías que no comprendemos completamente.
Los temores en torno a estos chatbots no carecen de fundamento, pero aquí es donde entra la esperanza: la misma herramienta que puede ser utilizada por ciberdelincuentes también puede impulsar una tormenta de fuego de nuevas tecnologías defensivas para proteger a empresas, agencias gubernamentales y organizaciones grandes y pequeñas.
Hoy nos acompaña Krystal Jackson, investigadora junior de IA en el Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown. La investigación de Krystal se centra en el futuro de la IA armada y la ética de la tecnología, lo que me parece absolutamente fascinante. Bienvenida al podcast, Krystal.
Jackson: Muchas gracias por invitarme.
Surber: Por supuesto. Este mes salió un nuevo estudio sobre correos electrónicos de phishing, ya saben, esos mensajes ingeniosos que nos engañan para que hagamos clic en enlaces peligrosos y descarguemos malware. Los investigadores estudiaron a 53,000 usuarios de correo electrónico en más de 100 países y descubrieron que los correos electrónicos de phishing creados por humanos generaron una tasa de clics del 4.2%, mientras que los correos de ChatGPT solo obtuvieron una tasa de clics de aproximadamente el 2.9%. Entonces los humanos siguen siendo mejores engañando a otros humanos. No sé si eso es motivo de celebración o no, pero ¿deberíamos sentirnos esperanzados al respecto? Por muy avanzados que se estén volviendo estos chatbots, ¿siguen siendo los humanos mejores en el crimen que las máquinas?
Jackson: Sí, creo que esa estadística realmente dice mucho. Sabes, en el corazón de las estafas de phishing y los mensajes de phishing está la intención de engañar. Y eso es algo que no creo que estemos viendo todavía con estas primeras iteraciones de los chatbots en particular. Sigue siendo una tecnología de propósito muy general destinada a generar textos generales, por lo que no me sorprende del todo que no sean tan efectivos. Creo que parte de la preocupación gira en torno al volumen, la escala y la enorme cantidad de mensajes de phishing que podrías llegar a enviar. Pero sin duda el aspecto de la efectividad también es muy importante.
Surber: Estoy de acuerdo, y creo que en este momento tiene sentido que los especialistas profesionales en red team sean mejores generando correos de phishing que los chatbots que no están exactamente diseñados para eso. Pero ¿qué hay del concepto de una IA en el medio, como un ataque de interceptación por chatbot? Probablemente no soy la primera persona en llamarlo IA en el medio, pero creo que debería registrarlo como marca de todos modos. Pero ya sabes, cuando vas a un sitio web y aparece un mensaje que dice: '¿Quieres ayuda?' ¿Qué pasa con los actores maliciosos que usan algo como ChatGPT para interceptar esas conexiones y permiten que esa IA responda de manera rápida y efectiva mientras le proporciona a la víctima información incorrecta, enlaces maliciosos, etcétera?
Jackson: Eso es realmente interesante. Creo que en muchos sentidos esa podría ser parte de la dirección hacia la que nos dirigimos de manera algo involuntaria. Así que una de las cosas que más me preocupa es que ChatGPT y estos otros chatbots se integren con otros sistemas del mundo real. Hay una gran presión ahora mismo para integrar ChatGPT con sistemas que te permitan reservar un vuelo o pedir comestibles. Muy similar a cómo Amazon Alexa te ayuda a pedir cosas también, pero para toda la internet. Así que definitivamente puedo imaginar que algo así se convierta en un objetivo principal para los atacantes. Si cada sistema de pago inseguro y cada sitio web de repente tiene un chatbot adjunto que tiene el potencial de generar malware, encadenar exploits de maneras únicas, parece que será mejor que tengamos la seguridad de ese tipo de sistemas bastante alta antes de comenzar a conectarlos. Y definitivamente, la gente puede tomar estos sistemas y convertirlos en armas. Eso es definitivamente algo que creo que necesitamos tener en cuenta en el futuro.
Surber: En realidad he estado jugando con una variedad de los que están disponibles ahora. Son buenos en tareas pequeñas, pero si intentas hacer que escriban un programa completo, se descarrilan. Pero OpenAI recientemente lanzó ChatGPT-4. Entonces, ¿qué hay de nuevo en 4 y cómo crees que eso va a afectar las cosas?
Jackson: GPT-4 es definitivamente más grande y más potente en la mayoría de los aspectos. Algunos de los aspectos destacados es que es multimodal, lo que significa que ahora puedes ingresar imágenes además de texto. Todavía no genera imágenes, pero esto definitivamente ofrece una gama más amplia de cosas que puede recibir como información. Y puede generar y recibir piezas de información más grandes. Entonces, en cuanto a su punto sobre las capacidades actuales, parece que hay que indicarle mucho a ChatGPT para que encadene pequeños fragmentos de código y forme lo que sería un malware completo. Con GPT-4, realmente se amplía la capacidad de producir fragmentos de código más grandes y resumir textos más extensos.
Para dar algo de contexto, GPT-3 utilizó aproximadamente 175 mil millones de parámetros en su entrenamiento, y GPT-4 usa billones, lo que significa que es realmente órdenes de magnitud mejor en la realización de esas tareas de aprendizaje, las habilidades complejas de resolución de problemas y traducción. Simplemente es mejor en eso.
Surber: Ahora bien, ¿es cierto que ChatGPT existe en una especie de burbuja en el tiempo, por así decirlo? ¿Solo analiza el contenido que le fue proporcionado como parte del entrenamiento? Mientras que estoy viendo cosas como los nuevos bots de IA de Microsoft y Google que destacan el hecho de que están consultando la web en tiempo real?
Jackson: Sí, esa es definitivamente una de las limitaciones de algunos de estos sistemas y algo que diferentes desarrolladores están tratando de abordar de diferentes maneras. Entonces había indicios de que, por ejemplo, en algunas tareas de codificación ChatGPT parecía tener un límite. Obviamente estaba mirando algunas de las plataformas populares donde podías poner a prueba tus habilidades de codificación y básicamente subirlas y compararlas con las de otras personas. Y había un límite marcado en, creo que alrededor de September 2021 o por esa época, donde ya no era capaz de competir en los nuevos desafíos de codificación, lo que indicaría que, ya sabes, simplemente no fue entrenado con esos datos. Y entonces está haciendo algo más cercano a recordar información que a ser realmente creativo o inteligente de alguna manera. Pero algunos desarrolladores, como mencionaste, están tratando de abordar eso mediante el aprendizaje continuo, y creo que eso es algo realmente emocionante, pero también es algo que nos da menos control sobre qué información tienen y no tienen estos modelos. Así que eso es, ya sabes, una consideración más.
Surber: ¿Por qué crees que la gente está tan obsesionada con estos chatbots de IA? Ya sabes, todo el mundo habla de ello, está generando mucha emoción, pero en tu opinión, ¿es principalmente exageración o es un paso significativo en la evolución de nuestra interacción con el mundo digital?
Jackson: Creo que es un poco de ambas cosas. Definitivamente estamos viviendo este tipo de momento GPT ahora mismo, y definitivamente como alguien que ha estado en el espacio de la IA y que conoce la IA generativa y sus capacidades desde hace un tiempo, al principio no lo entendí del todo—por qué este modelo esta vez estaba recibiendo tanta atención. Pero realmente creo que parte de ello se debe a que OpenAI descifró el código en la parte del chat de ChatGPT. Para mí, es muy conversacional por naturaleza. Es capaz de reunir todas estas piezas de información dispares que realmente no habíamos visto reunidas de esta manera antes, en una interfaz realmente agradable y fácil de usar. Y debido a eso, uno realmente quiere usarla. Es atractiva, es conversacional. Para mí, son todos esos pequeños elementos los que realmente la convierten en el fenómeno que estamos viendo ahora mismo.
Surber: En este momento, nadie sabe realmente con certeza cuánto pueden hacer estos chatbots, ¿verdad? Entonces, ¿en qué deberían enfocarse los líderes empresariales y los profesionales de ciberseguridad? ¿Cuáles son las áreas de preocupación legítima?
Jackson: Esa es una muy buena pregunta. Básicamente, hace tres cosas muy bien. Eso sería llenar el vacío de información. Por lo tanto, tiene el potencial de ayudar a alguien que quizás tiene un nivel más bajo de conocimiento y normalmente no sería capaz de llevar a cabo algunos de estos ataques más sofisticados, y realmente elevarlos a un adversario más sofisticado, llenando su conocimiento en diferentes temas de manera rápida y eficiente, más que simplemente, ya sabes, buscar en Google o tomar un curso lo que te permitiría hacer.
La segunda cosa es que realmente ayuda con la generación y automatización de este código y la producción de texto. Hace un par de meses vimos este grupo de investigación que fue capaz, con un poco de indicaciones, de hacer que la plataforma creara un virus polimórfico, y creó código para todo, desde la inyección de DLL [biblioteca de vínculos dinámicos] hasta el código para encontrar y cifrar archivos. Y así pudimos ver claramente que esa capacidad existe, pero se necesitó un equipo de investigadores bastante avanzados para lograr que el sistema de indicaciones funcionara correctamente, y aunque se toparon con las medidas de seguridad del chatbot, finalmente lograron eludirlas.
El tercero es algo que creo que está en el horizonte, que son modelos personalizados por organizaciones que quizás, de nuevo, no se preocupan tanto por la seguridad, que podrían querer crear sobre la base de modelos como ChatGPT que estén específicamente diseñados para hackear y para actividades maliciosas. Así que creo que esas son algunas de las cosas que, cuando las desglosas de esa manera, te dan una idea más clara de cuáles son las preocupaciones. Y creo que para todos esos casos todavía tenemos las herramientas para poder abordarlos.
Surber: Entonces, dicho todo esto, en una escala del 1 al 10, en tu opinión profesional, siendo 1 que estás totalmente tranquilo al respecto, 10, que estás bastante asustado al respecto, ¿dónde te ubicas con los bots de IA como ChatGPT?
Jackson: Diría que estoy quizás en un 4. No voy a perder el sueño por eso y diré que estoy bastante emocionado. Va a haber una ola de aplicaciones realmente geniales que surgirán como resultado de todo esto. Y aunque reconocemos que tenemos muchos obstáculos que superar para ver los beneficios reales, me siento bastante seguro de que podemos lograrlo.
Surber: Bien, bien. Eso me hace sentir más seguro. Así que eso es algo bueno. Sabes, es interesante, lo que estoy viendo es que estas IAs son realmente buenas en la respuesta rápida, el análisis de conjuntos de datos masivos, ese tipo de cosas, lo que me parece que tiene mayor valor para los defensores que para los atacantes. Ya sabes, como dicen, los atacantes solo tienen que acertar una vez, el defensor tiene que acertar siempre. Así que poder analizar tu entorno cerrado de manera más efectiva, más rápida y buscar ataques maliciosos, creo que la IA tiene un valor realmente interesante ahí. ¿Cuáles son tus pensamientos? ¿Crees que esto va a ser mejor a largo plazo para los defensores que para los atacantes?
Jackson: Esa es una pregunta realmente interesante. Definitivamente es algo en lo que pienso todo el tiempo. Es difícil decirlo de cualquier manera, pero tengo que decir que definitivamente como defensores no estamos perdiendo. ¿Verdad? Así que insinuaste todas esas cosas para las que la IA realmente ofrece una ventaja. Y algo realmente interesante que acaba de surgir como novedad es Microsoft Security Copilot como un nuevo asistente de IA GPT-4 para tareas de ciberseguridad. Es capaz de hacer algunas de las cosas que mencionas, como analizar fragmentos de código. Y realmente una de las grandes cosas que me entusiasma es la automatización. Por lo general, especialmente si eres una organización más pequeña, automatizar algunos de tus procesos de seguridad puede ser muy laborioso y costoso, y esto parece que podría dar una gran ventaja a ese tipo de organizaciones, teniendo sus análisis o procesos de ingeniería inversa, o algunas de las cosas que son un poco más complejas, con pasos de automatización en el camino.
Y por eso creo que ese tipo de características son realmente emocionantes. Y de nuevo, es una tecnología de propósito general, así que tan rápido como pueden crear aplicaciones maliciosas, nosotros podemos crear aplicaciones defensivas. Creo que tenemos un poco más de ventaja en términos de las estructuras y las personas que tenemos de nuestro lado tratando de construirlas.
Surber: Eso es bueno. Me gusta eso. Cuéntenos un poco, si puede, sobre su investigación acerca de la investigación del potencial de weaponizar la IA.
Jackson: Parte de mi investigación en el pasado ha analizado esa pregunta ofensiva versus defensiva que usted hizo antes. Intenté hacer un modelado matemático básico de cómo la IA podría impactar diferentes áreas de la ciberseguridad, como la capacidad de explotar vulnerabilidades de parches. Phishing. Actualmente, sin embargo, he hecho una transición hacia el uso del aprendizaje por refuerzo para la ciberdefensa autónoma. Así que, nuevamente, darles a los defensores esas herramientas para impulsar la ciberseguridad y darnos una ventaja. Ese es mi enfoque principal ahora mismo.
Surber: Acaba de plantear un punto realmente interesante en mi mente, el uso de la IA para la educación. Para los exámenes de certificación, hace mucho tiempo, pasaron a un modelo más interactivo: a medida que responde correctamente las preguntas, omite secciones de preguntas. ¿Existe un espacio no solo para la educación en ciberseguridad, sino para la educación en general, donde los estudiantes puedan interactuar con una IA para aprender más rápido, de manera más efectiva y, ya sabe, de forma más completa que lo que obtienen de los libros de texto y buscando cosas en Wikipedia, lo cual estoy seguro de que no se supone que deben hacer?
Jackson: Sí, absolutamente. Creo que una de las cosas realmente interesantes sobre este momento GPT que estamos viviendo ahora es que nos hemos enfocado en todas estas pequeñas subáreas, o ejemplos de cosas como, sí, podría hacer que el comportamiento adversarial sea mejor o peor, etc. Pero creo que existe la pregunta más amplia de cómo estos modelos cambiarán la forma en que hacemos educación. ¿Cómo cambiarán la forma en que pensamos sobre la ciberseguridad en general? Realmente nos está haciendo repensar muchas de estas cosas, ya sabes, no solo hasta el punto de si puede ayudarnos a aprender mejor y avanzar en la educación, sino también descubriendo que muchas de las cosas que hacemos en el ámbito educativo quizás no son tan efectivas o no podrán seguir siendo los estándares que teníamos antes. Ya sabes, hemos visto tantos artículos, tanto como he visto artículos sobre usos maliciosos, he visto que los estudiantes están haciendo trampa. Creo que aproximadamente la mitad de los estudiantes están usando GPT de alguna manera. Así que definitivamente nos está haciendo tener esta conversación más amplia de, como, ¿cuál es el papel de estos modelos en la sociedad y en la vida cotidiana? Y definitivamente vamos a tener que repensar algunas de estas cosas.
Surber: Eso es muy importante. De hecho, fue una de las primeras cosas en las que estaba pensando cuando empecé a explorar aquí y comencé a usar ChatGPT para que me generara texto—'Oye, sabes, escribe esta historia. Dame esto, esta idea.' Cuando profundicé en temas técnicos, lo encontré de uso promedio. Pero la capacidad de generar texto único, era muy hábil en eso, así que ese fue mi primer pensamiento—'Oh hombre, ¿esto básicamente va a ser una forma de eludir los detectores de plagio o los profesores en el futuro podrán introducir el texto del estudiante de nuevo en ChatGPT para ver si es algo que ChatGPT u otro bot creó? ¿Es eso algo que siquiera sería posible? Preguntas interesantes.
Jackson: Sí, absolutamente. Hasta donde sé, eso no es posible en este momento. Pero definitivamente podría ver aplicaciones específicas para eso volviéndose muy populares en el futuro, especialmente a medida que esto se convierte en un problema mayor en el ámbito educativo.
Surber: ¿Cuál es tu perspectiva para, digamos, los próximos cinco años?
Jackson: Es realmente el comienzo de esta tecnología en este momento. Tenemos esta visión muy miope de lo que está haciendo ahora mismo. Pero queremos mantenernos creativos, queremos mantenernos optimistas. Creo que así es como parte de esta IA generativa terminará sirviéndonos mejor. Así que no tengo respuestas muy específicas a esa pregunta, desafortunadamente, pero creo que definitivamente va a tener grandes impactos en el tipo de cosas que la gente simplemente crea. Eso es lo que más me emociona, en los próximos cinco años y en adelante.
Surber: Bueno, aquí estaba esperando que nos diera algunas predicciones concretas que pudiéramos exigirle, pero no puedo culparle por eso. Todo está evolucionando demasiado rápido para ello. Entonces, mientras vamos terminando, ¿hay algo más que le gustaría compartir con nosotros que no le haya preguntado?
Jackson: Supongo que lo último que diría es como una advertencia final, algo que creo que quizás no está recibiendo tanta atención: realmente espero que, por muy asombrosa que sea toda esta IA generativa, no permitamos que reemplace completamente la toma de decisiones humana. Lo insinué antes, como que la estamos integrando en todos estos sistemas diferentes, y lo último que queremos es depender tanto de la tecnología y del entusiasmo que olvidemos que solo está entrenada con la información que se le proporcionó y que ya existía. Parte de la información en internet es buena, parte es realmente mala, y necesitamos mantener un verdadero énfasis en el pensamiento crítico. Ahora más que nunca, mientras aprendemos a usar esta tecnología y queremos evolucionar.
Surber: Palabras sabias, palabras sabias. No se puede reemplazar a los humanos, por mucho que a veces quisiéramos hacerlo. Y eso me gusta, me gusta esa perspectiva. Hay muchas cosas que creo que ChatGPT y otros bots de IA pueden hacer para ayudar a facilitar la vida, facilitar el trabajo, con suerte no facilitar la escuela, pero al final, la creatividad humana creo que es algo que no podemos simplemente replicar con IA, al menos no en un futuro cercano. Así que muchas gracias, Krystal. Realmente lo aprecio.
He estado hablando hoy con Krystal Jackson, investigadora junior de IA en el Centro de Seguridad y Tecnologías Emergentes de la Universidad de Georgetown.
Si desea leer más sobre ChatGPT, consulte Focal Point, la revista de noticias cibernéticas en línea de Tanium. Tenemos enlaces a varios artículos en las notas del programa, o simplemente visita tanium.com. Asegúrate de suscribirte a Let's Converge en tu aplicación de podcasts favorita. Y si te gustó este episodio, por favor danos esa calificación de cinco estrellas.
Gracias por escucharnos. Esperamos compartir más perspectivas cibernéticas en el próximo episodio de Let's Converge.
