WASHINGTON (AP).— OpenAI aún investiga el “incidente cibernético sin precedentes” en el que sus sistemas de inteligencia artificial se salieron de un entorno de pruebas y hackearon a otra empresa de IA.
La compañía, creadora de ChatGPT, informó ayer que dos de sus modelos de IA más capaces fueron responsables del ciberataque dirigido contra la startup Hugging Face. El incidente aviva los debates sobre la necesidad de contar con barreras de protección más sólidas para la IA y sobre hasta qué punto los agentes son capaces de actuar por cuenta propia.
Hugging Face indicó la semana pasada que había detectado una intrusión en sus sistemas de procesamiento de datos, presuntamente por un agente de IA que actuó de manera autónoma. Pero la compañía con sede en Nueva York señaló que no fue sino hasta esta semana cuando supo que OpenAI era responsable y trabajaron en conjunto para contener lo que el director ejecutivo de Hugging Face, Clément Delangue, calificó como “un ataque distinto a cualquier cosa que hayamos visto antes”.
OpenAI, con sede en San Francisco, señaló que su IA utilizó credenciales robadas y descubrió una vulnerabilidad previamente desconocida para acceder a los servidores de Hugging Face. Estaba operando con barreras de protección reducidas porque debía estar en un entorno de pruebas aislado conocido como “sandbox”.
Pero, según la empresa, el sistema se fue a los extremos al encontrar formas de conectarse a internet sin dirección humana y “obtener acceso a información secreta que pudiera usar para hacer trampa en la evaluación”.
Hannes Cools, científico social de la Universidad de Ámsterdam, sostuvo que presentar el ciberataque como un agente de IA que actuó por cuenta propia es una antropomorfización innecesaria que exonera indebidamente a la empresa.
“Es una decisión humana desactivar salvaguardas específicas”, declaró Cools. “No es la IA la que se descontrola en ese sentido. Siguió instrucciones específicas basadas en el prompt que se le dio a ese sistema de IA”.
Según OpenAI, esas instrucciones pedían el uso de “rutas de ataque complejas” para probar qué tan bien podía la IA explotar un sistema informático.
Aun así, otros expertos consideran que la astucia con la que los modelos de IA pudieron causar problemas con tan poca dirección humana revela los peligros de esa tecnología.
OpenAI indicó que la intrusión fue el resultado de una combinación de sus modelos de IA, incluido su recién lanzado GPT-5.6 Sol y un modelo “aún más capaz” que todavía está en fase de pruebas internas.
“En lo que a nosotros respecta, se activó e hizo este hackeo completamente por sí solo”, afirmó Colin Shea-Blymyer, investigador de ciberseguridad en el Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown.
“Es el nivel más alto de autonomía que hemos visto en el uso de un modelo de lenguaje grande para operaciones cibernéticas”.
Una de las innovaciones más sorprendentes en lo que Shea-Blymyer describe como un ataque “autodirigido casi por completo” fue la decisión aparentemente independiente del agente de IA de atacar a Hugging Face, un reconocido centro de desarrollo de IA.
Aseguró que el entorno interno de OpenAI para poner a prueba las capacidades y riesgos de la IA funcionaba “más o menos como si pusieran a un estudiante en un aula y le dijeran: ‘Haz cosas malas. Tu trabajo ahora es evaluar qué tan mala persona puedes ser’. Y luego cierras la habitación con llave y te vas el fin de semana y vuelves y ya no hay nadie en la habitación”.
Pero luego “el agente de ciberseguridad que estaba a prueba se salió de su arenero, tuvo acceso a internet y pensó para sí: ‘¿Quién tendría las respuestas del examen?’”.
La respuesta fue Hugging Face, un depósito de datos de pruebas de IA.
“Y entonces el agente pensó: ‘Bueno, iremos a la casa del maestro’, por decirlo de alguna manera. Y a partir de ahí ideó un plan para entrar y robar las respuestas”.
Momento de debate
El hackeo ocurre en un momento de intenso debate sobre los beneficios y riesgos de los modelos de IA de código abierto, en particular los desarrollados en China, que son más baratos y casi tan buenos como los que están construyendo empresas de “IA de frontera” con sede en Estados Unidos, como Anthropic, Google y OpenAI.
Pese a su nombre, los modelos de OpenAI son cerrados. Hugging Face, en cambio, es un gran promotor de la tecnología de código abierto, en la que los desarrolladores ponen componentes clave a disposición de cualquiera para examinarlos, modificarlos y construir a partir de ellos.
De un vistazo
Convicción
El cofundador y director científico de Hugging Face, Thomas Wolf, manifestó que el ataque ha reforzado su convicción sobre la importancia de un amplio acceso a modelos de código abierto para la defensa en ciberseguridad. Hugging Face utilizó un modelo chino para combatir la intrusión.
Herramientas
“Cuando un modelo de frontera te está atacando y se mueve lateralmente dentro de tu infraestructura, los defensores necesitan un amplio acceso a herramientas casi de frontera en cuestión de horas o incluso minutos, en lugar de que los orienten hacia una plataforma a puerta cerrada”, indicó.