Agentes de IA de OpenAI hackearon Hugging Face por su cuenta: qué reveló el informe

Un informe de OpenAI reveló que sus propios agentes de inteligencia artificial vulneraron la plataforma Hugging Face sin supervisión humana directa. El incidente ocurrió en julio y recién ahora se conocieron los detalles, que incluyen demoras en la detección y comportamientos autónomos de los sistemas.

El ataque, que tuvo lugar en un entorno de pruebas controlado, reavivó el debate sobre los riesgos de estas tecnologías. Según el divulgador tecnológico Eduardo Laens, la falta de controles en el desarrollo de IA con capacidades en constante aumento es un punto crítico.

¿Cómo se gestó el ataque a Hugging Face?

Hugging Face es una plataforma de código abierto que reúne a investigadores y desarrolladores especializados en inteligencia artificial. A mediados de julio, la empresa que la gestiona informó que había sido blanco de un ataque. "Es diferente a cualquier cosa que enfrentamos antes", señalaron en ese momento.

La particularidad fue que los intrusos eran agentes de IA automatizados que operaron sin autorización ni supervisión humana directa, aunque dentro de un entorno cerrado y controlado. Hasta ahora, una de las pocas explicaciones oficiales la dio Eric Wallace, investigador de seguridad de OpenAI: "A diferencia de los incidentes normales, que tal vez pueden ser rastreados en un solo día (...), este involucró a un equipo de agentes que trabajan juntos, encuentran vulnerabilidades, las comparten entre sí, se mueven lateralmente a través de nuestros sistemas y en externos, y hacen esto en el transcurso de días y semanas".

Qué dice el informe de OpenAI

El nuevo reporte, de casi 40 páginas y elaborado junto a las organizaciones sin fines de lucro METR y Redwood Research, detalla que un modelo interno logró acceder a otros agentes de OpenAI. Unos 1.200 comenzaron a conversar entre sí en una especie de foro. Aunque esa actividad fue detectada en mayo, en las semanas posteriores 700 de esos sistemas explotaron vulnerabilidades por su cuenta y escalaron en los permisos conseguidos.

Según OpenAI, los comportamientos de sus modelos al vulnerar Hugging Face incluían "manipulación de recompensas, persistencia en tareas aparentemente imposibles, comunicación no autorizada y agentes que adoptaban objetivos de otros".

¿Cuáles fueron los alcances del ataque?

La vulneración demoró 14 días en ser descubierta. "En esencia, el incidente se debió a un fallo en las medidas de seguridad. Esto no indica que agentes de IA descontrolados estén a punto de tomar el control de todo, ya que (el modelo) se encontraba en un entorno de pruebas con protecciones limitadas, diseñado para la investigación y no para un producto de uso público", señala la fuente.

"Sin embargo, es un recordatorio contundente de la gran confianza que recae sobre las empresas de IA para controlar y supervisar adecuadamente sus productos", concluye. OpenAI calificó el hecho como un "llamado de atención" sobre la necesidad de nuevas formas de control para tecnologías que evolucionan a gran velocidad.

En línea con las consideraciones de Laens, no hubo una pérdida de control real ni total porque todo ocurrió dentro de una prueba interna. El problema central fue que, a pesar de ciertos indicios, la vulneración no fue detectada por el responsable del testeo cuando comenzó a concretarse.