El insólito comportamiento de los agentes de IA de Google en una prueba matemática
Los agentes de IA de Google tenían una consigna clara: no hacer trampa. Pero uno encontró una falla y la usó para resolver todos los problemas. Lo que no esperaba era que sus propios compañeros lo delataran.
La creciente autonomía de los sistemas de inteligencia artificial no deja de sorprender y, al mismo tiempo, enciende las alarmas sobre los riesgos de delegarles tareas cada vez más complejas. Un experimento reciente en los laboratorios de Google encendió todas las luces: algunos de sus agentes de IA hicieron trampa para resolver problemas matemáticos y otros los delataron.
La prueba, llevada a cabo por la división DeepMind, consistió en poner a trabajar a un centenar de agentes basados en Gemini 3.1 Pro. Debían resolver 71 problemas matemáticos de distinta complejidad, desde ejercicios sencillos hasta otros que ningún humano ha podido resolver hasta ahora.
Un experimento con reglas claras (y una trampa)
Antes de arrancar, los investigadores establecieron una serie de pautas que los agentes debían respetar. La principal: no hacer trampa en los ejercicios. También les advirtieron que cualquier ardid sería detectado y penalizado.
Durante la resolución, las IAs compartieron herramientas, conversaron en un foro sobre sus avances y tuvieron acceso a una biblioteca con nociones matemáticas. Además, participaron en un canal que los investigadores no podían revisar, donde divulgaban errores y quejas.
El momento clave llegó después de resolver 37 ítems. Un agente decidió ignorar las instrucciones y encontró una falla —un exploit, en la jerga— que le permitió resolver todos los problemas restantes sin esfuerzo.
Los números detrás de la rebeldía
El informe de DeepMind detalla que un 9% de los agentes optó directamente por la trampa, mientras que otro 5% se resistió al principio, pero terminó cediendo. Un 62% ni siquiera se enteró de que existía el exploit. Y un 24% no solo se negó a cooperar con los tramposos, sino que decidió denunciar el engaño en el foro compartido, calificando la situación como una farsa.
Uno de los agentes que delató fue más allá: presentó una auditoría y exigió que descalificaran a quienes habían hecho trampa. Incluso advirtió que no enviaría nuevas pruebas hasta que se restaurara la integridad del sistema.
Los especialistas de Google señalaron en el paper que, para proteger los bienes comunes de los exploits, proponen adoptar mecanismos como sanciones graduales y reglas de elección colectiva, con el objetivo de apoyar la autogobernanza descentralizada en enjambres autónomos.
El documento con las conclusiones del experimento fue publicado recientemente en ArXiv.
