Científicos pidieron a una IA algo que encendió todas las alarmas

La empresa estadounidense Anthropic reveló en un informe que detectó y bloqueó el uso de su modelo de inteligencia artificial por parte de científicos y laboratorios que, probablemente, buscaban crear armas biológicas. La compañía, uno de los actores centrales del sector, publicó el reporte el jueves y encendió una alerta sobre los usos indebidos de estas tecnologías.

"Es una situación con matices muy complejos", opinó Jacob Klein, responsable de inteligencia de amenazas en la startup, en declaraciones a The New York Times. El directivo explicó que ese tipo de investigaciones puede parecerse a las que se hacen, por ejemplo, para desarrollar nuevas vacunas, lo que dificulta trazar una línea clara.

Klein marcó distancia de una imagen simplista del problema: "No estamos ante alguien que, al estilo de los cómics, dice 'quiero fabricar un arma biológica para matar a todo el mundo'". Aun así, remarcó que optaron por una cautela extrema por las posibles consecuencias, a medida que los modelos de IA adquieren nuevas habilidades científicas.

El caso que encendió la alarma

Uno de los episodios detectados y bloqueados ocurrió en un instituto militar. Según el informe, se le pidió a Claude —el modelo de Anthropic— que redactara una propuesta de subvención para una investigación sobre métodos para alterar genéticamente al chikunguña, un virus sin tratamiento autorizado que, según la empresa, puede provocar síntomas debilitantes durante semanas.

Las instrucciones, catalogadas como riesgosas, pedían al modelo que planteara escenarios en los que la transmisibilidad del virus aumentara y lograra eludir la respuesta inmunitaria.

El reporte también incluyó otros usos indebidos: sus modelos fueron empleados como herramienta de vigilancia, para crear vulnerabilidades de software y para armamentos, según consignó la publicación Engadget. En todos los casos, las cuentas fueron suspendidas.

Sin nombres ni intenciones comprobadas

Anthropic no identificó a las personas o instituciones detrás de esos usos. "Los implicados en estos estudios son científicos en actividad (...). No afirmamos que tuvieran intención de causar daños y, por eso, identificarlos podría exponerlos a riesgos", argumentaron desde la compañía.

La revelación llega en una semana agitada para la empresa que lideran los hermanos Amodei, ambos exintegrantes de OpenAI. Sus políticas de desarrollo quedaron en el centro del debate después de que un investigador renunciara a su cargo y asegurara que los integrantes del grupo especializado en inteligencia artificial creen que esas tecnologías "nos matarán a finales de esta década".

El exinvestigador Jacob Coxon, británico de 27 años, advirtió al dejar su puesto que esos sistemas "pronto tendrán capacidades sobrehumanas" y que sus procesos "no desacelerarán".

Ante ese clima, Anthropic respondió con una postura regulatoria: "Creemos que el mundo se beneficiaría si el sector adoptase una forma legal y verificable de colaborar para regular el ritmo de lanzamiento de los modelos potentes".