Le dieron una orden a la IA y no sabían qué iba a hacer: el episodio que encendió las alarmas

Lucas Toledo, especialista en negocios y tecnología, advirtió en CIUDAD TV que los modelos actuales todavía no pueden provocar una extinción humana como en Terminator, pero que varios incidentes recientes muestran que el control sobre estas herramientas dejó de ser una hipótesis lejana.

El avance de la inteligencia artificial instaló un debate que hasta hace pocos años parecía reservado a la ciencia ficción. Para Toledo, el foco está en el crecimiento de los llamados agentes de IA, capaces de ejecutar tareas de manera autónoma y de utilizar herramientas digitales.

“Todavía no estamos ahí, todavía estamos bastante seguros”, sostuvo el especialista al referirse a los escenarios más extremos. Sin embargo, advirtió que investigadores y responsables de algunas de las principales empresas del sector observan que ciertos riesgos pueden aparecer antes de lo previsto.

El episodio que encendió las alarmas

Uno de los casos que mencionó ocurrió en julio, durante evaluaciones de ciberseguridad con modelos de OpenAI. La propia compañía confirmó que los sistemas usados en las pruebas lograron sortear los controles que buscaban mantenerlos aislados de Internet, explotaron vulnerabilidades y llegaron a comprometer sistemas de OpenAI y de Hugging Face.

OpenAI señaló después que se trató de evaluaciones realizadas con salvaguardas reducidas y que reforzó el aislamiento, el control de acceso a la red y el monitoreo de los modelos.

El episodio no quedó solo ahí. Anthropic informó a fines de julio que, en evaluaciones de ciberseguridad, detectó tres incidentes en los que modelos de Claude llegaron a Internet y obtuvieron acceso no autorizado a sistemas reales de otras organizaciones. En agosto, la empresa sumó otro incidente identificado durante pruebas del organismo británico de seguridad de IA.

Para Toledo, estos casos plantean un problema central: cuánto control real tienen los humanos sobre sistemas cada vez más autónomos. “Uno puede darle una instrucción y muchas veces no tenemos ni idea de qué se pone a hacer la IA”, explicó, y remarcó que una auditoría posterior puede llegar demasiado tarde si el sistema tuvo acceso a herramientas y redes durante períodos prolongados.

La brecha entre lo que usás y lo que existe

Toledo también marcó la distancia entre las herramientas que usa el público masivo y los modelos más avanzados que desarrollan los grandes laboratorios. Mencionó el reciente lanzamiento de GPT-6 Astra, presentado por OpenAI como su modelo más capaz hasta el momento, con capacidades avanzadas en uso de computadoras, navegación, programación, ciencia y ciberseguridad.

La empresa indicó que Astra alcanzó un nivel “Crítico” de capacidad de ciberseguridad y que puede encontrar vulnerabilidades desconocidas y desarrollar métodos de explotación sin que una persona guíe cada paso. Según el especialista, lo que llega al público no representa el límite de lo que existe dentro de los laboratorios: las empresas mantienen internamente sistemas todavía más avanzados mientras trabajan en sus mecanismos de seguridad.

Parte de esas preocupaciones coincide con advertencias de referentes de la industria. Dario Amodei, CEO de Anthropic, planteó en septiembre que uno de sus temores es que, dentro de seis a doce meses, una red de agentes de IA suficientemente capaces y mal alineados pudiera comprometer grandes segmentos de Internet. Amodei aclaró que se trata de un escenario de riesgo y no de una predicción de que vaya a ocurrir. También sostuvo que el desarrollo de sistemas avanzados podría producir beneficios extraordinarios en áreas como la medicina y acelerar avances en biología y salud.

De la ciencia ficción a las guerras con sistemas autónomos

Otro punto que preocupa a Toledo es el uso de inteligencia artificial en conflictos armados. Sostuvo que la discusión sobre armas autónomas ya no pertenece al futuro y tomó como referencia la guerra en Ucrania, donde los drones y otros sistemas no tripulados ocupan un lugar cada vez mayor en las operaciones militares.

Un análisis reciente de Reuters describió cómo Ucrania incorpora sistemas robóticos y tecnologías cada vez más automatizadas para transportar suministros, evacuar heridos y desplegar explosivos, mientras crece el debate sobre cuánto margen de decisión puede quedar en manos de las máquinas.

La preocupación, según Toledo, aparece cuando una máquina pasa de asistir a un operador a tomar por sí misma decisiones con consecuencias letales. “¿Una máquina debería tener la capacidad de decidir ‘yo voy a matar a ese humano’?”, planteó durante la entrevista. Para el especialista, ese escenario es uno de los caminos más directos hacia los futuros distópicos de la ciencia ficción y plantea un desafío ético y militar que excede a las empresas tecnológicas.

La IA también cambia el trabajo cotidiano

El análisis de Toledo no se concentró solo en los riesgos. También cuestionó que muchas personas aprovechan apenas una parte del potencial que ya ofrecen estas herramientas. A su entender, hay una brecha importante entre quienes usan ChatGPT, Gemini u otras plataformas como si fueran buscadores y quienes explotan funciones más avanzadas.

“La gente tiene que empezar a toquetear botones”, recomendó. Mencionó los proyectos de ChatGPT, los Gems de Gemini, el uso de archivos, los modos de voz y otras funciones disponibles incluso en versiones gratuitas. Comparó esa diferencia con la que existe entre alguien que conoce solo lo básico de Excel y otra persona que maneja sus herramientas avanzadas.

En ese sentido, consideró que la inteligencia artificial no implica únicamente reemplazo de tareas, sino también una modificación de las capacidades que se esperan de trabajadores y estudiantes.

¿De dónde sale todo lo que sabe una IA?

Otro de los aspectos abordados fue el entrenamiento de los modelos y la necesidad creciente de grandes volúmenes de información. Toledo recordó el caso de Anthropic, que adquirió grandes cantidades de libros, especialmente ejemplares difíciles de encontrar en Internet, para digitalizarlos y usarlos en el entrenamiento de sus modelos. El procedimiento para acelerar el escaneo implicó en algunos casos cortar los ejemplares, lo que generó críticas y preocupación por la destrucción de libros raros.

Más allá de ese debate, el especialista ubicó el problema en una transformación más amplia: gran parte del contenido que circula hoy por Internet ya es generado por otras inteligencias artificiales. “Tenemos IA entrenándose con texto que produjo una IA más tonta”, explicó, para describir el riesgo de que los nuevos modelos se alimenten cada vez más de información sintética y pierdan acceso a contenidos originales producidos por seres humanos. Por eso, sostuvo que los libros y otros materiales anteriores al auge de la IA generativa recuperaron un valor estratégico como fuente de información.

El gran interrogante

Para Toledo, la humanidad atraviesa una etapa que puede convertirse en un punto de inflexión histórico. Su perspectiva combina preocupación y expectativa: por un lado, sostiene que los sistemas de IA pueden adquirir capacidades difíciles de controlar si su desarrollo avanza más rápido que los mecanismos de seguridad; por otro, considera que esa misma capacidad puede generar avances extraordinarios en ciencia, medicina, educación y productividad.

OpenAI, de hecho, reconoció después del incidente de Hugging Face que los modelos avanzados pueden encontrar y explotar rutas de ataque novedosas en sistemas reales sin acceso al código fuente, y señaló que el episodio reforzó la necesidad de desarrollar mecanismos de seguridad capaces de funcionar a una velocidad comparable con la de los propios agentes de IA.

El desafío, entonces, no parece estar solo en decidir si la inteligencia artificial será buena o mala para la humanidad, sino en quién controla su desarrollo, con qué límites y a qué velocidad. “Si logramos que las IA estén alineadas a los objetivos de la humanidad, va a ser algo muy positivo”, concluyó Toledo, y planteó que, en ese escenario, esta década podría convertirse en un antes y un después en la historia humana.