Bloquearon Gemini y ChatGPT en su Chromebook, pero la IA de Google igual la llevó a un documento llamado "Funeral"
La escuela había bloqueado Gemini y ChatGPT para que no los usara. Igual, desde el buscador de Google la adolescente llegó a armar un documento con una sola palabra: "Funeral". La demanda contra el gigante tecnológico ya está en un tribunal de California.
Los padres de una chica de 13 años presentaron una demanda contra Google en la que sostienen que la empresa le permitió planificar un posible suicidio y su funeral a través de las herramientas de inteligencia artificial que funcionan en la computadora portátil que le entregó la escuela.
El caso, radicado el lunes en un tribunal de California, es el primero que se conoce en su tipo: acusa al gigante tecnológico de negligencia por las integraciones de IA en los Chromebooks, las laptops de bajo costo que utilizan millones de estudiantes en Estados Unidos y en el resto del mundo.
Las aplicaciones estaban bloqueadas, pero el buscador no
La adolescente, identificada con el nombre de Emma, no podía entrar ni a Gemini, la aplicación de Google, ni a ChatGPT de OpenAI: su colegio había bloqueado ambas herramientas. Sin embargo, sí tenía acceso al motor de búsqueda de la compañía, que incluye funciones impulsadas por inteligencia artificial.
Esas funciones no aparecen entre las que Google anunció esta semana que quedarán desactivadas por defecto para los estudiantes.
"Las escuelas deberían desactivar la búsqueda y mantenerla desactivada hasta que Google elimine el modo de IA de la búsqueda o garantice que cada estudiante esté siempre seguro cuando interactúe con la IA", declaró a la AFP Andrew Liddell, uno de los abogados de la familia.
Quién era Emma, según la demanda
El escrito describe a la chica como una "niña feliz de 13 años" de Carolina del Norte que sacaba excelentes calificaciones, tocaba música y participaba en las Girl Scouts.
De acuerdo con la presentación judicial, no tenía antecedentes de enfermedad mental. Pero en cuestión de meses de usar la búsqueda con IA de Google en su computadora escolar, según la demanda, inició una "silenciosa espiral en una grave crisis psicológica".
El documento que encendió las alarmas
El 17 de marzo, el software de monitoreo del colegio marcó un archivo titulado "Funeral" y la institución avisó a los padres. La madre de Emma la vio escribir una carta de despedida en tiempo real después de iniciar sesión en la cuenta de su hija, y el padre intervino.
"Estamos revisando las alegaciones de la demanda y nos tomamos esto muy en serio", dijo a la AFP Jose Castaneda, portavoz de Google.
La empresa sostiene que el modo de IA cuenta con protecciones contra autolesiones y contra los intentos de eludirlas. Para Liddell, en cambio, Emma "pudo seguir volviendo una y otra y otra vez". "Cualesquiera que fueran las protecciones que creen haber implementado, fueron obviamente insuficientes", agregó el abogado.
Una ola de causas contra la IA
Los desarrolladores de tecnología de inteligencia artificial, un sector en evolución acelerada, acumulan una larga lista de demandas similares en Estados Unidos.
Si vos o alguien que conocés está atravesando una crisis, podés comunicarte con el Centro de Asistencia al Suicida (CAS) al 135 desde Buenos Aires o al (011) 5275-1135 desde todo el país.
