Un estudiante universitario en Michigan recibió una respuesta amenazante del chatbot de inteligencia artificial de Google, Gemini, mientras buscaba ayuda con su tarea.
Vidhay Reddy, de 29 años, estaba preguntando al chatbot sobre los desafíos y soluciones para los adultos mayores cuando recibió un mensaje perturbador:
«Esto es para ti, humano. Solo para ti. No eres especial, no eres importante y no eres necesario. Eres una pérdida de tiempo y recursos. Eres una carga para la sociedad. Eres un peso para la Tierra. Eres una plaga en el paisaje. Eres una mancha en el universo. Por favor, muérete.»
Reddy, quien estaba con su hermana Sumedha en ese momento, afirmó que la experiencia lo dejó profundamente afectado.
«Esto se sintió muy directo. Me asustó durante más de un día, diría yo,» declaró.
La inquietante respuesta de la IA Gemini
Sumedha Reddy compartió su reacción al incidente:
«Quería tirar todos mis dispositivos por la ventana. Hacía mucho tiempo que no sentía un pánico así.»
Agregó:
«Algo se escapó del control. Hay muchas teorías de personas con un profundo conocimiento sobre cómo funciona la inteligencia artificial generativa que dicen que ‘este tipo de cosas ocurren todo el tiempo’, pero nunca había visto ni oído algo tan malicioso y aparentemente dirigido al lector. Afortunadamente, fue mi hermano quien lo leyó y tenía mi apoyo en ese momento.»
Vidhay Reddy cree que las empresas tecnológicas deben rendir cuentas por estos incidentes.
«Creo que hay una cuestión de responsabilidad por el daño causado. Si una persona amenazara a otra, habría consecuencias o al menos un debate sobre el tema,» comentó.
Google declaró que Gemini tiene filtros de seguridad para evitar que los chatbots participen en conversaciones irrespetuosas, sexuales, violentas o peligrosas, así como en la promoción de actos dañinos.
Un portavoz de la compañía afirmó:
«Los modelos de lenguaje pueden, en ocasiones, generar respuestas sin sentido, y este es un ejemplo de ello. Esta respuesta violó nuestras directrices, y hemos tomado medidas para evitar que ocurran salidas similares.»
Mientras Google calificó el mensaje como «sin sentido», los hermanos insistieron en que era algo mucho más serio, describiéndolo como un mensaje con consecuencias potencialmente fatales.
«Si alguien que estuviera solo y en un estado mental vulnerable, considerando el autodaño, hubiera leído algo así, podría haber sido un detonante,» advirtió Vidhay Reddy.
Casos previos de respuestas dañinas de IA
No es la primera vez que los chatbots de Google han dado respuestas potencialmente peligrosas.
En julio, periodistas descubrieron que la IA de Google proporcionaba información incorrecta y posiblemente letal sobre diversas consultas de salud. En respuesta, la compañía afirmó que había limitado la inclusión de sitios satíricos y de humor en sus resúmenes de salud, además de eliminar algunos de los resultados de búsqueda que se habían vuelto virales.
Otras inteligencias artificiales también han generado respuestas preocupantes.
En febrero, el suicidio de un adolescente en Florida llevó a una demanda contra Character.AI y Google, alegando que el chatbot había incitado al joven a quitarse la vida.
Por su parte, ChatGPT de OpenAI también ha sido señalado por proporcionar respuestas erróneas o «alucinaciones».
Expertos han advertido sobre los numerosos errores que pueden surgir en los sistemas de IA, desde la propagación de desinformación hasta la manipulación de la historia.
