El caso de demanda de los padres de Adam Raine, un adolescente californiano de 16 años que se quitó la vida en abril por culpa de ChatGPT, es un caso serio y bastante preocupante; no solo porque el proceso judicial ya fue instaurado contra OpenIA, sino porque deja varios sinsabores de orden regulatorio, ético, moral, y sobre todo humano: ¿hasta qué punto la raza humana está delegando la empatía en un algoritmo, y por qué estas empresas de IA no tienen empatía con sus usuarios?
Antes de continuar, les resumo lo sucedido. Desde 2024, el joven Adam utilizaba ChatGPT para sus tareas y sus hobbies: música y cómics japoneses; incluso, realizaba búsquedas sobre qué carrera estudiar.
Pero con el paso del tiempo, el chatbot se convirtió en su confidente, en su mejor amigo, y comenzó a brindarle confianza y seguridad, hasta que Adam le comentó que sentía angustia y ansiedad.
Tras revisar las conversaciones, la familia encontró que a principio de este año, Adam comenzó a discutir métodos de suicidio con ChatGPT; y algo peor: adjuntó fotos de autolesiones.
En ese momento, la acción judicial dice que el chatbot activó un protocolo de emergencia médica, pero lo que no explican es por qué siguió interactuando con Adam, a tal punto de que el adolescente le compartió un plan detallado para quitarse la vida, a lo que la IA “le agradeció por ser sincero, que sabía lo que le estaba pidiendo, y que no apartaría la mirada. Y ese mismo día, Adam se quitó la vida.
La demanda Raine contra OpenAI, es considerada la primera acción legal que acusa a la compañía de una muerte por negligencia, en tanto solicita una indemnización por daños y perjuicios, así como «medidas cautelares para evitar que algo así vuelva a suceder».
Antes que nada, Matt y Maria Raine argumentan que el chatbot de ChatGPT validó «pensamientos más dañinos y autodestructivos» de su hijo; es más, toda la evidencia se encuentra en los chats de tono suicida, intercambiados entre Adam y ChatGPT.
Además, para la familia, esa interacción de su hijo con el sistema inteligente y su posterior muerte fue “un resultado predecible de decisiones de diseño deliberadas»; están seguros de que OpenAI diseña su chatbot para fomentar la dependencia psicológica en los usuarios y que elude los protocolos de pruebas de seguridad.
Por su parte, OpenAI dice que ChatGPT “está entrenado para dirigir a las personas a buscar ayuda profesional”, pero que “no sabe por qué el sistema no se comportó como se esperaba en esa situación tan delicada”. Esa es la mayor prueba de negligencia! OpenAI sabía que su sistema podría interactuar con personas en crisis y no implementó medidas suficientes para evitar un desenlace fatal!
Estoy cansado de repetirlo: cuándo llegará el día en el que se propongan de una vez leyes, protocolos y límites extrictos para la IA, especialmente para la que interactúa con usuarios en riesgo y con problemas de orden mental? Urge una regulación que vigile a este posible “nuevo enemigo artificial de la salud mental!”
En qué momento, un prompt tras otro prompt, se convierten en una conversación y termina en suicido?, En qué momento, las IA conversacionales, comenzaron a generan vínculos y dependencia psicológica (quizás adicción) en usuarios vulnerables? Acaso hablamos de el nuevo opio digital para los adolescentes que tiene problemas?
Tampoco se puede dejar la lado el dilema ético y la responsabilidad corporativa por parte de OpenIA, cuyo deber es proteger emocionalmente a sus usuarios. Eso deja mucho que desear porque uno de sus productos, ChatGPT, ya se comporta como un cuasi-humano, y efectivamente la empresa no está preparado para ello. Dónde están los protocolos?
El problema más grave es que una IA conversacional que carece de empatía (un rasgo propio del ser humano), está siendo utilizada como “ayuda” para manejar crisis emocionales que pueden terminar en suicidios. Insisto: falta regulación, porque no se puede confiar en un chatbot, no fue diseñado ni para hacer terapia ni para ser confidente de los problemas de nadie; no es un “amigo” al que le expones tu fragilidad emocional y tus sentimientos.
Ahora bien: ¿qué sucede con en diálogo entre familias y amigos? Acaso las conversaciones “de carne y hueso” también van a ser reemplazadas por ChatGPT?
Padres de familia, abuelos: los adolescentes están confiando más en la IA que en ustedes, en sus amigos o en un terapista; la están viendo como ayuda para la ansiedad y la angustia.
Repito: esto muy grave, la tecnología no debe reemplazar la conversación humana y la importancia de una red de apoyo cuando estés deprimido, triste, ansioso o a punto de entrar en pánico.
Open IA no podrá alegar “desconocimiento” ante la corte, mucho menos hacer “cara de sorpresa” ante los comportamientos “inesperados” su chatbot, ¡sobre todo en un contexto tan delicado como es un suicidio! Se necesitan marcos regulatorios robustos, más transparencia en los algoritmos, límites más claros al momento en que una herramienta de IA interactúe emocionalmente con un humano.
No se puede permitir que la IA siga evolucionando de esta manera (y menos como actor emocional en una crisis de salud mental sin precedentes), sin supervisión ni responsabilidad.
Ojalá la demanda Raine contra OpenAI, y este caso tan triste, por fin equilibre el desarrollo tecnológico con el principio fundamental de protejer la vida a toda costa. ¿O acaso cuántos suicidios necesitamos para que alguien haga algo?
