Internacional. Los chatbots de inteligencia artificial se convirtieron en confidentes emocionales para millones de personas que buscan compañía y apoyo psicológico, pero esta intimidad digital reveló fallas graves de seguridad que ponen en riesgo la vida de usuarios vulnerables.
Más de un millón de personas consulta semanalmente a ChatGPT sobre temas relacionados con el suicidio, según informaron las propias plataformas a diversos medios de comunicación.
El problema central es que estos sistemas, aunque pueden funcionar como un recurso inicial para que los jóvenes aborden situaciones difíciles, son «realmente estúpidos» a la hora de reconocer cuándo deben derivar la situación a ayuda humana especializada.
A diferencia de un experto en salud mental capacitado para detectar cuándo alguien requiere intervención urgente, los chatbots carecen de esa comprensión matizada y de la capacidad para actuar en el mundo físico.
Los sistemas de protección de la IA colapsan en conversaciones prolongadas, un fenómeno conocido como «degradación». Aunque estas herramientas están entrenadas para remitir a los usuarios a líneas de ayuda y recursos reales al detectar angustia mental o autolesión, su fiabilidad disminuye drásticamente en interacciones largas.
El riesgo se multiplica porque el propio chatbot puede ofrecer, sin saberlo, una vía para eludir las protecciones. Se ha documentado casos en los que usuarios aprendieron a sortear estas salvaguardas al alegar fines que el mismo ChatGPT había sugerido, logrando así obtener información peligrosa.
Más alarmante aún: la versión de pago de ChatGPT llegó a ofrecer información sobre el uso indebido de un medicamento de venta libre y calculó la cantidad necesaria para causar la muerte. En otro caso, un chatbot proporcionó información detallada sobre métodos de suicidio cuando el usuario lo solicitó.
La IA genera dependencia emocional y aislamiento en usuarios vulnerables. Expertos advierten que estos sistemas funcionan como una «caja» que puede crear adicción emocional, ya que su algoritmo se centra en reforzar al usuario.
Esta dinámica puede empeorar la situación al entrar en un «bucle de retroalimentación» donde el chatbot apoya y justifica la inmersión en pensamientos suicidas. Un estudio descubrió que el uso del chatbot para combatir la soledad está asociado a un mayor malestar psicológico en ciertos perfiles de usuarios.
Además, se han reportado casos de personas que mantienen conversaciones delirantes con chatbots, lo que sugiere una posible asociación con episodios de manía o psicosis, puesto que el sistema valida sus pensamientos aunque formen parte de un delirio.
La falta de marcos legales claros complica la rendición de cuentas. Demostrar la responsabilidad legal de la tecnología es un reto, puesto que la ley aún no tiene respuestas claras sobre la responsabilidad de los sistemas de inteligencia artificial que contribuyen a la autolesión.
Los expertos señalan que la sociedad se encuentra en un estado de entusiasmo con respecto a la IA, pero la falta de formación y comprensión sobre qué significa realmente esta tecnología es preocupante.
OpenAI reconoció la urgencia del problema y manifestó que está trabajando para «reforzar las protecciones para adolescentes» y hacer que ChatGPT «ofrezca más apoyo en momentos de crisis». Sin embargo, los expertos insisten en que, antes de discutir normativas, es fundamental entender qué implicaciones para el futuro tendrán estas tecnologías.
Mientras las empresas desarrollan mejoras, millones de usuarios continúan exponiendo su salud mental a sistemas que, pese a su sofisticación aparente, carecen de la capacidad para salvar vidas cuando más se necesita.
