La firma tecnológica ha revelado que aproximadamente 1,2 millones de personas interactúan cada semana con ChatGPT exponiendo ideas suicidas o autolesivas. Esto representa cerca del 0,15% de sus usuarios semanales activos. Estas cifras no solo reflejan un problema de salud pública, sino que también plantean alarmas en torno al rol que las IA conversacionales están adquiriendo en el campo emocional.
¿Qué ha hecho OpenAI tras conocer los datos?
1. Colaboración con profesionales sanitarios
OpenAI trabajó con más de 170 expertos en salud mental (psiquiatras, psicólogos y médicos) de más de 60 países para revisar cómo su IA debe responder ante usuarios en crisis.
2. Mejora de detección y derivación
Ahora, el modelo puede identificar de forma más eficaz cuando alguien muestra signos de suicidio, psicosis o dependencia emocional hacia la IA. Ha reducido las respuestas problemáticas hasta un 80% en algunas categorías.
3. Nuevas funciones de seguridad
Se ha implementado un sistema que redirige a líneas de ayuda reales, limita el acceso prolongado a ciertos chats y mide la “dependencia emocional” hacia la herramienta.
¿Qué implicaciones tiene esto para usuarios y desarrolladores?
Aunque el porcentaje puede parecer bajo, se traduce en un volumen considerable de personas vulnerables. Para empresas de tecnología, diseñadores de IA y creadores de contenido, esto significa:
-
Considerar segmentos de riesgo cuando se desarrolla chatbots abiertos al público.
-
No sustituir la ayuda profesional por herramientas automatizadas: la IA puede dar apoyo, no reemplazar atención clínica.
-
Garantizar políticas de transparencia y derivación cuando la IA identifique situaciones críticas.
¿Debemos preocuparte?
Sí y no. Sí porque la IA está siendo usada como confidente por millones que atraviesan crisis. No, en el sentido de que se están tomando medidas. Pero la alerta sigue viva: la tecnología crece rápido, mientras los protocolos de seguridad tardan en ponerse al día.
“La IA no está diseñada para ser tu terapeuta. Está hecha para dar respuestas, no para acompañar humanamente”, advierte un especialista en salud mental consultado.
Conclusión
El uso de ChatGPT para lidiar con pensamientos suicidas o crisis emocionales representa un cambio en el papel de la IA como “confidente digital”. Este fenómeno exige una reflexión seria: tanto sobre cómo diseñamos tecnología como sobre cómo cuidamos a quienes la utilizan. Si desarrollas, diseñas o supervisas aplicaciones conversacionales, ten presente que detrás de cada chat puede haber una vida en riesgo.
Esta semana, en el programa La mañana de COPE Canarias, hablamos de este terrible problema y lo que se puede hacer para solucionarlo.
Transcripción
[Roberto González]
Bueno, abrimos tiempo para las nuevas tecnologías, para hablar del uso que hacemos de ellas y para darnos cuenta de que a veces pues no lo hacemos de la mejor manera. Miren, OpenAI, esta empresa que lleva a cabo chat-GPT, la inteligencia artificial y que nos pone en contacto con esta nueva tecnología, advierte de que más de un millón de usuarios hablan sobre suicidio con chat-GPT a diario. Y esa es la cuestión que planteamos hoy con Josué Fumero, que es director de Internetísimo.com.
¿Qué tal, Josué? Buenos días.
[Josué Fumero]
Buenos días, Roberto. ¿Cómo estás?
[Roberto González]
Claro, esto denota dos problemas. Por un lado, bueno, pues la cantidad de gente que tiene problemas a lo mejor, problemas mentales serios, y claro, el uso equivocado que se hace de una herramienta que no está para eso. ¿Verdad, Josué?
Eso me parece a mí.
[Josué Fumero]
Claro, efectivamente. Estos chatbots, aparte de que dan anonimato y de alguna forma esa primera barrera que siempre representa hablar con un desconocido, pues la superan con creces. Ellos no se sienten intimidados en contar sus intimidades a un chatbot.
Y también hay otra cosa que favorece este uso, que es el tema de que siempre tenemos una respuesta de empatía hacia el problema, lo cual hace que la persona que habla constantemente de este problema se sienta más confiado en contarle más y más y más. ¿Qué pasa? Que esto no es la solución porque no son profesionales de la salud mental ni sustituyen ninguna terapia.
Y claro, ahora mismo, por este tema, porque recientemente hubo un suicidio de una persona que hablaba muchísimo con chatGPT. Inicialmente pues hablaba de sus ganas de quitarse la vida, pero después ya empezó a hablar con chatGPT de formas de quitarse la vida, y chatGPT no fue capaz de contradecirle, sino también volvió otra vez con esa empatía, con ese bienqueda que tiene.
[Roberto González]
Como a reforzarle su…
[Josué Fumero]
Sí, y entonces le dio esta idea. Y claro, ahora esa familia ha demandado a OpenAi porque entiende que no tenía que haber llegado a seguir con esa conversación, y eso también ha reforzado la idea de que OpenAi le ha puesto bastantes recursos para mejorar esa forma de tratar a las personas, para canalizarlos hacia un profesional. Ya están metiendo en los modelos que cuando la persona pues se pone a hablar ya de determinados temas, pues vamos allá a derivarte a un profesional, porque es la única solución.
Y que también incluso con frases de, oye, confía en las personas, que las personas sí te pueden ayudar.
[Roberto González]
Claro, son las que saben, porque quizá tendemos a pensar, o de alguna manera personalizar tanto. Nos lo ponen fácil para ellos también, estas tecnologías, porque lo cierto es que a veces parece que estás hablando con una persona, pero no podemos olvidar que se trata eso de un bote, de una inteligencia artificial, de un recopilador de datos.
[Josué Fumero]
Claro, te puede escuchar, pero no te puede cuidar. Cuando hay sufrimiento real, la ayuda humana es insustituible. No puedes tú con una máquina solventar tus problemas.
Entonces vamos a quedarnos con que hay un problema en la sociedad importante, personas que necesitan soltar su tristeza, que están pensando en quitarse la vida, y que esas personas tenemos que desviarlas hacia una serie de profesionales que son los adecuados para solventarlos. Y recordar a los oyentes, hay un número 024 para este tipo de problemas, que llamen a ese teléfono, y a ver si también la inteligencia artificial es capaz también de llevarlos a ese camino.
[Roberto González]
Claro, lo cierto es que también hay otra noticia sorprendente, y es que hay muchas personas que cada vez hablan más con la inteligencia artificial como si hablasen con un amigo.
[Josué Fumero]
Claro, pero es que esa inteligencia artificial después les responde de una forma que el amigo no lo hace con esa empatía, no lo hace con esa… No sé, a veces me quedo sorprendido. No sé si has visto por ejemplo en el mismo Twitter cómo responde el Grok ante las noticias sobre todas estas políticas, tirando a extremistas, y cómo Grok baja el tono y pone sensatez.
A veces si tú lo oís, qué bien responde el Grok este. Pues yo supongo que en el tema también de casos límites de problemas reales, también esa inteligencia artificial responde de una forma que hace que esa persona dice ahí, pues la próxima vez voy a preguntar a esta maquinita, que me siento más tranquilo.
[Roberto González]
Es triste, es triste que haya personas que estén sustituyendo a los Amigos de Carne y Hueso por esto.
[Josué Fumero]
Claro, te acuerdas de la película Her.
[Roberto González]
Sí, que se enamoraba de la voz de su asistente, sí, sí, es cierto. Joaquín Fénix, es buenísima, es buenísima esa película. Lo que parecía un disparate, ahora que lo nombra, fíjate, Josué, lo que parecía un disparate viendo la película, qué tontería, estamos cada vez más cerca de eso.
No sé si de enamorarse, pero de confiar como si fuese una persona, desde luego que sí.
[Josué Fumero]
Claro, claro, y al final dices tú… es que sinceramente yo creo que tampoco el tema no es decir que la IA no hable de estas cosas, pero yo creo que lo que hay que hacer es mejorar los modelos y que terminen derivando. Eso para mí es la clave, que se pueda diseñar con límites, evaluar con coherencia y crear puentes hacia la ayuda profesional.
Para mí ese es el camino a seguir.
[Roberto González]
O sea, de alguna manera que si detecta…
[Josué Fumero]
Pero ser conscientes de que el problema existe.
[Roberto González]
Claro, que si detecta la inteligencia artificial que hay un problema o que le estás planteando una cuestión delicada, que sepa parar, que sepa frenar y que te sepa desviar hacia donde tienes que ir. No decir, yo lo sé todo, sino debería acudir a un profesional.
[Josué Fumero]
O incluso decirle, mira, dame tu teléfono, que te va a llamar alguien, yo qué sé. Una cosita de esas que pueda ayudar a… ya no es que espere que la persona llame, sino que el mismo profesional lo llame a él.
Estoy pensando así un poquito en voz alta porque…
[Roberto González]
Mira, a raíz de esta noticia leo una persona y dice, sé que es un robot, sé que todo es programación, pero a menudo me encuentro abriéndome a echar GPT sobre temas personales. Increíble. Pero ahí está.
Ahí está la nueva tecnología y el éxito siniestro, por otro lado, de esta inteligencia artificial que nos va a dar mucho que hablar todavía, Josué, seguramente. Josué Fumero, director de internetísimo.com. Siempre es un gusto hablar contigo, Josué.
[Josué Fumero]
Muchas gracias, Roberto. Saludos.
