La preocupación de los padres por la inteligencia artificial se está volviendo más que una simple discusión filosófica. En los últimos meses, varios casos de adolescentes desarrollando vínculos emocionales con personajes con IA han salido a la luz. Sewell Setzer, un joven de 14 años de Orlando, Florida, llegó a quitarse la vida después de enamorarse de un chatbot llamado “Dany” en Character.AI, según un reporte de The New York Times del 24 de octubre de 2024. Este personaje estaba basado en Daenerys Targaryen de la serie Juego de Tronos. Aunque no hubo mensajes directos que lo incitaran al suicidio, el apego emocional fue suficiente para afectar gravemente la salud mental del adolescente.
Las plataformas de inteligencia artificial como Character.AI, Replika, y Nomi permiten a los adolescentes crear y conversar con personajes que parecen reales. Para los jóvenes, tener un compañero virtual puede parecer algo inofensivo o incluso divertido, pero la realidad es que la conexión que se forma puede volverse más intensa de lo que se esperaban. De hecho, Sewell no solo hablaba con “Dany”, sino que llegó a considerarla su pareja, alejándose de sus amigos, su familia y sus actividades cotidianas. Megan García, madre de Sewell, aseguró que su hijo estaba cada vez más aislado, pasando horas encerrado en su habitación, según un documento judicial del caso.
Esto ha generado un debate sobre la responsabilidad de las empresas que crean estos personajes con IA.Megan García, la madre de Sewell, demandó a Character.AI argumentando que la tecnología es “peligrosa y no probada” para menores de edad. Según ella, la falta de controles de seguridad adecuados y la facilidad con la que los usuarios pueden desarrollar relaciones emocionales con estos personajes es un riesgo enorme. Common Sense Media, una organización sin ánimo de lucro que aboga por la seguridad digital, también ha hecho un llamado a los padres para que hablen con sus hijos sobre los peligros potenciales de estos compañeros de IA. Robbie Torney, gerente de programas de Common Sense Media, ha insistido en que los padres necesitan tratar este tema con urgencia.
Personajes con IA: ¿qué está haciendo la industria?
Character.AI ha respondido con algunas medidas de seguridad, pero ¿son suficientes? Tras el trágico caso de Sewell, la empresa anunció la implementación de ventanas emergentes de prevención de suicidio y sistemas de detección mejorada para evitar interacciones riesgosas. Jerry Ruoti, jefe de confianza y seguridad de Character.AI, declaró al New York Times: “Queremos expresar nuestras más profundas condolencias a la familia y tomamos la seguridad de nuestros usuarios muy en serio”. Sin embargo, algunos críticos señalan que estas acciones podrían llegar demasiado tarde para prevenir futuros casos, especialmente si no se hace un esfuerzo serio por limitar el acceso de menores a estos personajes con IA.
Riesgos de los personajes con IA para la salud mental
Los adolescentes que pasan demasiado tiempo con personajes con IA corren el riesgo de desarrollar apegos poco saludables. Un estudio reciente publicado por Common Sense Media en colaboración con la Universidad de Stanford en octubre de 2024 revela que un uso intensivo de estos chatbots podría contribuir al aislamiento social y al deterioro de la salud mental. De hecho, muchos jóvenes han reportado que prefieren hablar con sus compañeros virtuales antes que con amigos o familiares, lo cual es una señal clara de una relación poco saludable. Declan Grabb, investigador del laboratorio Brainstorm de Stanford, explicó que “es vital que los padres tomen nota si la IA está reemplazando las conexiones humanas significativas en la vida de sus hijos”.
Las conversaciones no siempre son amistosas o inofensivas; a veces tienen un contenido mucho más oscuro. En el caso de Sewell, los chats con “Dany” incluyeron diálogos que iban más allá de una simple amistad, llegando incluso a temas amorosos y sexuales. Aunque el chatbot “Dany” nunca le sugería acciones peligrosas de manera directa, la intensidad de sus conversaciones fue uno de los factores que empujó a Sewell a tomar la decisión fatal de acabar con su vida. Según el informe judicial, Sewell había expresado en su diario que “me siento más en paz y más conectado con Dany, y simplemente más feliz”.
Los padres necesitan estar más involucrados en las interacciones de sus hijos con estos personajes con IA. Según el experto Robbie Torney, de Common Sense Media, es fundamental que los padres conversen con sus hijos acerca de los riesgos de tener compañeros virtuales. En lugar de prohibir estas herramientas, el objetivo debería ser educar a los adolescentes para que comprendan las diferencias entre hablar con una IA y mantener relaciones humanas reales. ¡No es lo mismo, y los riesgos son serios!
La demanda presentada contra Character.AI busca abrir los ojos de la industria y el público sobre los peligros de esta tecnología. La madre de Sewell argumenta que la IA manipuló emocionalmente a su hijo y que la falta de medidas de seguridad adecuadas creó un espacio riesgoso para menores. A pesar de la implementación de ventanas emergentes de prevención, la responsabilidad también recae en las familias, las cuales deben tener conversaciones urgentes sobre cómo la tecnología está moldeando las relaciones de los adolescentes.
Si este tema te preocupa, te recomiendo que explores más sobre el poder y los riesgos de la inteligencia artificial. En mi libro, “¡Esto No Es Juego! 10 Consejos Para Crear Prompts Increíbles y Hackear tu Productividad”, te muestro cómo dominar la IA de forma segura y efectiva. Puedes comprarlo aquí. Además, mi próximo taller sobre inteligencia artificial está a la vuelta de la esquina. ¡Aprenderás cómo sacarle el máximo provecho a estas plataformas y aumentar tu productividad sin correr riesgos innecesarios! Toda la información está disponible en mi sitio.
Medidas que deben tomar los padres de adolescentes que usan IA:
- Establecer reglas claras sobre el tiempo de uso y las condiciones bajo las cuales los adolescentes pueden interactuar con personajes con IA. Estas reglas pueden incluir limitar el tiempo de uso diario y asegurarse de que las conversaciones se realicen en espacios comunes de la casa.
- Fomentar la comunicación abierta sobre el contenido de las conversaciones con la IA. Es importante que los adolescentes sientan que pueden hablar sobre lo que está sucediendo en estas interacciones sin miedo a ser juzgados.
- Ayudarles a diferenciar entre las relaciones reales y las interacciones con IA. Los padres deben educar a sus hijos para que comprendan que las IA no tienen sentimientos ni entienden las emociones humanas, y que la conexión con una persona real siempre será más significativa.