Coin Press - Acusada de favorecer suicidios de adolescentes, Character.AI anuncia medidas de seguridad

La empresa con sede en California, fundada por exingenieros de Google, es una de varias empresas que ofrecen chatbots diseñados para brindar conversación, entretenimiento y apoyo emocional a través de interacciones similares a las de los humanos.

En una demanda presentada en octubre en el estado de Florida, una madre afirmó que la plataforma es responsable del suicidio de su hijo de 14 años.

El adolescente, Sewell Setzer III, había mantenido una relación íntima con un chatbot basado en el personaje de "Juego de Tronos" Daenerys Targaryen, y mencionó su deseo de suicidarse.

Según la denuncia, el robot animó su acto final, respondiendo "por favor, mi dulce rey" cuando dijo que "volvería a casa" antes de quitarse la vida con el arma de su padrastro.

Character.AI "hizo todo lo posible para diseñar la dañina dependencia de Sewell, de 14 años, de sus productos, abusó sexual y emocionalmente de él y, finalmente, no le ofreció ayuda ni notificó a sus padres cuando expresó ideas suicidas", dice la denuncia.

Otra demanda, presentada en Texas el lunes, involucra a dos familias que alegan que la plataforma expuso a sus hijos a contenido sexual y fomentó autolesiones.

Un caso involucró a un adolescente autista de 17 años que supuestamente sufrió una crisis de salud mental después de usar la plataforma.

Otra denuncia alega que Character.AI alentó a un adolescente a matar a sus padres por limitar su tiempo frente a la pantalla.

La plataforma, que alberga millones de personajes creados por usuarios que van desde figuras históricas hasta conceptos abstractos, se ha vuelto popular entre usuarios jóvenes que buscan apoyo emocional.

Sus críticos dicen que ha llevado a adolescentes vulnerables a peligrosas dependencias.

En respuesta, Character.AI anunció que había desarrollado un modelo de IA separado para usuarios menores de 18 años, con filtros de contenido más estrictos y respuestas más mesuradas.

La plataforma marcará automáticamente el contenido relacionado con el suicidio y dirigirá a los usuarios a la Línea Nacional de Prevención del Suicidio.

"Nuestro objetivo es proporcionar un espacio atractivo y seguro para nuestra comunidad", dijo un portavoz de la empresa.

Character.AI planea igualmente introducir controles parentales desde principios de 2025, lo que permitirá supervisar el uso por parte de los niños de la plataforma.

Para los bots que incluyen descripciones como terapeuta o médico, una nota especial advertirá que no reemplazan el asesoramiento profesional.

Las nuevas características también incluyen notificaciones de pausas obligatorias y advertencias sobre la naturaleza artificial de las interacciones.

Ambas demandas mencionan a los fundadores de Character.AI y a Google, inversor en la empresa.

Los fundadores, Noam Shazeer y Daniel de Freitas Adiwarsana, regresaron a Google en agosto como parte de un acuerdo de licencia de tecnología con Character.AI.

El portavoz de Google, José Castañeda, dijo en un comunicado que Google y Character.AI son empresas completamente separadas y no relacionadas.

"La seguridad del usuario es una de nuestras principales preocupaciones, por lo que hemos adoptado un enfoque cauteloso y responsable para desarrollar e implementar nuestros productos de IA, con pruebas rigurosas y procesos de seguridad", añadió.

A.Agostinelli--CPN