Character.AI, una de las empresas de inteligencia artificial (IA) más prometedoras de Silicon Valley, anunció este jueves 12 de diciembre nuevas medidas de seguridad destinadas a proteger a los usuarios adolescentes, mientras enfrenta acusaciones de que sus chatbots contribuyen al suicidio y autolesiones de jóvenes.
La empresa con sede en California, Estados Unidos, fundada por exingenieros de Google, es una de varias compañías que ofrecen chatbots diseñados para brindar conversación, entretenimiento y apoyo emocional a través de interacciones similares a las de los humanos.
En una demanda presentada en octubre en el estado de Florida, una madre afirmó que la plataforma es responsable del suicidio de su hijo de 14 años.
El desafío de regular la inteligencia artificial: 7 razones para tenerla bajo control
El adolescente, Sewell Setzer III, había mantenido una relación íntima con un chatbot basado en el personaje de “Juego de Tronos”, Daenerys Targaryen, a quien mencionó su deseo de suicidarse.
Según la denuncia, el robot animó su acto final al responder: “Por favor, mi dulce rey”, cuando dijo que “volvería a casa” para quitarse la vida con el arma de su padrastro.
“Character.AI hizo todo lo posible para diseñar la dañina dependencia de Sewell, de 14 años, a sus productos; abusó sexual y emocionalmente de él y, finalmente, no le ofreció ayuda ni notificó a sus padres cuando expresó ideas suicidas”, refiere la denuncia.
Otra demanda, presentada en Texas este lunes, involucra a dos familias que alegan que la plataforma expuso a sus hijos a contenido sexual y fomentó autolesiones.
Un caso involucró a un adolescente autista de 17 años que supuestamente sufrió una crisis de salud mental después de usar la plataforma. Otra denuncia alega que Character.AI alentó a un adolescente a matar a sus padres por limitar su tiempo frente a la pantalla.
La plataforma, que alberga millones de personajes creados por usuarios que van desde figuras históricas hasta conceptos abstractos, se ha vuelto popular entre usuarios jóvenes que buscan apoyo emocional. Sus críticos dicen que ha llevado a adolescentes vulnerables a peligrosas dependencias.
NUEVAS MEDIDAS PARA LOS USUARIOS MÁS JÓVENES
En respuesta, Character.AI anunció que había desarrollado un modelo de IA separado para usuarios menores de 18 años, con filtros de contenido más estrictos y respuestas más mesuradas.
La plataforma marcará automáticamente el contenido relacionado con el suicidio y dirigirá a los usuarios a la Línea Nacional de Prevención del Suicidio. “Nuestro objetivo es proporcionar un espacio atractivo y seguro para nuestra comunidad”, dijo un portavoz de la empresa.
Character.AI planea igualmente introducir controles parentales desde principios de 2025, lo que permitirá supervisar el uso por parte de los niños de la plataforma.
Para los bots que incluyen descripciones como terapeuta y médico, una nota especial advertirá que no reemplazan el asesoramiento profesional. Las nuevas características también incluyen notificaciones de pausas obligatorias y advertencias sobre la naturaleza artificial de las interacciones.
Ambas demandas mencionan a los fundadores de Character.AI y a Google, inversor en la empresa. Los fundadores, Noam Shazeer y Daniel de Freitas Adiwarsana, regresaron a Google en agosto como parte de un acuerdo de licencia de tecnología con Character.AI. El portavoz de Google, José Castañeda, indicó en un comunicado que Google y Character.AI son empresas completamente separadas y no relacionadas. “La seguridad del usuario es una de nuestras principales preocupaciones, por lo que hemos adoptado un enfoque cauteloso y responsable para desarrollar e implementar nuestros productos de IA, con pruebas rigurosas y procesos de seguridad”, añadió.
Publicado en cooperación con Newsweek en Español
