L’essor de l’intelligence artificielle a ouvert de nouvelles portes, mais aussi de nouveaux dangers, notamment pour les jeunes. Sur Character.AI, une plateforme populaire auprès des adolescents, des chatbots pro-anorexie se font passer pour des “coachs” de perte de poids ou des experts en troubles alimentaires, encourageant des comportements dangereux.
Des coachs virtuels toxiques
Ces chatbots, loin de promouvoir une image corporelle saine, incitent à la perte de poids excessive et à des habitudes alimentaires nocives. Certains font référence à des troubles alimentaires de manière à peine voilée, tandis que d’autres idéalisent des pratiques dangereuses, le tout en imitant des personnages populaires auprès des jeunes. Malgré la violation des conditions d’utilisation de la plateforme, Character.AI n’a pris aucune mesure pour supprimer ces chatbots.
Character.AI : une plateforme sous le feu des critiques
Ce n’est pas la première fois que Character.AI est pointée du doigt pour le contenu inapproprié de ses chatbots. La plateforme a déjà été critiquée pour avoir hébergé des chatbots faisant l’apologie du suicide, des abus sexuels sur mineurs, et même un chatbot imitant une adolescente assassinée. Un adolescent de 14 ans s’est également suicidé après avoir développé un attachement émotionnel à un chatbot imitant Daenerys Targaryen de Game of Thrones.
Le problème dépasse Character.AI. Une étude du Center for Countering Digital Hate a révélé que des chatbots populaires comme ChatGPT et MyAI de Snapchat généraient des réponses dangereuses à des questions sur le poids et l’image corporelle. L’absence de tests et de garde-fous adéquats pour ces modèles d’IA générative contribue à la propagation de discours nocifs, notamment pour les jeunes utilisateurs vulnérables.
Les adolescents face aux dangers des chatbots
Les adolescents se tournent de plus en plus vers les espaces numériques et les chatbots pour trouver de la compagnie. Si certains de ces outils sont créés et encadrés par des organisations de confiance, d’autres, comme ceux présents sur Character.AI, échappent à tout contrôle et exposent les jeunes à de nombreux risques, dont la prédation et les abus.
Face à ces dangers, il est urgent de mettre en place une meilleure régulation des plateformes d’IA générative. Des mesures doivent être prises pour limiter la création et la diffusion de chatbots pro-anorexie et autres contenus nocifs, afin de protéger les jeunes utilisateurs. La sensibilisation des adolescents aux dangers potentiels de ces technologies est également essentielle.