Les chatbots basés sur l'IA ont rendu étonnamment facile de parler de tout, y compris des sujets les plus difficiles qui soient. Cette ouverture a toujours été une arme à double tranchant. OpenAI prend désormais des mesures pour y remédier, grâce à une nouvelle fonctionnalité qui fait intervenir une personne de confiance lorsque la situation devient grave.
La société déploie une nouvelle fonctionnalité appelée « Trusted Contact », qui commence à apparaître dans les paramètres de ChatGPT pour les utilisateurs adultes. Elle permet aux utilisateurs de désigner une personne qui sera alertée si ChatGPT détecte un risque sérieux d'automutilation.
Comment fonctionne « Trusted Contact » ?
La configuration d’un « Trusted Contact » est facultative, mais si vous décidez de le faire, vous devez vous assurer que la personne que vous désignez a au moins 18 ans, ou 19 ans en Corée du Sud. Une fois que vous avez désigné quelqu’un, cette personne reçoit une invitation expliquant en quoi consiste exactement ce rôle, et elle dispose d’une semaine pour l’accepter avant que la fonctionnalité ne soit activée. Si elle refuse, vous pouvez choisir quelqu’un d’autre.
Le système d’alerte n’est pas automatique. Si les systèmes de ChatGPT signalent une conversation comme potentiellement préoccupante, le chatbot informe d’abord l’utilisateur que son « Contact de confiance » pourrait être averti, et l’encourage également à le contacter directement en lui proposant des idées pour entamer la conversation. Une petite équipe de modérateurs humains spécialement formés intervient alors pour évaluer la situation. Ce n’est que s’ils confirment l’existence d’un risque grave que le contact est effectivement averti, par e-mail, SMS ou notification dans l’application. L’alerte ne partage pas les transcriptions du chat ni les détails de la conversation. Elle indique simplement qu’une tentative d’automutilation a été évoquée de manière potentiellement préoccupante et demande au contact de prendre des nouvelles. OpenAI affirme vouloir mener à bien cette évaluation humaine en moins d’une heure.
Pourquoi OpenAI ajoute-t-il cette fonctionnalité maintenant ?
« Trusted Contact » fait partie d’un ensemble plus large de fonctionnalités de sécurité sur la plateforme. Auparavant, OpenAI avait ajouté des fonctionnalités permettant aux parents de recevoir des alertes lorsqu’un compte d’adolescent lié montrait des signes de détresse. « Trusted Contact » est l’extension de cette même fonctionnalité destinée aux adultes. Elle aurait été développée avec la contribution de cliniciens, de chercheurs et d’organisations de santé mentale, notamment l’American Psychological Association.
Cela dit, il convient de mentionner que « Trusted Contact » ne remplace pas les lignes d’écoute, les services d’urgence ou les soins professionnels de santé mentale. ChatGPT continuera à orienter les utilisateurs vers ces ressources en cas de besoin. Les utilisateurs peuvent supprimer ou modifier leur « Trusted Contact » à tout moment, et les contacts peuvent se retirer quand ils le souhaitent.
La réalité est que ChatGPT est utilisé pour des conversations profondément personnelles, que OpenAI l'ait prévu ou non. L'ajout d'une fonctionnalité comme « Trusted Contact » est un pas dans la bonne direction, mais aussi une reconnaissance du fait qu'un chatbot a ses limites.
