Alors que les histoires de dérapages des outils d’IAg en matière de santé mentale font la une des journaux, une récente étude semble évaluer ces dangers. Menée par des chercheurs de l’Université Brown et des cliniciens, l’étude, intitulée « How LLM Counselors Violate Ethical Standards in Mental Health Practice », a identifié cinq catégories principales de violations des codes de conduite éthiques: manque de compréhension contextuelle, collaboration thérapeutique médiocre, faux sentiment d’empathie, biais et insensibilité culturelle, ainsi que le manque de gestion de crise.
Selon cette étude, les « AI counsellors », dans leur forme actuelle, ne font l’objet d’aucune supervision professionnelle ni responsabilité légale. Les chercheurs mentionnent que des plateformes comme Character.AI peuvent ainsi proposer des « thérapeutes IA » opérant dans un vide juridique. Ils plaident donc pour l’établissement de « mécanismes de responsabilité » et l’élaboration de cadres réglementaires dans les plus brefs délais afin de protéger les personnes utilisatrices.
Source : Iftikhar, Z., Xiao, A., Ransom, S., Huang, J., & Suresh, H. (2025). How LLM Counselors Violate Ethical Standards in Mental Health Practice: A Practitioner-Informed Framework. Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, 8(2), 1311-1323. https://doi.org/10.1609/aies.v8i2.36632
Un projet québécois en lien avec le sujet : Le projet Human Line
