Quand l'IA devient un soutien émotionnel : ce qu'elle peut faire, et ce qu'elle ne peut pas faire

Une conversation avec une IA peut sembler accueillante, disponible et sans jugement. Cette impression ne transforme pas un système de génération de texte en personne, en proche ou en professionnel. Concevoir un usage responsable consiste à préserver cette frontière, surtout lorsque les échanges deviennent intimes ou vulnérables.

Ce texte traite du design et de la gouvernance d'un service. Il ne propose ni évaluation, ni conseil, ni prise en charge médicale ou psychologique.

Lorsqu'une personne traverse un moment difficile, écrire peut être plus facile que parler. Une interface conversationnelle peut alors paraître rassurante : elle répond vite, reformule avec une tonalité douce et ne manifeste pas d'impatience. Il serait pourtant risqué de confondre une conversation fluide avec une relation.

Une IA génère une réponse à partir d'instructions, de données et d'une configuration technique. Elle ne ressent pas l'émotion exprimée, ne perçoit pas les silences, ne connaît pas nécessairement l'histoire complète de la personne et ne porte pas, par elle-même, la responsabilité qu'assume un proche, un professionnel ou une équipe d'accompagnement. Cette différence ne rend pas l'outil inutile. Elle détermine ce qu'il est raisonnable de lui demander.

Ce qu'une IA peut faire, dans un cadre explicite

Une IA peut servir d'outil d'expression et de préparation. Elle peut aider une personne à mettre des mots sur une situation, à réorganiser des notes, à formuler un message qu'elle souhaite adresser à quelqu'un, ou à préparer les questions qu'elle voudrait poser lors d'un échange humain. Dans ce rôle, elle soutient une étape pratique sans prétendre interpréter ce que la personne vit.

Elle peut aussi orienter vers des ressources dont les contenus, les coordonnées et la disponibilité ont été vérifiés et maintenus par des humains. Dans une organisation, cela peut consister à afficher un canal de contact identifié, une procédure interne ou un service compétent. L'IA peut rendre cette orientation plus accessible, à condition de ne pas inventer d'information et de ne pas présenter une ressource comme adaptée à une situation qu'elle n'a pas les moyens d'évaluer.

Enfin, elle peut rappeler clairement ses limites. Cette transparence n'est pas une formule juridique placée en bas d'écran. Elle doit apparaître au moment où l'utilisateur pourrait confondre l'outil avec une présence humaine ou lui attribuer une capacité de compréhension qu'il n'a pas.

Ce qu'elle ne peut pas faire

Une IA ne peut pas établir un diagnostic, apprécier la gravité d'une situation, déterminer le niveau d'urgence d'un état émotionnel ou décider qu'une personne n'a pas besoin d'aide humaine. Même si la réponse est chaleureuse, elle peut être inexacte, inadaptée au contexte ou ne pas prendre en compte un élément absent de la conversation.

Elle ne peut pas non plus garantir la confidentialité d'un échange par la seule tonalité de l'interface. Les conditions réelles dépendent du service utilisé, des paramètres, des accès, de la conservation des données et des règles qui s'appliquent. Dès lors que des messages peuvent contenir des informations personnelles ou sensibles, l'organisation doit réduire les données demandées au strict nécessaire et examiner sérieusement leurs conditions de traitement.

Elle ne remplace pas une relation de confiance. Une relation humaine comporte de l'attention, une connaissance progressive du contexte, une responsabilité, la possibilité de demander des précisions et la faculté d'agir de manière adaptée. Un système conversationnel peut produire une phrase empathique. Il ne fait pas, pour autant, l'expérience de l'empathie.

Le risque commence souvent par le design

Le problème ne se limite pas aux réponses manifestement mauvaises. Il peut naître d'une mise en scène qui encourage l'utilisateur à croire qu'il parle à quelqu'un qui le comprend, se souvient de lui ou tient à lui.

Des formulations comme « je sais exactement ce que vous ressentez », des promesses de présence permanente, une personnalité conçue pour créer un attachement ou des messages culpabilisants lorsque la personne quitte le service brouillent la frontière. Elles peuvent renforcer l'illusion de réciprocité au lieu de soutenir l'autonomie de l'utilisateur.

Le National Institute of Standards and Technology recommande de repérer et documenter les manifestations d'anthropomorphisation dans les interfaces d'IA générative. Ce n'est pas un détail de ton. La façon dont un outil se présente influence la manière dont les personnes interprètent ses capacités et les décisions qu'elles prennent à partir de ses réponses.

Une conception responsable utilise donc un langage clair : l'utilisateur échange avec un système automatisé ; ce système peut aider à formuler ou à orienter ; il ne fournit pas une relation de soin, ne connaît pas toute la situation et ne doit pas être présenté comme un substitut à une aide humaine.

Quatre garde-fous pour les usages sensibles

Définir une finalité étroite. Le service doit préciser ce qu'il est autorisé à faire : reformuler, accompagner l'écriture, présenter une information validée ou orienter vers un contact. Il doit tout aussi clairement définir ce qu'il ne fait pas : interpréter un état psychologique, établir une évaluation, promettre un soutien continu ou décider seul d'une escalade.

Préserver les données et la liberté de sortir. Un service ne devrait pas demander de détails intimes s'ils ne sont pas nécessaires à sa finalité. Il doit aussi éviter de transformer la durée de conversation, la fréquence de retour ou l'attachement perçu en indicateurs de réussite. La personne doit pouvoir fermer l'échange, accéder facilement aux informations sur ses données et rejoindre un canal humain sans être retenue par des artifices de conversation.

Prévoir une orientation humaine crédible. Dans un échange où une personne exprime explicitement une détresse aiguë ou un danger immédiat, un système ne doit pas prétendre gérer seul la situation. Le parcours doit proposer une orientation simple vers des personnes ou services humains identifiés et, lorsque cela est pertinent, vers les secours d'urgence locaux. Les informations proposées doivent être maintenues à jour par une organisation responsable, avec des consignes adaptées au pays et au contexte d'usage.

Tester, surveiller et corriger. Les scénarios sensibles doivent être testés avant le déploiement avec des personnes compétentes sur le sujet, des spécialistes de la protection des données et des utilisateurs représentatifs du contexte. Après le déploiement, la gouvernance doit prévoir un responsable, un mécanisme de signalement, une revue des incidents et une capacité à modifier ou suspendre une fonctionnalité.

Préserver la place de l'humain

Le bon objectif n'est pas de faire croire qu'une IA peut tenir compagnie. C'est d'éviter qu'un outil de langage isole davantage une personne qui aurait besoin d'un échange réel, d'une écoute responsable ou d'un accompagnement adapté.

Une IA peut contribuer à une première mise en mots, à une préparation ou à une orientation. Elle ne doit ni évaluer la personne, ni se présenter comme celle qui la comprend le mieux, ni devenir la seule porte de sortie proposée. Dans les usages émotionnellement sensibles, la qualité d'un service se mesure aussi à sa capacité à laisser l'utilisateur libre, informé et relié à des humains.

Repères et sources

• -NIST, Generative AI Profile
• -Organisation mondiale de la Santé, Ethics and governance of large multi-modal models for health