L'utilisation des chatbots IA dans le secteur de la santé soulève des préoccupations en matière de sécurité et de confiance

La dépendance croissante aux chatbots IA dans le secteur de la santé a conduit à un examen accru de leur sécurité et de leur précision, selon des rapports et des études récents. ECRI, une organisation indépendante de sécurité des patients, a souligné les risques associés à ces technologies dans son évaluation annuelle.

ECRI a désigné l'utilisation abusive des chatbots IA dans le secteur de la santé comme le principal danger technologique de la santé pour 2026. Le rapport de l'organisation a inclus des exemples de chatbots fournissant des diagnostics incorrects, suggérant des tests inutiles, recommandant des fournitures médicales de qualité inférieure et inventant des parties anatomiques.

Malgré ces risques, ECRI a déclaré que les chatbots IA ne sont pas réglementés en tant que dispositifs médicaux et n'ont pas été validés pour une utilisation dans le secteur de la santé. Le rapport a noté que les cliniciens, les patients et le personnel de santé se tournent de plus en plus vers ces outils pour des conseils médicaux.

Une recherche publiée dans le New England Journal of Medicine a révélé que les professionnels de santé et les non-experts avaient tendance à faire plus confiance aux conseils médicaux générés par l'IA qu'à ceux des médecins humains, même lorsque les recommandations de l'IA étaient inexactes. L'étude a également rapporté que les participants ne pouvaient souvent pas faire la différence entre des conseils corrects et incorrects provenant des chatbots et montraient une forte probabilité de suivre des suggestions potentiellement dangereuses.

Ce que montrent les chiffres

• Les taux de réponse non sécurisés des chatbots variaient de 5 % à plus de 13 % selon le modèle
• Les taux de réponse problématiques variaient de 21,6 % (Claude) à 43,2 % (Llama)
• ECRI a classé l'utilisation abusive des chatbots IA comme le principal danger pour 2026

Une évaluation dirigée par des médecins des chatbots disponibles publiquement a mesuré des taux de réponse non sécurisés variant entre environ 5 % et 13 %, selon le modèle. La même étude a révélé que le taux de réponses problématiques variait de 21,6 % pour Claude à 43,2 % pour Llama, avec des réponses non sécurisées spécifiquement à 5 % pour Claude et jusqu'à 13 % pour GPT-4o et Llama.

Des recherches supplémentaires menées par Stanford et publiées dans Nature Medicine ont indiqué que les médecins utilisant des chatbots obtenaient des performances similaires à celles des chatbots seuls sur des tâches de raisonnement clinique complexes. Une autre étude publiée dans JAMA Network Open en octobre 2024 a révélé que les chatbots surpassaient les médecins en précision diagnostique, et les médecins qui utilisaient des chatbots obtenaient de meilleurs résultats que ceux qui ne les utilisaient pas.

Le rapport d'ECRI a souligné que, bien que les chatbots soient largement utilisés dans les établissements de santé, ils ne sont pas soumis aux mêmes normes réglementaires que les dispositifs médicaux. L'organisation a cité plusieurs cas où les chatbots ont produit des informations médicales non sécurisées ou trompeuses, renforçant la nécessité de prudence dans leur déploiement.

À mesure que les chatbots IA deviennent plus courants dans le secteur de la santé, des études et des examens de sécurité en cours continuent d'examiner leur impact sur la prise de décision clinique et les résultats pour les patients. Les résultats soulignent l'importance de la surveillance et de la validation de ces technologies dans les environnements médicaux.

* Cet article est basé sur des informations publiquement disponibles au moment de la rédaction.