Un robot d’intelligence artificielle réussit le concours de médecine aux États-Unis

L’année dernière, la sortie de ChatGPT – dont le développeur OpenAI est soutenu par le rival de Google, Microsoft – a lancé une course entre les géants de la technologie dans le domaine en plein essor de l’IA. La santé est un domaine où la technologie a déjà montré des progrès tangibles, certains algorithmes se révélant capables de lire des scanners médicaux mieux que les humains. Google avait dévoilé son outil d’IA dédié aux questions médicales, appelé Med-PaLM, dans un article en pré-publication, en décembre. Contrairement à ChatGPT, il n’a pas été ouvert au grand public.

Résultats encourageants

Google affirme que Med-PaLM a été le premier grand modèle de langage, une technique d’IA entraînée sur de grandes quantités de texte produit par l’homme, à réussir l’USMLE (US Medical Licensing Examination). La réussite de cet examen permet d’exercer la médecine aux États-Unis. Pour y parvenir, il faut obtenir un score de 60 % environ. En février, une étude avait révélé que ChatGPT avait obtenu des résultats plutôt satisfaisants à l’examen.

Dans une nouvelle étude, évaluée par les pairs et publiée mercredi dans la revue Nature, les chercheurs de Google ont déclaré que Med-PaLM avait atteint 67,6 % en répondant aux questions à choix multiples de style USMLE. Ces résultats sont « encourageants, mais restent inférieurs à ceux des humains », indique l’étude. Pour identifier et réduire ce que l’on appelle les « hallucinations » – le mot qui désigne une réponse manifestement fausse proposée par un modèle d’IA – Google a indiqué avoir développé une nouvelle référence d’évaluation. Karan Singhal, chercheur chez Google et auteur principal de la nouvelle étude, a expliqué que son équipe avait testé une version plus récente du modèle. Med-Palm 2 aurait atteint le score de 86,5 % à l’examen USMLE, dépassant la version précédente de près de 20 %, selon une étude publiée en mai qui n’a pas été évaluée par des pairs.

En test dans un hôpital