ChatGPT peut (presque) réussir l'examen de licence médicale aux États-Unis

May 13, 2023

ChatGPT peut atteindre ou autour du seuil de réussite d'environ 60 % pour l'examen de licence médicale des États-Unis (USMLE), avec des réponses qui ont un sens interne cohérent et contiennent des informations fréquentes,selon une étudepublié le 9 février 2023 dans la revue en libre accès PLOS Digital Health par Tiffany Kung, Victor Tseng et leurs collègues d'AnsibleHealth.

ChatGPT est un nouveau système d'intelligence artificielle (IA), connu sous le nom de grand modèle de langage (LLM), conçu pour générer une écriture de type humain en prédisant les séquences de mots à venir. Contrairement à la plupart des chatbots, ChatGPT ne peut pas effectuer de recherche sur Internet. Au lieu de cela, il génère du texte en utilisant des relations de mots prédites par ses processus internes.

Kung et ses collègues ont testé les performances de ChatGPT sur l'USMLE, une série hautement normalisée et réglementée de trois examens (étapes 1, 2CK et 3) requis pour l'obtention d'un permis médical aux États-Unis. Pris par des étudiants en médecine et des médecins en formation, l'USMLE évalue les connaissances couvrant la plupart des disciplines médicales, allant de la biochimie au raisonnement diagnostique en passant par la bioéthique.

Après avoir examiné pour supprimer les questions basées sur des images, les auteurs ont testé le logiciel sur 350 des 376 questions publiques disponibles à partir de la version USMLE de juin 2022.

Une fois les réponses indéterminées supprimées, ChatGPT a obtenu un score compris entre 52,4 % et 75,0 % sur les trois examens USMLE. Le seuil de réussite chaque année est d'environ 60 %. ChatGPT a également démontré une concordance de 94,6 % dans toutes ses réponses et a produit au moins un aperçu significatif (quelque chose qui était nouveau, non évident et cliniquement valide) pour 88,9 % de ses réponses. Notamment, ChatGPT a dépassé les performances de PubMedGPT, un modèle homologue formé exclusivement sur la littérature du domaine biomédical, qui a obtenu un score de 50,8 % sur un ensemble de données plus ancien de questions de style USMLE.

Bien que la taille relativement petite des entrées ait limité la profondeur et la portée des analyses, les auteurs notent que leurs résultats donnent un aperçu du potentiel de ChatGPT pour améliorer l'éducation médicale et, éventuellement, la pratique clinique. Par exemple, ajoutent-ils, les cliniciens d'AnsibleHealth utilisent déjà ChatGPT pour réécrire des rapports riches en jargon afin de faciliter la compréhension des patients.

"Atteindre la note de passage pour cet examen expert notoirement difficile, et le faire sans aucun renfort humain, marque une étape notable dans la maturation clinique de l'IA", déclarent les auteurs.

L'auteur, le Dr Tiffany Kung, a ajouté que le rôle de ChatGPT dans cette recherche allait au-delà du sujet de l'étude : "ChatGPT a considérablement contribué à la rédaction de [notre] manuscrit... Nous avons interagi avec ChatGPT un peu comme un collègue, lui demandant de synthétiser, simplifier, et offrent des contrepoints aux brouillons en cours... Tous les co-auteurs ont apprécié la contribution de ChatGPT."

- Ce communiqué de presse a été fourni par PLOS