L’intelligence artificielle synthétise les données de la science

En recherche, il est souvent nécessaire de faire la synthèse de l’ensemble des études existantes sur un sujet donné. C’est le principe des revues systématiques. Elles sont réalisées manuellement, ce qui demande un travail considérable aux chercheurs. Le professeur Viet-Thi Tran, du Centre de recherche épidémiologie et statistiques – CRESS (unité 1153 Inserm/Université Sorbonne Paris Nord/Université Paris-Cité/INRAE), a développé des instructions pour le modèle GPT‑3.5 d’OpenAI afin d’automatiser la sélection des études à inclure dans ces revues. L’étude publiée dans la revue Annals of Internal Medicine montre que le GPT‑3.5 peut trier les études avec des performances proches de celles des chercheurs humains.

Ces revues systématiques sont actuellement réalisées manuellement par des chercheurs qui trient, lisent et évaluent toute la littérature scientifique sur un sujet. Cela demande des milliers d’heures de travail pour sélectionner les études pertinentes parmi des milliers de publications.

L’équipe de recherche dirigée par le Pr Viet-Thi Tran a évalué les performances du modèle GPT 3.5 (OpenAI, utilisé dans ChatGPT) pour effectuer le tri des études à inclure ou non en se basant sur les données de cinq revues provenant des Centres Cochrane France, Autriche et Allemagne, qui comprennent plus de 22 000 études.

Deux scénarios ont été testés :

• GPT‑3.5 en tant que « deuxième relecteur » : pour confirmer les choix d’un chercheur humain. La spécificité de l’IA était inférieure à celle d’un chercheur entraîné, ce qui exigeait une vérification supplémentaire et donc du temps de travail additionnel.
• GPT‑3.5 comme « outil de tri » préalable : utilisé avant l’évaluation par un chercheur humain. L’IA avait une sensibilité supérieure à celle d’un chercheur seul et comparable à celle de deux chercheurs effectuant le tri en double et de manière indépendante. Cette méthode pourrait réduire le nombre d’études à trier de 45 %, au risque de manquer jusqu’à 3,8 % des études incluses par deux humains.

Cette recherche démontre le potentiel des IA génératives pour accélérer et faciliter les synthèses de données scientifiques, ouvrant la voie à une automatisation partielle de ces processus.

Source : V‑T Tran et al. Sensitivity and Specificity of Using GPT‑3.5 Turbo Models for Title and Abstract Screening in Systematic Reviews and Meta-analyses. Annals of Internal Medicine, 21 avril 2024 ; doi/10.7326/M23-3389