Comment évaluer une étude scientifique

Pour éviter les emballements médiatiques inutiles et chronophages, il est crucial que les journalistes apprennent à évaluer le sérieux des études scientifiques. Voici les précieux conseils d’Yvan Pandelé, journaliste sciences et santé chez Heidi News, un média suisse spécialisé dans la couverture de l’actualité scientifique.

Conseils de Pros a été créé par GIJN pour relayer des conseils méthodologiques spécifiquement pour les journalistes francophones. Si vous avez une idée d’article sur des techniques ou ressources pour enquêter, écrivez-moi à marthe.rubio@gijn.org.

La recherche scientifique a rarement été aussi médiatisée que depuis le début de l’épidémie de Covid-19. Face à l’urgence sanitaire internationale, de nombreux journalistes sans formation scientifique s’intéressent au travail des chercheurs, tandis que les scientifiques publient toujours plus, et toujours plus vite. Pour éviter les buzz médiatiques inutiles et chronophages, il est crucial que les journalistes apprennent à évaluer une étude scientifique.

Voici les conseils d’Yvan Pandelé, journaliste sciences et santé chez Heidi News, un média suisse spécialisé dans la couverture de l’actualité scientifique. Cet article est basé sur sa présentation lors de notre webinaire “Comment couvrir et enquêter sur la science”.

Conseils préalables 

Rechercher le consensus : Quand on travaille sur un sujet, il faut essayer de tracer le périmètre des savoirs déjà constitués et tenter de comprendre quel est le consensus scientifique quand il existe sur le sujet qu’on traite. Il y a des situations où cela n’est pas possible, c’est le cas par exemple actuellement avec la crise sanitaire du Covid-19, qui est trop récente pour qu’un consensus ait pu être établi.  Choisir les bons interlocuteurs : Il faut cibler à qui on pose les questions car il arrive très souvent que les journalistes interviewent des spécialistes sur des sujets dont ils ne sont pas experts. Ils vont alors simplement répéter ce qu’ils ont entendu ailleurs. Par exemple, un microbiologiste spécialiste des bactéries aura nécessairement moins de choses à dire sur le Sars-CoV-2 qu’un virologue, et a fortiori qu’un biologiste spécialiste des virus respiratoires chez l’homme.

Le processus scientifique

En temps normal

La clé de voûte du processus scientifique est l’édition scientifique. Elle va permettre à un chercheur de promouvoir son travail à la communauté et à la communauté de juger de son travail. La finalité de ce processus est de fabriquer un consensus scientifique sur les connaissances. L’une des étapes les plus importantes pour cela est la “revue par les pairs” ou “peer review” en anglais.

Pendant l’épidémie de Covid-19, les équipes de recherche se livrent une guerre impitoyable et les services de communication cherchent plus à dérouter les demandes qu’à les traiter.

Quand une équipe de recherche veut soumettre un article, elle s’adresse à une revue scientifique qui va émettre un préavis. Ensuite, elle va demander à des experts qualifiés du champ de se prononcer sur l’article. Ceux-ci vont émettre des remarques, des retours, demander des précisions aux auteurs…etc.

Ces étapes sont essentielles et c’est seulement à l’issue de ce processus (qui peut prendre plusieurs mois, souvent de l’ordre de trois ou quatre) qu’un article peut être publié dans une revue scientifique sérieuse et que cet article va pouvoir compter aux yeux de la communauté.

Pendant l’épidémie de Covid-19

Il y a deux types d’articles scientifiques actuellement :

Ceux qui ont été publié dans les revues classiques qui se sont adaptées pour avoir un processus éditorial plus rapide (Nature, Lancet…etc.)  Des articles prépubliés sur des sites d’archives qui vont être mis à disposition de la communauté alors qu’ils n’ont pas encore fait l’objet d’une revue par les pairs. Cela veut dire qu’ils n’ont pas du tout le même niveau de légitimité. C’est par exemple le cas de l’article attribuant l’origine du Covid-19 aux serpents ou à des expériences menées par des chercheurs chinois sur le VIH.   

La phase initiale

Comment se procurer une étude ?

En temps normal : 

Vous pouvez rechercher des publications sur le portail Pubmed qui ont tous deux l’avantage d’être gratuits et en libre accès. Reste à se procurer l’article scientifique.

Si l’article n’est pas accessible gratuitement, vous pouvez demander directement aux auteurs ou aux services de communication de l’étude d’y avoir accès. Vous pouvez également consulter les sites pour les journalistes scientifiques Eurêkalert et NaturePress, les bibliothèques universitaires, le réseau social de chercheurs Researchgate.

Beaucoup de journalistes mais aussi de scientifiques utilisent le site Sci-Hub, qui a l’avantage d’être extrêmement simple et rapide mais est techniquement illégal.

Pendant l’épidémie de Covid-19 : 

Tous les articles sur le coronavirus sont gratuits donc il n’est pas nécessaire de passer par ce processus.

Les communiqués de presse

En temps normal : 

Les communiqués de presse ont l’avantage de contextualiser les études mais il faut savoir qu’il est très fréquent que les communicants des institutions scientifiques, voire les auteurs eux-mêmes, exagèrent la portée ou l’intérêt des résultats (“spinning”) à des fins de communication. Les journalistes doivent parfois s’engager à respecter un embargo de quelques jours pendant lequel ils pourront évaluer la publication.

Pendant l’embargo, les journalistes peuvent poser des questions à l’équipe qui a publié les travaux, qui est prévenue et généralement toute disposée à répondre à leurs sollicitations. Les journalistes peuvent aussi s’adresser à des experts indépendants pour leur demander leur avis sur l’étude.

La science permet d’admettre l’incertitude. Elle ne permet pas d’être sûr -c’est plutôt l’inverse- et le journalisme scientifique a vocation à souligner et qualifier le degré d’incertitude.

Si vous ne réussissez pas à entrer en contact avec des experts ou n’en trouvez pas assez, vous pouvez vous rendre sur le site Science Media Centre qui agglomère des avis d’experts qui ont été interrogés soit par d’autres institutions soit par des journalistes sur les publications importantes. Le site PubPeer permet également d’avoir accès aux avis d’autres chercheurs sur des publications.

Pendant l’épidémie de Covid-19 

Les équipes de recherche se livrent une guerre impitoyable et les services de communication cherchent parfois plus à dérouter les demandes (“envoyez un mail, on vous répondra…”) qu’à les traiter réellement. Pas de solution miracle pour contourner ce problème : fidéliser ses contacts, et ce peut être aussi l’occasion de cibler les équipes de recherche plus petites, donc moins sollicitées.

Les chercheurs s’organisent aussi de leur côté. Le site Outbreak Science a par exemple été conçu pour permettre à des experts de “reviewer” des papiers en prépublication.

L’idée est toujours la même : essayer de s’appuyer sur des personnes ayant l’expertise pour juger d’une étude. En tant que journaliste, même journaliste scientifique, on n’est a priori pas qualifié pour juger de la qualité et surtout de la portée réelle d’un travail. En revanche, on apprend vite, a minima, à repérer des indices sur la fiabilité d’un article scientifique.

Que regarder dans une publication ?

Avant tout, le principe général : il n’existe pas de méthode miracle pour juger de l’intérêt et de la fiabilité d’une étude. La valeur d’un résultat scientifique repose sur la légitimité de l’équipe de chercheurs tout autant que la qualité des données et du protocole, celle de la prose, l’audace des idées, l’état des connaissances dans le champ disciplinaire, les hypothèses théoriques… Bref, le mieux placé pour juger d’une étude est un expert du champ disciplinaire concerné, indépendant de l’équipe initiale. Et plutôt deux, si possible.

Mais avant d’en arriver là, il y a quelques astuces pour commencer à se faire une idée sur l’intérêt potentiel d’un travail scientifique. 

La revue

La première chose à regarder pour évaluer une publication est la revue dans laquelle elle a été publiée. Les revues multidisciplinaires les plus prestigieuses sont évidemment Nature et Science et les plus importantes en biomédecine sont Jama, The New England Journal of Medicine (NEJM), The Lancet, The British Medical Journal (BMJ), Annals of Internal Medicine. Les revues connues apportent une certaine garantie (jamais absolue) que vous avez affaire à un article important et que les chercheurs ont utilisé une méthodologie de qualité.

Plusieurs méthodes existent pour évaluer le prestige des revues scientifiques, dont les deux principales :

le “factor impact” (FI). Vous pouvez y avoir accès via le site Web of Science (accès payant).  le SCImago Journal Rank (SJR), qui permet de faire gratuitement des comparaisons

Le FI est calculé pour une période de citation de deux ans. Il ne tient pas compte de la notoriété des revues citantes. Le SJR est calculé pour une période de citation de trois ans et tient compte de la notoriété des revues citantes.

Ces indicateurs mesurent le nombre de fois où un article est repris dans une autre revue scientifique. Cela permet d’évaluer si une revue fait autorité dans un domaine. Il est d’ailleurs plutôt conseillé (surtout pour le FI) d’observer ces classements par sous-domaine: plutôt infectiologie ou cancérologie, que médecine…

Attention aux “revues prédatrices”: elles se présentent comme des revues scientifiques avec un processus éditorial en bonne et due forme mais ne sont, à des degrés divers, que de simples vitrines commerciales. Il suffit alors de payer pour publier un article de qualité médiocre, voire inacceptable (pseudo-sciences). Pas de recette miracle pour les repérer mais un ensemble de critères et quelques listes officieuses qui trainent sur internet.

Qui a produit la recherche ?

Pour essayer de cerner si une équipe est légitime dans un champ donné, on peut regarder la présence de chercheurs dans les sociétés savantes et la position institutionnelle dans le champ académique. Quand on connaît un peu le paysage universitaire, c’est vite parlant. Ce n’est pas une règle d’or mais des travaux produits à Harvard, Oxford, McGill ou Karolinska auront souvent une portée supérieure à des travaux issus d’une université de seconde zone. A terme, quand on connaît un domaine, on identifie vite les institutions qui pèsent.

On peut aussi consulter le “H-index”, qui est l’équivalent de “l’impact factor” pour un chercheur. Là encore, ce n’est pas une recette miracle, mais simplement un indicateur sur l’influence d’un chercheur dans un champ disciplinaire. A titre indicatif, le H-index de Didier Raoult sur Scopus est de 144, ce qui est extrêmement élevé. A l’évidence, ça n’empêche pas de défendre des thèses légitimement très controversées. On peut aussi jeter un oeil à Expertscape.

Pour choisir qui interviewer, Yvan Pandelé conseille plutôt de cibler les chercheurs expérimentés : les chefs d’équipe, directeurs de labo, “principal investigators”. Ce sont souvent eux qui sont à l’origine des recherches, et qui ont le recul pour en discuter le tenants et aboutissants. (Les jeunes chercheurs peuvent évidemment être passionnants, mais c’est plus aléatoire et leur parole est moins libre.) En général, les auteurs “seniors” figurent en dernier dans la liste des auteurs d’un article.Toute revue prévoit aussi un “corresponding author”, qui saura se rendre disponible.

Qu’est-ce que le niveau de preuve ?

En temps normal 

Le niveau de preuve permet d’évaluer la capacité d’une étude à répondre à une question. A travers la méthodologie utilisée, vous pouvez évaluer à quel point un résultat scientifique est fiable. Les différents classements de niveaux de preuve dépendent des méthodologies précises employées, qui varient selon les institutions.

Tableau : rapport HAS 2013.

Niveau élevé : on peut éventuellement parler de “consensus” ou d’”état des connaissances scientifiques”.

Niveau intermédiaire : mieux vaut rester très prudent : les journalistes peuvent employer les termes “peut être que” ou “il semble que”, mais ce résultat est à confirmer. Ou encore, cas fréquent: “on a montré l’existence d’une association mais la causalité reste à démontrer” (et c’est beaucoup plus dur…).

Niveau faible : “il semblerait”, “certains experts pensent”, “il existe une hypothèse”, etc.

Il est inutile d’être obsédé par les chiffres : il ne faut ni les fuir ni les fétichiser.

Pour assurer un résultat en recherche clinique (par exemple, démontrer que tel médicament est efficace dans telle maladie sur tels patients) avec un niveau de preuve élevé, il est en général nécessaire d’effectuer un essai clinique randomisé, voire deux, qui convergent et sont de bonne qualité. L’essai clinique randomisé est le “Gold Standard”, comme on dit, car il permet d’affirmer la relation d’une cause à effet. Les patients sont tirés aléatoirement dans le groupe traitement et dans le groupe contrôle, ce qui permet d’être sûr qu’il s’agit de populations parfaitement homogènes et donc de les comparer.

Jauger du niveau de preuve d’une étude n’est pas simple mais on peut retenir, en très grosse approximation, qu’un essai randomisé important et de qualité correspond au niveau de preuve maximum (ou une méta-analyse, type Cochrane) et qu’une étude observationnelle ou un essai interventionnel randomisé donne un niveau de preuve intermédiaire ou faible.

Pendant l’épidémie de Covid-19

Les équipes de Solidarity et Discovery font des essais cliniques randomisés mais elles ne sont pas en mesure de les faire en double aveugle car cela pose des problèmes pratiques et éthiques insolubles. On ne peut pas imaginer qu’un patient qui soit entre la vie et la mort prenne un traitement sans le savoir et le médecin doit également savoir quel traitement il administre à son patient. Les chercheurs s’adaptent mais l’idée qui fait consensus est que seuls les essais cliniques randomisés permettent de déterminer de manière ferme un résultat qui va déboucher sur la généralisation d’un traitement médical.

Les écueils à éviter 

Quand des chercheurs disent qu’un traitement est efficace de manière “significative”, ils font référence à une notion mathématique qui veut dire qu’un test de statistique inférentielle a été mené avec succès. Ce test permet de dire qu’il est très peu probable (moins de 5% de chance en général) que la différence observée entre le groupe traitement et le groupe contrôle soit due au hasard. Rien de plus. Que l’effet d’un traitement soit significatif au plan statistique ne dit donc rien de l’ampleur de cet effet, et n’assure pas qu’il ait du sens sur le plan clinique, ou médico-économique, ou quelque perspective que l’on veuille adopter. Et encore moins qu’il va bouleverser la prise en charge d’une maladie – les remèdes miracles sont très rares en médecine. Autre écueil fréquent, être trop générique : il est souvent aventureux de dire qu’un traitement X est efficace dans une maladie Y. Il faut souvent préciser le type de patients, la gravité de l’affection, le moment de la prise en charge. En cancérologie par exemple, on distingue a minima le type et le stade de la maladie (ex : cancer du poumon à petites cellules localisé). Dans le cas de l’épidémie de Covid-19, par exemple, il y a peu de chance qu’on parvienne à trouver un traitement qui soit efficace à la fois au premier stade de la maladie, une pneumopathie virale, et au second stade, où c’est le tableau immunologique qui domine. On n’aura donc pas un traitement “contre Covid-19”, mais un traitement efficace pour un sous-groupe de patients .

Conseils sur la couverture du Covid-19

Ne pas être obsédé par les chiffres : il ne faut ni les fuir les chiffres ni les fétichiser. Le débat sur la létalité du virus, par exemple, est un débat légitime mais si les chiffrent convergent à peu près, il est inutile de s’entretuer sur des décimales. Quand on parle d’un “infection fatality ratio” de 0,4% ou 0,6%, on fait référence au même ordre de grandeur. Admettre l’incertitude. La science ne permet pas d’être sûr — c’est plutôt l’inverse — et le journalisme scientifique a plutôt vocation à souligner et qualifier le degré d’incertitude que d’ignorer cette dimension des choses.

Sources utiles pour couvrir le Covid-19

La presse spécialisée en sciences

Pour la Science / La Recherche

Sciences et Avenir / Figaro Santé / Heidi.news

Stat News

La presse professionnelle (ex : médicale)

Quotidien du médecin, Egora, What’s up Doc

Revue du praticien, Revue médicale suisse, Medscape

Les grands généralistes

Le Monde, Washington Post, NY Times, NZZ, South China Morning Post

Les institutions

OMS

CDC / European CDC / China CDC

Haut conseil de santé publique (France)

Toutes les Task forces nationales Covid-19

Autres

Comment bien lire et comprendre une étude scientifique (Le Monde)

Twitter est aussi un très bon outil pour suivre les scientifiques et les institutions en vue, et avoir des retours d’information extrêmement rapide.

Ex : Christian Drosten, Marc Lipsitch, Neil Ferguson , Maria Van Kerkhove, Mike Ryan (épidémiologiste), Helen Branswell, Jon Cohen, Kai Kupferschmidt (journalistes)…

Le bulletin hebdomadaire de Reacting, un consortium de l’Inserm qui s’occupe des maladies émergentes et publie une revue de presse des publications.

Bibliovid : sur ce site, des médecins sélectionnent des articles pertinents, les résument et donnent leur niveau de preuve. .

Marthe Rubió est la rédactrice francophone de GIJN. Elle a travaillé en tant que data journaliste au sein du journal argentin La Nación et comme journaliste indépendante pour Slate, El Mundo, Libération, Le Figaro ou Mediapart.