Enquêter sur la santé et la médecine: Chapitre 2 – Toutes les études ne se valent pas

Toutes les études ne se valent pas

Conseil 1 : Ne vous écartez pas de l’EBM et utilisez l’outil PICO

La médecine fondée sur les preuves (EBM) est définie comme « l’utilisation consciencieuse, explicite et judicieuse des meilleures données disponibles pour la prise de décisions concernant les soins à prodiguer à chaque patient ». Comme nous l’avons indiqué dans notre introduction, il faut du temps pour apprendre à l’utiliser  comme méthode d’enquête, mais elle est très efficace.

Les méthodes de l’EBM sont parfaitement adaptées lorsqu’il s’agit de creuser un sujet : ne cessez jamais de remettre en question ce que vous entendez. Lisez, mettez-vous en quête des meilleures preuves disponibles et évaluez leur qualité de manière indépendante. Ces notions vous semblent familières, n’est-ce pas ? Certains principes de l’EBM s’avèrent particulièrement adéquats lorsqu’on mène un travail d’enquête, comme par exemple la méthode appelée lecture critique (critical appraisal) et les critères PICO.

Illustration: Re-Check.ch.

L’EBM postule que pour mener une recherche minutieuse et analyser le rapport bénéfice/risque, une question clinique peut être décomposée en quatre dimensions, ou critères PICO. Ces critères nous aident à voir si certaines données manquent ou si elles sont biaisées, ou encore si un comparateur inadéquat ou un critère de substitution (voir ci-dessus) a été utilisé.

Conseil 2 : Toutes les études ne se valent pas 

« Une étude a montré que… » … mais de quel genre d’étude s’agit-il ? Comme le précise Gary Schwitzer dans son guide essentiel Covering Medical Research (Couvrir la recherche médicale) : « Toutes les études ne se valent pas. Et les médias ne devraient pas les traiter comme si elles se valaient. » Si vous êtes conscient de cet aspect, cela fera une grande différence pour votre enquête. S’il est basé sur des preuves scientifiques de faible valeur, votre travail sera faible et il y a de fortes chances pour que certains aspects soient faux. 

Pour travailler en tant que journaliste d’investigation dans le domaine de la santé et de la médecine, rappelez-vous que si la méthodologie scientifique utilisée présente des failles, cela signifie souvent qu’il faut creuser davantage. La courbe d’apprentissage peut être raide, mais vous pouvez commencer par vous familiariser avec le large éventail des différents types d’études, présenté dans Types of study in medical research: part 3 of a series on evaluation of scientific publications (Types d’études en recherche médicale : partie 3 d’une série sur l’évaluation des publications scientifiques), un article publié en 2009 dans la revue Deutsches Ärzteblatt International.

Comprendre les différences entre les types d’études vous aidera à éviter de nombreuses erreurs. Il faut tout d’abord commencer par poser deux grandes questions. Premièrement, l’étude a-t-elle été menée sur des êtres humains ? Ou a-t-elle été menée sur des animaux ou sur des cellules ? La recherche sur l’être humain est appelée recherche clinique. Lorsqu’il s’agit d’évaluer l’effet d’un médicament ou de toute autre mesure de santé, les seuls résultats vraiment significatifs sont ceux obtenus sur l’être humain, car les humains sont très différents des souris.

Un résultat sur des souris peut être intéressant, mais toute conclusion sur l’efficacité d’un traitement sur l’être humain à partir d’études menées sur l’animal relève de la spéculation .

Ces études sont conduites à un stade appelé « préclinique » dans le développement d’un nouveau médicament. Souvenez-vous que dans l’histoire de la médecine, il y a eu de nombreux médicaments qui semblaient très prometteurs lorsqu’ils étaient testés sur des animaux, mais dont le développement a dû être stoppé ou qui ont dû être retirés quand il est devenu clair qu’ils étaient inefficaces, voire toxiques pour l’homme.

Si l’étude a été menée sur des êtres humains, vous devez vous poser une deuxième question importante : l’essai était-il une étude expérimentale (également appelée interventionnelle) ou une étude épidémiologique (également appelée observationnelle) ?

Cet aspect est essentiel, comme l’a souligné HealthNewsReview.org: « Des études épidémiologiques – ou observationnelles – examinent l’association entre ce qu’on appelle une exposition en jargon épidémiologique (un aliment, quelque chose dans l’environnement ou un comportement) et un résultat (souvent une maladie ou un décès). En raison de toutes les autres expositions qui interviennent à la fois au cours de l’existence complexe d’êtres humains en liberté, et qui ne peuvent jamais être complètement expliquées, ces études ne peuvent pas fournir de preuves de l’existence d’un rapport de cause à effet ; elles ne peuvent que fournir la preuve de l’existence d’une certaine relation (entre l’exposition et le résultat) qu’un design d’étude plus solide pourrait explorer davantage.  

En conduisant une étude expérimentale, les chercheurs vérifient si l’intervention A (par exemple, un médicament ou un vaccin) conduit réellement au résultat B (par exemple, un traitement ou la prévention d’une maladie). Parmi les études expérimentales, le seul design qui permette de démontrer l’existence d’une relation de cause à effet est l’essai contrôlé randomisé (ECR), où les sujets d’étude sont attribués au hasard à l’intervention (médicament ou vaccin) ou à un contrôle (placebo ou autre médicament). La randomisation rend les deux groupes vraiment comparables : la seule différence entre le groupe d’intervention et le groupe contrôle est le fait que les sujets qui les composent reçoivent l’intervention étudiée ou le contrôle. Ce cadre expérimental est le seul qui nous permet de conclure que la différence de résultat entre le groupe d’intervention et le groupe contrôle est attribuable au médicament ou au vaccin testé.

« Du fait qu’elles ne sont pas randomisées, les études observationnelles ne peuvent pas contrôler toutes les expositions ou autres facteurs inévitables, souvent non mesurables, qui peuvent réellement être à l’origine des résultats », conclut HealthNewsReview.org. Ainsi, tout « lien de cause à effet dans les études observationnelles est au mieux spéculatif ».

 Attention donc : les études observationnelles n’autorisent en aucun cas une conclusion sur l’efficacité d’une mesure, même lorsqu’une association statistiquement significative semble être établie. Seule une étude expérimentale de type ECR peut établir s’il existe une relation causale entre l’intervention testée et l’effet observé.

Considérez également que les études observationnelles et rétrospectives sont plus sujettes aux limites potentielles de l’analyse statistique. Parfois, des chercheurs ou des sponsors utilisent la statistique pour embellir les résultats. Ainsi, lorsque vous analysez des chiffres, gardez à l’esprit ce que Darrell Huff, mieux connu pour son livre « How To Lie with Statistics » (Comment mentir avec des statistiques), disait en 1954 : « Grâce aux statistiques, on peut inventer tout ce qu’on veut ».  Ronald H. Coase, économiste lauréat du prix Nobel a fait écho à ce constat, en disant : « Si vous torturez vos données assez longtemps, elles vous avoueront n’importe quoi ».

Les ECR multicentriques en double aveugle sont considérés comme l’étalon-or pour déterminer l’efficacité d’une intervention. Leur design est le mieux à même de contrôler les paramètres susceptibles de fausser les résultats (dits facteurs confondants et biais). Deux ressources précieuses existent pour intégrer ces bases : Students 4 Best Evidence et les types de design d’études cliniques de la Georgia State University.

L’illustration ci-dessous décrit les meilleures pratiques en matière d’évaluation de la solidité des preuves. Notez que les avis des experts figurent tout en bas de la pyramide.

Illustration: Re-Check.ch.

Une version plus simple est visible ci-dessous :

Illustration: Re-Check.ch.

Notez que le concept de pyramide EBM doit également être interrogé. Les ECR sont la norme de référence pour étudier les relations causales. Mais la méta-analyse d’ECR, une analyse et une synthèse systématique de différentes études et de leurs résultats, est considérée comme la meilleure source de preuves. Gardez toutefois à l’esprit que si les études de la méta-analyse sont défectueuses, ses résultats ne seront pas fiables non plus. En outre, les méta-analyses (par exemple celles publiées par Cochrane) concluent souvent qu’il n’existe pas suffisamment de preuves pour répondre à une question de recherche. Généralement, ce n’est pas ce que les journalistes veulent entendre.

Mener des enquêtes dans le domaine de la santé signifie également se familiariser avec les nombreuses failles de la recherche clinique. Les essais présentant un résultat « positif » significatif sont publiés, alors que les études « négatives » ne le sont généralement pas. Certains types d’études sont plus sujets que d’autres à des biais, définis par le manuel Cochrane comme « une erreur systématique ou une déviation de la vérité ». Une autre ressource utile est le Catalogue of Bias, un projet collaboratif cartographiant tous les biais qui affectent les preuves dans le domaine de la santé.

Une erreur typique des journalistes est de confondre corrélation et causalité. Il est tentant de voir un lien entre deux phénomènes, mais il faut d’abord se demander s’il existe vraiment une relation causale. Le mathématicien Robert Matthews en donne un exemple amusant : il montre une corrélation statistiquement très significative entre les populations de cigognes et les taux de natalité chez les êtres humains à travers l’Europe.

Rares sont ceux qui sont au courant des pratiques parfois frauduleuses qui ont cours dans la recherche médicale. Il existe des études basées sur des patients imaginaires, ou écrites par des rédacteurs fantômes. Il existe beaucoup de publications sur ces pratiques, et cela vaut la peine de se familiariser avec elles. Vous pouvez lire, par exemple, l’étude de Retraction Watch concernant un chercheur sur le cancer primé et décédé dont les travaux ont été rétractés parce que certains patients avaient été  « inventés », et les exemples d’Ivan Oransky dans son entretien avec The Irish Times, The Shady Backstreets of Scientific Publishing (Les coins sombres de la publication scientifique).

L’erreur la plus courante commise par la plupart des journalistes est de tirer les mauvaises conclusions à partir de preuves scientifiques faibles. Pour vous aider, vous pouvez suivre ce cours en ligne gratuit sur les méthodes de recherche épidémiologique de l’Eberly College of Science de la Penn State University.

Conseil 3 : Les valeurs absolues et les fréquences naturelles 

Tout le monde n’est pas un génie en statistique. Cependant, pour enquêter sur la santé, les chiffres sont essentiels. N’ayez pas peur de tester votre maîtrise de la notion de risque (document disponible en anglais, en allemand, en français, en néerlandais et en espagnol) et gardez à l’esprit que lorsqu’un nouveau médicament, une nouvelle politique de santé ou une nouvelle réglementation sanitaire est lancé et/ou promu, l’accent est mis sur ses bénéfices. Malheureusement, se contenter de mentionner l’existence de risques ne suffit pas pour offrir un tableau complet.

Lectures complémentaires

• Boîte à outils et Tutoriels, HealthNewsReview.org
• Conseils pour l’analyse des études, des preuves médicales et des demandes de remboursement des soins de santé, HealthNewsReview.org
• Uniquement pour les journalistes: conseils et études de cas pour rédiger des articles sur les soins de santé, HealthNewsReview.org

Il est indispensable de comprendre la relation qui existe entre bénéfices et risques, appelée aussi rapport bénéfice/risque. Ce n’est pas facile. Notre capacité à raisonner est régie par ce qu’on appelle des heuristiques de jugement ou des raccourcis cognitifs, ce qui entraîne une rationalité limitée. À cause de ces phénomènes bien étudiés, nous avons du mal avec les probabilités, en particulier les pourcentages.

Vous vous sentez perdu ? Jetez un œil à l’illustration ci-dessous. Les probabilités décrites sont les mêmes de part et d’autre. Quelle est la représentation la plus facile à comprendre?

Illustration: Gerd Gigerenzer, Ulrich Hoffrage. How to Improve Bayesian Reasoning Without Instruction: Frequency Formats. Psychological Review, 1995, VoTl02, No. 4,684-704

Les partisans d’un résultat particulier peuvent présenter les informations qu’ils souhaitent mettre en valeur sous forme de pourcentage, tout en communiquant les informations qu’ils souhaitent rendre moins visibles en valeurs absolues. Alors, faites attention à la façon dont les données sont présentées. Nous pouvons mieux nous représenter les valeurs absolues que les pourcentages.

L’exemple suivant donné par Gerd Gigerenzer et ses collègues du Harding Center for Risk Literacy montre à quel point un pourcentage peut être trompeur :

« En 1996, le résumé d’une étude sur le dépistage par mammographie a rapporté une réduction de 24% de la mortalité par cancer du sein ; en 2002, une étude a prétendu que cette réduction atteignait 21%. En conséquence, les dépliants de santé, les sites Web et les invitations au dépistage ont affirmé que le bénéfice était de 20% (ou de 25%). Le public savait-il que ce taux impressionnant correspondait à une réduction d’environ quatre à cinq femmes sur 1000, soit de 0,1% ? La réponse est non. Dans un échantillon représentatif de quotas dans neuf pays européens, 92% d’environ 5000 femmes ont surestimé le bénéfice de 10 fois, de 100 fois, voire plus, ou elles ne savaient pas. Par exemple, 27% des femmes au Royaume-Uni pensaient que sur 1000 femmes dépistées, 200 de moins mourraient du cancer du sein. Mais avec ces fausses statistiques, ce ne sont pas seulement les patients qui sont induits en erreur. Lorsqu’on leur a demandé ce que signifiait ‘25% de réduction de la mortalité par cancer du sein’, sur 150 gynécologues, 31% ont répondu que sur 1000 femmes dépistées, 25 ou 250 mourraient. »

Le pourcentage d’exposition (risque relatif) est souvent plus spectaculaire, donc plus convaincant ou favorable du point de vue des entreprises et des promoteurs d’une campagne de santé publique, que l’exposition en valeur absolue (risque absolu). Lisez la présentation explicative sur HealthNewsReview.org. Elle vous permettra de comprendre pourquoi c’est important. Et consultez l’exemple simple proposé dans cette illustration.

Cela peut sembler complexe, mais l’exemple ci-dessous devrait vous aider.

Illustration : HealthNewsReview.org -Your Health News Watchdog.

Dans votre sujet, il est essentiel que toutes les valeurs statistiques soient exprimées de la même manière, c’est-à-dire en pourcentages ou en valeurs absolues. C’est la seule manière de mettre en perspective de manière intelligible et correcte les risques, les bénéfices et les alternatives (par exemple : ne rien faire). Pensez également à utiliser des valeurs absolues dans vos sujets, car elles seront intelligibles pour plus de personnes.

Les « fact boxes » (encadrés d’information) et les illustrations à l’aide d’icônes du Harding Center for Risk Literacy sur le dépistage du cancer du sein et de la prostate sont des exemples de bonnes pratiques : les avantages et les inconvénients sont exprimés en valeurs absolues et immédiatement comparables ; les données utilisées pour les réaliser sont issues de méta-analyses d’ECR.

Illustration: Harding Center for Risk Literacy.

Illustration: Harding Center for Risk Literacy

Conseil 4 : Lisez bien les documents et repérez les anomalies 

« Une étude révolutionnaire publiée par la prestigieuse revue X.… » Voilà le genre de phrase que vous devriez vraiment éviter de mettre dans votre article. Les revues biomédicales sont affectées par tant de problèmes que même les publications dans les revues les plus prestigieuses doivent faire l’objet d’un examen critique minutieux et ne sauraient être considérées comme fiables a priori.

Un bon moyen pour saisir rapidement de quoi il retourne est de visionner l’enregistrement vidéo d’un séminaire dispensé par Fiona Godlee, rédactrice en chef du British Medical Journal à la Liverpool School of Tropical Medicine, intitulé « Pourquoi vous ne devriez pas croire ce que vous lisez dans les revues médicales ». Fiona Godlee discute des failles du système de revue par les pairs. Elle est également honnête sur la manière dont le modèle économique des revues scientifiques, en particulier la publicité, affecte leur contenu. Les revues s’appuient également sur des « reprints » (réimpressions), c’est-à-dire des copies d’études publiées imprimées en masse qui sont payées par l’industrie et utilisées à des fins marketing.

Il existe une abondante littérature consacrée à l’influence des sociétés commerciales sur le contenu publié dans les revues médicales. En outre, il est important de savoir que les carrières des chercheurs sont déterminées par des phénomènes bien étudiés, comme le « publish or perish » (publier ou périr) et par ce que l’on appelle le « facteur d’impact » (la fréquence à laquelle une revue est citée). Les scientifiques doivent également attirer des financements dans leurs institutions, ce qui peut créer des conflits d’intérêts qui n’ont rien à voir avec la science ou avec le bien commun. L’article toujours d’actualité de John P. A. Ioannidis « Why most published research findings are false » (Pourquoi la plupart des résultats de recherche publiés sont faux) est à cet égard une lecture incontournable.

Malheureusement, peu de mécanismes sont mis en place pour résoudre ces problèmes. L’un d’eux est la rétractation – une étude est retirée de la publication lorsque des défauts majeurs sont exposés. Cependant, cela arrive rarement. Vous pouvez consulter Retraction Watch, une excellente ressource pour trouver des sujets.

Alors, comment gérer cette complexité en tant que journaliste ? Un bon réflexe consiste à se tourner vers les revues véritablement indépendantes de l’industrie pharmaceutique. Il y en a beaucoup dans le monde, elles sont toutes membres de l’International Society of Drug Bulletins.

Il est malgré tout préférable de chercher par vous-même à identifier les meilleures preuves disponibles, comme vous le feriez en tant que journaliste dans n’importe quel autre domaine. Ce qui signifie : enquêter, enquêter, enquêter. Ne vous contentez pas non plus de lire le résumé de l’étude. Lisez toujours le texte intégral, quelle que soit la revue, quel que soit l’auteur ou quel que soit ce qu’un expert vous a dit. Mais bien sûr, il s’agit d’un travail exigeant qui demandera du temps et de la patience. Et bien sûr il exigera que vous ayez déjà acquis des connaissances approfondies concernant les méthodologies pertinentes et les stratégies de lecture critique.

Où trouver les études scientifiques ? PubMed, de la National Library of Medicine (NLM) aux États-Unis, est une base de données consultable gratuitement de plus de 30 millions de citations et de résumés de publication biomédicale. MEDLINE, également de NLM, est une base de données bibliographique avec plus de 26 millions de références à des articles de revues en sciences de la vie, axée sur le domaine biomédical. Toutefois, nombre d’études ne sont pas en accès libre, ce qui représente un obstacle pour ceux qui souhaitent effectuer des recherches et enquêter. La plupart des scientifiques travaillent pour des institutions financées par des fonds publics, et les revues ne paient pas les chercheurs lorsqu’ils publient leurs études. Pourtant, les revues facturent aux mêmes institutions des abonnements coûteux. Pour en savoir plus, lisez cet article d’EBMLive: Research without journals? (La recherche sans les revues).

Les articles payants peuvent parfois être disponibles sur internet. Vous pouvez également envoyer un mail aux auteurs ou à leur institution pour demander une copie de révision. Mais ces stratégies peuvent s’avérer insuffisantes si vous voulez creuser davantage, car vous devrez aller chercher et lire de nombreuses études. Si vous pouvez compter sur un budget généreux, vous pouvez bien sûr simplement vous acheter l’accès aux études que vous souhaitez lire. Sur PubMed, vous obtiendrez un lien pour accéder à la page de l’éditeur où les paiements peuvent être effectués.

La plupart des scientifiques et des journalistes d’investigation dans le domaine de la santé ne peuvent cependant pas payer pour le grand nombre d’études dont ils ont normalement besoin pour effectuer une recherche. C’est « pour supprimer tous les obstacles à l’accès à la science » qu’Alexandra Elbakyan, chercheuse et programmeuse informatique kazakhe, a créé le portail Sci-Hub. Ce site web donne accès gratuitement à un grand nombre d’études scientifiques qui sont normalement accessibles via des paywalls. Vous pouvez lire la présentation de son projet sur son site web personnel ainsi que l’article que lui a consacré la revue Science. Les poursuites judiciaires des éditeurs obligent Alexandra Elbakyan à migrer continuellement Sci-Hub vers différents domaines, qui sont régulièrement publiés sur Twitter.

Capture d’écran.