14 octobre 2015

"Les études prouvent que", un argument trop souvent mal utilisé car mal connu.

Les études scientifiques, c'est quoi ?

La démarche actuelle en science est finalement simple : on formule une idée (une théorie), on réalise ensuite des expériences ou travaux qui doivent soit prouver cette idée, soit montrer qu'elle est incomplète, voire fausse. Dans ce cas-là, on amende son hypothèse, et on recommence des expériences destinées à prouver, corriger ou infirmer cette nouvelle théorie. Quand on met ça sous forme graphique, cela semble très évident. 
©Wikipedia, licence CC
Cette méthode se nomme de manière évidente "la méthode expérimentale" qui est englobée par la "méthode scientifique" qui définit le processus de manière plus globale. Si vous souhaitez plus de détails, notamment historiques, les articles suivants sont bien fournis et seront très bien comme point de départ: Méthode expérimentale et Méthode scientifique.

En réalité, le graphique oublie le plus réjouissant : si l'expérience a été idéalement prédite à l'aide de la théorie, la théorie est jugée valide jusqu'à ce qu'une expérience montre qu'elle doit être corrigée. Il devrait donc y avoir une deuxième boucle avec la possibilité de revenir dans le processus. Ce qui est su et accepté à une époque peut être infirmé des années plus tard. Ces résultats observés peuvent donc alors être communiqués, sous forme d'articles principalement.

Ils sont publiés dans des journaux scientifiques, où ils sont soumis à un processus nommé "correction par les pairs". Le journal reçoit un manuscrit rédigé par un scientifique qu'il envoie ensuite à un autre scientifique (qui doit rester anonyme et surtout être impartial) qui est chargé de commenter et corriger le texte. Selon ces commentaires, le journal décide ou non de publier les résultats. Si les résultats sont publiés, on obtient donc ces fameuses "études scientifiques".

Grâce à ce processus, les études publiées sont ensuite citées, pour servir d'appui, de références aux théories formulées.

Très bien mais, pourquoi cet article ?

Cet article est là parce que j'ai vu trop souvent des gens utiliser cette même phrase "les études prouvent que ..." peu importe l'idée, et ce, sans même n'en avoir lu aucune ou en n'ayant lu que des hoax mal fait qui trop souvent ne contiennent aucune référence, ou quand il y en a une vont souvent jusqu'à galvauder le résultat ou l'interpréter à l'envers.

Ce qui devient à la fois irritant et drôle, c'est de demander quelles sont ces études ou au pire des sources. Là, on peut observer à quel point il est terriblement difficile de prouver ses dires. Du coup, je voudrais parvenir avec ce texte à remettre les choses un peu plus proche de leur juste réalité.

Mais, on les trouve facilement ou pas ces études ?

L’avènement d'Internet n'a pas profité qu'au grand public, mais également au domaine scientifique (en même temps, le réseau actuel est issu des développements de ce dernier). On a donc vu les publications être numérisées en grand nombre. Plus récemment, certains journaux se sont également créés sur un modèle OpenAccess (accès ouvert). Du coup, la majorité des références peuvent être retrouvées sur internet.

Il y a de TRÈS nombreux journaux, dans de nombreux domaines. Vous pourrez en retrouver une partie sur le portail JournalSeek. Ce site recense ces journaux sous forme d'un moteur de recherche. Ce site est pratique car certains journaux très réputés portent des noms très généralistes comme "Cell" ou "Nature", qui pourraient être plus difficiles à retrouver dans des moteurs plus généraux comme google. Autrement, le nom d'un journal dans un moteur comme google devrait déjà vous emmener sur le site dudit journal s'il existe.

L'autre moyen d'accès, quand vous connaissez l'article est d'utiliser tout simplement un moteur de recherche (ou base de données). Google lui-même a d'ailleurs un service spécialisé nommé Google Scholar. D'autres bases de données sont également disponibles et se nomment PubMed, EuropePubMedMedLineScienceDirect, IngentaConnect, Scopus, et d'autres encore où les recherches peuvent être limitées à certains corps de métiers. Nous y reviendrons ensuite.

Dans certains domaines, les papiers sont identifiés par un DOI, Digital Object Identifier (non, on ne les montre pas du doigt). Les résumés des papiers sont accessible directement en entrant le DOI sur le site http://dx.doi.org. Par exemple, si je vous donne :

10.1016/j.jada.2009.05.027

Vous tomberez directement sur la source originelle de la position de l'association de diététique américaine ADA (devenue depuis Académie de Nutrition et Diététique AND) de 2009 sur les régimes végétariens et végétaliens (celle qui dit que c'est adapté à tout âge de la vie tout ça tout ça).

En bref, tous ces moyens sont fait pour que les résumés de ces études soient disponibles relativement facilement si on est un peu anglophone. La raison est simple : la plupart des publications sont effectuées en anglais. Il existe quelques journaux en français.

Comment savoir quand une référence est bel et bien citée correctement ?

Le but d'une référence est de permettre de retrouver l'étude correspondante le plus facilement possible. Elles sont censées respecter un format qui peut se résumer par :

Nom des auteurs - Titre (pas toujours) - Journal (en abrégé souvent) - Année - Numéro de volume (pas toujours) - numéros de page de début, et parfois de fin

Avec chacune de ces informations, vous pouvez retrouver ainsi l'étude en question. C'est clair, simple et ne pose aucun doute. Il y a quelques variations dans la notation selon les éditeurs, mais globalement ces informations se retrouvent toutes sous ce format.

Avec la position de l'ADA de 2009 qu'on a vu plus haut, on obtient donc la référence suivante sous forme abrégée :


, J. Am. Diet. Assoc. 2009;109: 1266-1282. 


Voilà, avec cela, vous pouvez entrer cette référence directement dans Google Scholar, et vous obtiendrez en premier résultat ... la même étude qu'avec le DOI donné plus haut. Vous pourriez également la retrouver depuis d'autres portails.

Un exemple parfait de citations de références réussi est le chapitre du Dr. Bernard-Pellet dans le livre Vegan pour ceux qui le possèdent, qui démarre à la page 19 (vous voyez avec quelle facilité ceux qui possèdent le livre vont le retrouver ?). Vous verrez les études référencées en bas de chaque colonne de texte dans les notes. Désormais, vous savez même comment les retrouver, du moment qu'on vous donne la bonne référence.

Sur certains sites, le lien pourra être donné directement dans le texte. Par exemple, cet article de Futura-Sciences sur l'influence de la nutrition sur la flore intestinale a sa référence sur le nom du journal "Nature", que vous pourrez cliquer directement. C'est plus discret mais la source est quand même là.

Enfin, il y a également les articles mélangeant les genres comme celui d'Atlantico réagissant à "l'étude suédoise sur la corrélation du risque de la mortalité avec la consommation de lait". Ce papier avait fait le tour des médias, il était donc normal de voir des boucliers se lever rapidement. Non seulement il y a le lien vers l'étude en question dans le texte, mais plus loin, on voit une autre référence indiquée que je vous copie ici avec son explication :

"Ceci n'est pas une nouveauté puisque le lait ne permet pas de lutter contre l'ostéoporose ni de réduire les fractures (Feskanich D, Willet WC, Stampfer MJ, Colditz GA. Milk, dietary calcium, and bone fractures in women: a 12-year prospective study. Am J Public Health 1997;87:992-7)".

Vous remarquez la référence inscrite directement dans le texte. Voilà ce que j'appelle des références correctement citées.

Parfait, je sais reconnaitre et trouver des références ! Mais quels sont les problèmes alors ?


Il y a plusieurs niveaux de problèmes :

• L'absence de références est le premier niveau pour repérer les articles mal écrit qui souhaitent plus générer du clic que de diffuser une information claire. C'est ce qu'on appelle les "clickbaits" (piège à clic). Sans se donner la peine de vérifier, ces articles sont souvent traduits, parfois de plusieurs années en arrière, et diffusent des notions fausses sans aucune honte, vu que le clic (le seul point leur rapportant de l'argent) compte. 

• Des références floues. Certains articles se donnent une espèce de caution, en disant par exemple, "des chercheurs de l'Arkansas (exemple) ont récemment prouvé que ... (peu importe le résultat) ... , ils ont publiés récemment dans le réputé Journal of machinchose un résultat formidable" ... sans donner le lien vers le résumé de la source correspondante.


-> Bonne chance pour retrouver l'étude dont il est question. Sans le nom de l'auteur, ni même l'année si c'est une traduction reprenant un article anglophone d'il y a plusieurs années, avec tout au plus un journal, c'est foutu pour vérifier quoi que ce soit, et ce n'est pas acceptable et ne montre aucune preuve de sérieux.

Rendre floues ses sources (quand elles existent) est un moyen de noyer le poisson et n'augure pas du bon et devrait au moins susciter la méfiance.

Est-ce qu'il y a d'autres pièges ?

Hélas oui, si ce n'était que l'absence de bibliographie, les problèmes seraient facilement résolus. Cependant, Il y a plus inquiétant et sournois. 

• Citer des choses hors de leur contexte.


• En faire dire trop, ou mal, à une étude. Il y a une possibilité que ce que vous lisez déforme et dénature entièrement ce que dit l'étude.

Les scientifiques ne sont pas idiots. Je vous ai dit plus haut qu'il y a TOUJOURS la possibilité qu'un résultat soit erroné ou incomplet si cela peut être prouvé par la suite. C'est spécialement le cas en nutrition. Du coup, le texte originel des publications est très souvent tourné au subjonctif. 


• Confondre corrélation et causalité

Le meilleur exemple pour vous en rendre compte : la consommation de margarine par habitants aux USA corrèle avec le taux de divorce de l'état du Maine. 


Ce n'est pas pour autant que l'un est responsable de l'autre.

• Tirer des conclusions hâtives d'études sur animaux, en les extrapolant aux humains.

Pour rester réaliste et pragmatique, des études sur la souris prouvent des résultats ... sur la souris.  

• Pour reprendre tout ça avec une pointe d'humour, le Pharmachien vient de sortir une nouvelle BD relative aux études cliniques et aux diverses manières de les interpréter de manière fallacieuse. Cela m'évite de trop écrire en doublon ce qu'il a très bien dit.


Au final, ces points se ressemblent, il s'agit toujours de finir par dire quelque chose de différent, de trop grand, par rapport à l'étude de départ qui est loin d'avoir demandé cela. 

Mais je n'ai pas de connaissances scientifiques, comment savoir ?

Même sans connaissance scientifique, avec cet article, et la BD du Pharmachien, vous possédez les moyens de jouer au "jeu de piste" des références bibliographiques. Rien que de pouvoir avoir la certitude que les sources de gens prétendant des choses "scientifiquement prouvées" existent vous permettra déjà de faire un très grand tri.

J'ai gardé le pire pour la fin :

• Baser son argumentaire sur des publications qui s'avèrent être retirées depuis plus d'une dizaine d'années.

C'est le cas de l'étude de Wakefield, publiée dans The Lancet en 1998 sur les "liens" entre vaccins et autisme (DOI : 10.1016/S0140-6736(97)11096-0)
Wakefield, A. J., Murch, S. H., Anthony, A., Linnell, J., Casson, D. M., Malik, M., Berelowitz, M., Dhillon, A. P., Thomson, M. A., Harvey, P., Valentine, A., Davies, S. E. & Walker-Smith, J. A. RETRACTED: Ileal-lymphoid-nodular hyperplasia, non-specific colitis, and pervasive developmental disorder in children. The Lancet, 351(9103), 637-641

J'ai mis "lien" entre guillemet car cela fait désormais plus de 10 ans que cet article a été retiré (2004), en raison de falsification des données et d'intérêts financiers mis en évidence par la suite. C'est sur ce seul papier que se basent les argumentations anti-vaccins. Aucune autre étude, ni sur humains, ni même sur animaux, n'ont pu mettre en évidence de lien entre vaccins et autismes. 

Vous vous posez la question des lobbies ? Même des antivaccinistes n'ont pas pu prouver ce lien, avec encore récemment la publication d'un article avec leur nom en tant qu'auteur. (DOI : 10.1073/pnas.1500968112
Gadad, B. S., Li, W., Yazdani, U., Grady, S., Johnson, T., Hammond, J., Gunn, H., Curtis, B., English, C., Yutuc, V., Ferrier, C., Sackett, G. P., Marti, C. N., Young, K., Hewitson, L. & German, D. C. (2015) Administration of thimerosal-containing vaccines to infant rhesus macaques does not result in autism-like behavior or neuropathology. P. N. A. S.

(vous voyez, vous devenez bon à ce jeu-là)

Voilà comment faire de la "mauvaise science". Déjà parce que ces études se basent sur des animaux non-humains, nous avons déjà vu que c'était bien trop léger pour avoir un résultat retentissant pour les humains dans la vie de tout les jours.

Cette dernière étude a donc de quoi être fortement critiquée, notamment sur l'éthique, puisqu'elle a impliqué l'utilisation de primates. Mais là, on touche au sujet autrement plus important des tests sur animaux, qui fera l'objet d'un autre article.
Plus d'infos sur Scienceblogs à ce sujet.

Que peut-on conclure ?

Qu'il est bon de douter et de questionner, mais que cela doit être fait de la bonne façon. A ce sujet,  les questions soulevées par le Pharmachien sont particulièrement légitimes. A vrai dire, elles seront bien plus constructives à poser comme question et critique que l'habituel "et qui a payé cette étude ?" qui est la réaction hélas la plus "basique" mais qui ne tient que peu (cf la publication anti-vaccin retiré pour intérêts financiers).

Si on vous dit que "les études prouvent que", assurez vous que votre interlocuteur en possède ne serait-ce qu'une seule. S'il en possède, assurez vous qu'il ne déforme pas les propos de l'étude (cela peut impliquer d'avoir de l'aide de quelqu'un qui parle anglais, c'est hélas un prérequis ...).

Ne vous laissez pas piéger par les condescendants "tu n'a qu'a aller chercher toi-même", ça ne tient pas, quand on a une référence intéressante, on la donne sans rechigner, surtout après avoir dit les mots magiques "les études prouvent que".

On peut aussi conclure que désormais, vous connaissez les outils pour rechercher des études par vous-même, vous vous y connaissez un peu plus sur les "bonnes" critiques à formuler sur les études.

J'espère que tout cela profitera à qui en aura besoin.

1 commentaire: