Les tribulations de la validation scientifique, par Guillaume Jacquemont (Pour la Science)

ÉPISODE #22

Par Guillaume Jacquemont - Journaliste

Les tribulations de la validation scientifique

Ces dernières années, de nombreux résultats scientifiques ont été contredits par des travaux ultérieurs. Qu’en déduire quant à la façon de raconter les recherches, aux évolutions souhaitables… et à la nature de la science elle-même ?

Il est un malentendu courant selon lequel un fait est définitivement prouvé après avoir été rapporté par une étude scientifique. En réalité, une étude n’est souvent que le premier pas d’un long chemin. Prenons l’exemple de la recherche médicale : on commence par tester une hypothèse sur quelques participants, voire chez l’animal ou sur des cultures cellulaires ; puis on mène un essai rigoureux en comparant les effets mesurés avec ceux qu’on obtient sur un groupe témoin ; puis on tente de répliquer l’étude à plus large échelle ; puis on effectue une métaanalyse, c’est-à-dire une étude secondaire qui synthétise les résultats obtenus par plusieurs équipes de recherche… Les éléments de preuve forment ainsi une pyramide, et il faut du temps – de l’ordre de la décennie ou plus – pour la gravir, afin de réellement valider scientifiquement un résultat.

Pour un journaliste scientifique, faire passer ces nuances tout en gardant une certaine fluidité d’écriture représente un défi et un questionnement permanents. En toute rigueur, il faudrait dire « les résultats suggèrent » dans l’écrasante majorité des cas, mais on ne peut le répéter dix fois par page sous peine d’anathème stylistique. Heureusement, il existe d’autres moyens d’aiguiller sur le degré de validation atteint. En voici quelques exemples.

Le vocabulaire, d’abord. Outre « suggère », d’autres éléments de langage pointent vers un résultat préliminaire : « peut-être », « probablement », « les chercheurs ont trouvé que… » ; autrement dit, dans le cadre des travaux présentés, ce qui signifie que les résultats n’ont pas encore nécessairement une portée générale. Le nombre de participants de l’étude, ensuite : quand il est faible, les conclusions ne peuvent être considérées comme définitives. Troisième type d’indice, les éléments de méthodologie : une expression comme « par rapport au groupe témoin » signifie… qu’il y a un groupe témoin, et c’est un signe de qualité. Quatrièmement, la nature de l’étude : une métaanalyse commence souvent à représenter un niveau de preuve appréciable – même si sa force dépend bien sûr de la qualité des études synthétisées –, tandis qu’une expérience sur l’animal est forcément préliminaire : un grand nombre de médicaments qui paraissent efficaces à ce stade ne passent pas la barrière des tests chez l’homme, une récente métaanalyse estimant par exemple à 5 % le nombre de ceux qui atteignent le stade de l’approbation réglementaire.

⏸️ Une petite pause, avant de poursuivre votre lecture...

● Pour retrouver les articles de Guillaume Jacquemont : ils sont disponibles là.

● Vous souhaitez "écouter la science" ? Alors rendez-vous ici pour (re-)découvrir nos podcasts (en partenariat avec le Collège de France).

● Le nouvel hors-série trimestriel de Pour la Science vient de paraître. Un numéro exceptionnel qui revient sur 25 ans de science. Disponible en kiosque, et sur notre boutique (au format papier ou numérique). Découvrez son sommaire ici.

● Et enfin, ne manquez pas la nouvelle formule du magazine Pour la Science. Une nouvelle maquette, de nouvelles rubriques, etc... Profitez-en, abonnez-vous !

— Fin de la pause —

La crise de la réplication

Une preuve douloureuse du caractère provisoire de certains résultats scientifiques est récemment venu de ce qu’on a appelé la « crise de la réplication » (ou « crise de la reproductibilité »). En 2015, une étude de grande ampleur, associant 270 chercheurs, paraît dans la revue Science. Elle visait à répliquer 100 travaux de psychologie et ses conclusions causent un sérieux choc : seuls un tiers des résultats originaux ont été reproduits avec succès ! Depuis, les efforts de réplication se sont multipliés, faisant « tomber » de nombreux autres résultats – comme celui stipulant qu’une posture victorieuse (debout, les bras levés vers le ciel) rendrait effectivement plus conquérant.

Une partie du problème est méthodologique. Pour savoir si un résultat est « statistiquement significatif », une méthode courante consiste à calculer une valeur qualifiée de « valeur p » (p-value, en anglais), qui doit se situer sous un seuil arbitraire. Or ce type de test statistique produit mécaniquement un certain nombre de faux positifs, surtout si on les répète à l’excès au sein d’une même étude – par exemple pour tester si un résultat est vrai à l’intérieur de certains sous-groupes. Une autre évolution majeure de ces dernières années vise alors à pallier ces défauts en « pré-enregistrant » les études : il s’agit de déclarer le protocole sur un site spécialisé, comme aspredicted.org ou osf.io, afin notamment d’éviter de multiplier a posteriori les tests statistiques.

Plus généralement, la notion même de résultat statistiquement significatif fait l’objet d’intenses débats parmi les experts. D’autres pistes d’action, synthétisées par les sociologues Michel Dubois et Catherine Guaspare dans un récent ouvrage, portent sur les façons de favoriser l’intégrité scientifique et les bonnes pratiques : chartes, structures spécifiques, évaluation a posteriori… Du côté des vulgarisateurs, diverses initiatives visent à développer la capacité d’apprécier la réelle portée d’un résultat, afin de le diffuser au mieux : l’Association des journalistes scientifiques de la presse d’information (AJSPI) organise par exemple des formations en partenariat avec la fondation Cochrane, une référence en matière de métaanalyses dans le domaine de la santé.

La mobilisation est donc multifacette. Pour autant, la science est par nature exploratoire. Elle navigue à la bougie dans un océan de brouillard et certains des résultats que nous rapportons dans nos pages se révéleront fatalement inexacts ou incomplets par la suite – le moins possible, nous nous y efforçons ! Autrement dit, il y aura toujours des études pilotes à petite échelle qui seront ensuite contredites, car il est matériellement impossible de mettre en place une vaste expérience réunissant des milliers de participants dès que l’on veut tester une hypothèse. Le propre de la science n’est pas qu’elle ne se trompe jamais, mais qu’elle se corrige en permanence. Une vérité inconfortable pour notre besoin de certitudes, mais là est peut-être un autre grand enjeu de la vulgarisation scientifique : faire comprendre qu’une méthode qui se trompe aussi souvent reste la seule capable de nous rapprocher d’une réelle compréhension du monde.