Les oubliettes de la recherche ou « l’effet tiroir » (« file drawer effect »). Faire passer les résultats négatifs de l’ombre à la lumière
L’effet tiroir ? Non, il ne s’agit ni d’un extrait de notice de montage de meuble qui n’aurait pas supporté le passage du suédois vers le français, ni d’un fait divers impliquant un lobby de menuisiers. Nous parlons ici d’un phénomène de l’édition scientifique ayant des répercussions majeures dans la construction et la diffusion des savoirs.
De quoi parle-t-on ?
L’expression « file drawer effect » est attribuée à Rosenthal (Rosenthal, 1979) qui décrit ainsi la faible appétence du milieu de la recherche pour les résultats dits négatifs (negative results) ou nuls (null results). S’agit-il de résultats erronés ? Pas du tout (Greenberg, 2014), contrairement à ce que ces intitulés, employés comme synonymes, pourraient laisser entendre (Neuroskeptic, 2016). Un résultat négatif ou nul est tout simplement un résultat qui ne confirme pas l’hypothèse de recherche de départ. Il ne s’agit pas non plus d’une erreur méthodologique. Par contraste, un résultat dit « positif » confirme l’hypothèse formulée. Les publics motivés constateront que le terme « nul » est en fait à relier à des questions de méthodes statistiques et notamment, la célèbre « hypothèse nulle » (ibid.), mais revenons plutôt à l’effet tiroir.
Certes, les résultats négatifs ne sont pas totalement absents de la littérature scientifique publiée, mais ils demeurent les mal-aimés de la recherche (Sparks, 2009) et aujourd’hui encore, ils semblent voués à rester dans les tiroirs des scientifiques (Lilienfeld et al. (eds.), 2014). Or, une étude souligne que non seulement, les résultats négatifs sont sous-représentés dans la littérature, mais que leur proportion tend à diminuer dans un vaste ensemble de disciplines (Fanelli, 2012). Certes, tous les pays et toutes les disciplines ne sont pas concernés au même degré, mais on peut se demander si les résultats négatifs ne seraient pas les pandas roux de la recherche : une espèce en voie de disparition.
Par ailleurs, l’effet tiroir tient du paradoxe : pourquoi si peu de reconnaissance, alors que tout plaide pour le partage des résultats négatifs ? La liste ne saurait être exhaustive (Miller-Halegoua, 2017), mais l’on peut souligner deux bénéfices majeurs pour les chercheurs : ne pas se lancer dans des travaux déjà menés et dont les conclusions sont déjà établies ; et surtout, ne pas fausser l’état des connaissances sur un sujet par une surreprésentation de résultats positifs (Fanelli, 2010). Dès lors, d’aucuns convoqueront les vertus d’une science auto-correctrice, capable de rectifier un constat par la publication de résultats contradictoires. Mais cela amène la question suivante : en ne publiant pas les résultats négatifs, pourquoi se prive-t-on d’un moyen rapide de faire émerger ces perspectives ?
Les raisons du désamour
Les raisons du désamour à l’égard des résultats négatifs sont multiples. Tout d’abord, la nouveauté reste perçue de manière très positive dans le monde de la recherche. Or, les résultats négatifs ne bénéficient pas de l’aura de la nouveauté. Dans une vidéo dédiée aux dérives de l’édition scientifique, le présentateur John Oliver souligne avec humour que peu de revues sont friandes d’études dont le titre serait « Toujours rien de neuf sur les baies d’açaï » (Feltman, 2016). Or, si ce phénomène éditorial est ici présenté avec un grand esprit de dérision, il ne fait que refléter les études les plus sérieuses, menées depuis plusieurs années. Un ouvrage de référence récent explicite ainsi comment la culture professionnelle des chercheurs les incite à laisser de côté les résultats négatifs : « Modern science’s professional culture prizes positive results far above negative results, and also far above attempts to reproduce earlier research. Scientists therefore steer away from replication studies, and their negative results go into the file drawer 1
« La culture professionnelle de la science moderne valorise les résultats positifs bien plus que les résultats négatifs, et aussi bien plus que les tentatives de reproduction de recherches antérieures. Les scientifiques évitent donc les études de réplication, et leurs résultats négatifs vont dans les tiroirs. » (Traduction obtenue via DeepL).
Le monde de la recherche survalorise ainsi la nouveauté au détriment des résultats infirmant des hypothèses. Et c’est là qu’intervient la question de l’évaluation des chercheurs. Car les bibliothécaires le savent : dès lors qu’il est question de revues scientifiques, l’enjeu de l’évaluation de la recherche n’est jamais loin. Nous avons affaire à un cercle vicieux car même si le contexte évolue, la carrière des scientifiques reste encore fortement tributaire de leur capacité à publier dans les revues les plus célèbres. Or, ces revues privilégient les résultats positifs, voire spectaculaires, pour asseoir leur lectorat et leur notoriété. En effet, les publications dédiées à des résultats négatifs suscitent moins de citations, ainsi que le souligne Fanelli s’appuyant sur plusieurs études (Fanelli, 2012). Dans le pire des cas, la quête des résultats positifs peut amener à adopter des pratiques douteuses, permettant d’obtenir la conclusion tant désirée. La fraude délibérée existe. Mais le purgatoire regorge d’auteurs commettant des entorses méthodologiques, moins par volonté de duper que de faire en sorte que leurs travaux correspondent aux canons fixés. Cela peut en partie expliquer l’émergence de faux-positifs (Nuijten et al., 2016).
Tout serait donc si sombre au pays de l’édition scientifique ? Ces résultats, au contenu intéressant, n’ont-ils pas d’avenir en dehors des circuits éditoriaux ? Les chercheurs les exposent-ils dans des colloques par exemple ? Ce constat reste à prouver (Fanelli, 2012). Toujours est-il que les incitations à publier des résultats négatifs demeurent insuffisantes (Padula, 2015).
Vers un changement de cap ?
Pourtant, depuis plusieurs années, des initiatives menées par des chercheurs ou des éditeurs émergent. Un prix des résultats négatifs est ainsi organisé (Global Preclinical Data Forum, 2020). Des revues spécialisées ont été créées (Journal of Negative Results, s. d.) et les éditeurs classiques semblent aussi soucieux de proposer des alternatives. On peut citer la collection « Missing Pieces » 2
de Plos One. Mais dans les faits, en dépit des politiques éditoriales favorisant la publication de résultats négatifs, le compteur de soumissions d’articles ne s’emballe toujours pas.Au-delà des enjeux d’évaluation, l’effet tiroir nous éclaire sur l’ethos encore prédominant en recherche, à savoir une culture érigeant la nouveauté comme un marqueur professionnel positif, désirable : « A hallmark of scientific creativity is the ability to see novel and unexpected patterns in data 3
« L’une des caractéristiques de la créativité scientifique est la capacité de voir des modèles nouveaux et inattendus dans les données. » (Traduction obtenue via DeepL).
Quels rôles pour les bibliothécaires ?
Quel peut être le mot de la fin pour les bibliothécaires ? Pourquoi aborder un sujet a priori très académique quand on travaille dans une bibliothèque dont le public n’est pas universitaire ? Et dans le cas des structures académiques, comment se positionner sur un sujet sensible, et peu attractif encore pour une majorité, car peu valorisé dans les processus d’évaluation des chercheurs ? Comme souvent avec ce type de sujet, il s’agit de se placer sur le temps long et d’adopter une démarche itérative.
Tout d’abord, les bibliothèques peuvent jouer un rôle incitatif, en aidant les chercheurs à identifier les gisements d’information dédiés aux résultats négatifs. Il s’agit de « normaliser » le recours aux résultats négatifs en les présentant comme des sources d’information parmi d’autres (#NoDrama). Le guide de ressources en sciences médicales conçu par les bibliothèques de l’université de Toronto (Nekolaichuk, s. d.) inclut ainsi un volet dédié à la littérature grise qui contient une rubrique sur les résultats négatifs. Dans ce guide, on rappelle qu’une recherche d’informations exhaustive constitue l’un des piliers de l’intégrité scientifique dans la mesure où il s’agit, entre autres, de limiter les biais de confirmation.
Les bibliothèques peuvent aussi aider les chercheurs à signaler les résultats négatifs. Citons le projet « Datacc 4
», soutenu par le groupement d’intérêt scientifique CollEx-Persée et mené conjointement par l’université Claude Bernard Lyon 1 et l’université Grenoble Alpes en partenariat avec des chercheurs en chimie et en physique. Des bibliothécaires s’associent à des chercheurs pour investiguer. Les résultats de l’enquête sont attendus pour l’automne 2021. Il s’agira de définir sur cette base une palette de services.Enfin, ce retour d’expérience détaillé sur l’atelier ERROR (E‐science Research leading to negative Results) (Maheshwari et al., 2017) fournit un exemple des contenus abordés et de l’angle d’attaque retenu. Les enjeux de définition jouent un rôle important dans la perception des participants.
Si l’on adopte la perspective des établissements documentaires non-académiques, les questions soulevées par l’effet tiroir prennent une acuité particulière lorsqu’on se place sur le terrain des enjeux informationnels et de la communication entre spécialistes et non-spécialistes. Bien avant la crise sanitaire, Mandon considérait déjà comme une priorité la réduction de la distance entre chercheurs et décideurs publics (Mandon, 2019).
Et en guise de conclusion, terminons sur cette citation de Michèle Pappalardo, magistrate à la Cour des comptes et ancienne directrice de cabinet de Nicolas Hulot au ministère de la Transition écologique et solidaire : « La société doit être formée et informée sur la démarche scientifique, si l’on veut que le décisionnaire politique ait plus de force pour utiliser lui-même l’information scientifique et qu’il soit capable de l’expliquer. Sinon, cela ne marchera jamais. » (Pappalardo et al., 2019).
Bibliothécaires, ouvrez les tiroirs de la recherche !
Sources
Focus sur Gaffex : une plateforme pour aider les chercheurs à valoriser les résultats négatifs
Gaffex est l’acronyme de Gathering of Fundamentally Failled Experiments. Ce projet de plateforme destiné à rendre accessibles les résultats négatifs est piloté par Gilmary Gallon, chercheur associé à l’entreprise MedinCell. Son initiative a reçu le soutien de la Fondation de France qui lui a décerné le prix « Déclics jeunes » en 2019.
Pour en savoir plus sur le projet, la démarche : https://www.franceinter.fr/emissions/l-esprit-d-initiative/l-esprit-d-initiative-30-septembre-2019.