Les oubliettes de la recherche ou « l’effet tiroir » (« file drawer effect »). Faire passer les résultats négatifs de l’ombre à la lumière

Sabrina Granger

L’effet tiroir ? Non, il ne s’agit ni d’un extrait de notice de montage de meuble qui n’aurait pas supporté le passage du suédois vers le français, ni d’un fait divers impliquant un lobby de menuisiers. Nous parlons ici d’un phénomène de l’édition scientifique ayant des répercussions majeures dans la construction et la diffusion des savoirs.

De quoi parle-t-on ?

L’expression « file drawer effect » est attribuée à Rosenthal (Rosenthal, 1979) qui décrit ainsi la faible appétence du milieu de la recherche pour les résultats dits négatifs (negative results) ou nuls (null results). S’agit-il de résultats erronés ? Pas du tout (Greenberg, 2014), contrairement à ce que ces intitulés, employés comme synonymes, pourraient laisser entendre (Neuroskeptic, 2016). Un résultat négatif ou nul est tout simplement un résultat qui ne confirme pas l’hypothèse de recherche de départ. Il ne s’agit pas non plus d’une erreur méthodologique. Par contraste, un résultat dit « positif » confirme l’hypothèse formulée. Les publics motivés constateront que le terme « nul » est en fait à relier à des questions de méthodes statistiques et notamment, la célèbre « hypothèse nulle » (ibid.), mais revenons plutôt à l’effet tiroir.

Certes, les résultats négatifs ne sont pas totalement absents de la littérature scientifique publiée, mais ils demeurent les mal-aimés de la recherche (Sparks, 2009) et aujourd’hui encore, ils semblent voués à rester dans les tiroirs des scientifiques (Lilienfeld et al. (eds.), 2014). Or, une étude souligne que non seulement, les résultats négatifs sont sous-représentés dans la littérature, mais que leur proportion tend à diminuer dans un vaste ensemble de disciplines (Fanelli, 2012). Certes, tous les pays et toutes les disciplines ne sont pas concernés au même degré, mais on peut se demander si les résultats négatifs ne seraient pas les pandas roux de la recherche : une espèce en voie de disparition.

Par ailleurs, l’effet tiroir tient du paradoxe : pourquoi si peu de reconnaissance, alors que tout plaide pour le partage des résultats négatifs ? La liste ne saurait être exhaustive (Miller-Halegoua, 2017), mais l’on peut souligner deux bénéfices majeurs pour les chercheurs : ne pas se lancer dans des travaux déjà menés et dont les conclusions sont déjà établies ; et surtout, ne pas fausser l’état des connaissances sur un sujet par une surreprésentation de résultats positifs (Fanelli, 2010). Dès lors, d’aucuns convoqueront les vertus d’une science auto-correctrice, capable de rectifier un constat par la publication de résultats contradictoires. Mais cela amène la question suivante : en ne publiant pas les résultats négatifs, pourquoi se prive-t-on d’un moyen rapide de faire émerger ces perspectives ?

Les raisons du désamour

Les raisons du désamour à l’égard des résultats négatifs sont multiples. Tout d’abord, la nouveauté reste perçue de manière très positive dans le monde de la recherche. Or, les résultats négatifs ne bénéficient pas de l’aura de la nouveauté. Dans une vidéo dédiée aux dérives de l’édition scientifique, le présentateur John Oliver souligne avec humour que peu de revues sont friandes d’études dont le titre serait « Toujours rien de neuf sur les baies d’açaï » (Feltman, 2016). Or, si ce phénomène éditorial est ici présenté avec un grand esprit de dérision, il ne fait que refléter les études les plus sérieuses, menées depuis plusieurs années. Un ouvrage de référence récent explicite ainsi comment la culture professionnelle des chercheurs les incite à laisser de côté les résultats négatifs : « Modern science’s professional culture prizes positive results far above negative results, and also far above attempts to reproduce earlier research. Scientists therefore steer away from replication studies, and their negative results go into the file drawer 1

X

« La culture professionnelle de la science moderne valorise les résultats positifs bien plus que les résultats négatifs, et aussi bien plus que les tentatives de reproduction de recherches antérieures. Les scientifiques évitent donc les études de réplication, et leurs résultats négatifs vont dans les tiroirs. » (Traduction obtenue via DeepL).

. » (Randall et al., 2018)

Le monde de la recherche survalorise ainsi la nouveauté au détriment des résultats infirmant des hypothèses. Et c’est là qu’intervient la question de l’évaluation des chercheurs. Car les bibliothécaires le savent : dès lors qu’il est question de revues scientifiques, l’enjeu de l’évaluation de la recherche n’est jamais loin. Nous avons affaire à un cercle vicieux car même si le contexte évolue, la carrière des scientifiques reste encore fortement tributaire de leur capacité à publier dans les revues les plus célèbres. Or, ces revues privilégient les résultats positifs, voire spectaculaires, pour asseoir leur lectorat et leur notoriété. En effet, les publications dédiées à des résultats négatifs suscitent moins de citations, ainsi que le souligne Fanelli s’appuyant sur plusieurs études (Fanelli, 2012). Dans le pire des cas, la quête des résultats positifs peut amener à adopter des pratiques douteuses, permettant d’obtenir la conclusion tant désirée. La fraude délibérée existe. Mais le purgatoire regorge d’auteurs commettant des entorses méthodologiques, moins par volonté de duper que de faire en sorte que leurs travaux correspondent aux canons fixés. Cela peut en partie expliquer l’émergence de faux-positifs (Nuijten et al., 2016).

Tout serait donc si sombre au pays de l’édition scientifique ? Ces résultats, au contenu intéressant, n’ont-ils pas d’avenir en dehors des circuits éditoriaux ? Les chercheurs les exposent-ils dans des colloques par exemple ? Ce constat reste à prouver (Fanelli, 2012). Toujours est-il que les incitations à publier des résultats négatifs demeurent insuffisantes (Padula, 2015).

Vers un changement de cap ?

Pourtant, depuis plusieurs années, des initiatives menées par des chercheurs ou des éditeurs émergent. Un prix des résultats négatifs est ainsi organisé (Global Preclinical Data Forum, 2020). Des revues spécialisées ont été créées (Journal of Negative Results, s. d.) et les éditeurs classiques semblent aussi soucieux de proposer des alternatives. On peut citer la collection « Missing Pieces » 2

de Plos One. Mais dans les faits, en dépit des politiques éditoriales favorisant la publication de résultats négatifs, le compteur de soumissions d’articles ne s’emballe toujours pas.

Au-delà des enjeux d’évaluation, l’effet tiroir nous éclaire sur l’ethos encore prédominant en recherche, à savoir une culture érigeant la nouveauté comme un marqueur professionnel positif, désirable : « A hallmark of scientific creativity is the ability to see novel and unexpected patterns in data 3

X

« L’une des caractéristiques de la créativité scientifique est la capacité de voir des modèles nouveaux et inattendus dans les données. » (Traduction obtenue via DeepL).

. » (Munafò et al., 2017). Certes, les critères d’évaluation jouent un rôle majeur dans la construction de cette identité professionnelle, mais il s’agit ici de souligner à quel point les représentations des scientifiques sont enracinées. À tel point que certains chercheurs exhortent leurs pairs à opérer une révolution copernicienne de l’ensemble de leurs repères : oui, l’erreur est normale et ne doit pas être pénalisée (Bishop, 2018 ; Silberzahn, 2017 ; Strand, 2020 ; Vazire, 2019) ; oui, les chercheurs peuvent s’intéresser à autre chose que des résultats spectaculaires. Certes, de longue date, sociologues et historiens des sciences ont analysé la place de l’erreur en recherche, mais au-delà de cette approche, les pratiques éditoriales des chercheurs soulignent à quel point les mentalités ont besoin de temps pour évoluer.

Quels rôles pour les bibliothécaires ?

Quel peut être le mot de la fin pour les bibliothécaires ? Pourquoi aborder un sujet a priori très académique quand on travaille dans une bibliothèque dont le public n’est pas universitaire ? Et dans le cas des structures académiques, comment se positionner sur un sujet sensible, et peu attractif encore pour une majorité, car peu valorisé dans les processus d’évaluation des chercheurs ? Comme souvent avec ce type de sujet, il s’agit de se placer sur le temps long et d’adopter une démarche itérative.

Tout d’abord, les bibliothèques peuvent jouer un rôle incitatif, en aidant les chercheurs à identifier les gisements d’information dédiés aux résultats négatifs. Il s’agit de « normaliser » le recours aux résultats négatifs en les présentant comme des sources d’information parmi d’autres (#NoDrama). Le guide de ressources en sciences médicales conçu par les bibliothèques de l’université de Toronto (Nekolaichuk, s. d.) inclut ainsi un volet dédié à la littérature grise qui contient une rubrique sur les résultats négatifs. Dans ce guide, on rappelle qu’une recherche d’informations exhaustive constitue l’un des piliers de l’intégrité scientifique dans la mesure où il s’agit, entre autres, de limiter les biais de confirmation.

Les bibliothèques peuvent aussi aider les chercheurs à signaler les résultats négatifs. Citons le projet « Datacc 4

 », soutenu par le groupement d’intérêt scientifique CollEx-Persée et mené conjointement par l’université Claude Bernard Lyon 1 et l’université Grenoble Alpes en partenariat avec des chercheurs en chimie et en physique. Des bibliothécaires s’associent à des chercheurs pour investiguer. Les résultats de l’enquête sont attendus pour l’automne 2021. Il s’agira de définir sur cette base une palette de services.

Enfin, ce retour d’expérience détaillé sur l’atelier ERROR (E‐science Research leading to negative Results) (Maheshwari et al., 2017) fournit un exemple des contenus abordés et de l’angle d’attaque retenu. Les enjeux de définition jouent un rôle important dans la perception des participants.

Si l’on adopte la perspective des établissements documentaires non-académiques, les questions soulevées par l’effet tiroir prennent une acuité particulière lorsqu’on se place sur le terrain des enjeux informationnels et de la communication entre spécialistes et non-spécialistes. Bien avant la crise sanitaire, Mandon considérait déjà comme une priorité la réduction de la distance entre chercheurs et décideurs publics (Mandon, 2019).

Et en guise de conclusion, terminons sur cette citation de Michèle Pappalardo, magistrate à la Cour des comptes et ancienne directrice de cabinet de Nicolas Hulot au ministère de la Transition écologique et solidaire : « La société doit être formée et informée sur la démarche scientifique, si l’on veut que le décisionnaire politique ait plus de force pour utiliser lui-même l’information scientifique et qu’il soit capable de l’expliquer. Sinon, cela ne marchera jamais. » (Pappalardo et al., 2019).

Bibliothécaires, ouvrez les tiroirs de la recherche !

Sources

  • BISHOP, Dorothy V. M., « Fallibility in Science: Responding to Errors in the Work of Oneself and Others »: Advances in Methods and Practices in Psychological Science, 3 juillet 2018. En ligne : http://journals.sagepub.com/doi/abs/10.1177/2515245918776632?journalCode=ampa#articleShareContainer [consulté le 4 juillet 2018]. Los Angeles CA, Sage CA.
  • FANELLI, Daniele, « Negative results are disappearing from most disciplines and countries », Scientometrics, 2012, vol. 90 no 3, p. 891‑904.
  • FANELLI, Daniele, « “Positive” Results Increase Down the Hierarchy of the Sciences », PLoS ONE. 7 avril 2010, vol. 5 no 4, p. e10068.
  • FELTMAN, Rachel, « John Oliver explains why so much ‘science’ you read about is bogus », The Washington Post, 9 mai 2016. En ligne : https://www.washingtonpost.com/news/speaking-of-science/wp/2016/05/09/john-oliver-explains-why-so-much-science-you-read-about-is-bogus/ [consulté le 14 avril 2021].
  • GLOBAL PRECLINICAL DATA FORUM, « Negative Data Prize », Blog Global Preclinical Data Forum, 2020. En ligne : https://www.preclinicaldataforum.org/negative-prize/ [consulté le 25 mai 2020].
  • GREENBERG, Susan, Neil Malhotra: Why No News Is Still Important News in Research, 2014. En ligne : https://www.gsb.stanford.edu/insights/neil-malhotra-why-no-news-still-important-news-research [consulté le 11 juin 2020].
  • JOURNAL OF NEGATIVE RESULTS, Journal of Negative Results, s. d. En ligne : http://www.jnr-eeb.org/index.php/jnr [consulté le 20 mars 2020].
  • LILIENFELD, S. O. et WALDMAN, I. D. (eds.), « Maximizing the Reproducibility of Your Research », Psychological Science Under Scrutiny: Recent Challenges and Proposed Solutions, 26 février 2014. En ligne : https://osf.io/xidvw/ [consulté le 8 juin 2018].
  • MAHESHWARI, Ketan, KATZ, Daniel, et OLABARRIAGA, Silvia D., et al., « Report On The First Workshop On Negative And Null Results In Escience », Concurrency and Computation: Practice and Experience. 2017, vol. 29 no 2, p. e3908.
  • MANDON, Thierry, « Les hauts fonctionnaires ne comprennent rien à la recherche », Acteurs publics, 2019, no 141.
  • MILLER-HALEGOUA, Suzanne M., « Why null results do not mean no results: negative findings have implications for policy, practice, and research », Translational Behavioral Medicine, 2017, vol. 7 no 2, p. 137.
  • MUNAFÒ, Marcus R., NOSEK, Brian A., BISHOP, Dorothy V. M., et al., « A manifesto for reproducible science », Nature Human Behaviour, 10 janvier 2017, vol. 1 no 1, p. 0021.
  • NEKOLAICHUK, Erica, Research guides: Searching the Literature: A Guide to Comprehensive Searching in the Health Sciences: Grey Literature ? s. d. En ligne : https://guides.library.utoronto.ca/c.php?g=577919&p=4123572 [consulté le 7 mai 2021].
  • NEUROSKEPTIC, Negative Results, Null Results, or No Results? 2016. En ligne : https://www.discovermagazine.com/mind/negative-results-null-results-or-no-results [consulté le 29 mai 2020].
  • NUIJTEN, Michèle B., HARTGERINK, Chris H. J, van ASSEN, Marcel A. L. M., et al., « The prevalence of statistical reporting errors in psychology (1985–2013) », Behavior Research Methods, 1er décembre 2016, vol. 48 no 4, p. 1205‑1226.
  • PADULA, Danielle, Valuing Null and Negative Results in Scientific Publishing,2015. En ligne : https://blog.scholasticahq.com/post/valuing-null-and-negative-results-in-scientific-publishing/ [consulté le 29 mai 2020].
  • PAPPALARDO, Michèle et BŒUF, Gilles, « Il existe bien deux mondes différents qui doivent se côtoyer, se parler, se comprendre et échanger », Acteurs publics, 2019, no 141.
  • RANDALL, David et WELSER, Christopher, The Irreproducibility Crisis of Modern Science. Causes, Consequences, and the Road to Reform, New York, National Association of Scholars, 2018. En ligne : https://www.nas.org/reports/the-irreproducibility-crisis-of-modern-science [consulté le 25 mai 2018].
  • ROSENTHAL, Robert, « The file drawer problem and tolerance for null results », Psychological Bulletin, 1979, vol. 86 no 3, p. 638‑641.
  • SILBERZAHN, Philippe, Face à l’incertitude : les limites de la modélisation, 2017. En ligne : http://theconversation.com/face-a-lincertitude-les-limites-de-la-modelisation-88261 [consulté le 8 avril 2020].
  • SPARKS, Garrett M., « Prying Open the File Drawer », AMA Journal of Ethics, 1er avril 2009, vol. 11 no 4, p. 297‑300.
  • STRAND, Julia, Scientists Make Mistakes. I Made a Big One, 2020. En ligne : https://medium.com/@jstrand_76194/when-science-needs-self-correcting-a130eacb4235 [consulté le 25 mars 2020].
  • VAZIRE, Simine, « A toast to the error detectors », Nature, 30 décembre 2019, vol. 577 no 7788, p. 9‑9.
  • Focus sur Gaffex : une plateforme pour aider les chercheurs à valoriser les résultats négatifs

    Gaffex est l’acronyme de Gathering of Fundamentally Failled Experiments. Ce projet de plateforme destiné à rendre accessibles les résultats négatifs est piloté par Gilmary Gallon, chercheur associé à l’entreprise MedinCell. Son initiative a reçu le soutien de la Fondation de France qui lui a décerné le prix « Déclics jeunes » en 2019.

    Pour en savoir plus sur le projet, la démarche : https://www.franceinter.fr/emissions/l-esprit-d-initiative/l-esprit-d-initiative-30-septembre-2019.