Évaluation et mesure d’impact des projets d’éducation aux médias et à l’information

Organisée le 13 octobre 2022 à la Cité des sciences et de l’industrie à Paris, cette nouvelle édition des Rencontres culture numérique du ministère de la Culture avait choisi, avec le thème « Évaluation et mesure d’impact des projets d’éducation aux médias et à l’information », de se pencher sur la délicate question des moyens et des démarches qu’il est possible – et souhaitable – de mettre en place afin d’évaluer l’impact et l’efficacité des actions d’éducation aux médias et à l’information (EMI).

« Les actions d’EMI se multiplient, se diversifient dans leurs formats, dans les publics visés, rendant essentielle la question de l’évaluation de leur impact réel », a exposé dans sa conférence inaugurale Isabelle Jacquot-Marchand, cheffe du bureau des temps de la vie de la Délégation générale à la transmission, aux territoires et à la démocratie culturelle du ministère de la Culture (DG2TDC).

Un baromètre de l’esprit critique

Romain Pigenel, directeur du développement des publics et de la communication d’Universcience, l’établissement qui chapeaute la Cité des sciences et de l’industrie et le Palais de la découverte, a exposé les principaux résultats de la première édition, en avril 2022, du Baromètre de l’esprit critique, instrument inédit d’analyse de l’esprit critique en France. La première enquête a porté sur 3 200 personnes interrogées sur leur rapport à la science, leurs sources d’information, leur rapport au débat d’idées. 81 % des sondés ont exprimé un intérêt pour les documentaires ou les sites web scientifiques, et 59 % pour les ouvrages scientifiques. L’enquête a mis en lumière de grandes disparités socio-économiques, les passionnés de science étant majoritairement des hommes de moins de 40 ans de la catégorie CSP+, les plus éloignés de la culture scientifique étant les femmes appartenant aux catégories socioprofessionnelles les plus faibles. L’image de la science est majoritairement bonne, avec 88 % des sondés qui pensent qu’elle permet de développer des technologies utiles et de mieux comprendre le monde. Cependant, 53 % pensent que les théories scientifiques ne sont que des hypothèses parmi d’autres. 43 % pensent que la communauté scientifique est indépendante pour valider ses découvertes et 40 % pensent le contraire. Les médias d’information qui arrivent en tête sont, sans surprise, Internet (73 %) et la télévision (68 %). Pour la seconde édition du baromètre, Universcience ambitionne une dimension européenne afin d’établir des points de comparaison à grande échelle.

Les dispositifs d’évaluation du projet « Vaccins et vaccination » de l’association La main à la pâte

La main à la pâte, a rappelé Elena Pasquinelli, coordinatrice du projet « Esprit scientifique, esprit critique » de l’association, a commencé à s’intéresser au lien entre esprit critique et information scientifique dans l’objectif de préparer les jeunes à comprendre comment se construit une connaissance, et à sélectionner la connaissance fiable pour former son jugement. « L’esprit critique est la capacité à évaluer l’information qui nous arrive, les contenus, les démarches, les résultats, les méthodes scientifiques pour limiter les biais et arriver à des résultats plus objectifs, a résumé la chercheuse. Ce n’est pas la défiance mais la confiance dans les sources fiables. »

Après des actions un peu générales, l’association s’est recentrée sur l’idée d’introduire de l’esprit critique dans tous les enseignements disciplinaires, et pas seulement dans les actions d’EMI. C’est dans ce cadre que se place son nouveau projet, « Vaccins et vaccination », élaboré dans le contexte de la pandémie de Covid-19, dont l’objectif est de donner, y compris aux plus jeunes, des clés pour comprendre, sans être passifs, des recommandations telles que porter un masque, respecter la distanciation sociale. « La question des vaccins fait partie des programmes scolaires mais il manquait dans la palette pédagogique des enseignants de collège les outils pour donner des clés de compréhension aux élèves sur la manière dont les vaccins sont testés et sur les enjeux au niveau mondial », a détaillé Elena Pasquinelli. L’association a donc traité ces deux thématiques en impliquant enseignants et scientifiques qui ont tourné deux petites vidéos d’interviews accompagnées par des illustrations, une façon originale d’amener des scientifiques dans les salles de classe. Le projet comprenait également des ateliers pratiques sur les tests scientifiques, des jeux basés sur des cas pratiques tels la résurgence de la rougeole aux États-Unis.

Pour mettre en place une évaluation de ce programme, l’association s’est d’abord renseignée auprès des scientifiques pour connaître et appliquer leurs méthodes d’évaluation, même s’il est difficile d’avoir dans le domaine de l’éducation la même rigueur et la même fiabilité que dans le domaine scientifique. Elle prévoit d’évaluer deux groupes d’ateliers sur les vaccins, le premier, classique, le second utilisant des dispositifs interactifs, le tout sur plus de 400 collèges. Les élèves passeront un premier test avant l’atelier, puis juste après, et enfin un mois plus tard. Ce dispositif étant très lourd, La main à la pâte travaille à un outil d’auto-évaluation qui serait utilisé par les enseignants et les élèves eux-mêmes, faisant appel à un référentiel détaillé des connaissances et des compétences que les ateliers visent à faire acquérir.

Éduquer aux médias, à l’information et développer l’esprit critique : quelles méthodes pour quelle efficacité ?

La diversité des démarches, des méthodes, des publics ciblés rend les évaluations compliquées. Pour évaluer, il est donc nécessaire de déterminer le but de l’action – lutter contre la désinformation, réduire des croyances erronées –, de faire une première évaluation avant l’atelier, puis une seconde après. Mais, a souligné Virginie Bagneux, maître de conférences en psychologie sociale à l’université de Caen Normandie, il n’existe pas en France actuellement de protocole d’évaluation adapté à ces situations. « Les pédagogues ont tendance à penser que sensibiliser aux biais cognitifs permet de les réduire mais aucune étude scientifique ne valide cette idée, a expliqué l’universitaire. Rien ne prouve non plus cette autre intuition pédagogique selon laquelle l’enseignement de la méthode critique permet de développer l’esprit critique et de réduire les fausses croyances. »

Virginie Bagneux et Manon Théraud, ingénieure d’études et psychologue, ont mené plusieurs évaluations. La première voulait évaluer la prévalence des croyances chez les enseignants. Le test a été mené sur une centaine d’enseignants en poste à l’académie d’Aix-Marseille, en collège et en lycée.

Leur niveau de croyances paranormales (sorcellerie, précognition, divination) est plus faible que dans le reste de la population, de même que leur niveau de croyances conspirationnistes. De ces résultats, les universitaires concluent que les croyances des élèves ne sont pas dues à un transfert des enseignants sur leurs élèves.

Une autre évaluation a comparé un groupe de collégiens ayant suivi un atelier sur l’esprit critique à un autre groupe n’ayant pas reçu cette formation, en mesurant leur adhésion aux fausses croyances. Une expérimentation comparable a été menée sur des élèves ayant suivi des ateliers esprit critique ou EMI à la médiathèque d’Aubagne. Dans les deux cas, les ateliers semblent avoir un impact mais plus faible que prévu et peu durable, comme le montrent les tests effectués plusieurs semaines après les sessions.

« Toutes ces études donnent des résultats mitigés et posent plus de questions qu’elles n’apportent de réponses, ont reconnu les deux chercheuses. Il est nécessaire de bien adapter les formations et les objectifs aux publics visés. »

Un partenariat entre l’université de Louvain et l’École supérieure de journalisme de Lille

Gérée dans le cadre d’un statut associatif et fortement engagée dans les questions de citoyenneté, l’École supérieure de journalisme (ESJ) de Lille, la plus ancienne des écoles de journalisme en France reconnues par la profession, mène depuis longtemps des actions d’EMI. Elle a notamment mis en place, après les attentats de 2015, un programme régional en direction des jeunes en milieu scolaire et hors scolaire qui propose deux types d’intervention : la sensibilisation à la recherche d’informations basée sur deux jeux pédagogiques, et la création de contenus journalistiques web, radio, vidéo. En tout, 4 000 jeunes ont été sensibilisés entre 2018 et 2022.

Pour évaluer ces actions, l’ESJ a fait appel au Groupe de recherche en médiation des savoirs (GREMS) de l’université de Louvain qui a élaboré un projet d’envergure en deux phases. La première a consisté à analyser les documents produits par l’ESJ sur ses actions d’EMI afin de dégager sa philosophie, ses objectifs, les méthodes mises en œuvre. La seconde phase, basée sur la première, a conduit à la construction d’un protocole pilote d’évaluation, testé dans un premier temps sur un projet média sur Instagram réalisé par un groupe d’élèves. L’évaluation reposait sur un questionnaire en quatre parties donné aux élèves :

• décrire le média et l’analyser ;
• expliquer de quoi parle la vidéo ;
• répondre à un quizz sur les concepts abordés, répondre à des questions sur l’expérience d’apprentissage.

L’évaluation montre une amélioration des réflexes EMI chez les jeunes participants mais le faible nombre de l’échantillon (une dizaine d’élèves) limite la portée des résultats.

L’université de Louvain compte poursuivre l’expérimentation sur l’évaluation en comparant à plus grande échelle plusieurs formats pédagogiques d’EMI : produire un média, mettre les élèves dans la situation des journalistes et évaluer les effets sur la capacité de déconstruction des médias et sur l’esprit critique.

L’ESJ a également évalué l’évolution des connaissances et savoir-faire en matière d’EMI et de journalisme des élèves stagiaires dans des entreprises de presse avant et après leur stage. Après une analyse sociodémographique qui a confirmé l’hypothèse de départ d’élèves majoritairement issus de familles aisées, aux professions intellectuelles supérieures ou intermédiaires, le questionnaire a révélé une évolution significative de la connaissance du métier de journaliste mais peu sur d’autres aspects tels que le comportement face à l’actualité.

L’évaluation du projet « Incertitude(s) » de Fréquence écoles

Sollicitée par la préfecture de police du Rhône, inquiète du phénomène de radicalisation dans la métropole de Lyon, Fréquence écoles, association spécialisée dans l’accompagnement des pratiques médiatiques et numériques basée à Lyon, a élaboré, moyennant une discussion houleuse avec les représentants de la préfecture pour s’accorder sur les objectifs et la méthode, un dispositif de recherche-action menant à la création d’un outil pédagogique portant sur la consommation par les jeunes de contenus sur les médias numériques. L’objectif était de développer l’esprit critique des jeunes en leur faisant comprendre les mécanismes de circulation de l’information sur les réseaux sociaux et sur le web, l’importance des bulles de filtre et des algorithmes.

Les interventions (analyse des mécanismes de films de complot, mise en situation d’enquêteurs, jeux de rôle) ont porté sur 22 classes de 4^e de Vénissieux à raison de 4 sessions sur 4 mois. Un protocole d’évaluation a été mis en place dès le départ, basé sur un référentiel des compétences attendues chez les élèves (capacité à analyser les sources) et sur un questionnaire portant sur leurs pratiques informationnelles. Cette évaluation a montré que la première utilisation des médias numériques par les jeunes concerne les pratiques de loisirs, l’information arrivant en 6^e position. Ils regardent un très grand nombre de contenus, ont une assez bonne compréhension des algorithmes même si une bonne partie n’en comprend pas le fonctionnement profond. « Au-delà du manque de confiance dans les médias, les jeunes expriment un manque de confiance dans l’institution », a pointé Pauline Reboul, chargée d'études à Fréquence Écoles et doctorante en sciences de l'information et de la communication à l'Institut méditerranéen des sciences de l’information et de la communication (IMSIC, université de Toulon).

Apprendre à évaluer la crédibilité d’une source : l’offre de l’éditeur Milan

Pour clôturer la journée, l’éditeur pour la jeunesse Milan a présenté sa chaîne YouTube « Info ou mytho ? » destinée aux adolescents et qui compte plus de 440 000 abonnés. L’éditeur prévoit de lancer des fiches pédagogiques pour accompagner les enseignants qui utilisent cette chaîne avec leurs élèves, et développe également des supports d’EMI pour les 8-12 ans, des parcours médias, des webinaires thématiques.

Milan dispose aussi d’une plateforme éducative rassemblant différentes ressources en trois modules (s’informer, s’entraîner, produire), des parcours et des fiches pédagogiques pour les enseignants. Lucille Geay, chargée de recherche au sein de Milan Presse et doctorante en psychologie cognitive au Laboratoire cognition, langues, langage, ergonomie (CLLE, université Toulouse Jean Jaurès), a entamé l’évaluation de l’impact de cette plateforme dans le développement de l’esprit critique des enfants de 8 à 12 ans en les soumettant à différents tests (choix de sources d’information, réalisations de modules journalistiques). Les premiers résultats indiquent une amélioration des performances des enfants mais d’autres résultats sont attendus pour un bilan plus complet.