Les transformations pédagogiques en BU

Au service de la réussite étudiante ?

Carole de Bonnefond

L’innovation pédagogique et de façon plus générale, la formation dispensée au sein des bibliothèques universitaires, ont-elles un impact sur la réussite étudiante ? Si nos voisins anglophones se sont saisis depuis longtemps de cette question, dans l’Hexagone cela reste un vœu pieux. Pourtant le contexte semble favorable à une étude d’impact d’envergure, comme en témoignent à la fois l’évolution du champ de l’évaluation et les remontées du terrain avec des bibliothécaires qui commencent à se saisir de cette problématique et plus largement l’ADBU qui a entrepris une enquête préparatoire sur le lien entre BU et réussite.

Do innovative teaching methods and, more broadly, the courses taught at university libraries help students succeed? Libraries in the Anglosphere have long been exploring the issue, while in France the focus has been elsewhere. The context seems favourable for a wide-ranging impact study, as indicated by changes in how students are evaluated and feedback from librarians who are beginning to take an interest in the issue. The ADBU has launched a preliminary survey into how university libraries help students succeed.

Escape Game, MOOC, jeux de piste, Murder Party, Serious Games : autant de termes devenus monnaie courante dans nos pratiques de formateurs. Des termes qui disent l’évolution des méthodes d’apprentissage, la transformation pédagogique à l’œuvre dans l’enseignement supérieur. Cette transformation, relayée dans les expériences innovantes au sein des BU, est certes le fait de l’évolution technologique et d’une approche qui s’oriente désormais vers l’acquisition de compétences. Mais elle est aussi le fait d’une volonté de favoriser la réussite des étudiants. En adoptant certains de leurs codes, les formateurs visent une meilleure assimilation du contenu. Derrière l’innovation pédagogique se cachent des enjeux de lutte contre l’échec à l’université.

Faire évoluer les formes d’enseignement en s’appuyant sur les nouvelles technologies, c’est toujours œuvrer à la réussite étudiante. Les changements qui affectent les formations dispensées dans les BU ne viennent pas changer l’objectif : favoriser la réussite.

Par-delà les changements, se pose donc toujours la question de l’impact de nos formations sur le parcours de l’étudiant. Favorisent-elles un rythme de diplomation plus rapide, une meilleure acculturation au monde universitaire, une insertion professionnelle plus efficace en fournissant des codes de lecture dans un univers informationnel saturé ?

Nous n’avons pour l’instant, dans l’Hexagone, aucune réponse à cette question qui reste en suspens depuis des décennies et qui revient pourtant de manière lancinante dès qu’on évoque la formation des usagers : « Une évaluation, même simple, menée de manière scientifique, sur l’impact de ces formations sur les étudiants, […] pourrait conforter celle-ci auprès des instances universitaires 1. » Voilà ce qu’écrivait, il y a vingt ans, Élisabeth Noël au sujet des formations documentaires dispensées au sein des BU. Ce souhait se trouve reformulé dix ans plus tard en conclusion d’une enquête menée par l’ADBU sur les formations : « Aussi cette enquête laisse-t-elle encore des perspectives ouvertes : […] quelle évaluation de la formation, et bien sûr, de manière plus lointaine, quel impact réel sur les étudiants ?  2 »

La plupart des dossiers consacrés au thème de la formation documentaire exhortent à la mise en œuvre d’une évaluation d’impact des formations sur les étudiants. Pour autant, rien ne s’est fait depuis les travaux d’Alain Coulon  3, qui remontent aux années 1990, et ce vœu reste, de toute évidence, un vœu pieux.

L’enjeu est pourtant considérable à l’aune des transformations pédagogiques que nous connaissons. Si nous voulons plaider en faveur de nouveaux espaces dédiés aux innovations pédagogiques au sein de nos bibliothèques, pour une collaboration plus étroite avec les équipes enseignantes autour des compétences informationnelles, il faut pouvoir asseoir nos actions sur une évaluation objective de leur impact.

Brève revue de littérature

Actuellement, pour trouver des études d’impact de la formation aux compétences informationnelles sur la réussite étudiante  4, il faut traverser l’Atlantique ! C’est principalement sur le continent américain en effet que nous trouvons ce type d’études, exclusivement anglophones, menées au sein d’établissements universitaires états-uniens.

Ces études s’attachent à explorer la corrélation possible entre la réussite dans les études et le suivi des formations à la méthodologie documentaire. Elles donnent des résultats contrastés.

La réussite est entendue différemment selon les études même si elle se traduit la plupart du temps par la moyenne générale obtenue pendant une année ou sur la totalité du cursus universitaire (notion américaine de Grade Point Average). Elle peut prendre aussi la forme de la persévérance dans les études, du taux ou du rythme d’obtention du diplôme. Elle est, quoi qu’il en soit, toujours adossée aux notes obtenues.

Concernant le service « formation des usagers » évalué, il y a des distinctions d’une étude à l’autre. Ainsi, certaines s’attachent au simple fait de suivre une formation aux compétences informationnelles (Information Literacy), là où d’autres s’attachent au mode de transmission (binôme bibliothécaire/enseignant dans les formations, formes pédagogiques), voire à la fréquence des formations.

Ces études sont exclusivement quantitatives. Elles s’appuient sur les données relatives au diplôme et aux notes fournies par les services de scolarité, et les données relatives aux formations fournies par la bibliothèque. Ces données sont mises en regard pour établir un lien de corrélation à l’aide d’une méthode statistique éprouvée scientifiquement.

Quels résultats et conclusions émanent de ces études ? Dans l’ensemble, une corrélation est établie entre le fait de suivre un cours de méthodologie documentaire et la réussite dans les études. Les étudiants ayant suivi le cours obtiennent de meilleurs résultats ou ont un rythme de diplomation plus rapide que ceux ne l’ayant pas suivi. Cependant, selon les études, des nuances sont à apporter. L’une d’entre elles  5, qui s’attache à mesurer l’impact relativement au nombre de séances de formation suivies, conclut que l’effet est lié à la récurrence des formations. Le fait de suivre une formation n’entraîne pas de meilleure réussite alors que le fait d’assister à trois ou quatre sessions a un impact sur les résultats des étudiants. D’autres études qui concluent à une corrélation montrent toutefois que les notes obtenues par la cohorte ayant suivi la formation ne sont pas beaucoup plus élevées que celles de la cohorte ne l’ayant pas suivie  6. Dans un cas  7, elles sont même moins bonnes (mais les taux et rythmes de diplomation restent plus élevés parmi la cohorte ayant suivi la session de formation).

Les résultats indiqués ici restent à prendre avec prudence dans la mesure où corrélation n’est pas causalité et où toutes les études menées soulèvent des problèmes méthodologiques. En amont, il y a le choix de l’échantillon qui induit souvent de nombreux biais. Ainsi, dans certaines études, la cohorte d’étudiants ayant assisté à une formation aux compétences informationnelles est constituée uniquement d’étudiants qui suivent la formation au volontariat. Or ces étudiants sont souvent ceux qui sont le moins en difficulté et dont la réussite est garantie, indépendamment du fait de suivre la formation ou pas. Le choix d’un échantillon portant uniquement sur une discipline induit aussi un biais.

Ensuite il y a le problème de la méthode statistique utilisée. Dans la plupart des études, il s’agit d’un test d’indépendance (test du khi-deux de Pearson) dont la portée reste limitée car il n’évalue que la corrélation, et dont l’usage est critiqué car il ne permet pas de prendre en compte les variables parasites (il s’agit en effet d’un test bi-varié) qui jouent pourtant un rôle fondamental dans les facteurs de réussite scolaire. Le recours à un test « inadapté » limite la portée des études. D’autres éléments liés à la taille de l’échantillon, à la durée de l’étude peuvent également en limiter la portée.

C’est peut-être ces difficultés, associées à un manque de moyens, qui font que nous ne trouvons en France aucune étude récente de ce type. Et ce, malgré la conviction de sa nécessité exprimée dans chaque numéro du BBF consacré à la formation documentaire. Il semblerait toutefois qu’une convergence de facteurs – nécessité de justifier nos actions, évolution de l’évaluation vers les mesures d’impact – favorise l’émergence d’une étude nationale.

Évolution du champ de l’évaluation : les études d’impact

L’étude menée au sein des universités toulousaines sur l’impact des prêts sur la réussite  8, l’étude menée au sein de la BDP du Val-d’Oise sur l’impact socio-économique des bibliothèques de lecture publique  9 sont autant de précédents qui pointent vers un élément clé : la révolution copernicienne qui est en train de s’opérer dans le champ de l’évaluation. La publication d’un livre blanc sur les mesures d’impact  10, la rédaction de la norme 16439  11 relative à l’évaluation de l’impact des bibliothèques témoignent de cette évolution qui considère les bénéfices externes de nos services et plus seulement les bénéfices internes. Ce nouveau stade de l’évaluation offre un terrain favorable, auquel s’ajoute une maturation des esprits chez les bibliothécaires en charge des services de formation des usagers qui semblent de plus en plus ouverts à une évaluation d’impact.

Focus sur une enquête exploratoire auprès des services de formation des usagers en BU

Dans le cadre du mémoire de recherche des élèves conservateurs de l’Enssib que j’ai consacré à l’évaluation de l’impact des formations documentaires sur la réussite étudiante  12, j’ai mené en 2017 une enquête afin de connaître le degré de maturité de cette problématique chez les professionnels. J’ai cherché à savoir si les bibliothécaires s’étaient saisis de cette question, s’ils étaient en passe de le faire ou s’ils en étaient encore très éloignés.

Cette enquête exploratoire a pris la forme d’un questionnaire auto-administré qui a été envoyé aux responsables du service formation des usagers des bibliothèques universitaires métropolitaines et d’outre-mer. La population cible était facile à circonscrire et n’a pas nécessité d’échantillonnage dans la mesure où je souhaitais tendre vers l’exhaustivité parmi une population numériquement restreinte et bien identifiée.

Le questionnaire avait deux parties : l’une consacrée à la formation à proprement parler. Il s’agissait de vérifier sa légitimation au sein de l’établissement, et ce faisant, dans la seconde partie, de savoir si une étude d’impact avait ou allait être entreprise localement.

Quels résultats apparaissent ?

Sur une population cible d’environ 80 personnes, 32 ont répondu intégralement au questionnaire, soit un taux de réponse de 40 %, ce qui rend les conclusions statistiquement significatives.

Concernant les actions de formation aux compétences informationnelles, elles sont bien ancrées dans les pratiques puisque 25 répondants sur 32 affirment qu’elles ont un caractère obligatoire (avec des nuances, dans la mesure où cela varie selon les disciplines). En outre, pour la moitié des répondants, ces formations sont évaluées et prises en compte dans la note de l’unité d’enseignement à laquelle elles sont rattachées.

Illustration
Avez-vous entrepris de mesurer l’impact de ces formations sur la réussite des étudiants ?

Illustration
Envisagez-vous d’évaluer cet impact ?

Concernant l’impact des formations sur la réussite étudiante, 7 répondants affirment avoir entrepris sa mesure, et parmi eux, 5 affirment qu’il y a une incidence sur la réussite. Quant aux 25 répondants n’ayant pas entrepris une telle mesure, 12 d’entre eux envisagent de le faire.

Il ressort donc de cette enquête, dont le caractère reste exploratoire, que l’évaluation d’impact à l’échelle d’une BU est quasi inexistante. Cependant, elle n’est pas nulle et elle est renforcée par le nombre de répondants qui déclarent envisager de s’engager dans cette voie. En additionnant en effet les personnes déjà engagées dans une mesure d’impact et celles qui pensent s’y engager, cela représente 60 % des répondants.

Il semble qu’un niveau de maturation ait été atteint et que quelque chose se dessine nettement en faveur de l’évaluation de l’impact des formations documentaires sur la réussite étudiante.

J’en veux pour preuve la saisie toute récente, par les commissions Indicateurs et Pédagogie de l’ADBU, de ce sujet : une enquête préliminaire à une évaluation d’impact de la BU, et notamment des formations (voir encadré ci-contre), est en cours et devrait donner lieu à des recommandations méthodologiques pour mener enfin cette évaluation à une échelle nationale.

De l’exhortation à l’action, il semble qu’il n’y ait plus qu’un pas…

Enquête ADBU sur l’impact des formations sur la réussite étudiante – Une première étape est franchie !

L’ADBU, soucieuse de disposer de données fiables et à jour, a souhaité confier à la société MV2 une étude exploratoire sur la réussite étudiante, menée de juin à décembre 2018, auprès d’un échantillon d’étudiants et de jeunes actifs. Les premiers résultats ont été dévoilés lors du congrès de l’ADBU à Brest fin septembre.

Il s’agissait, dans un premier temps, de circonscrire les notions de réussite et d’impact et de proposer plusieurs méthodologies d’études d’impact. Cette étape constitue un préalable à la réalisation d’une enquête d’envergure sur l’impact de nos formations sur la réussite étudiante qui devrait être menée en 2019.

La société prestataire a utilisé des méthodes qualitatives pour tâcher de définir, du point de vue de l’étudiant, la notion de réussite. Avec l’aide des commissions Pédagogie et Évaluation de l’ADBU, elle a établi un questionnaire et a organisé des entretiens individuels et des focus groups en ligne et en présentiel. Elle a constitué un échantillon très large selon les recommandations de l’ADBU qui souhaitait une représentation de tous les niveaux d’étude, de la licence 1 au doctorat, de tous les domaines disciplinaires et un ancrage sur l’ensemble du territoire national (mêlant grands pôles d’enseignement supérieur et établissements de petite et moyenne taille).

L’ensemble des conclusions de cette étude est attendu pour la fin de l’année et devrait constituer une ossature solide pour engager ce que nous appelons de nos vœux depuis fort longtemps : LA grande enquête concernant l’impact des actions pédagogiques des bibliothèques sur la réussite étudiante.

Verbatim issus des premiers résultats
de l’enquête MV2

« Mon entourage a joué un très grand rôle. La bibliothèque universitaire est aussi un facteur important de réussite parce que l’on peut avoir accès aux livres dont parlent les professeurs en cours, avoir un espace de travail où l’on peut venir en groupe mais aussi seule » (une étudiante en deuxième année de doctorat d’anglais).

« La bibliothèque universitaire joue un rôle énorme. Travailler tout seul ne m’a pas réussi. Elle joue le rôle d’un professeur » (un étudiant en licence 3 d’économie-gestion).

« […] sans la bibliothèque, je ne pourrais pas travailler de façon aussi efficace et je réussirais moins bien mes examens » (une étudiante en deuxième année de médecine).

« Aller à la bibliothèque, ce n’est pas la clef de la réussite, mais il est plus facile de se laisser distancer si l’on n’y va pas » (une étudiante en licence 1 de psychologie).