La difficile évaluation de l’action culturelle : quelle « mesurabilité », quelle méthode, quels outils ?

« Vous ne pouvez pas améliorer ce que vous ne mesurez pas. » (William Edwards Deming)

En matière d’action culturelle, l’évaluation est le corollaire indispensable de l’action mise en œuvre. Elle suppose une réflexion sur des objectifs à atteindre et permet d’apprécier la portée et l’utilité de l’action au regard du coût supporté par le service. Dans le cas d’une programmation culturelle, l’évaluation doit concerner l’ensemble du cycle d’événements. Elle vise à améliorer l’offre et peut inciter à rechercher de nouveaux partenariats ou de nouvelles compétences. L’évaluation est un outil au service du pilotage et de l’aide à la décision, mais dans le contexte de l’action culturelle, c’est également une source de capitalisation et un moyen de légitimation pour une activité qui ne bénéficie pas toujours de la même reconnaissance que les activités documentaires. Pour les bibliothèques publiques comme universitaires, l’action culturelle demeure un marqueur du dynamisme du service, de sa capacité d’innovation et un facteur d’attractivité pour le territoire ou le campus, qui se mesure moins à l’aune d’un événement donné que par l’intensité d’une programmation, en cohérence avec la politique culturelle de sa tutelle.

Ce volet d’évaluation est pourtant souvent perçu comme un élément de complexité et une contrainte supplémentaire pour l’action culturelle, déjà très consommatrice de ressources : à choisir, l’action prime sur une évaluation reléguée au rang des « consolidations ultérieures ». Nombre des professionnels interrogés sur le sujet disent manquer d’outils, de méthodes et/ou de moyens pour parvenir à comptabiliser la fréquentation des événements, et plus encore leur réception. Ils soulignent – non sans raison – des impossibilités techniques, des freins méthodologiques ou tout simplement un manque de temps, là où, pour d’autres dimensions du métier (accueil, usages des ressources documentaires, collections, signalement, exercice comptable), la collecte des données quantitatives est parfaitement intégrée aux activités et des dispositifs d’évaluation qualitative mis en œuvre et valorisés dans des bilans.

Cette réticence apparente est paradoxalement contredite par l’importance toujours plus grande accordée à l’action culturelle dans les rapports d’activité de bibliothèques, mais souvent réduite à des comptes rendus d’événements ou à une restitution chronologique de la programmation.

Une évaluation nationale existe

Les deux enquêtes statistiques nationales – l’eSGBU pour les bibliothèques de l’enseignement supérieur et de la recherche, et l’enquête Neoscrib pour les bibliothèques publiques – incluent l’action culturelle dans la collecte d’indicateurs sur les différentes facettes de l’activité annuelle de ces services. Force est de constater que les mesures choisies demeurent cependant peu éclairantes pour caractériser cette activité, et la différencier entre les établissements.

L’enquête annuelle sur les données d’activité des bibliothèques publiques, conduite par l’Observatoire de la lecture publique (OLP) du ministère de la Culture dans le cadre du contrôle technique exercé par l’État sur les collectivités territoriales, dédie une section entière (section H) à l’action culturelle qui est évaluée selon différentes dimensions :

• financière (section F – indicateur F5 – Dépenses spécifiques) ;
• ressources humaines (section G – indicateur G3 – Répartition du personnel par catégorie de services/fonctions) ;
• partenariats avec des institutions (H1), d’autres équipements culturels du territoire (H2), des structures associatives (H3). Pour chacun de ces partenariats, la part de population touchée est demandée ;
• type d’actions menées (H4) : expositions, conférences, rencontres, lectures, concerts, projections de films, séances de conte, clubs de lecteurs, ateliers d’écriture, participation à des fêtes, salons du livre ou festivals. Pour chacun de ces items, la nature du public accueilli (tous publics/enfants) est demandée, ainsi que la part de population touchée par les différentes catégories d’événements ;
• coopérations en matière d’action culturelle (H6).

Précisons toutefois que ce niveau de granularité appliqué à l’action culturelle n’est pas généralisé à l’ensemble des lieux de lecture. Il ne concerne que les bibliothèques qui remplissent les formulaires « complet » et « patrimoine ». Par ailleurs, bien que positionnées dans une section dédiée, les données recensées sont parfois de nature et de statut différents : elles agrègent visiblement toutes les actions de coopération et les relations partenariales qu’elles soient liées ou non à l’action culturelle, ce qui fragilise l’interprétation des données saisies pour certaines des rubriques de ce formulaire.

Des tests effectués récemment à une échelle départementale sur la base NeoScrib2023 montrent que la majorité des bibliothèques publiques parviennent à évaluer la fréquentation pour chaque type d’événements, ce qui témoigne d’une attention portée aux effets de ces actions sur les publics. C’est assurément l’un des apports de cette enquête nationale : valider pour les bibliothèques publiques l’intérêt qu’il y a à recenser la fréquentation des événements organisés.

L’enquête statistique sur les bibliothèques universitaires et les services documentaires de l’Enseignement supérieur et de la recherche (eSGBU) consacre quant à elle quelques indicateurs à l’action culturelle en bibliothèque universitaire (BU). Ces indicateurs figurent dans le groupe Publics du formulaire, avec les indicateurs relatifs à la fréquentation du service. Ils sont au nombre de deux :

• expositions (variable NbExpos) ;
• autres manifestations et visites (variable NbAutManif).

Comme le précise le manuel de saisie de l’eSGBU, c’est ici le nombre des expositions et manifestations qui est comptabilisé et non le nombre de visiteurs. Les comparaisons entre bibliothèques sont impossibles, la quantité ne révélant rien des moyens mis en œuvre, ni de l’ampleur des événements.

On trouve une première tentative d’estimation de la fréquentation au sein du groupe Usages numériques, qui décline ce recensement pour les expositions et manifestations proposées en ligne.

Trois indicateurs sont à renseigner par les BU :

• nombre d’expositions en ligne (variable NbExposNum) ;
• nombre de visiteurs des expositions en ligne (variable UsExposNum) ;
• manifestations culturelles en ligne (variable NbManifNum).

Le nombre de participants aux manifestations culturelles curieusement n’est pas demandé ici. Si ces indicateurs ont le mérite d’exister, ils n’incitent pas les BU à s’organiser pour collecter a minima des données de fréquentation sur l’ensemble des événements, et ils ne permettent pas non plus de disposer d’une typologie événementielle aussi fine que celle mise en place pour l’enquête à destination des bibliothèques publiques.

Les dépenses en matière d’action culturelle ne figurent pas dans les indicateurs du groupe Moyens. C’est pourtant une question importante, mais qu’il est difficile d’isoler depuis la mise en place de la gestion budgétaire et comptable publique (GBCP), celle-ci contraignant souvent les BU à se doter de tableaux internes de suivi financier.

Les ressources humaines consacrées à cette activité sont en revanche bien tracées dans le groupe Personnels par la section qui enregistre le nombre d’équivalent temps plein travaillé (ETPT) consacrés aux différentes activités.

Les deux enquêtes prennent donc en compte cette dimension de l’activité des bibliothèques avec une granularité variable qui matérialise sans doute la place respective de l’action culturelle dans les deux versants du métier. Cependant, l’eSGBU n’intègre pas encore suffisamment la nouvelle intensité et la diversité des formes que celle-ci peut prendre aujourd’hui, notamment depuis le développement d’actions au titre de la thématique « sciences et société » dans la programmation culturelle des bibliothèques universitaires.

Cette collecte d’indicateurs génériques, bien que très utile, ne saurait constituer une modalité d’évaluation suffisante. Il importe que la démarche soit opérée depuis les lieux qui conçoivent et mettent en œuvre cette action culturelle, laquelle répond toujours à des contextes locaux.

L’indispensable évaluation locale

Les facteurs bloquants pour conduire une évaluation interne de l’action culturelle sont a priori connus. Ils concernent principalement deux aspects :

• des limites techniques pour la mesure de la fréquentation, notamment pour les expositions dès lors qu’elles sont organisées dans un espace qui ne permet pas d’isoler les flux de visiteurs de la fréquentation ordinaire de la bibliothèque ;
• des difficultés à mesurer a posteriori la satisfaction, qui paradoxalement conduisent à reporter l’expression de cette satisfaction sur l’indicateur de la seule fréquentation de l’événement.

Pour dépasser ces freins, les bibliothèques devraient peut-être changer leur regard sur la nature même de l’évaluation : la considérer non plus comme la mesure d’un résultat, mais comme un processus qui accompagne l’ensemble des étapes de la conception d’un événement (cf. encadré) et qui doit être instruit comme une des conditions de réalisation et non plus comme un bilan de l’action, visant à rendre compte de façon transparente de la réalité de ce travail tout en permettant d’apporter des ajustements ou des correctifs au programme. L’évaluation est un élément à part entière du cycle du projet :

Figure. L’évaluation comme élément d’un cycle de projet

Source : adapté de L’évaluation dans la culture : pourquoi et comment évaluer, par Anne-Catherine De Perrot et Tina Wodiunig, édité par le Pour-cent culturel Migros et la Fondation suisse pour la culture Pro Helvetia, 2008.

Toute action répond à un objectif. En matière d’action culturelle, cet objectif peut être d’animer un lieu, d’être reconnu comme un acteur culturel, de développer de nouvelles relations partenariales, d’élargir son public ou de fidéliser un public cible déterminé, de valoriser des fonds, de contribuer au projet stratégique de sa tutelle, etc. La première étape de l’évaluation précède donc la mise en œuvre de cette action et doit conduire la bibliothèque à s’interroger sur la pertinence de son programme ou de l’événement qu’elle souhaite mettre en place au regard des effets attendus. Cette réflexion préalable qui consiste à interroger le « cadre de cohérence » de son action doit permettre in fine de se doter d’objectifs chiffrés (pourcentage de publics extérieurs, part du public étudiant ou adolescent, niveau de fréquentation, nombre de groupes accueillis, etc.) ou qualitatifs (couverture média avant, pendant et après l’événement, satisfaction exprimée, engagement du public sur les comptes de réseaux sociaux de la bibliothèque, etc.). À ce stade, il serait contre-productif de se priver de certains indicateurs au motif qu’ils seraient impossibles à collecter. La définition des modalités de mesure des impacts constitue une autre étape de l’évaluation de l’action qui nécessitera une réflexion du type coût/bénéfice pouvant effectivement conduire la bibliothèque à renoncer à certains indicateurs si elle les juge trop coûteux en ressources internes, ou insuffisamment robustes pour pouvoir être exploités ultérieurement, mais il est essentiel de consacrer la première étape de cette évaluation à caractériser précisément ses objectifs et à leur associer des indicateurs permettant de vérifier si ceux-ci sont atteints.

Tout objectif nécessite ensuite des moyens suffisants. La deuxième étape va consister à estimer les moyens à mobiliser pour atteindre ses objectifs (planification, budget, ressources humaines) et à mesurer l’impact de l’action culturelle envisagée sur le fonctionnement du service. Celui-ci doit pouvoir assumer cette activité sans dégrader les autres services de la bibliothèque. Durant cette étape, il sera important d’identifier les bonnes pratiques améliorant la qualité des processus pour que les actions ultérieures puissent en bénéficier, et passer ainsi d’une mise en œuvre plus ou moins efficace, à une réalisation plus efficiente. C’est durant cette deuxième étape qu’il conviendra également de définir :

• les outils de médiation les plus à même de satisfaire les objectifs définis qui joueront un rôle important pour la nature et la qualité de l’expérience vécue par les visiteurs : textes d’exposition, scénographie, signalétique, plan de communication, dossiers pédagogiques, etc. ;
• les modalités d’évaluation mises en place afin de mesurer par des indicateurs objectifs (chiffres, taux, profils des visiteurs, etc.) ou subjectifs (opinions, traces, témoignages, perception) le niveau d’atteinte de ses objectifs, ce qui impose souvent de concevoir des solutions de nature logistique : par quels moyens mesurer la fréquentation ? Si le problème est jugé au départ insoluble, en réalité les solutions ne manquent pas, mais supposent que cette question soit abordée comme l’une des étapes de la mise en œuvre de l’action : billetterie, préinscriptions, pourcentage de la fréquentation du lieu, mise en place d’un compteur automatique, comptage manuel, estimation par échantillonnage durant des périodes représentatives ; et pour les aspects subjectifs : séances d’observation, focus groups, questionnaires d’enquêtes ou simples entretiens directifs ou semi-directifs, cahier de visiteurs, etc. Ces modalités doivent être intégrées au calendrier du projet d’action culturelle. Particulièrement si elles nécessitent de mobiliser les équipes de la bibliothèque ou des ressources tierces, car ces objectifs comme les méthodes retenues doivent être largement partagés en interne.

La dernière étape va consister à collecter les indicateurs choisis au moyen des différentes méthodes retenues et à définir l’échéancier, les ressources nécessaires et les livrables attendus pour exploiter l’ensemble des données collectées.

Si l’effort à fournir pour évaluer l’action culturelle envisagée ici sous la forme d’un processus constant tout au long de la phase de conception d’un événement peut paraître non négligeable, il faut garder à l’esprit qu’elle peut aussi constituer un important levier de motivation pour les équipes, un moyen de consolider des partenariats et une opportunité supplémentaire pour prolonger l’impact de l’événement au-delà de sa durée. De plus, utilisée à bon escient, elle fournit des arguments pour convaincre la tutelle que l’action culturelle de la bibliothèque contribue bien à la politique culturelle définie par la collectivité et que les dépenses consenties pour cette action sont un investissement au service de la stratégie de cette dernière.

Les bibliothèques maîtrisent parfaitement l’exercice de l’évaluation appliqué à la politique documentaire, au traitement et à l’utilisation des collections, à la formation des usagers, etc. Il est grandement souhaitable, afin d’améliorer, voire d’étendre les services offerts dans ce domaine, qu’elles s’efforcent de mieux évaluer leurs actions culturelles. La réflexion nécessaire sur ce sujet peut aisément être intégrée à celle qui se déploie actuellement sur la fréquentation des bibliothèques, qu’elles soient territoriales ou universitaires 1