entête
entête

Compter, peser, mesurer

La question de la méthode, le choix des outils

Yves Alix

L’enquête nationale de 2005 sur la fréquentation des bibliothèques municipales, que Bruno Maresca, du Crédoc, Françoise Gaudet et Christophe Evans, de la Bpi, présentent dans ce dossier, a provoqué dans la profession, parce que ses résultats étaient inattendus, un mouvement d’interrogation sur la fiabilité des chiffres fournis par les sources statistiques officielles et les enquêtes de publics, nationales ou locales.

À cette occasion, ce n’est pas seulement la fragilité des indicateurs qui s’est à nouveau manifestée, mais aussi la confusion faite par beaucoup de professionnels (pour ne pas parler de la presse ni du grand public) entre des données de caractère très différent.

Non que ces données ne puissent être mises en rapport les unes avec les autres, au contraire. Mais les confondre, ou leur assigner le même objectif, expose au risque de l’erreur d’interprétation. Dans un contexte (national et international) où l’évaluation des services est devenue essentielle, les éléments qui la construisent n’ont pas tous la même importance ou la même pertinence au même moment, seraient-ils par ailleurs excellents en eux-mêmes. Pour dire les choses d’une manière plus imagée, tout ne fait pas ventre quand on veut mesurer l’impact ou la qualité des résultats d’une bibliothèque, et en particulier dans son rapport avec les publics qu’elle dessert, réels, potentiels, supposés… peut-être même fantasmés.

Cette préoccupation traverse le monde des bibliothèques depuis de nombreuses années, avec d’autant plus d’acuité que nous vivons dans une dynamique continue d’expansion et de développement. Les acteurs des bibliothèques municipales et départementales veulent mesurer les effets de l’augmentation et de la modernisation de l’offre sur le territoire, ceux des bibliothèques universitaires la place exacte de la documentation dans l’usage des étudiants comme des chercheurs. À cette aune, tout chiffre est bienvenu. Comptabiliser fait passer, dans l’imaginaire de chacun, du subjectif à l’objectif. Aussi bien sera-t-on tenté de s’appuyer indifféremment sur des statistiques issues des systèmes de gestion informatisée, des recueils statistiques obtenus par compilation de données déclaratives, des enquêtes de publics, etc., pour vérifier ce qu’on a pressenti, ou même, dans trop de cas, demander aux données chiffrées de bien vouloir se conformer à ce qu’on attendait d’elles.

Dans l’évaluation de la performance des établissements, dont les normes sont en cours d’actualisation 1, la quantification et la caractérisation des publics, ainsi que la pénétration de l’équipement dans la population desservie (pourcentage d’usagers dans le public potentiel, caractérisation et évolution des usages), sont des éléments de première importance. Et, on l’a vu plus haut, ces données sont aussi, pour les services publics financés par l’État ou les collectivités territoriales, essentielles pour évaluer les résultats des efforts collectifs consentis, justifier leur renouvellement, négocier leur augmentation.

La connaissance des publics est donc, faut-il le rappeler, un enjeu fondamental. Pour tous les professionnels, c’est d’ailleurs une nécessité vécue au quotidien. Le propos de ce dossier est de s’arrêter sur les éléments de cette connaissance. Pour contribuer à clarifier le sujet, à mieux en délimiter le périmètre, et présenter les outils méthodologiques qui peuvent aider chacun à tirer le meilleur parti d’une démarche qui ne peut plus, aujourd’hui, rester empirique. En effet, la prolifération des études menées en dehors de tout caractère scientifique, l’incapacité à distinguer production de données de gestion et production de données statistiques, font courir un risque quant à la crédibilité du discours des professionnels vis-à-vis de leurs partenaires ou de leurs tutelles, dans un contexte sensible placé sous l’influence de la Lolf (Loi organique relative aux lois de finances), qui encourage à faire l’évaluation de son activité.

Deux grands ensembles structurent toute démarche d’objectivation dans le domaine : les statistiques et les enquêtes. La science statistique, qui aurait quelque prétention à être exacte, et la sociologie, qui demeure une science sociale, comme le rappelle opportunément Stéphane Wahnich dans le dossier.

Distinguer les unes et les autres est une première exigence. Cette distinction est d’abord celle des objectifs visés.

Les statistiques apportent sur les publics des données quantitatives apparemment sûres, mais dont la fiabilité est en fait très variable. Prenons comme exemple la grande enquête statistique nationale annuelle du ministère de la Culture pour les bibliothèques territoriales (voir l’article de François Rouyer-Gayette et Denis Cordazzo). Elle a un taux de réponse certes satisfaisant, mais l’écart entre la population théorique constituant le périmètre de l’enquête et l’échantillon réel retenu reste très important, près d’un quart des questionnaires envoyés n’étant pas pris en compte dans les décomptes définitifs. Certains résultats, comme le taux d’inscrits dans la population (devenu depuis quelques années, en raison de sa commodité, l’indicateur emblématique du rayonnement des bibliothèques municipales) en deviennent problématiques lorsqu’une autre source (l’enquête de population du Crédoc) vient les contredire frontalement. Pourquoi un tel hiatus, pourquoi cet écart ? Or, ces résultats ne sont pourtant pas inexacts. Mais ils doivent toujours être contextualisés, et il semble bien qu’on en ait perdu l’habitude.

L’assiette, le périmètre, le caractère plus ou moins exhaustif de l’échantillon, tels sont quelques-uns des paramètres susceptibles, sinon de fragiliser, tout au moins de rendre délicats à manier, les résultats statistiques. Il faut y ajouter la part d’incertitude du déclaratif, non assorti d’un contrôle strict de la véracité des chiffres fournis. Que ceux-ci soient donnés par les hommes (desquels on se méfie peut-être trop, mais c’est plus sage) ou par les machines (dont on ne se méfie jamais assez).

L’enquête statistique du ministère de l’Éducation nationale pour les bibliothèques et organismes documentaires de l’enseignement supérieur, que présente avec la plus grande précision Alain Colas dans notre dossier, ne souffre pas de problème d’assiette, puisque quasiment tous les établissements répondent. Pourtant, les limites des données récoltées sont là aussi ré-elles. Passons sur le caractère déclaratif, mais les déclarants se demandent souvent quels chiffres donner : inscrits, inscrits au prêt, fréquentants ? Et comment mettre les compteurs à zéro, d’une campagne à l’autre ? On sait que la culture des données statistiques reste problématique. Les services communs de documentation ne peuvent donner que les chiffres qu’ils possèdent. Or, beaucoup proviennent, comme le souligne Alain Colas, de modules de systèmes intégrés de gestion de bibliothèque ou de systèmes d’information, qui enregistrent des flux et des transactions mais restent très faibles pour la mesure, même uniquement quantitative, des usages.

Les enquêtes directes auprès des publics posent des questions du même ordre et d’autres d’un ordre différent. Quel que soit le type d’enquête, le biais induit par le caractère déclaratif des réponses doit toujours conduire à la prudence dans l’analyse. Stéphane Wahnich, dans son article, rappelle cet impératif. Il le fait toutefois avec le regard du sociologue, apte à maîtriser les indices, signaux, preuves, que la confrontation des données brutes permet si on dispose des grilles adaptées. Mais les bibliothécaires doivent, quant à eux, se garder d’un tel risque, d’autant plus difficile à maîtriser qu’il grandit avec la soif que chacun éprouve de connaître « ses » publics. Le danger de la surinterprétation, je crains fort que nous en soyons tous atteints, ou que nous puissions tous l’être un jour ou l’autre. Le remède n’est pas seulement dans le recours à des spécialistes et à des prestataires expérimentés, il est aussi dans la qualité de la démarche méthodologique à mettre en place.

Quelles études pour quels publics ? est la question primordiale à se poser. Il va de soi que l’identification des publics à étudier et des populations statistiques de référence est un préalable à toute démarche de formalisation d’un protocole d’enquête. Mais au-delà, c’est le type de connaissances recherchées qui est essentiellement déterminant. Travaille-t-on sur les populations à desservir, ou sur les populations déjà utilisatrices ? Quelle image de cette population veut-on révéler ? De quel type de pratique veut-on rendre compte ? Documentaire, culturelle, d’usage ? Que veut-on restituer ? La mesure d’un usage, d’une intensité d’usage, un mode d’usage, un degré de satisfaction ?

Devant la fragilité des indicateurs et des outils permettant la connaissance des publics, la consolidation des résultats passe, nous semble-t-il, par trois facteurs complémentaires.

Le premier est la mise en cohérence sur la durée des outils de référence statistiques. Les outils traditionnels, comme l’ESGBU 2 ou l’enquête annuelle des bibliothèques territoriales doivent être conservés, avec les mêmes rubriques pour continuer de travailler sur des séries longues, mais ils doivent évoluer. Ainsi, la fiabilité des données doit-elle être un objectif prioritaire, et commun. Et la dimension comparative s’impose-t-elle, pour mesurer le niveau d’usage et l’impact des bibliothèques françaises, sur le plan européen et international 3.

Il faut travailler sur des enquêtes, les multiplier et les diversifier ne peut en soi être nocif. Mais faire un bon protocole d’enquête suppose d’abord d’être au clair sur ses missions et sur ses objectifs stratégiques. Par ailleurs, le spectre des enquêtes doit s’élargir, très vite, et des outils d’analyse adaptés doivent être forgés pour mieux prendre en compte la diversité des publics et des usages.

Certes, ce qui intéresse d’abord les praticiens (universités, bibliothèques), mais probablement aussi, in fine, les politiques, ce sont des groupes. On prend en considération les pratiques individuelles, mais la question des groupes est majeure. Les études étant là aussi pour aider à ajuster l’offre, en fonction des usages réels, on doit donc chercher à caractériser les populations de la façon la plus fine, dans une dialectique entre les pratiques de groupe clairement identifiables et les usages individuels. Cette analyse ne peut qu’aider à adapter l’offre à la demande.

Pour comprendre ce qui se fait en bibliothèque, ne faut-il pas aussi observer et prendre en compte ce qui se passe à domicile, dans la vie privée ? Les segmentations traditionnelles, par catégories socioprofessionnelles, par filières et par disciplines pour les étudiants, par âge ou par situation géographique, discriminent de moins en moins les pratiques, ou en tout cas ne suffisent pas à expliquer les pratiques discriminantes. L’usage de méthodes innovantes comme les approches marketing d’analyse de la demande est sans doute devenu indispensable.

Les professionnels n’ont-ils pas tout intérêt à partager leurs informations, à échanger davantage ? Le 7 février dernier, l’Enssib et l’Inspection générale des bibliothèques avaient organisé à Paris un séminaire pour confronter les discours des statisticiens, des sociologues et des bibliothèques sur les enquêtes de publics en milieu étudiant. L’objectif de cette rencontre était d’abord de travailler sur les méthodes, en partant de constats partagés : les enquêtes sur les pratiques des étudiants sont nourries par l’inquiétude (c’était avant l’enquête du Crédoc), les usages réels des étudiants ne sont pas les usages postulés, les différents systèmes d’enquêtes sont peu communiquants, les professionnels des bibliothèques ne sont pas suffisamment armés pour évaluer à la fois les méthodes proposées et les résultats présentés, ou apprécier l’intérêt des méthodes qualitatives.

Le dossier de ce numéro se fait l’écho de cette rencontre, à travers un ensemble de contributions dont le contenu avait été largement esquissé ce jour-là. Après le dossier du numéro 2 de cette année sur les étudiants en bibliothèques, celui-ci élargit le champ de la réflexion, en traitant à la fois, dans une démarche logique, des enquêtes et des statistiques comme outils de la connaissance des publics, et en proposant une sorte de « forum de la méthode », dont on peut espérer qu’il se poursuivra.

En concluant le séminaire du 7 février, Daniel Renoult avait suggéré l’idée d’une instance chargée de rassembler les enquêtes, de faciliter leur coordination et d’en établir des synthèses régulières. Cette instance pourrait être une sorte d’observatoire, à tout le moins un lieu commun où ce forum pourrait se déployer. Gageons que tous les professionnels y trouveraient largement leur compte.

D’autres enquêtes

Il n’était pas possible de présenter ni même de citer dans ce dossier toutes les enquêtes de ces dernières années. On peut néanmoins rappeler quelques références récentes.

Les enquêtes en bibliothèques universitaires, ou sur les étudiants, déjà mentionnées dans le no 2 de 2006 du BBF, notamment l’enquête du Crédoc sur les pratiques documentaires des étudiants, chercheurs et enseignants-chercheurs de Paris VI et Paris VII, consultable sur le site : www.credoc.fr/publications/etudes.php (voir encadré p. 19), ainsi que l’enquête sur « les publics étudiants à la Bibliothèque nationale de France » menée en 2005 et présentée par Romuald Ripon, BBF, 2006, no 2. Consulter aussi, pour la période précédente : « Les étudiants parisiens et les bibliothèques universitaires : le cas des lettres et sciences humaines », par Daniel Renoult, BBF, 2004, no 5.

À partir de deux enquêtes menées à la médiathèque José Cabanis de Toulouse en 2004 et à la bibliothèque d’anglais et de sciences du langage de l’université Toulouse – Le Mirail en 2005, la sociologue Mariangela Roselli propose une synthèse sous forme de « Réflexion autour des pratiques de lecture, dans Mots de cocagne, revue du centre régional des lettres de Midi-Pyrénées, no 9, été 2006.

Le conseil général du Val-d’Oise a fait réaliser en 2003 une enquête de public dans l’Est du Val-d’Oise. Les résultats, « Usages et usagers des bibliothèques en Pays de France et Plaine de France », sont consultables sur le site www.valdoise.fr/biblio/bdvo. Dans la revue de la BDP, Lire en Val d’Oise, no 52, juin 2006, Dominique Lahary a par ailleurs réuni un dossier sur la fréquentation des bibliothèques françaises, qui comprend d’utiles rappels méthodologiques.

Enfin, on peut citer, comme exemple d’enquête faite sur un réseau urbain important, comprenant un grand établissement récent, l’enquête de satisfaction menée sur le réseau des médiathèques de Montpellier-Agglomération en janvier-février 2006, coréalisée par la direction des médiathèques et la faculté des sciences économiques. La synthèse exploite 710 questionnaires, passés par échantillon selon la méthode des quotas.

L’enquête constate un taux de satisfaction élevé (85 %), à pondérer toutefois dans la mesure où il s’agit d’une enquête auprès des seuls usagers, et avec une relative uniformité des niveaux de satisfaction et des attentes entre les équipements centraux et les établissements de quartier. La diversification des usages, constat fait au niveau national, est ici patente, ainsi que le niveau significatif (17 %) d’usagers non inscrits : 24 % viennent pour une autre activité que l’emprunt de documents. Toutefois, la grande majorité des lecteurs, utilisateurs fréquents et réguliers, restent attachés à la vision traditionnelle de la bibliothèque comme lieu de prêt. Beaucoup de services restent méconnus ou sous-utilisés : 60 % ignorent l’existence du site Internet, la moitié des usagers ignorent les cabines de langues ou ne les utilisent pas, 92 % n’assistent jamais aux animations. Internet n’est utilisé sur place que par 23,7 % du public, alors que 63 % sont connectés à leur domicile. Si l’accueil satisfait 94 % des personnes interrogées, 6 % seulement ont recours aux bibliothécaires pour le renseignement et 12 % peinent à s’orienter dans les collections. On notera enfin que les horaires d’ouverture suscitent un taux d’insatisfaction relativement élevé, près de 30 %, qui atteint 42 % chez les étudiants.

Tirant les enseignements de ces résultats, le réseau montpelliérain définit trois axes de travail pour améliorer ses performances et répondre aux attentes des publics : mieux communiquer pour faire connaître la diversité des services, faciliter l’accès à ceux-ci, répondre aux critiques sur l’offre documentaire.

Pour des informations complémentaires :

secretariatdesmediatheques@montpellier-agglo.com

    1.  (retour)↑  Voir la norme ISO DIS 11620, Information and Documentation – Library Performance Indicators, rév. 2006, et pour les statistiques, la norme ISO 2789, Information et Documentation – Statistiques de bibliothèques. Voir aussi Thierry Giappiconi, Manuel théorique et pratique d’évaluation des bibliothèques et centres documentaires, Éditions du Cercle de la librairie, coll. « Bibliothèques », 2001.
    2.  (retour)↑  Enquête statistique générale des bibliothèques universitaires, voir l’article d’Alain Colas dans ce numéro.
    3.  (retour)↑  Faute de place, il n’était pas possible de donner cette dimension comparative et internationale dans ce dossier essentiellement méthodologique. Le BBF y reviendra ultérieurement.