L’évaluation, un levier du changement ?

L’évaluation est aujourd’hui au cœur des réformes de l’enseignement supérieur et de la recherche. Elle s’inscrit dans la révision générale des politiques publiques et introduit des logiques de projets (objectifs, moyens, résultats) là où ont longtemps prévalu des logiques de moyens. Elle se présente, dans ce contexte, comme l’un des nombreux leviers de changements qui bouleversent les principes et les valeurs sur lesquels se fondait jusque-là l’action des individus. Or, pour que l’évaluation puisse jouer son rôle d’outil au service de l’action, du changement et de l’apprentissage organisationnel, il faut lui donner du sens. Cela devient possible, à condition d’impliquer tous les acteurs dans le processus car si les outils sont nécessaires, il faut aussi – et surtout – des hommes et des femmes pour se les approprier et d’autres capables de coordonner et de piloter l’action collective.

Evaluation is now at the heart of university and research sector reform. It is part of a wider overhaul of public policy, bringing a project-based approach (invol¬ving objectives, means, and results) to areas long dominated by means-based approaches. In this context, it can be seen as one of many levers for change that are challenging the principles and values that have long underpinned people’s individual actions. In order for evaluation to act as a tool for action, change, and an organisational learning curve, its meaning must be established. It is possible to do so, provided that all stakeholders in the process are involved; while such tools are indeed necessary, they also require people to work them and to oversee and manage the process of collective action.

Die Evaluierung steht heute im Mittelpunkt der Hochschul- und Forschungsreformen. Sie erfolgt damit im Rahmen der Gesamtrevision der öffentlichen Politik und führt dort, wo lange Finanzverfahren maßgebend waren, Projektlogik ein (Ziele, Maßnahmen, Ergebnisse). Sie tritt in diesem Zusammenhang als einer der zahlreichen Veränderungsantriebe auf, die die Grundsätze und die Werte, auf denen sich bis dahin das Vorgehen der Einzelnen gründete, völlig verändern. Damit die Evaluierung nun aber ihre Rolle als Hilfsmittel im Dienste der Handlung, der Veränderung und des organisatorischen Lernens spielen kann, muss ihr Bedeutung beigemessen werden. Dies wird unter der Bedingung der Einbeziehung aller Akteure in den Prozess möglich, denn wenn die Hilfsmittel notwendig sind, benötigt man auch und vor allem Männer und Frauen, die sich sie aneignen und andere mit der Fähigkeit, das gemeinsame Vorgehen zu koordinieren und zu führen.

La evaluación está hoy en día en el corazón de las reformas de la enseñanza superior y de la investigación. Ella se inscribe en la revisión general de las políticas públicas e introduce lógicas de proyectos (objetivos, medios, resultados) allí donde han prevalecido durante largo tiempo lógicas de medios. Se presenta en este contexto, como una de las numerosas palancas de cambios que trastornan los principios y los valores sobre los cuales se fundaba hasta entonces la acción de los individuos. Ahora bien, para que la evaluación pueda jugar su papel de herramienta al servicio de la acción, del cambio y del aprendizaje organizativo, hay que darle sentido. Esto se vuelve posible, a condición de implicar a todos los actores en el proceso ya que si las herramientas son necesarias, hay que tener también y sobretodo hombres y mujeres para apropiárselas y otras capaces de coordinar y pilotar la acción colectiva.

L’évaluation est aujourd’hui au cœur des réformes de l’enseignement supérieur et de la recherche. Elle s’inscrit dans la révision générale des politiques publiques et introduit des logiques de projets (objectifs, moyens, résultats) là où ont longtemps prévalu des logiques de moyens.

À quoi sert l’évaluation ?

L’évaluation est avant tout au service de l’action. Elle permet d’orienter cette dernière à partir de la prise de conscience, par les acteurs d’une organisation (ou d’un projet), des limites ou des avancées produites par leur activité. C’est un outil de gestion, d’information et de contrôle à la disposition de ces mêmes acteurs.

Centrée sur l’analyse systématique de l’action, de ses impacts et de ses stratégies d’intervention, l’évaluation favorise une démarche réflexive nécessaire à la construction d’un « savoir pour l’action 1 ». Elle contribue à l’apprentissage organisationnel au sens que lui ont donné Chris Argyris et Donald A. Schön  2.

L’apprentissage organisationnel peut être défini comme « un phénomène collectif d’acquisition et d’élaboration de compétences qui, plus ou moins profondément, plus ou moins durablement, modifie la gestion des situations et les situations elles-mêmes 3 ».

Argyris défend l’idée selon laquelle la capacité d’apprentissage d’une organisation constitue son capital le plus important. C’est elle qui permet aux organismes, qu’ils soient publics ou privés, d’appréhender les changements auxquels ils sont confrontés en permanence. Cette capacité d’apprentissage est toutefois conditionnée en grande partie par la cohérence des décisions de l’équipe de direction et le style de management. Plus ce dernier sera participatif et donnera aux individus l’opportunité d’être des acteurs à part entière, plus les apprentissages individuels et collectifs pourront se développer. Dans une organisation apprenante, l’erreur, loin d’être sanctionnée, devient source d’enseignement pour progresser.

Que recouvre l’évaluation dans les universités ?

L’évaluation dans les universités porte sur l’enseignement et la recherche mais aussi sur la gouvernance et la gestion des établissements (ressources humaines et financières, systèmes d’information et patrimoine immobilier). Son impact est d’autant plus important que les résultats de ces évaluations conditionneront à terme la dotation des universités dans le cadre de leur contractualisation avec l’État.

Ne perdons pas de vue que l’évaluation des universités s’inscrit dans un champ de réforme, légitimé par le vote d’une loi (LRU)  4. L’État se veut pilote, partenaire des établissements et « garant de l’application de la réforme 5 ». L’évaluation se présente, dans ce contexte, comme l’un des nombreux leviers de changements qui bouleversent les principes et les valeurs sur lesquels se fondait jusque-là l’action des individus.

Ce qui change, c’est l’autonomie accordée aux établissements. De cette autonomie découle une responsabilité accrue des universités dans la mise en œuvre de la réforme. Celles-ci doivent non seulement rendre compte de la manière dont elles ont géré les deniers publics, mais aussi se positionner sur un marché concurrentiel. L’État subventionne, l’État attend des résultats.

En conséquence, il revient à chaque université d’élaborer sa propre stratégie et d’en piloter le déploiement comme le ferait une entreprise du secteur marchand.

L’objectif est bien de développer une culture du pilotage, de la qualité, de la performance et du résultat.

L’introduction de nouveaux outils de gestion peut sans doute favoriser l’émergence de nouvelles logiques d’action. Il convient toutefois de s’assurer que ceux qui les mobiliseront en ont compris l’essence.

L’évaluation des établissements par le biais des indicateurs

L’évaluation des établissements se matérialise notamment par une batterie d’enquêtes et d’indicateurs. Cette attention particulière portée à la mesure n’est pas sans poser un certain nombre de problèmes, et le biais majeur consisterait en une instrumentalisation de la démarche : la mesure pour la mesure.

Une de mes inquiétudes porte sur la quantité d’indicateurs que les établissements doivent mesurer dans le cadre de leur évaluation : elle est impressionnante (des centaines !). Leur suivi mobilise des ressources et des énergies considérables. Force est pourtant de constater que tous ne font pas sens pour ceux qui les suivent, parce qu’ils ne répondent pas nécessairement à des préoccupations de terrain, et peut-être aussi parce que ceux qui sont en charge de les mesurer n’ont généralement pas participé à leur définition et ne s’en approprient pas les résultats.

Qu’est-ce qu’un bon indicateur ?

Un indicateur pertinent est un indicateur qui contribue à éclairer une problématique précise : que ce soit pour déterminer le niveau initial d’un processus, définir des objectifs, mesurer le degré d’atteinte de ces derniers ou s’assurer de la pérennité des changements introduits. Ce qui importe n’est donc pas tant le résultat que ce que l’on en fait. De quelle manière on l’analyse, sans perdre de vue certains éléments de principe ou de contexte, et comment on s’en saisit pour décider et mettre en œuvre de nouvelles théories d’action. À tout indicateur doivent donc être associés les éléments qui permettront de l’interpréter, de même que les critères de sa définition et le contexte dans lequel il sera mis en œuvre.

Le suivi des indicateurs en pratique

Dans l’université où j’exerce mon activité, une direction du pilotage, de la qualité et de l’analyse de gestion (DPQAG) a été créée en 2008 pour préparer et accompagner la mise en œuvre de la LRU et le passage aux RCE  6. Le suivi des indicateurs (établissement vague D)  7 constitue une des nombreuses activités de cette direction. Les données sont extraites des logiciels de gestion de l’établissement et traitées par les référents pilotage dans les composantes, les directions et les services. Ces derniers font remonter leurs résultats à la DPQAG qui les analyse et les transmet au ministère.

Nous avons pu observer que certains indicateurs ne sont pas suivis, faute de disponibilité des données ou en raison d’un manque de précisions dans la définition de l’indicateur. C’est le cas, par exemple, de l’indicateur qui concerne le taux d’insertion professionnelle.

Pour d’autres, c’est la fiabilité qui est questionnée. Par exemple, les typologies utilisées dans les logiciels de gestion (comme Apogee) ne permettent pas toujours de trier et d’extraire les données pertinentes pour la mesure. Des variations énormes ont ainsi été observées d’une période sur une autre, dont l’analyse a démontré l’existence d’erreurs dans le traitement des données.

Enfin, l’appréciation des indicateurs qualitatifs repose, quant à elle, sur des éléments d’interprétation subjectifs, avec le risque que les résultats soient parfois sous ou surévalués.

La remontée des données n’est pas naturelle, elle nécessite souvent plusieurs relances, sans doute parce que l’évaluation n’est pas encore intégrée aux pratiques et qu’elle relève d’un exercice fastidieux dont la valeur ajoutée n’a pas encore été démontrée aux acteurs de l’université.

De plus, l’évaluation peut être perçue comme un moyen de contrôle pouvant donner lieu à des récompenses mais aussi et surtout à des sanctions.

Le risque est de déboucher sur des effets « vitrine », éloignés des objectifs d’un service public réformé et en adéquation avec les attentes de son environnement.

Comme cela a été souligné plus haut, l’évaluation est un outil. Il serait naïf de croire qu’il produira seul les changements culturels escomptés. Une démarche de changement n’a aucune chance de porter ses fruits si les individus chargés de sa mise en œuvre ne sont pas convaincus de l’intérêt de ces changements pour eux-mêmes.

Les universités, systèmes complexes

Nos universités forment des systèmes complexes. Ce sont « des ensembles, formant une unité cohérente et autonome, d’objets réels ou conceptuels (éléments matériels, individus, actions…) organisés en fonction d’un but (ou d’un ensemble de buts, objectifs, finalités, projets…) au moyen d’un jeu de relations (interrelations mutuelles, interactions dynamiques…), le tout immergé dans un environnement 8 ». Comme tout système complexe, elles sont d’abord définies par les relations entre leurs composants et celles qu’elles entretiennent avec leur environnement dans un objectif de finalité. La plus importante de ces interactions se situe dans le retour d’informations relatives à ce qu’elles produisent, qui doit leur permettre d’évoluer vers des objectifs toujours plus ambitieux.

L’évaluation au service de la stratégie des établissements

Chaque établissement doit nécessairement intégrer les six grandes missions des universités (article 123-3 de la LRU) dans sa stratégie globale, sans pour autant perdre de vue ses propres spécificités : ce qui constitue son identité. Cela suppose de bien se connaître, et l’évaluation constitue certainement un bon outil, à condition d’être pertinente et bien conduite.

C’est probablement grâce à un dialogue constructif entre les établissements et leur tutelle que la démarche d’évaluation (qui se cherche encore) pourra évoluer et prendre tout son sens.

À ce titre, on peut noter que le nombre d’indicateurs ministériels a été revu à la baisse dans le cadre du nouveau contrat quadriennal.

Des outils, des hommes et des femmes pour changer

Enfin, si les outils sont nécessaires, il faut aussi et surtout des hommes et des femmes pour se les approprier, et d’autres capables de coordonner et de piloter l’action collective.

Comme cela a été précisé plus haut, les universités sont des systèmes complexes et, comme toute organisation, elles sont avant tout composées de personnes dont les intérêts ne convergent pas nécessairement. C’est pourtant de l’activité de ces dernières, de leur énergie et de leur engagement aux objectifs communs que dépendent en grande partie le succès et la pérennité d’une organisation.

Il me paraît donc indispensable de pratiquer un management aussi humaniste  9 que possible, c’est-à-dire un management centré sur l’humain. Un management participatif qui privilégie l’écoute, l’autonomie des acteurs, leur responsabilisation et leur développement personnel. Car c’est bien en favorisant l’apprentissage individuel que l’apprentissage organisationnel peut se réaliser  10.

Rappelons également que, dans le domaine de la qualité, une attention particulière est portée à satisfaire l’usager, qu’il soit externe ou interne à un organisme. Chacun de nous se trouve, en effet, tour à tour fournisseur ou bénéficiaire de l’activité d’autres. C’est par l’écoute active, le dialogue, la coopération et le respect du travail de tous que se construit la qualité d’une organisation.

L’évaluation vient ensuite, une fois que les objectifs stratégiques et les moyens pour les atteindre ont été définis et communiqués clairement, à tous les niveaux.

Les réformes en cours et les outils qui leur sont associés induisent des changements culturels profonds. Or, des changements d’une telle envergure ne se décrètent pas, ils se construisent dans le temps, par et avec les individus.

Nos universités recèlent des connaissances, des compétences et des énergies remarquables. Elles sauront s’adapter aux exigences nouvelles de leur environnement.

Il faudra juste un peu de temps… le temps nécessaire au changement.

Avril 2010