entête
entête

L’évaluation, un levier du changement ?

Retour d’expérience à l’université de Versailles – Saint-Quentin-en-Yvelines

Claudine Golka

L’évaluation est aujourd’hui au cœur des réformes de l’enseignement supérieur et de la recherche. Elle s’inscrit dans la révision générale des politiques publiques et introduit des logiques de projets (objectifs, moyens, résultats) là où ont longtemps prévalu des logiques de moyens.

À quoi sert l’évaluation ?

L’évaluation est avant tout au service de l’action. Elle permet d’orienter cette dernière à partir de la prise de conscience, par les acteurs d’une organisation (ou d’un projet), des limites ou des avancées produites par leur activité. C’est un outil de gestion, d’information et de contrôle à la disposition de ces mêmes acteurs.

Centrée sur l’analyse systématique de l’action, de ses impacts et de ses stratégies d’intervention, l’évaluation favorise une démarche réflexive nécessaire à la construction d’un « savoir pour l’action 1 ». Elle contribue à l’apprentissage organisationnel au sens que lui ont donné Chris Argyris et Donald A. Schön  2.

L’apprentissage organisationnel peut être défini comme « un phénomène collectif d’acquisition et d’élaboration de compétences qui, plus ou moins profondément, plus ou moins durablement, modifie la gestion des situations et les situations elles-mêmes 3 ».

Argyris défend l’idée selon laquelle la capacité d’apprentissage d’une organisation constitue son capital le plus important. C’est elle qui permet aux organismes, qu’ils soient publics ou privés, d’appréhender les changements auxquels ils sont confrontés en permanence. Cette capacité d’apprentissage est toutefois conditionnée en grande partie par la cohérence des décisions de l’équipe de direction et le style de management. Plus ce dernier sera participatif et donnera aux individus l’opportunité d’être des acteurs à part entière, plus les apprentissages individuels et collectifs pourront se développer. Dans une organisation apprenante, l’erreur, loin d’être sanctionnée, devient source d’enseignement pour progresser.

Que recouvre l’évaluation dans les universités ?

L’évaluation dans les universités porte sur l’enseignement et la recherche mais aussi sur la gouvernance et la gestion des établissements (ressources humaines et financières, systèmes d’information et patrimoine immobilier). Son impact est d’autant plus important que les résultats de ces évaluations conditionneront à terme la dotation des universités dans le cadre de leur contractualisation avec l’État.

Ne perdons pas de vue que l’évaluation des universités s’inscrit dans un champ de réforme, légitimé par le vote d’une loi (LRU)  4. L’État se veut pilote, partenaire des établissements et « garant de l’application de la réforme 5 ». L’évaluation se présente, dans ce contexte, comme l’un des nombreux leviers de changements qui bouleversent les principes et les valeurs sur lesquels se fondait jusque-là l’action des individus.

Ce qui change, c’est l’autonomie accordée aux établissements. De cette autonomie découle une responsabilité accrue des universités dans la mise en œuvre de la réforme. Celles-ci doivent non seulement rendre compte de la manière dont elles ont géré les deniers publics, mais aussi se positionner sur un marché concurrentiel. L’État subventionne, l’État attend des résultats.

En conséquence, il revient à chaque université d’élaborer sa propre stratégie et d’en piloter le déploiement comme le ferait une entreprise du secteur marchand.

L’objectif est bien de développer une culture du pilotage, de la qualité, de la performance et du résultat.

L’introduction de nouveaux outils de gestion peut sans doute favoriser l’émergence de nouvelles logiques d’action. Il convient toutefois de s’assurer que ceux qui les mobiliseront en ont compris l’essence.

L’évaluation des établissements par le biais des indicateurs

L’évaluation des établissements se matérialise notamment par une batterie d’enquêtes et d’indicateurs. Cette attention particulière portée à la mesure n’est pas sans poser un certain nombre de problèmes, et le biais majeur consisterait en une instrumentalisation de la démarche : la mesure pour la mesure.

Une de mes inquiétudes porte sur la quantité d’indicateurs que les établissements doivent mesurer dans le cadre de leur évaluation : elle est impressionnante (des centaines !). Leur suivi mobilise des ressources et des énergies considérables. Force est pourtant de constater que tous ne font pas sens pour ceux qui les suivent, parce qu’ils ne répondent pas nécessairement à des préoccupations de terrain, et peut-être aussi parce que ceux qui sont en charge de les mesurer n’ont généralement pas participé à leur définition et ne s’en approprient pas les résultats.

Qu’est-ce qu’un bon indicateur ?

Un indicateur pertinent est un indicateur qui contribue à éclairer une problématique précise : que ce soit pour déterminer le niveau initial d’un processus, définir des objectifs, mesurer le degré d’atteinte de ces derniers ou s’assurer de la pérennité des changements introduits. Ce qui importe n’est donc pas tant le résultat que ce que l’on en fait. De quelle manière on l’analyse, sans perdre de vue certains éléments de principe ou de contexte, et comment on s’en saisit pour décider et mettre en œuvre de nouvelles théories d’action. À tout indicateur doivent donc être associés les éléments qui permettront de l’interpréter, de même que les critères de sa définition et le contexte dans lequel il sera mis en œuvre.

Le suivi des indicateurs en pratique

Dans l’université où j’exerce mon activité, une direction du pilotage, de la qualité et de l’analyse de gestion (DPQAG) a été créée en 2008 pour préparer et accompagner la mise en œuvre de la LRU et le passage aux RCE  6. Le suivi des indicateurs (établissement vague D)  7 constitue une des nombreuses activités de cette direction. Les données sont extraites des logiciels de gestion de l’établissement et traitées par les référents pilotage dans les composantes, les directions et les services. Ces derniers font remonter leurs résultats à la DPQAG qui les analyse et les transmet au ministère.

Nous avons pu observer que certains indicateurs ne sont pas suivis, faute de disponibilité des données ou en raison d’un manque de précisions dans la définition de l’indicateur. C’est le cas, par exemple, de l’indicateur qui concerne le taux d’insertion professionnelle.

Pour d’autres, c’est la fiabilité qui est questionnée. Par exemple, les typologies utilisées dans les logiciels de gestion (comme Apogee) ne permettent pas toujours de trier et d’extraire les données pertinentes pour la mesure. Des variations énormes ont ainsi été observées d’une période sur une autre, dont l’analyse a démontré l’existence d’erreurs dans le traitement des données.

Enfin, l’appréciation des indicateurs qualitatifs repose, quant à elle, sur des éléments d’interprétation subjectifs, avec le risque que les résultats soient parfois sous ou surévalués.

La remontée des données n’est pas naturelle, elle nécessite souvent plusieurs relances, sans doute parce que l’évaluation n’est pas encore intégrée aux pratiques et qu’elle relève d’un exercice fastidieux dont la valeur ajoutée n’a pas encore été démontrée aux acteurs de l’université.

De plus, l’évaluation peut être perçue comme un moyen de contrôle pouvant donner lieu à des récompenses mais aussi et surtout à des sanctions.

Le risque est de déboucher sur des effets « vitrine », éloignés des objectifs d’un service public réformé et en adéquation avec les attentes de son environnement.

Comme cela a été souligné plus haut, l’évaluation est un outil. Il serait naïf de croire qu’il produira seul les changements culturels escomptés. Une démarche de changement n’a aucune chance de porter ses fruits si les individus chargés de sa mise en œuvre ne sont pas convaincus de l’intérêt de ces changements pour eux-mêmes.

Les universités, systèmes complexes

Nos universités forment des systèmes complexes. Ce sont « des ensembles, formant une unité cohérente et autonome, d’objets réels ou conceptuels (éléments matériels, individus, actions…) organisés en fonction d’un but (ou d’un ensemble de buts, objectifs, finalités, projets…) au moyen d’un jeu de relations (interrelations mutuelles, interactions dynamiques…), le tout immergé dans un environnement 8 ». Comme tout système complexe, elles sont d’abord définies par les relations entre leurs composants et celles qu’elles entretiennent avec leur environnement dans un objectif de finalité. La plus importante de ces interactions se situe dans le retour d’informations relatives à ce qu’elles produisent, qui doit leur permettre d’évoluer vers des objectifs toujours plus ambitieux.

L’évaluation au service de la stratégie des établissements

Chaque établissement doit nécessairement intégrer les six grandes missions des universités (article 123-3 de la LRU) dans sa stratégie globale, sans pour autant perdre de vue ses propres spécificités : ce qui constitue son identité. Cela suppose de bien se connaître, et l’évaluation constitue certainement un bon outil, à condition d’être pertinente et bien conduite.

C’est probablement grâce à un dialogue constructif entre les établissements et leur tutelle que la démarche d’évaluation (qui se cherche encore) pourra évoluer et prendre tout son sens.

À ce titre, on peut noter que le nombre d’indicateurs ministériels a été revu à la baisse dans le cadre du nouveau contrat quadriennal.

Des outils, des hommes et des femmes pour changer

Enfin, si les outils sont nécessaires, il faut aussi et surtout des hommes et des femmes pour se les approprier, et d’autres capables de coordonner et de piloter l’action collective.

Comme cela a été précisé plus haut, les universités sont des systèmes complexes et, comme toute organisation, elles sont avant tout composées de personnes dont les intérêts ne convergent pas nécessairement. C’est pourtant de l’activité de ces dernières, de leur énergie et de leur engagement aux objectifs communs que dépendent en grande partie le succès et la pérennité d’une organisation.

Il me paraît donc indispensable de pratiquer un management aussi humaniste  9 que possible, c’est-à-dire un management centré sur l’humain. Un management participatif qui privilégie l’écoute, l’autonomie des acteurs, leur responsabilisation et leur développement personnel. Car c’est bien en favorisant l’apprentissage individuel que l’apprentissage organisationnel peut se réaliser  10.

Rappelons également que, dans le domaine de la qualité, une attention particulière est portée à satisfaire l’usager, qu’il soit externe ou interne à un organisme. Chacun de nous se trouve, en effet, tour à tour fournisseur ou bénéficiaire de l’activité d’autres. C’est par l’écoute active, le dialogue, la coopération et le respect du travail de tous que se construit la qualité d’une organisation.

L’évaluation vient ensuite, une fois que les objectifs stratégiques et les moyens pour les atteindre ont été définis et communiqués clairement, à tous les niveaux.

Les réformes en cours et les outils qui leur sont associés induisent des changements culturels profonds. Or, des changements d’une telle envergure ne se décrètent pas, ils se construisent dans le temps, par et avec les individus.

Nos universités recèlent des connaissances, des compétences et des énergies remarquables. Elles sauront s’adapter aux exigences nouvelles de leur environnement.

Il faudra juste un peu de temps… le temps nécessaire au changement.

Avril 2010

  1.  (retour)↑   Chris Argyris, Savoir pour agir : surmonter les obstacles à l’apprentissage organisationnel, Dunod, 2003.
  2.  (retour)↑   Chris Argyris et Donald A. Schön, Organizational Learning : A Theory of Action Perspective, Addison-Wesley, 1978.
  3.  (retour)↑   Gérard Kœnig, « L’apprentissage organisationnel : repérage des lieux », Revue française de gestion, 1/2006 (n° 160), p. 293-306.
  4.  (retour)↑   Loi relative aux libertés et aux responsabilités des universités (n° 2007-1199 du 10 août 2007).
  5.  (retour)↑  http://www.nouvelleuniversite.gouv.fr/-l-etat-partenaire-accompagnateur-et-garant-de-la-reforme-.html
  6.  (retour)↑   Responsabilités et compétences élargies.
  7.  (retour)↑   Les vagues A, B, C, D correspondent aux quatre zones géographiques définies par le ministère de l’Enseignement supérieur et de la Recherche dans le cadre de ses relations contractuelles avec les établissements. Ces zones ont été reprises par l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) dans le cadre de leurs campagnes d’évaluation. http://www.aeres-evaluation.fr/Evaluation/Evaluation-par-l-AERES/Campagnes-d-evaluation
  8.  (retour)↑   Francis Le Gallou et Bernadette Bouchon-Meunier (dir), Systémique, théorie et application, Éd. Lavoisier, 1992.
  9.  (retour)↑   Stéphanie Arnaud, « Le management humaniste », Revue internationale de Psychosociologie, 3/2008 (volume XIV), p. 207-224.
  10.  (retour)↑   Charlotte Fillol, « Apprentissage et systémique, une perspective intégrée », Revue française de gestion, 2/2004 (n° 149), p. 33-49.