En ce moment, le fond de l’air est évalué…

Le recours à la bibliométrie, le classement des unités et le bench-marking^[1] dans le domaine universitaire se sont considérablement intensifiés ces dernières années, déclenchant finalement une série d’études sur la pertinence et les limites de cet exercice. Le numéro supplémentaire de la Revue d’Histoire Moderne et Contemporaine^[2] présente une analyse détaillée comprenant une mise en perspective historique sur les différentes pratiques de l’évaluation de l’activité académique dans notre pays. Plus polémique et engagée, la revue Cités vient de publier « L’idéologie de l’évaluation : la grande imposture »^[3]. En mai 2009, le Centre d’Alembert organisait à Orsay un colloque intitulé « Évaluation de la Recherche  » ^[4]. Enfin on trouvera dans La vie des idées un résumé instructif de ce débat^[5]. D’où vient cette « fièvre de l’évaluation » qui, après différentes sphères de la vie publique, semble avoir touché le monde académique ? Quels en sont les symptômes, et est-ce si grave ?

Quelle évaluation ?

Dans « Comment l’évaluation est arrivée dans les universités françaises » J.-Y. Méridol^[6] montre que, contrairement à une idée reçue, le débat sur l’évaluation n’est de loin pas apparu avec la mondialisation et les nouveaux systèmes de management publics, il est ancien. L’intérêt d’utiliser l’évaluation pour renforcer l’Université a été particulièrement défendu par de très grands scientifiques dont l’exemple le plus emblématique est sans doute Laurent Schwartz^[7]. Pourtant, la conception et les buts de l’évaluation défendue par Laurent Schwartz étaient extrêmement différents de ceux promus actuellement.

Sandrine Garcia^[8] montre comment une évaluation conçue dans les années 1980 comme une volonté politique de renouveau du service public et de responsabilisation des acteurs politiques a progressivement été remplacée par une approche d’un tout autre type. Alors que, il y a près de 30 ans, les tenants de la « deuxième gauche » la pensent comme un outil permettant à la société civile de se forger des contre-pouvoirs face à l’expertise légitime des grands corps de l’administration française »^[9], cette dernière s’est lentement transformée pour privilégier exclusivement une évaluation de type managériale.

Cette profonde différence entre l’évaluation promue par Laurent Schwartz et sa forme actuelle est sans doute liée à une évolution de nos sociétés. Dans « La recherche scientifique au crible du benchmarking  », Isabelle Bruno^[10] analyse la forme actuelle prise par l’évaluation qui, sous couvert d’une neutralité pseudo-scientifique, vise avant tout à appliquer au monde universitaire une mise en concurrence généralisée et permanente des acteurs. A propos du benchmarking, Isabelle Bruno conclut : « Non pas qu’il rende toutes ces organisations compétitives, mais il y implante les manières de penser et de faire qui généralisent aux domaines non-marchands la « discipline indéfinie » de la compétitivité. Quels que soient les résultats enregistrés, il y installe les conditions de possibilité d’une quête de la performance et d’un esprit de compétition propre à la gouvernementalité néolibérale. »

Il est important ici de replacer le débat qui agite l’Université française dans le cadre européen de la stratégie de Lisbonne et de l’imprégnation des idées de New Public Management (NPM). Les objectifs poursuivis se trouvent particulièrement bien illustrés dans les documents publiés par la Commission Européenne au sujet des droits de propriété intellectuelle sous le titre « Vers un « marché » des connaissances » ^[11] : « Le temps où les savoirs acquis dans l’espace scientifique académique constituaient un patrimoine ouvert, mis à la disposition de tous, appartient au passé » et plus loin, un des experts de la Direction générale de la recherche en charge du dossier souligne que « Le but ultime de la recherche n’est plus simplement de produire des connaissances scientifiques, mais de promouvoir l’exploitation concrète des avancées qu’elle génère. Or cette exploitation, dans une économie de marché, a une dimension intrinsèquement économique. » On constatera que l’évaluation est ici à considérer en son sens le plus littéral comme le montre un autre document intitulé « Que « vaut » une université ? » ^[12].

Cette fièvre se trouve finalement résumée par les positions de la ministre de l’Enseignement supérieur, Valérie Pécresse, qui indique que « la réalisation d’un classement européen des universités est une priorité pour la Présidence française de l’Union européenne en matière d’enseignement supérieur » et rappelle qu’elle a fait de la question de l’évaluation « une des priorités de son action » ^[13]. Il est légitime de se demander si une politique ambitieuse de la recherche et de l’enseignement supérieur consiste à se fixer l’évaluation comme horizon…

Une évaluation pour qui ?

L’évaluation peut prendre différents aspects et surtout poursuivre différents buts. Il est évidement légitime de la part de l’Etat de se doter de moyens pour évaluer la pertinence de ses engagements et tenter en permanence d’en améliorer l’efficacité. Dans un registre différent, il est aussi hautement souhaitable que les étudiants et la société en général, disposent d’une information comprenant une part d’évaluation sur les différentes filières universitaires. Enfin, l’accroissement de l’autonomie des structures d’enseignement supérieur implique, de façon quasi mécanique, la nécessité pour ces structures de se doter d’outils d’évaluation à usage interne. Ainsi, dans le contexte du débat actuel, il est intéressant de se souvenir que l’autonomie (voire l’indépendance) des Universités était l’une des principales revendications de mai 1968… si forte que certains de ses promoteurs notaient : « Mais, si l’autonomie écarte ainsi tout contrôle extérieur a priori, elle rend plus nécessaire pour chaque établissement autonome le soin d’organiser lui-même le contrôle de ses dépenses au moment où il les engage »^[14]. Pourtant, comme le note J.-Y. Méridol^[15], les structures mises en place ces dernières années ne sont absolument pas conçues pour répondre aux nouvelles demandes engendrées par l’évolution du statut des universités. L’ensemble de l’appareil évaluatif est quasi-exclusivement tourné vers le ministère alors qu’il pourrait présenter un réel intérêt dans le cadre d’une plus grande autonomie des universités.

La tentation du simple

Nous assistons, depuis une dizaine années, à la multiplication des grilles, indices et facteurs supposés résumer en quelques variables clefs la position de telle unité ou tel individu dans un monde académique complexe et changeant… De ce point de vue l’apparition du classement de Shanghai^[16] et surtout les réactions qu’il a suscitées en France est édifiant. Au rebours du discours ambiant, l’impact de ce classement sur les étudiants et les personnels du monde académique à l’échelle mondiale n’est absolument pas démontré… en revanche il paraît clair qu’il présente une dimension spécifiquement française ! Contrairement à une idée répandue, la forte réaction franco-française à ce classement n’est peut-être pas due à la place générale de nos institutions académiques (au delà de la 40^èrne position) mais bien plutôt au fait que, au mépris de l’évidence la mieux établie, les trois universitaires chinois responsables du classement avaient eu l’innocente audace de placer plusieurs Universités devant nos prestigieuses grandes Ecoles…

Au delà de cette amusante constatation, on notera qu’il s’agit avant tout d’une tentative de simplification outrancière d’un problème complexe. La tentation est ici de ramener des décisions nécessitant une analyse fine d’une réalité multiparamétrique, à la simple position d’un curseur sur la bonne échelle. Cette tentation est compréhensible, tout serait effectivement beaucoup plus simple si on pouvait ainsi classer les structures et les individus suivant une dimension sur laquelle on pourrait alors indexer les bourses, les avancements, les budgets, les salaires… Malheureusement la réalité, surtout en matière de recherche et d’enseignement supérieur, est souvent plus complexe…

Cette dérive illustre un paradoxe de l’évaluation, mise en exergue par Yves Gingras^[17] : l’un des symptômes de cette fièvre de l’évaluation est de produire toutes sortes d’indices, de classements et de facteurs qui n’apprennent pas grand-chose aux personnes du domaine : on peut en effet fortement soupçonner qu’un indice qui contredirait de façon manifeste un présupposé de l’évaluateur sera rapidement écarté par ce dernier… Ainsi, la plupart de ces chiffres et indices peuvent être envisagés non comme une mesure mais plutôt comme une tentative de résumé (en un minimum de caractères ! ) de la pensée de l’évaluateur. Le problème est alors posé de l’utilisation d’un tel résumé… Si la plupart de ces chiffres n’instruisent guère les initiés, en revanche, utilisés par des gens peu au fait des choses, ils peuvent accoucher au mieux de classements discutables, au pire de décisions budgétaires lourdes de conséquences.

Les chiffres parlent d’eux-mêmes…

Un autre point auquel nous devrions être particulièrement sensibles est le maquillage d’une position politique ou idéologique en une évidence pragmatique, d’essence scientifique. Le principe de cette rhétorique peut se résumer ainsi : il existe des vérités chiffrées qui, de façon naturelle, sortent du champ du débat, mais permettent en revanche de justifier telle ou telle politique. À ce stade, il est éclairant de revenir sur le discours sur la stratégie nationale de recherche et d’innovation tenu par le président de la République le 22 janvier 2008.

Prononcé au Palais de l’Elysée devant les ministres et les grands acteurs du monde académique, ce discours permet de saisir une partie des réformes actuelles tant sur leur fond que sur l’esprit dans lequel elles sont menées. C’est un euphémisme de constater qu’une large majorité de la communauté universitaire a ressenti un profond malaise à la suite de cet exposé. L’un des passages les plus repris de ce discours était : « Plus de chercheurs statutaires, moins de publications et pardon, je ne veux pas être désagréable, à budget comparable, un chercheur français publie de 30 à 50 % en moins qu’un chercheur britannique dans certains secteurs. Evidemment, si l’on ne veut pas voir cela, je vous remercie d’être venu, il y a de la lumière, c’est chauffé… On peut continuer, on peut écrire. C’est une réalité et si la réalité est désagréable, ce n’est pas désagréable parce que je le dis, c’est désagréable parce qu’elle est la réalité, c’est quand même cela qu’il faut voir. Arrêtez de considérer comme sacrilège celui qui dit une chose et voir si c’est la réalité. C’est la réalité qu’il faut contester dans ce cas là. » ^[18]

Dans un pays où historiquement la culture et le savoir ont une importance considérable, laisser entendre que les présidents d’Universités, directeurs de grandes Écoles et d’organismes de Recherche pourraient se retrouver devant le président de la République parce que la salle y est éclairée et chauffée… Sous couvert d’humour, le message était d’une rare violence. A posteriori, il est très vraisemblable que ce discours en fait ne s’adressait pas au monde académique qui, quel que soit son bord politique, ne pouvait adhérer à une présentation aussi caricaturale. Ce discours s’adressait probablement à une partie plus substantielle de l’électorat peut-être pour lui signifier que le chef de l’exécutif n’est pas un intellectuel qui réfléchit et glose, mais un pragmatique qui agit et ose. Sa position et son action ne relevant pas d’une vision politique mais bien d’une démarche pragmatique imposée par des faits chiffrés : C’est la réalité qu’il faut contester dans ce cas là, les chiffres parlent d’eux-mêmes…

L’un des intérêts majeurs de l’évaluation apparaît particulièrement édifiant dans ce discours. Dans un tel cadre, pas de débat contradictoire, comme le montre S. Garcia, ce type d’évaluation « fonde la validité du jugement évaluatif sur la rigueur scientifique de l’évalua-teur et [qui] place donc la science au-dessus des autres valeurs, en particulier le jugement des acteurs politiques »^[19]. Or, confondre la rigueur d’un résultat scientifique et celle des processus d’évaluation n’est pas raisonnable. S’il est absolument légitime que l’exécutif ait une vision politique de ce qui doit être fait pour améliorer l’Université, en maquiller les fondements sous une approche pseudo-scientifique et par là même supposée non-contestable est une façon commode de s’affranchir du débat.

L’intérêt d’un débat face à une expertise est une question récurrente bien connue du débat universitaire… Lors du colloque « Évaluation de la Recherche » l’intérêt de la présence d’élus face à l’avis compétent d’un expert nommé a été soulevé. Ainsi, Ph. Lazar^[20] et Y. Langevin^[21] ont rappelé que les experts, seraient-ils (ou elles) de renommée mondiale, ne sont pas à l’abri des conflits d’intérêt ou de visions partiales d’où la nécessité d’une composante contradictoire. Dans le cas où l’évaluation présente des conséquences stratégiques pour la communauté, la présence d’élus dans les comités permet l’existence d’un relai entre l’instance évaluatrice et la communauté. Il en va des élus scientifiques comme d’autres représentants issus de votes, il est tout à fait possible de déplorer le manque de votants ou discuter leurs compétences, il n’en reste pas moins qu’un système présentant une part de représentativité acquiert une légitimité accrue et permet une acceptation plus consensuelle des décisions.

Une réforme profonde et ambitieuse de notre système d’enseignement supérieur n’est envisageable que si celle-ci se donne les moyens de progressivement rallier une proportion significative des personnels concernés. Sa mise en œuvre ne peut être que longue et sans doute ingrate politiquement. Elle demande une bonne connaissance du milieu universitaire mais surtout la capacité d’assurer des rapports de\ confiance entre le monde académique et l’exécutif. Les effets bénéfiques d’une réforme profonde ne se feront sentir que sur des échelles de temps de l’ordre de dix à vingt ans. Si elle revêt un caractère vital pour le pays, elle fait partie de ces choix stratégiques lourds dont les délais sont très largement supérieurs au temps électoral. Le but poursuivi actuellement est-il réellement l’amélioration de l’institution ou bien, dans le cadre d’une évaluation généralisée de l’activité ministérielle et d’une obligation de résultats, représente-t-il la volonté de faire simplement clignoter le chiffre n + 1 au compteur des réformes ?

Différentes échelles de temps

La principale difficulté rencontrée par les différents modes d’évaluation promus actuellement porte sur l’échelle de temps : la structure souhaite évaluer ses financements ou ses personnels sur des périodes de quelques années alors que, dans majorité des cas, les projets, les idées ont des échelles de temps cinq à dix fois plus longues. Ce fonctionnement repose sur une confiance en un darwinisme scientifique où les meilleurs projets et scientifiques associés émergeraient naturellement de la compétition. Dans la longue durée (plusieurs décennies) cette idée se vérifie, le temps a fait son œuvre. Sur de telles échelles de temps, l’indice de citation prend aussi son sens, un papier qui continue à être cité plus de dix ou vingt ans après sa parution a toutes les chances d’être un travail important. Mais, comme le constatait avec amertume un habitué des commissions, cela permet au mieux d’établir un classement assez fiable des chercheurs à la retraite ou décédés !

En revanche sur des échelles de temps plus courtes (quelques années), ce type de classement devient beaucoup plus difficile à effectuer. Par exemple, nombre de financements demandent la publication de résultats avant leur clôture, ce qui souvent tient de l’exploit quasi-irréalisable : il se passe, la plupart du temps, plus de deux ou trois ans entre la mise en chantier de l’idée et l’acceptation du papier dans la revue adéquate. Pour contourner cette difficulté, les scientifiques ont évidement rapidement trouvé la parade : proposer des projets dont une large partie est déjà réalisée. Le jeu consiste alors à demander de l’argent pour faire quelque chose qui est déjà fait. De cette façon tout le monde est gagnant, le chercheur qui publie dans les temps et peut utiliser le financement pour faire ce qu’il souhaite ; en particulier démarrer un nouveau projet ou effectuer une recherche qui l’intéresse mais pour laquelle il ne parvient pas à obtenir de financements… sans avoir la tâche délicate et dangereuse de coucher sur le papier des idées naissantes difficiles à articuler et risquant d’être diffusées trop prématurément. L’évaluateur aussi s’y retrouve car les projets sélectionnés aboutissent avec un faible taux d’échec, et pour cause !

On peut se satisfaire de ces petits arrangements avec la vérité… mais il faut être conscient que cela revient, de fait, à abandonner l’idée même de l’évaluation réelle du projet pour finalement revenir à un fonctionnement reposant sur la confiance en la capacité de telle ou telle équipe à produire de bons résultats. Avec tout de même la production collatérale d’une masse conséquente de documents et un coût important en « hommes, heures » pour les rédiger, les lire et en assurer le suivi… C’est ici un point qui reste peu abordé dans notre pays : quel est le coût de la multiplication de ces instances évaluatives ? Autrement dit, l’investissement évaluatif a-t-il prouvé son efficacité ?

De la compétition, sort le meilleur…

Le darwinisme scientifique part de l’idée que si une équipe met sur le marché un concept ou un résultat faux, grâce à la compétition, les autres équipes vont, de façon naturelle et rapide, lutter contre et mettre à bas la chose… Si, à long terme, cette sélection naturelle est effectivement opérante, en revanche, à court-moyen terme, rien n’est moins sûr… La compétition entre équipes comporte certes une part purement intellectuelle (la seule qui, dans le long terme, comptera) ; mais, à court terme et en particulier avec un développement vigoureux du benchmarking, cette compétition a surtout un but : obtenir des financements, des postes ou des promotions… Pour faire croître la note affectée par la structure évaluative, il n’est, et de loin, pas toujours rentable en temps et en énergie de s’attaquer à des idées communément acceptées ou de proposer des concepts ou des techniques réellement novateurs. Paradoxalement, il est à court terme souvent plus aisé de s’inscrire dans une approche plus consensuelle et où il existe une communauté prête à citer ou soutenir vos travaux. Si parfois la compétition permet effectivement la remise en cause d’idées reçues, dans d’autres situations elle peut avoir la tendance inverse de renforcer au delà du raisonnable certaines écoles de pensée. À vouloir tout jauger, mesurer et classer en permanence cela aboutit rapidement à vouloir faire entrer une réalité fluide et complexe dans un système rigide et norme ce qui présente un risque stérilisateur et peut, in fine s’avérer contre-productif.

La compétition intellectuelle est une condition absolument nécessaire à l’activité scientifique : il est indispensable que la structure assure la possibilité au plus grand nombre de concourir à la meilleure description de la réalité. Déduire de cela que la compétition doit tout régir est un raccourci bien trop facile. Le monde scientifique est à l’image de la société dans laquelle il baigne. Ainsi, il existe d’excellents scientifiques dont une partie importante de la motivation relève effectivement du plus strict esprit de compétition… Il en existe aussi un très grand nombre dont les motivations sont autres. L’ensemble des activités humaines ne peut se résumer à une lutte pour accéder à la plus haute marche ou à un tissu de segments présentant chacun une valeur marchande quantifiable. Une large partie de notre métier, la plus importante sans doute, se réalise dans une grande solitude face aux étudiants comme face aux incertitudes d’une recherche. Pour beaucoup de candidats à ce métier, l’image d’Épinal de l’enseignant-chercheur décalé(e) par rapport aux valeurs marchandes dominantes a représenté, et souvent représente toujours, une puissante motivation.

À la fin, un sou reste un sou…

Les bénéfices réels d’une mise en concurrence généralisée des acteurs du monde académique n’ont à ce jour pas été démontrés. Il s’agit d’une conception de l’organisation comprenant, sous une rhétorique pseudo-scientifique, une large composante idéologique qui en fait un remarquable outil de gestion de la pénurie.

Dans un contexte budgétaire favorable, la communauté scientifique resterait probablement peu sensible aux récurrentes litanies sur l’excellence, elle se concentrerait avant tout à bien faire son métier ! Dans un contexte de suppression de postes et de désengagement budgétaire de l’État, l’excellence n’a pas la même signification ; dans bien des occasions, elle n’a pas pour but de valoriser de telle équipe ou structure, mais bien de justifier la progressive disparition de nombre d’entre elles. Bien à l’inverse de l’approche promue par Laurent Schwartz, l’évaluation promue actuellement reste malheureusement pour l’instant réduite à un appareil présentant un fort risque normatif et particulièrement utile à une logique de désengagement de la puissance publique.

1. Le benchmarking est une analyse comparative issue des milieux du marketing consistant à comparer de façon chiffrée les techniques de gestion, les modes d’organisation de différents acteurs (par ex. des entreprises) d’un domaine pour améliorer la performance des processus d’une organisation.[↑]
2. La fièvre de l’évaluation. Revue d’Histoire Moderne et Contemporaine 2008/5, n° 55-4bis.[↑]
3. L’idéologie de l’évaluation. Cités 2009/1, n° 37.[↑]
4. http : //www.centre-dalembert.u-psud.fr/[↑]
5. L’évaluation de la recherche en question par B. Thomann dans www.laviedesidees.fr, le 28 mai 2009.[↑]
6. Mérindol J.-Y., Comment l’évaluation est arrivée dans les universités françaises, Revue d’Histoire Moderne et Contemporaine 2008/5, n° 55-4bis, p. 7-27.[↑]
7. Mathématicien, médaille Fields en 1950.[↑]
8. Garcia S., L’évaluation des enseignements : une révolution invisible, Revue d’Histoire Moderne et Contemporaine, 2008/5, n° 55-4bis, p. 46-60.[↑]
9. Garcia S., op. cit.[↑]
10. Bruno L, La recherche scientifique au crible du benchmarking. Petite histoire d’une technologie de gouvernement, Revue d’Histoire Moderne et Contemporaine 2008/5, n° 55-4bis, p. 28-45.[↑]
11. http://ec.europa.eu/research/news-centre/fr/soc/02-07-soc02.html[↑]
12. http : //ec.europa.eu/research/news-centre/fr/soc/02-07-soc01.html[↑]
13. Voir Le Point 02/07/2008.[↑]
14. Alain Schnapp et Pierre Vidal-Naquet dans Journal de la commune étudiante, Paris, Seuil 1969 (voir aussi J-Y Méridol op. cit.)[↑]
15. Colloque « Évaluation de la Recherche », Centre d’Alembert, LAL Orsay, 13-14 mai 2009.[↑]
16. Le classement de Shanghai (Académie Ranking of World Universities) est un classement des principales universités mondiales, établi par des chercheurs de l’université Jiao-Tong de Shanghai. Les universités sont classées selon un nombre restreint de critères comprenant le nombre de publications dans les revues Nature et Science ainsi que le nombre de prix Nobel parmi les chercheurs ou les anciens élèves. Voir à ce sujet, « Comment le classement de Shanghai désavantage nos universités », par Albert Fert, Le Monde du 26 août 2008.[↑]
17. Gingras Y., Du mauvais usage de faux indicateurs, Revue d’Histoire Moderne et Contemporaine 2008/5, n° 55-4bis, p. 67-79.[↑]
18. http://www.elysee.fr/documents/index.php?mode=cview&cat_id=7&press_id=2259[↑]
19. Garcia S., L’évaluation des enseignements : une révolution invisible, Revue d’Histoire Moderne et Contemporaine 2008/5, n° 55-4bis, p. 46-60.[↑]
20. Ancien directeur général de l’INSERM et ancien président de l’Institut de Recherche pour le Développement.[↑]
21. Directeur de l’Institut d’Astrophysique spatiale, ancien président de la conférence des présidents du Comité national (Co-CNRS).[↑]