Laurent Ségalat ("généticien et directeur de recherche au CNRS") a rédigé un salutaire petit livre (petit par la taille, pas le contenu) : La science à bout de souffle ?
Il cherche à reposer la question plus générale de ce qui se passe dans les sciences en ce moment, les sciences "dures", celles qui semblent le plus se conformer à cet idéal de l’évaluation bibliométrique. Les fraudes nombreuses auraient du nous alerter, dit Ségalat. Ce n’est pas le cas : rien ou presque n’a fondamentalement changé. L’Australie voit sa production scientifique augmenter de 40% depuis la mise en place d’indicateurs bibliométriques : est-ce pour autant que la qualité de la recherche australienne a augmenté de 40% ? Les systèmes d’évaluation sont au coeur de cette réflexion, et moi-même j’appelais cela le rôle pivot de l’évaluation dans la définition de la politique de la recherche. [1] Il y a bien quelque chose de pourri dans le royaume des sciences ! Ce livre, bien moins caricatural que ne l’annonce son auteur, est un guide dans la souche de cette pourriture.
Plusieurs éléments composent les racines du mal :
- la bureaucratisation de l’évaluation de la recherche (et de sa gestion)
- l’évaluation dans les formes qu’elle prend aujourd’hui
- l’absence -paradoxale- de « contrôle de la qualité » dans la profession
- la concurrence effrénée des chercheurs, à titre individuel, et
- l’absence de mécanismes de coopération (notamment de coopérations "horizontales" au sein des mêmes champs disciplinaires (pas tant celles "verticales" où des compétences se complètent dans les projets).
Ségalat n’a pas sa plume dans la poche et il touche là où ça fait mal ! Dans notre capacité de jugement, ou plutôt notre incapacité à traduire en action nos critiques du fonctionnement de la recherche.
La principale leçon que je retiens est que le système censé s’auto-réguler (par les pairs, par les évaluations, par les multiples niveaux d’évaluation) est en réalité incapable de faire face à la fraude, aux petits arrangements, aux luttes de priorité. Ségalat utilise l’analogie sportive intensément : comme le cyclisme totalement pourri par le dopage, la science dérive et supporte un système de dopage efficace qui passe toujours les contrôles sans peine. Le système « globalisé » de la recherche (avec ses agences qui multiplient les marchés de financement de la recherche) semble favoriser cette dérive vers les fraudes et les résultats médiocres (et nombreux). Cette dérive s’est accentuée avec la mondialisation des financements. A l’image du système financier, la mondialisation de la recherche s’est emballée ; elle semble incapable de répondre à cette dérive si ce n’est en fabriquant une "usine à gaz" de l’évaluation et promouvoir sa bureaucratisation (l’AERES elle-même va se faire certifier ISO-n’importe-quel-mille, histoire de nous faire croire qu’elle fait bien son boulot !!!!).
Ségalat voudrait en mettre à jour les causes. Et contrairement au discours dominant chez les critiques, [2] Ségalat n’accuse pas l’excessive marchandisation du savoir. Il propose plutôt de dénoncer l’absence de contrôle de qualité interne au système. L’auto-contrôle par la profession est un leurre, dit-il ; la seule conscience professionnelle ne suffit plus. Il n’existe aucune force de rappel de la qualité. L’absence de qualité dans les entreprise porte un coût et c’est pour cette raison qu’elle s’y adonne, non par volonté de faire plaisir au consommateur. En science, il semblerait que l’absence de qualité n’engendre pas véritablement de coût. Il suit le raisonnement de John Ioannidis, poil à gratter des sciences bio-médicales, qui a montré que la moitié des travaux publiés sont inutiles ou faux (je raccourcis). [3] Les chercheurs en sont conscients : 8% des chercheurs interrogés par la Scientific Research Society seulement juge que l’évaluation par les pairs fonctionne correctement (cit. p. 91). Et de lancer quelques pistes intéressantes sur l’application de l’évaluation (nécessaire) qui doit être réformée.
De plus, il avance l’idée de la futilité de la bibliométrie appliquée aux individus (dans des pages savoureuses) dont je disais ici même à quel point elle est absurde. Le contrôle bureaucratique (et autoritaire) des AERES et autres agences de certification ne semble pas non plus fournir de solution. Probablement est-ce du à un diagnostic erroné : l’idée selon laquelle un mécanisme externe d’évaluation changerait la donne et rendrait le système plus efficace (au fait, efficace pour qui ?). Sans parler du fait que l’évaluation externe est utilisée pour distribuer les fonds de la recherche sur un mode compétitif plutôt qu’en s’appuyant sur les mécanismes internes des institutions de recherche. Bref, l’usine à gaz est en réalité la justification de l’affaiblissement du pouvoir des instituts de recherche. Son objectif n’est pas d’évaluer la qualité de la recherche mais de dissiper la capacité de négociation des instituts publics. Mais revenons à Ségalat (qui ne s’aventure pas sur ce terrain).
S’agissant d’un pamphlet, le livre n’amène pas de "preuves" mais se fonde sur une solide expérience de chercheur de l’auteur lui-même. Et pour lui, en tant que chercheur, le coût du système actuel d’évaluation est excessif. Nous sommes nombreux à le penser. Mais pour l’instant rares sont ceux qui s’aventurent à cette analyse ; pour l’essentiel nous nous contentons de réagir de manière pavlovienne aux injonctions bureaucratiques (qui utilisent abondamment les feuilles de calcul Excel et le système SAP pour gérer les budgets). Et on se borne à accepter comme inéluctable le mode actuel de fonctionnement de la recherche. Comme le dit Ségalat :
’Il y a certes des dérives mais, après tout, le système ne marche pas si mal. Les Etats-Unis fonctionnent ainsi et dominent la science mondiale.’ Ce sont les arguments qu’on entendait mot pour mot à propos de la finance mondiale avant que l’édifice ne s’écroule. (p.92)
Je trouve dans ces quelques 100 pages la quasi totalité des arguments pour ou contre l’organisation de la recherche. Il me semble que les deux principales pistes suggérées (instaurer un système de qualité basé sur le produit et non sur sa diffusion ; promouvoir de manière préférentielle les associations entre compétences similaires) devraient mériter notre attention.
J’ajouterai aux pistes suggérées par Ségalat, celle de la faiblesse de l’interaction entre les usagers de la recherche, ou plus exactement, l’absence d’intervention des non-scientifiques au sein du saint des saints : la définition des orientations de recherche et la mise en place de la programmation de la recherche (cela se pratique à une échelle limitée dans certains domaines). [4] C’est semble-t-il aussi dans cette direction que pointe la réflexion de Ségalat. [5]A suivre, donc.