J’aurai bien aimé voir la feuille EXCEL demandée par le CNRS.
Signalons qu’à l’IRD le débat s’amorce et pas dans la plus totale sérénité a cause des bouleversements que vit notre institut de recherche.
Grâce à Yves Gingras, qui dirige la base bibliométrique du CIRST à Montréal, nous avons un article de référence pour démontrer toute l’absurdité de l’évaluation bibliométrique appliquée aux individus.
Lire son article :Du mauvais usage de faux indicateurs
par Yves GINGRAS
[1], disponible sur CAIRN - qui est aussi le portail sur lequel est publié la Revue d’Anthropologie des Connaissances, ne l’oublions pas.
Mais revenons à nos billes : l’absurdité consiste à vouloir absolument éviter de lire ce qu’écrivent les auteurs des articles. L’absurdité est de vouloir baser l’évaluation sur un calcul plutôt que sur une appréciation. C’est de confondre le statistique et le normatif. De confondre une certaine forme de présence sur un marché des publications scientifiques, car les revues scientifiques sont un marché (ce que les bibliométriciens appellent de manière un peu tendancieuse la "visibilité") et la qualité.
Il faut cependant se rendre à l’évidence : les chercheurs eux-mêmes ont délégué aux administrations cette fonction de contrôle de la qualité quand ils ont évité d’entrer dans le débat de la qualité en science. Et là c’est une question politique, pas de la bibliométrie dont il s’agit.
Car en effet, les ratés des commissions scientifiques, haut lieu de la "mesure" de la qualité, provoquent suffisamment de problèmes pour mettre à mal l’ensemble de l’édifice. Si le Président Sarkozy peut de permettre d’être insultant, comme il l’a été le 22 janvier 2009, lui qui n’a aucune idée de ce qu’est la recherche ou l’évaluation mais par contre fait de la politique pendant 100% de son temps, c’est qu’il y a une faille dans l’édifice institutionnel de la recherche. Le gouvernement exploite cette faille. Cette faille est personnifiée la nomination d’une ministre de l’éducation supérieur et de la recherche qui ne sait pas non plus ce qu’est la recherche. Tous le discours du gouvernement le prouve (lire par exemple le discours du Président aux Assises de l’innovation qui eurent lieu de manière confidentielle à la Villette sous la houlette de Claude Allègre). Un discours qui confond à mauvais escient recherche et commercialisation, recherche et innovation, qui veut faire « remonter » la repsonsabilité de l’nnovation aux institutions de recherche, alors que se sont les entreprises qui devraient en être le principal acteur.
L’étonnant dans toute cette affaire (politique) que nous vivons en ce moment est que historiquement les gouvernements veulent plutôt amadouer les élites universitaires. L’étonnant est que à l’Elysée et au Ministère de la recherche il y a des personnes qui savent pertinemment ce qu’est la recherche. Attaquer les universitaires comme le fait le gouvernement Sarkozy en ce moment signifie que ces élites universitaires et académiques n’ont plus autant de présence ou de puissance dans l’édifice politique.
La faiblesse de la position sociale des chercheurs est structurelle comme devrait être structurellement forte celle des universitaires. L’anomalie historique de l’après-guerre faisant de la recherche un domaine protégé situé dans des organismes publics de recherche -le CNRS et ses semblables- est due à la bombe atomique qui a légitimé les physiciens bien au-delà de l’enceinte des seuls organismes de recherche et des laboratoires militaires. Les universitaires au contraire ont toujours été choyés pour des raisons politiques -peut-être un peu moins en France à cause de la concurrence des Grandes écoles, encore que... - par les gouvernements les plus divers. Or, en ce moment, tout porte à penser que la position des universitaires est également faible, du moins en France. Voici un beau sujet de sociologie des sciences à la Merton et à la Ben-David.... non ? Pour rendre la question un peu plus pragmatique qu’est-ce qui a fait croire aux conseillers du prince qu’une réforme universitaire était possible aujourd’hui et que le talon d’Achille de l’université était l’évaluation ?
Pour en revenir un instant à la bibliométrie, ne la jetons pas aux orties, car sinon nous serons submergés par la mauvaise utilisation des indicateurs de science. Mais faisons barrage aux usages absurdes de la bibliométrie aux calculs de indices—H et autres imbécilités de ce genre.
.. Coda encore plus absurde :
Un collègue de l’IRD m’a fournit les données suivantes :
Ceci m’a donné l’idée de rechercher dans Google scholar, l’une des références de la bibliométrie, le taux de citation de personnalités connues, d’une manière aléatoire qui me passait par la tête, soit par ordre alphabétique :
Bardot (Brigitte)
Curie (Marie)
Jean-Paul II (indexé à "II, Jean-Paul")
Hitler (Adolphe)
Lévi-Strauss (Claude)
Leys (Simon)
Molière (indexé à"Molière, JBP")
Spears (Britney)
Veil (Simone)Je n’ai pas calculé l’indice "h" dont parle Arvanitis, soit si j’ai bien compris le rapport entre nombre de citations et nombre de textes publiés Mais sauf erreurs et omissions le taux maximal brut de citations obtenu est le suivant :
Lévi-Strauss (Claude) 840
Hitler (Adolphe) 585
Curie (Marie) 171
Leys (Simon) 34
II (Jean-Paul) 6
Bardot (Brigitte) 6
Molière (JPB) 5
Veil (Simone) 5
Spears (Britney) 3Vous laissant comme moi-même, j’imagine, méditer sur ce petit échantillon aléatoire je vous souhaite une bonne nuit et une excellente journée.
Commentaire : Le petit exercice que mon collègue a effectué démontre un des principes de la bibliométrie -de toute étude sociale - à savoir qu’un outil intellectuel n’a de sens que dans le contexte pour lequel il a été construit.
— -
Sur le blog de Enro, on trouvera des excellents billets sur ces sujets :
- Les (autres) mythes de la bibliométrie
- Les comptes truqués du facteur d’impact, suite et fin ?
- deuxième
- premier
- Nouvelles du front (mai 2007) où il est question de l’absence de corrélation entre évaluation par les pairs et autres indicateurs
- Il faut toujours lire les papiers de John P.A. Ioannidis, véritable poil à gratter de la recherche biomédicale. Lire par exemple : Why Most Published Research Findings Are False ou plus fort encore : Why Current Publication Practices May Distort Science.
- Un très bel article ironique sur les usages de la bibliométrie : Petits conseils aux enseignants-chercheurs qui voudront réussir leur évaluation. dans la revue Contretemps.
- Quelques liens que j’ai collecté ici : Evaluation et bibliométrie