Aujourd’hui, l’hebdomadaire Science, l’une des revues scientifiques les plus cotées de la planète vient, involontairement peut-être, au secours des chercheurs français. Non pas en publiant une de leurs découvertes, cela arrive assez souvent, mais en raison de son éditorial signé par Kai Simons, président de l’European Life Scientist Organization.

Intitulé « le mauvais usage du facteur d’impact », il s’élève en termes très vigoureux contre l’abus du chiffre dans l’évaluation des chercheurs et de leurs travaux. En particulier de ce fameux « facteur d’impact » des revues - le nombre moyen de citations obtenus par les articles qui y sont publiés, transformé en outil de classement des dites revues - comme une mesure de la performance d’une recherche qui y est publiée… et donc d’un chercheur.

Or, souligne Simons, ce fameux facteur d’impact souffre de quantités de distorsions, notamment parce qu’il est devenu un objectif majeur pour les revues comme pour les chercheurs. Comment booster votre I-F (impact factor) ? Il suffit, par exemple, de publier des articles de « review », c’est à dire faisant état des avancées dans un domaine de recherche et ne comportant pas de résultats nouveaux. Par facilité, ces articles sont plus souvent cités que d’autres.

Plus grave : quelques matheux amateurs de statistiques simples ont démontré que le taux de citation moyen des revues généralistes les plus cotées est en réalité boosté par quelques articles, très minoritaires. Et que de très nombreux articles publiés dans ces revues soit disant garantes d’une qualité exceptionnelle n’avaient que peu de retombées en matière de citations... souvent moins que de bons papiers publiés dans des revues moins cotées... et donc rapportant moins de points dans les exercices d’évaluations bibliométriques auxquels se livrent de plus en plus le système scientifique sous la pression des gouvernements. Détail amusant : un article cité pour ses erreurs devient un… excellent papier pour les évaluations automatiques.

L’ennui, explique Simons, c’est que de plus en plus de gouvernements veulent évaluer scientifiques, laboratoires, centres de recherche à partir de tels chiffres sans analyse critique de leur réelle signification. Le gouvernement français n’est pas exempt de cette tendance. Ainsi, la direction du CNRS vient-elle de donner ordre à ses chercheurs de remplir un fichier Excel avec des données purement quantitatives, reposant en particulier sur le facteur d’impact. Ubu et son comique absurde étant souvent invités au gré des errments informatique de la biliométrie automatique.

L’ennui au carré, c’est que ce genre d’évaluation est souvent évoqué à l’appui de décision de politique scientifique, en général avec l’objectif de dénicher « l’excellence »... et donc de ne pas financer le reste. Une manière de concevoir le soutien à la recherche qui fait fi de l’histoire des sciences et du caractère imprévu, y compris de leurs réalisateurs, de la plupart des découvertes majeures. Ainsi, l’évaluation en cours doit

déboucher sur une vaste réorganisation du CNRS, avec éviction de laboratoires ou d’équipes jugées ainsi « non stratégiques ». Oh, bien sur, pas tout de suite... mais petit à petit dans le cadre d’une politique visant à « concentrer le Cnrs » sur ses « meilleurs » labos.

Une étude de Pablo Jensen et al, publiée y a peu démontre qu’une évaluation purement bibliométrique de leurs activités auraient conduit à bouleverser les promotions de 600 chercheurs du Cnrs, en décalage total avec les évaluations menées par des équipes connaissant les personnes et leurs productions scientifiques autrement que par un chiffre. Une autre étude de mathématiciens examine plus largement le problème du "mauvais usage" de ces statistiques bibliométrique. En voici un résumé.

Doit-on rappeller, alors que le Nobel de Luc Montagnier et Françoise Barré-Sinoussi pour la découverte du virus du Sida est encore tout frais qu’une ministre de l’enseignement supérieur et de la recherche, madame Alice Saunier-Seïté, voulait supprimer la recherche en virologie où il n’y avait, selon elle, plus rien à faire ? A l’époque, les papiers en virologie n’avaient pas la cote...

Déjà, les conseils scientifiques des départements du CNRS ont solennellement demandé l’arrêt de cette opération et les syndicats lancent de leur côté son boycott. Kai Simons souligne les effets pervers de cette manie du chiffre : « il n’y a pas de raccourcis numériques à l’évaluation de la qualité d’une recherche ». Et rappelle que seule l’évaluation qualitative, par des chercheurs du même domaine, peut fournir de éléments fiables pour la gestion de la recherche.

Ajout le 13/10 : Jean-François Mela développe un point de vue argumenté (de matheux..) sur cette nouvelle science des nombres appliquée à la science...