Des chercheurs de l’Université Carlos III de Madrid (UC3M), de l’Université de León (ULE) et de l’Université d’État de São Paulo (UNESP) au Brésil ont développé un indicateur plus robuste, plus clair et plus juste que le « facteur d’impact », qui a été largement utilisé depuis des décennies pour évaluer des revues académiques et scientifiques.
Ce nouvel indicateur, qu’ils appellent « Influence réelle », a de nombreuses applications pratiques, allant de l’évaluation des projets de recherche et des accréditations aux demandes de titularisation et à l’identification de modèles de citations inhabituels dans les revues scientifiques.
Selon l’un de ses auteurs, Antonio Perianes, professeur au Département de Bibliothèque et Sciences de l’Information de l’UC3M, l’indicateur « vise une évaluation rationnelle et contextualisée des revues scientifiques, et non une formule magique pour une prise de décision basée uniquement sur des chiffres ». Il ajoute : « Il ne s’agit pas d’une mesure unique (puisqu’elle ne peut pas capturer toute la complexité de la science) et doit toujours être complétée par des évaluations qualitatives des publications scientifiques. »
Real Influence cherche à fournir une alternative améliorée au « facteur d’impact », qui calcule le nombre moyen de citations par publication scientifique. Le problème de ce système, selon les chercheurs, est qu’il fournit des informations sur la visibilité individuelle de chaque publication mais n’est pas à l’abri des distorsions causées par les articles très cités, entre autres inconvénients.
Par exemple, la mesure du facteur d’impact a tendance à être plus élevée dans les domaines où les publications et les citations sont plus fréquentes (comme les sciences ou la technologie biomédicales) ou ne reflète pas l’impact à long terme d’une publication (puisqu’elle mesure généralement les citations dans les deux ans suivant la publication). publication).
« Notre objectif initial en créant Real Influence était de développer un outil qui permettrait de montrer la visibilité de toutes les publications d’une revue et de permettre des comparaisons entre elles », explique Perianes. « Cette approche permet de comparer les distributions de revues de différentes tailles sans distorsions, ce qui est particulièrement important car elle évite les désavantages pour les revues dont la production est inférieure par rapport à celles dont les volumes de publication sont nettement plus élevés. »
Pour mener l’étude, récemment publié dans la revue Études scientifiques quantitativesl’équipe a comparé les performances du nouvel indicateur dans près de 400 revues dans les domaines des bibliothèques et des sciences de l’information, de la biochimie et de la biologie moléculaire. Les résultats de l’analyse montrent que Real Influence est moins vulnérable aux manipulations, représente mieux la diffusion complète des publications et, surtout, offre une perspective plus détaillée et plus juste basée sur la visibilité de chaque article.
La méthodologie de Real Influence s’inspire de l’utilisation de percentiles dans des domaines tels que l’économie ou la croissance pédiatrique. Cette approche évite les biais causés par les articles exceptionnellement cités en évaluant non seulement les citations reçues, mais également en considérant la position relative de chaque article dans l’univers des citations au sein de sa catégorie. Cela le rend facilement adaptable et implémentable dans tout système de données compatible avec les études de citations, tel que WoS ou Scopus.
Plus d’informations :
Antonio Perianes-Rodríguez et al, Influence réelle : une nouvelle approche pour caractériser la visibilité des revues et des publications, Études scientifiques quantitatives (2024). DOI : 10.1162/qss_a_00316