Une vaste étude, menée par des universitaires de Royal Holloway, Université de Londres, a révélé que les recherches utilisées par les décideurs politiques en matière de conservation et de gestion de l’environnement sont instables au fil du temps et peuvent rapidement devenir obsolètes : elles présentent une menace potentielle sérieuse pour les décisions fondées sur des preuves. fabrication.
La recherche a été dirigée par un doctorat. l’étudiante Lizzie Brisco et le professeur Julia Koricheva du Département des sciences biologiques de Royal Holloway, en collaboration avec le professeur Elena Kulinskaya de l’Université d’East Anglia.
L’élaboration des politiques en matière de gestion de l’environnement et de planification de la conservation s’appuie de plus en plus sur des analyses quantitatives des résultats d’études antérieures, autrement appelées « méta-analyses ».
La méta-analyse estime l’ampleur de l’effet d’une intervention, sa signification statistique et la direction de l’effet (c’est-à-dire si l’effet de l’intervention est important ou faible, positif ou négatif). Cette estimation des effets éclaire les recommandations en matière de gestion environnementale.
Toutefois, celles-ci ne peuvent être établies qu’à partir d’un instantané des éléments de preuve disponibles au moment où les recommandations sont formulées. Si l’ampleur, la signification statistique ou la direction – devenant bénéfique alors qu’on pensait autrefois qu’il était nocif, ou vice versa – de l’effet estimé change après ce point (à mesure que davantage de preuves sont incluses), alors les recommandations dérivées de ces revues pourraient rapidement devenir obsolète.
La nouvelle étude, publié dans la revue Méthodes de synthèse de la recherchea évalué 121 méta-analyses sur une gamme de sujets appliqués à l’écologie et à la conservation, tels que les impacts des programmes agroenvironnementaux sur les abeilles et l’impact des différentes températures de l’eau et des niveaux de CO2 sur les coraux.
L’analyse a révélé que les effets observés dans la plupart des études créaient des « tendances temporelles » qui étaient instables dans le temps et pouvaient modifier l’ampleur et la signification statistique de ces effets. Par exemple, si l’effet a diminué en ampleur avec le temps, est devenu significatif ou a changé de direction (devenant bénéfique alors qu’il était autrefois considéré comme nocif, ou vice versa).
doctorat L’étudiante Lizzie Brisco, auteur principal de l’étude, a déclaré : « L’instabilité temporelle de la base de données environnementales est extrêmement préoccupante car les interventions en matière de politique environnementale sont coûteuses et leurs conséquences sont importantes à la fois sur le plan économique et pour les espèces vulnérables.
« Les changements dans les données probantes au fil du temps ajoutent également aux inquiétudes concernant une « crise de reproductibilité » plus large dans la science : le fait de ne pas reproduire les résultats réduit la confiance du public dans la méthode scientifique et ses conclusions, ce qui a de larges implications dans la société. »
Le professeur Julia Koricheva, du Département des sciences biologiques de Royal Holloway, a déclaré : « Des tendances temporelles dans l’ampleur et la signification des effets ont souvent été observées dans d’autres domaines de recherche, par exemple la médecine et les sciences sociales. Notre étude s’ajoute aux preuves croissantes des tendances temporelles. en termes d’ampleur des effets dans toutes les disciplines scientifiques.
« Il y a eu un désaccord récent sur la prévalence de telles tendances temporelles en écologie, mais les études précédentes se sont largement concentrées sur ce que l’on appelle « l’effet de déclin », lorsque les preuves du phénomène diminuent avec le temps.
« Notre étude a montré que les modèles temporels des preuves environnementales sont beaucoup plus complexes, ce qui signifie que les politiques basées sur ces preuves peuvent avoir des conséquences moindres, plus importantes ou opposées à celles attendues. »
Dans l’étude, 93 % des méta-analyses examinées par les chercheurs ont montré des tendances temporelles en termes d’ampleur ou de signification statistique de l’effet, 27 % des ensembles de données présentant des tendances temporelles en termes d’ampleur et de signification de l’effet. Les effets extrêmement précoces des études représentaient le schéma le plus courant (les études réalisées au début de la période de preuve de l’intervention montrant des effets plus extrêmes), mais de nombreuses autres tendances, notamment des ampleurs décroissantes et croissantes de l’effet et des changements dans le signe de l’effet, ont été détectées.
Les chercheurs ont établi que, dans la plupart des cas, ces fluctuations temporelles des effets n’étaient pas dues à des changements dans la taille de l’échantillon et n’étaient pas liées à des changements dans les caractéristiques de l’étude telles que l’emplacement géographique ou les espèces étudiées.
Cela a conduit les chercheurs à conclure que les changements temporels observés dans les effets pourraient soit refléter de véritables changements biologiques au fil du temps, soit être causés par un biais de publication, les résultats des études pouvant affecter la rapidité avec laquelle la recherche est publiée.
Quelles que soient les causes sous-jacentes, l’instabilité temporelle des estimations des effets sur l’écologie et la conservation représente une menace potentielle sérieuse pour la prise de décision politique, dans la mesure où les estimations statistiques de l’effet d’une intervention peuvent ne pas refléter avec précision les impacts réels.
Plus d’information:
Elizabeth Brisco et al, Évaluation de l’instabilité temporelle dans la base de preuves appliquées en matière d’écologie et de conservation, Méthodes de synthèse de la recherche (2023). DOI : 10.1002/jrsm.1691