Laut Studie sind viele Modelle besser als eines für COVID-19-Szenarioprojektionen

Während der COVID-19-Pandemie erstellte der COVID-19 Scenario Modeling Hub Prognoseprognosen für COVID-19-Fälle, Krankenhauseinweisungen und Todesfälle unter bestimmten, politikrelevanten Szenarien. Diese Prognosen wurden Bundesbehörden wie den Centers for Disease Control and Prevention, lokalen Gesundheitsbehörden und der Öffentlichkeit zur Verfügung gestellt, um Entscheidungen wie die Freigabe von COVID-19-Impfstoffen für Kinder und die Empfehlung von Auffrischungsimpfungen zu unterstützen.

Ein Forscherteam des Hubs unter der Leitung von Biologen aus Penn State bewertete die Genauigkeit und Zuverlässigkeit dieser fast zwei Millionen Prognosen – einschließlich Ensemblemodellen, die mehrere einzelne Modellprojektionen für ein bestimmtes Szenario aggregieren –, die über einen Zeitraum von zwei Jahren erstellt wurden, indem es das Modell retrospektiv verglich Projektionen mit dem, was tatsächlich passiert ist. Die Modelle zeigten, wie sich verschiedene Interventionen auf den Verlauf der Pandemie bei einem bestimmten Ausgangsszenario auswirken würden, das den Forschern zufolge durchschnittlich 22 Wochen lang realitätsnah blieb, bevor beispielsweise eine unerwartete Variante des Virus eintraf. Sie fanden außerdem heraus, dass das Ensemble-Modell die einzelnen Prognosen übertraf und in 93 % der Fälle unter vier bis neun Einzelmodellen unter den ersten drei Modellen landete.

Das Team veröffentlichte seine Ergebnisse in der Zeitschrift Naturkommunikation. Die Ergebnisse unterstreichen den Wert eines kollaborativen Modellierungsansatzes, so die Forscher, und könnten Auswirkungen auf eine bessere Vorhersage zukünftiger Krankheitsausbruchsszenarien haben, von der saisonalen Grippe bis hin zu weit verbreiteten Pandemien.

„Der COVID-19 Scenario Modeling Hub holt Prognosen von mehreren unabhängigen Modellierungsteams ein“, sagte Emily Howerton, Postdoktorandin für Biologie am Penn State Eberly College of Science, Mitglied des Hubs und Leiterin des Forschungsteams. „Diese Teams erstellen Prognosen für spezifische politikrelevante Szenarien, die vom Hub entworfen wurden und darauf abzielen, gemeinsam wichtige Fragen der öffentlichen Gesundheit zu beantworten. Der Hub ist eine riesige Gemeinschaftsleistung, was es wirklich spannend macht.“

Die Modellierungsteams kommen aus unterschiedlichen Bereichen, darunter akademische Einrichtungen, Regierungsbehörden und der Privatsektor, um Szenarioprojektionen zu erstellen.

„Im Gegensatz zu Wettervorhersagen, die auf der Grundlage früherer Trends untersuchen, was passieren wird, berücksichtigen Szenarioprojektionen, was unter einer Reihe spezifischer Bedingungen passieren könnte“, sagte Howerton und erklärte, dass eine solche Prognose modellieren könnte, was passieren könnte, wenn eine neue Variante auftauchte oder helfen könnte bewerten Interventionsstrategien. „Dadurch können wir weiter in die Zukunft projizieren und die Auswirkungen möglicher Interventionen bewerten.“

Macht in Zahlen

Der Hub kombiniert außerdem die einzelnen Projektionen zu einer Ensemble-Szenarioprojektion, die Ergebnisse von vier bis neun mathematischen Modellen umfasst, die jeweils von den verschiedenen Teams entwickelt wurden.

„Die Ensembleprojektion ist so, als würde man ein paar Freunde um Rat fragen“, sagte Howerton. „Sie hören eine Vielzahl von Empfehlungen, kombinieren diese Empfehlungen in Ihrem Kopf und suchen bei Ihrer Entscheidung nach Gemeinsamkeiten und Unterschieden.“

Ab Februar 2021 erstellte das Zentrum 16 Prognoserunden, in denen jeweils ein Ausgang der Pandemie zwischen drei Monaten und einem Jahr vorhergesagt wurde. Laut Howerton wurde jede Runde von laufenden Diskussionen mit staatlichen und bundesstaatlichen Gesundheitspartnern geleitet und spiegelte das sich verändernde Verständnis über den Ursprung und die Reaktion auf das Virus wider. Für jede Projektionsrunde erstellte der Hub vier Szenarien. Beispielsweise variierte der Hub in Runde 2 die Impfaufnahme nach Variantenverbreitung, um vier Szenarien zu erstellen: hohe Impfaufnahme mit hoher Variantenverbreitung, hohe Impfung mit geringer Verbreitung und so weiter.

In diesem Papier verglichen sie für jede der 16 Runden diese Szenarioprojektionen retrospektiv mit dem, was schließlich eintrat, und bewerteten sie anhand zweier Kriterien: voraussichtlicher Zweck – ob die Szenarien mit der Realität übereinstimmten; und retrospektive Bewertung – wie lange die Realität den Szenariospezifikationen entsprach. Basierend auf diesen Kriterien übertraf das Ensemble-Modell in der Regel alle Einzelmodelle, indem es in 69 % der Fälle zu den Top-2-Performern und in 93 % der Fälle zu den Top-Drei-Performern zählte.

„Im Kontext des Scenario Modeling Hub sahen wir auch deutliche Leistungsverbesserungen des Ensembles gegenüber einzelnen Modellen“, sagte Cécile Viboud, leitende Wissenschaftlerin am Fogarty International Center an den National Institutes of Health (NIH Fogarty) und eine der Leiterinnen von Das Forschungsteam. „Das Ensemble war im Vergleich zu einzelnen Modellen nicht nur insgesamt genauer bei der Vorhersage von COVID-19-Trends, es war auch über alle 16 Runden hinweg zuverlässiger als jedes einzelne Modell, was für die Entscheidungsfindung äußerst wichtig ist.“

Hub-Geschichte

Der Hub wurde im Dezember 2020 gegründet und baut auf anderen Multimodellbemühungen auf, die darauf abzielen, die Entscheidungsfindung im Bereich der öffentlichen Gesundheit zu unterstützen. Laut Co-Autorin Katriona Shea wurde die Idee, die Entscheidungsfindung mit mehreren unabhängigen Modellen zu unterstützen, von einer Übung namens „Multiple Models for Outbreak Decision Support“ (MMODS) inspiriert, die sie zu Beginn der Pandemie durchgeführt hatte und bei der 17 Modelle zur Bewertung der Wiedereröffnung von COVID-19 kombiniert wurden Strategien. Shea, Professorin für Biologie und Alumni-Professorin für Biowissenschaften am Penn State Eberly College of Science und eine der leitenden Forscher in diesem Team, sagte, sie sei von ihren Erfahrungen in anderen Bereichen inspiriert worden, in denen das Sammeln und Kombinieren von Expertenurteilen gängige Praxis sei .

„Dieser Artikel zeigt die wahre Kraft einer Ensembleprojektion, nicht nur bei der Generierung von Konsens, sondern auch bei der Identifizierung wichtiger Dinge, die wir nicht wissen“, sagte Shea. „Diese Art von Informationen sind für Entscheidungsträger von entscheidender Bedeutung, wenn sie aktuelle Krankheitsbedrohungen und zukünftige Pandemien bewältigen.“

Als Beispiel für die Leistungsfähigkeit der Ensemble-Projektionen stellte der Hub kürzlich das Auftreten einer neuen Variante über einen Zeitraum von zwei Jahren drei verschiedenen Impfstrategien gegenüber – keine Impfungen, Impfungen nur für Personen ab 65 Jahren und Impfungen für alle. Diese Ergebnisse wurden auf der Sitzung des Beratenden Ausschusses für Impfpraktiken bekannt gegeben, der Empfehlungen für Impfstoffe entwickelt, und dienten als Grundlage für die Entscheidung, im September aktualisierte Impfstoffe freizugeben.

„Diese Arbeit unterstreicht wirklich, wie wichtig es ist, als ‚Hub‘ zusammenzukommen, die gleichen Fragen zu beantworten und unsere kollektive Kraft zu nutzen, um zuverlässigere Informationen bereitzustellen, als jedes einzelne Team allein liefern könnte“, sagte Justin Lessler, Professor für Epidemiologie an der Gillings School of Global Public Health an der University of North Carolina und einer der Leiter des Forschungsteams. „Dieses Multi-Modell-Ensemble-Framework war für die Wirkung des Hubs im Verlauf der Pandemie von entscheidender Bedeutung. Unsere zuverlässigen und genauen Prognosen waren eine wichtige Informationsquelle für die Reaktion auf neu auftretende Varianten und die Entscheidungen zur Freigabe von COVID-19-Impfstoffen für Kinder.“ und bivalente Auffrischimpfungen für alle Altersgruppen.“