Ein neues Papier in der Journal of Survey Statistics and Methodology weist darauf hin, dass die Methoden, die Forscher verwenden, um über Analysen von Umfragedaten zu berichten, sehr unterschiedlich sind und häufig Fehler enthalten. Veröffentlichungen, die diese fehlerhaften Analysen enthalten, liefern Ergebnisse, die politische Entscheidungsträger, Forscher und Praktiker falsch informieren können. Die Forscher schlagen hier neue Standards vor, um die Berichterstellung von Analysen mit komplexen Stichprobenerhebungsdaten zu verbessern.
Seit Jahrzehnten haben Forscher methodische Probleme und analytische Fehler dokumentiert, die häufig in Arbeiten vorkommen, die komplexe Stichprobenerhebungsdaten von Bevölkerungen verwenden. Diese Umfragen verwenden Merkmale des Stichprobendesigns, die – wenn sie richtig verwendet werden – unvoreingenommene Schätzungen einer Population liefern können. Bevölkerungsstichproben verwenden beispielsweise routinemäßig komplexe Designmerkmale, um die statistische Effizienz zu verbessern, Kosten zu senken und die Stichprobengröße von unterrepräsentierten Bevölkerungsgruppen zu erhöhen. Komplexe Stichproben weichen jedoch von einfachen Zufallsstichproben ab. Dies hat wichtige Auswirkungen auf die Analyse und Berichterstattung der Ergebnisse.
Standardmäßig gehen die meisten statistischen Softwareprogramme davon aus, dass die Daten aus einfachen Zufallsstichproben stammen. Aber nicht alle Umfragedaten werden mit einer einfachen Zufallsstichprobe erhoben. Es ist daher wichtig, dass Ermittler bei der Analyse solcher Daten die richtigen Softwareverfahren verwenden, um komplexe Merkmale des Probendesigns zu berücksichtigen. Die Nichtberücksichtigung komplexer Konstruktionsmerkmale kann zu voreingenommenen Schätzungen und falschen Interpretationen des Materials führen.
Ein Papier aus dem Jahr 2016 analysierte Daten aus dem Scientists and Engineers Statistical Data System und stellte fest, dass nur 7,6 % die Stichproben bei der Varianzschätzung korrekt berücksichtigten. Dasselbe Papier stellte fest, dass etwas mehr als die Hälfte (54,5 %) der Papiere die Stichprobengewichte in Analysen korrekt berücksichtigten und nur 10,7 % der Papiere eine angemessene Subpopulationsschätzung verwendeten. Eine separate Überprüfung von Veröffentlichungen, in denen Daten aus der National Inpatient Sample analysiert wurden, ergab, dass etwa 80 % der Artikel die Clusterung und Schichtung der Stichprobe nicht berücksichtigten. Eine andere Analyse ergab, dass weniger als die Hälfte der Studien, die Daten aus der Medicare Current Beneficiary Survey analysierten, eine angemessene Gewichtung oder Varianzschätzung beschrieben.
Die Forscher schlagen hier eine detaillierte Checkliste vor, um Forscher bei der Veröffentlichung von Analysen mit komplexen Stichprobenerhebungsdaten anzuleiten. Die Checkliste, die sie als Preferred Reporting Items for Complex Sample Survey Analysis (oder PRICSSA) bezeichnen, besteht aus 17 wichtigen Punkten, die für alle Analysen zu melden sind, die an komplexen Umfragedaten durchgeführt werden, einschließlich Stichprobengrößen für alle Schätzungen, fehlende Datenraten und Imputationsmethoden. Informationen zu gelöschten Daten und eine Erläuterung zur Umfragegewichtung und Varianzschätzung. Zusätzlich zur Checkliste schlagen die Forscher hier vor, dass Forscher, die komplexe Umfragedaten verwenden, den gesamten entsprechenden Softwarecode zur Verfügung stellen.
Die Autoren glauben, dass solche Reformen die Transparenz erheblich erhöhen und Analysefehler leichter aufdecken könnten. Dies wiederum würde es weniger wahrscheinlich machen, dass Akademiker oder andere Forscher sie verpflichten. Die Forscher betonen hier, dass sie ihre Checkliste anderen Checklisten nachempfunden haben, wie der PRISMA-Checkliste, die häufig für systematische Reviews und Metaanalysen verwendet wird, und den CONSORT-Richtlinien, die in randomisierten Studien Standard sind.
Wissenschaftler und Institutionen haben enorme Ressourcen in das Umfragedesign und die Datenerfassung investiert, um zu versuchen, genaue Bevölkerungsschätzungen zu erstellen. Die korrekte Analyse solcher Daten erfordert, dass Forscher bestimmte komplexe Merkmale des Umfragedesigns in ihre Arbeit integrieren. Die Autoren dieses Papiers möchten sicherstellen, dass Ergebnisse, die in von Experten begutachteten Veröffentlichungen berichtet werden, politische Entscheidungsträger, Praktiker und Forscher nicht falsch informieren. Sie argumentieren, dass ihre vorgeschlagene Checkliste das Potenzial hat, die Genauigkeit und Reproduzierbarkeit der Umfrageforschung zu erhöhen, indem sie die Qualität der Analyse verbessert und die Transparenz erhöht.
„Es ist ein Problem, wenn Papiere veröffentlicht werden und die Analysen falsch durchgeführt wurden oder nicht reproduziert werden können“, sagte der Hauptautor des Papiers, Andrew Seidenberg. „Wir haben diese Checkliste erstellt, um das zu verhindern.“
Mehr Informationen:
Andrew B. Seidenberg et al., Preferred Reporting Items for Complex Sample Survey Analysis (PRICSSA), Journal of Survey Statistics and Methodology (2023). DOI: 10.1093/jssam/smac040