Singular-Modus-Mail- und Telefonumfragen gehen den Weg des Festnetzanschlusses – und werden langsam, aber sicher zugunsten einer stärker technologiegestützten Kommunikation abgeschafft.
Post- und Telefonfragebögen, die einst als Goldstandard für Umfragen galten, umfassen heute größtenteils eine webbasierte Komponente. Diese gemischten Modalitäten haben Umfrageforschern neue Freiheiten bei der Fragebogengestaltung gegeben und die Kosten gesenkt, aber wie wirken sie sich auf die Datenqualität aus? Wissenschaftler der University of Nebraska-Lincoln in der Abteilung für Soziologie und im Bureau of Sociological Research untersuchen diese Frage, und eine neue Studie zeigt, dass das Design von Umfragen mit gemischten Modalitäten die Datenqualität verbessern kann.
Die Romanstudie, veröffentlicht im Internationale Zeitschrift für Marktforschungschlägt vor, dass die Verwendung von Element-für-Element-Anzeigen, bei denen einzelne Fragen mit möglichen Antworten gestellt werden, anstelle von Rasteranzeigen oder Gruppierungen von Fragen und Antworten in einem Block sowohl bei E-Mail- als auch bei Webumfragen den „Straightlining“-Effekt oder die Auswahl der Befragten verringert Immer wieder die gleiche Antwort.
Die Studie ergab außerdem, dass die Verwendung breiter Balkendesigns, die bei Webumfragen üblicher sind, sowohl bei E-Mail- als auch bei Webumfragen kaum einen Unterschied in den Rücklaufquoten und der Datenqualität im Vergleich zu den viel häufiger vorkommenden Optionsfeldern – kleinen Ausfüllkreisen – machte in mailbasierten Umfragen. Die Ergebnisse deuten auch darauf hin, dass Fragebogendesigner Optionsfelder bei E-Mail-Umfragen und breite Balken bei Web-Umfragen kombinieren können, ohne dass dies nur geringe Auswirkungen auf die Datenqualität hat.
„Die vorherrschende Weisheit bei der Gestaltung von Fragebögen mit mehreren Modi ist die Verwendung eines sogenannten einheitlichen Modusdesigns, das dafür sorgen soll, dass die Dinge in allen Modi so ähnlich wie möglich aussehen“, sagte Kristen Olson, Hauptautorin der Studie und Direktorin des Büros für Soziologische Forschung. „Dies zeigt einen anderen Ansatz oder ein optimiertes Modendesign, bei dem man das Design für jeden Modus optimiert, innerhalb jedes Modus bessere Antworten erhalten und somit Messfehler minimieren kann.“
Olson sagte, die Ergebnisse seien eine gute Nachricht für Umfrageforscher. Immer mehr große soziologische und politische Umfragen mussten aufgrund des technologischen Wandels mehr Webkomponenten einbeziehen, und eine Umfrage mit gemischten Modalitäten umfasst wahrscheinlich vielfältigere demografische Gruppen.
„Die Bevölkerung, die Webumfragen durchführt, ist in der Regel jünger, gebildeter und verfügt über Internetzugang“, sagte Olson. „Mit E-Mails erreicht man diese Leute auch, aber man greift tendenziell auch ältere Menschen an, die keinen Internetzugang oder kein Smartphone haben. Wenn man E-Mail und Web miteinander vermischt, erhält man eine repräsentativere Gruppe von Befragten. Das ist gut.“ gegründet.“
Olson, der in einer Arbeitsgruppe der American Association for Public Opinion Research tätig war, die diese Fragen zur Datenqualität untersuchte, sagte, dass sich die meisten bisherigen Untersuchungen zur Gestaltung von Batteriefragen in selbst durchgeführten Umfragen seitdem fast ausschließlich mit webbasierten Umfragen befasst hätten E-Mail-Umfragen wurden in der Vergangenheit im Rasterstil formatiert, um die Kosten pro Seite zu senken. Durch den Einsatz webbasierter Komponenten zusätzlich zu E-Mail-Umfragen ist diese neue Studie eine der ersten, die Web- und E-Mail-Umfragen gemeinsam betrachtet. Und es deutet darauf hin, dass die Verwendung von Fragen und Antworten für einzelne Elemente in beiden Modalitäten die Datenqualität verbessern würde.
„Item-by-Item war besser für Web-Umfragen und für Mail-Umfragen“, sagte Olson. „Obwohl es bei einer E-Mail-Umfrage mehr Platz einnahm, schien es die wahrgenommene Belastung für den Befragten nicht zu erhöhen. Wenn wir diese Fragen aus den Rastern herausnehmen, wird die Qualität der Daten, die wir erhalten, erhöht.“
Olson räumte ein, dass die Erstellung einzeln formatierter Umfragen möglicherweise mehr kostet, sagte aber, dass das Ergebnis eine bessere Datenqualität sei.
„In dieser Welt, in der wir uns bewegen, in der immer mehr unserer Umfragen über mehrere Arten der Datenerfassung verfügen, ist es wirklich wichtig zu wissen, dass es das zusätzliche Geld wert sein kann, eine zusätzliche Seite im Mail-Fragebogen zu haben.“ kostet mehr Geld, aber Untersuchungen zeigen, dass Sie dadurch wahrscheinlich bessere Daten erhalten.
Mehr Informationen:
Kristen Olson et al., Anzeige von Batterieelementen in Web- und E-Mail-Umfragen: Raster im Vergleich zu einzelnen Elementen und Radio im Vergleich zu breiten Schaltflächen, Internationale Zeitschrift für Marktforschung (2023). DOI: 10.1177/14707853231210223