Rising survey costs, increasing internet usage, and restrictions during the pandemic have accelerated a shift from face-to-face (CAPI) to web-based interviews (CAWI). This paper analyses the consequences of this shift for the comparability of survey-based measurements of demographic key indicators. We use data from a survey mode experiment, conducted in the Gender and Generation Survey in Germany, Croatia, and Portugal. We calculate mode-specific means and ratios of selected indicators and perform regression analyses to estimate mode-measurement effects. In all countries, we find mode-selection effects. In particular, less educated people are underrepresented in the CAWI mode.
Mode-measurement effects vary widely across indicators and country contexts. For sensitive questions, there are less social desirability biases in CAWI. For questions with a high respondent burden, there are less survey satisficing biases in CAPI. Loop questions with a high respondent burden are of particular concern. The mode shift challenges comparability between data collections, in longitudinal analyses and in cross-country comparisons. Data users should use weights for descriptive analyses, control for the mode where possible, and consider mode differences when interpreting results. The unique data source allows insights into mode effects among demographic indicators that were not possible before.

Deutsche Zusammenfassung

Steigende Kosten von Umfragen, steigende Internetnutzung und Kontaktbeschränkungen während der Pandemie haben den Trend weg von persönlichen Befragungen (CAPI) hin zu webbasierten Interviews (CAWI) beschleunigt. Dieser Beitrag analysiert die Folgen dieses Wandels für die Vergleichbarkeit von umfragebasierten Messungen demografischer Schlüsselindikatoren. Wir verwenden Daten aus einem Experiment zum Erhebungsmodus, das im Rahmen des Generations and Gender Survey (GGS) in Deutschland, Kroatien und Portugal durchgeführt wurde. Wir berechnen Mittel- und Anteilswerte ausgewählter Indikatoren für die unterschiedlichen Erhebungsmodi und führen Regressionsanalysen durch, um selektionsbereinigte Effekte auf die Messung zu schätzen. In allen Ländern finden wir modespezifische Selektionseffekte. Insbesondere Menschen mit geringerem Bildungsniveau sind im CAWI-Modus unterrepräsentiert. Modespezifische Messeffekte variieren stark zwischen den Indikatoren und den Länderkontexten. Bei sensiblen Fragen gibt es in CAWI geringere Verzerrungen durch soziale Erwünschtheit. Bei Fragen mit hohem "respondent burden" gibt es in CAPI geringere Verzerrungen durch Surveysatisfycing. Besonders problematisch sind Loop-Fragen. Abweichungen im Erhebungsmodus erschweren die Vergleichbarkeit zwischen Datenerhebungen, sowohl in Längsschnittuntersuchungen als auch in internationalen Vergleichen. Datennutzende sollten für deskriptive Analysen Gewichte verwenden, in multivariaten Analysen wenn möglich den Erhebungsmodus kontrollieren und bei der Interpretation der Ergebnisse Modeeffekte berücksichtigen. Die ausgewertete Pilotstudie stell eine einzigartige Datenquelle dar, die die Messung von Modeeffekten auf demografische Indikatoren ermöglicht, die bisher nicht möglich waren.