Forschungsleuchtturm: Information Experience and Design Research Group (IXD)
Forschungsthema: Automatische Erkennung von Verständnisproblemen bei der Beantwortung von Fragebogen-Items mittels Eye-Tracking
Betreuende Professorin: Prof. Dr. Yvonne Kammerer, kammerer@hdm-stuttgart.de
Fragebögen sind wichtige Erhebungsinstrumente zur Erfassung von Selbstauskünften von Personen. Die Qualität der erhobenen Daten hängt jedoch stark davon ab, wie verständlich die Fragebogenitems (d.h. die Fragen bzw. Aussagen) für die Zielgruppe sind (Fowler & Fowler, 1995; Lenzner, 2012). Eine gängige Pretest-Methode, um potentiell problematische Items in Fragebögen zu identifizieren, ist das kognitive Interview. Dabei sollen die befragten Personen Verständnisprobleme bezüglich der Beantwortung der Items verbalisieren (Neuert & Lenzner, 2016; Willis, 2004). Es kann allerdings sein, dass die Teilnehmenden nicht in der Lage oder nicht willens sind (z.B. aufgrund sozialer Erwünschtheit), ihre Verständnisprobleme zu verbalisieren (Graesser et al. 2006; Willis, 2004). Der Einsatz von Eye-Tracking kann daher hilfreich sein, um mögliche Verständnisprobleme bei der Beantwortung von Fragebögen automatisch und ohne Selbstauskunft aufzudecken. Studien aus dem Bereich der Lese- und Textverstehensforschung haben gezeigt, dass beim Lesen schwieriger Texte bzw. bei Personen mit geringerer Lesekompetenz längere Fixationsdauern und kürzere Sakkadenamplituden auftreten als bei einfachen Texten bzw. bei Personen mit höherer Lesekompetenz (z.B., Krieber et al., 2016; Rayner et al., 2006). Ziel dieses Forschungsprojekts ist es daher herauszufinden, wie sich Verständnisprobleme bei der Beantwortung von Fragebogenitems in den Blickbewegungen der Befragten manifestieren. Dazu wird in experimentellen Studien die Verständlichkeit der Items variiert und die Lesekompetenz der Befragten erfasst. Basierend auf diesen Ergebnissen werden von den Projektpartnern aus der Informatik Algorithmen des maschinellen Lernens modelliert und trainiert. Diese Modelle werden abschließend in einer Evaluationsstudie auf ihre Generalisierbarkeit getestet.
Anforderungen an die Bewerberinnen und Bewerber
Studium in Psychologie, Kognitionswissenschaften oder Informationsdesign
Notwendiges Vorwissen: Kenntnisse in statistischen Datenanalysen (mit R oder SPSS), Interesse an psychologischen Fragestellungen, Leseforschung und quantitativen empirischen Forschungsmethoden
Eckpunkte des Projektes
Laufzeit: 05/2023 bis 04/2026
Fördergeber: DFG
Wissenschaftliche Leitung: Dr. Dagmar Kern (GESIS Köln), Prof. Dr. Yvonne Kammerer (HdM Stuttgart)
Anzahl Mitarbeitende: 2
Literatur
Fowler Jr, F. J., & Fowler, F. J. (1995). Improving survey questions: Design and evaluation. Sage.
Graesser, A. C., Cai, Z., Louwerse, M. M., & Daniel, F. (2006). Question Understanding Aid (QUAID): A web facility that tests question comprehensibility. Public Opinion Quarterly, 70(1), 3-22. https://doi,org/10.1093/poq/nfj012
Krieber, M., Bartl-Pokorny, K. D., Pokorny, F. B., Einspieler, C., Langmann, A., Körner, C., Falck-Ytter, T., & Marschik, P. B. (2016). The relation between reading skills and eye movement patterns in adolescent readers: Evidence from a regular orthography. PLOS ONE, 11(1), Article e0145934.
Lenzner, T. (2012). Effects of survey question comprehensibility on response quality. Field Methods, 24(4), 409–428. https://doi.org/10.1177/1525822X12448166
Neuert, C. E., & Lenzner, T. (2016). Incorporating eye tracking into cognitive interviewing to pretest survey questions. International Journal of Social Research Methodology, 19(5), 501-519. https://doi.org/10.1080/13645579.2015.1049448
Rayner, K., Chace, K. H., Slattery, T. J., & Ashby, J. (2006). Eye movements as reflections of comprehension processes in reading. Scientific Studies of Reading, 10(3), 241-255. https://doi.org/10.1207/s1532799xssr1003_3
Willis, G. B. (2004). Cognitive interviewing: A tool for improving questionnaire design. Sage.