Eine gute Fragebogengestaltung ist wichtig, damit eine Umfrage aussagekräftige Daten liefert. Im folgenden Abschnitt erklären wir, welche Kernkriterien ein Fragebogen erfüllen muss und weisen auf Strategien für Design, Aufbau, Form und Inhalt hin.
Inhaltsverzeichnis
Notwendigkeit von gut gestalteten Fragebögen
Eine Umfrage in Organisationen dient in erster Linie als Diagnoseinstrument, um verschiedene Informationen aus Sicht der Mitarbeitenden zu erfassen. Diese Informationen müssen dabei gültig und zuverlässig sein, um anhand der Daten die richtigen Entscheidungen zu treffen. Ein Fragebogen voll unbedacht zusammengewürfelter Fragen wird oft wenig Gültigkeit besitzen, wenn man aus ihm fundierte Schlüsse ziehen möchte. Neben Gültigkeit ist die Zuverlässigkeit der Daten aber ebenfalls wichtig, was bedeutet, dass die Teilnehmenden während der Beantwortung wenig Fehler machen. Dies kann zum Beispiel geschehen, wenn Items nicht klar verständlich sind oder der Fragebogen die Teilnehmenden ermüdet. Gültigkeit und Zuverlässigkeit als zentrale Kriterien haben zur Folge, dass sowohl Inhalt als auch Form des Fragebogens für eine gute Gestaltung wichtig sind.
Einige wichtige Begriffe zum Thema Fragebogen:
Item: Einzelne Frage oder Aufgabe einer Befragung
Gültigkeit (Validität): Inhaltliche Übereinstimmung einer Befragung. Wird das gemessen, was gemessen werden soll?
Zuverlässigkeit (Reliabilität): Messgenauigkeit einer Befragung. Wird das, was gemessen werden soll, fehlerfrei gemessen?
Antwortformat: In welcher Form liegen die Antworten vor (z.B. als Freitext oder als Einschätzungen auf einer Skala)?
Länge
Ein Fragebogen sollte alle wichtigen Inhalte der Befragung abdecken. Gleichzeitig sollte er so kurz wie möglich sein, um Ermüdungseffekte bei den Teilnehmenden zu vermeiden. Dies würde die Zuverlässigkeit der Daten senken. In der Praxis besteht die Mehrheit der Umfragen aus 40 bis 60 Items. Mitarbeiterbefragungen zählen zu den längeren Befragungsformen. Hier sind in der Regel 60 bis 80 Items üblich. Bei Check- und Pulsbefragungen reichen hingehend schon 3-4 Items.
Instruktionen
In den Instruktionen eines Fragebogens stehen wichtige Informationen für die Teilnehmenden. Diese sollten in kompakter Weise zusammengefasst werden. Es sollte kurz auf den Inhalt und das Ziel des Fragebogens eingegangen werden, außerdem sollten dort auch Informationen zum Beantwortungsprozess stehen. Diese sogenannten Prozessinformationen stellen klar, wie der Fragebogen ausgefüllt wird und bis zu welchem Datum Teilnehmende dazu Zeit haben. Auch Informationen zum Datenschutz zählen zu den Prozessinformationen.
Die meisten Instruktionen stehen am Anfang der Befragung. Bei größeren Umfragen ist es allerdings üblich, vor bestimmten Themenblöcken nochmals kleine Anleitungen zu schalten. Dort können dann beispielsweise spezifische Fachbegriffe erklärt werden.
Antwortformate
Das Antwortformat der Items sollte möglichst identisch sein, um die Antworten der Teilnehmenden sinnvoll verrechnen zu können. In vielen Umfragen bietet sich hierfür eine 5- oder 7-stufige Antwortskala an. Diese 5 oder 7 Abstufungen bieten genügend Differenzierung für aussagekräftige Ergebnisse, wobei sie die Teilnehmenden auch nicht überfordern.
Bei einer ungeraden Anzahl an Antwortstufen gibt es eine mittlere Kategorie, die der Antwort „teils-teils“ entspricht. Diese Option hat den Vorteil, dass man bei der Beantwortung nicht zu einer Antwortrichtung gezwungen wird. Wichtig ist allerdings, dass Teilnehmende diese Kategorie nicht auch dann ankreuzen, wenn sie keine Einschätzung zu einer bestimmten Frage geben können oder geben wollen. Dies würde dann zu falschen Interpretationen führen. Um dem entgegenzutreten, verwendet man häufig eine Extra-Kategorie, welche der Option „Keine Antwort auswählen“ entspricht. Empfohlene Standardformate sind somit 5+1 oder 7+1 Antwortkategorien.
Iteminhalte
Bei der Erstellung des Fragebogens gilt es die Inhalte der Items aufgrund fundierter Überlegungen festzulegen. Hierbei teilt man den Fragebogen in Ober- und Unterthemen ein, die jeweils einzelne Zielmerkmale erfassen. So kann beispielsweise Arbeitszufriedenheit ein Oberthema bilden, während Zufriedenheit mit dem Vorgesetzten ein zugehöriges Unterthema ist. Eine Aufteilung des Fragebogens in mehrere Themenbereiche bietet den Vorteil einer differenzierten Auswertung. Wichtig ist hierbei, eine angemessene Anzahl an Fragen für jedes Thema festzulegen, um genau genug zu messen, aber die Teilnehmenden gleichzeitig nicht zu überfordern.
Itemformulierungen
Items in Fragebögen bestehen oft aus Fragen oder Aussagen, welche Teilnehmende beantworten oder bewerten. Aber auch ungewöhnliche Antwortformate wie Bilder oder Filmausschnitte sind denkbar.
Bei der Formulierung von Fragen oder Aussagen sollten folgende Regeln beachtet werden:
- Kürze und Kompaktheit
- Redewendungen vermeiden
- Keine doppelten Verneinungen
- Sich nicht auf mehrere Inhalte gleichzeitig beziehen
- Für alle Befragten den Inhalt gleich verständlich machen
- Nicht zu vage oder zu spezifisch formulieren
- Eindeutige Interpretierbarkeit
- Auf die Organisation zugeschnitten (z.B. bei der Wahl von Fachbegriffen)
Die Einhaltung dieser Kriterien führt dazu, dass Teilnehmende Items präzise beantworten, es also nicht zu ungewünschten Verzerrungen kommt.
Design
Das Design eines Fragebogen unterscheidet sich je nach gewähltem Format und Kontext. Wir gehen im Folgenden auf Onlinefragebögen, Papierfragebögen und Befragungen im interkulturellen Kontext ein.
Onlinefragebögen
Bei Onlinefragebögen ist es wichtig, darauf zu achten, dass die dafür benutzten Geräte störungsfrei laufen. Der Fragebogen sollte außerdem online zu jeder Zeit abrufbar sein.
Die Items eines Fragebogens sollten übersichtlich und kompakt auf dem Bildschirm präsentiert werden. Generell scrollen Teilnehmende lieber, als das sie klicken, daher eignet es sich mehrere Items auf einem Screen abzubilden. Thematisch gleiche Fragen kann man visuell in Blöcken zusammenfassen. Hierdurch können sich Teilnehmende bei der Beantwortung leichter orientieren.
Fortschrittsbalken in Form von Prozentangaben haben das Problem, dass sie den Prozessfortschritt immer über- oder unterbewerten. Eine mögliche Lösung könnte eine Angabe der Seitenzahl sein (Bsp.: „Sie sind auf Seite 2 von 4“). Es kann außerdem problematisch sein, Teilnehmende zur Beantwortung bestimmter Fragen zu zwingen. Dies kann zu Abbrüchen und ungewünschtem Antwortverhalten führen. Stattdessen sollte man eine „Keine Antwort“- Option zur Verfügung stellen, oder die Möglichkeit offen lassen, Fragen nicht zu beantworten.
Forschungsergebnisse zeigen, dass die Ergebnisse von Online- und Papierfragebögen bei guter Gestaltung miteinander vergleichbar sind. Daher ist es auch denkbar, einen Mix aus Papier- und Onlineformat für die Durchführung einer Umfrage zu wählen.
Papierfragebögen
Papierfragebögen können so gestaltet werden, dass ein Computer sie automatisch einliest. Dies erhöht die Präzision der Datenauswertung erheblich und senkt den Arbeitsaufwand.
Bei manchen Umfragen steht Teilnehmenden ein zusätzlicher Antwortbogen zur Verfügung, auf denen sie ihre Antworten eintragen. Dies macht die Auswertung zwar leichter, gleichzeitig erschwert es aber das Ausfüllen für die Teilnehmenden. Daher wird an dieser Stelle von separaten Antwortbögen abgeraten. Auch bei Strichcodes oder Zahlenkombinationen für eine automatische Auswertung muss man vorsichtig sein. Diese können schnell dazu führen, dass Teilnehmende um ihre Anonymität fürchten und den Fragebogen daher gar nicht erst beantworten.
Anonymität und Datenschutz spielen auch bei der Abgabe der Fragebögen eine Rolle. Um diese zu gewährleisten, kann man beispielsweise auf Umschläge oder eine feste Abgabebox zurückgreifen. Zusätzlich sollte den Teilnehmenden auch die Möglichkeit angeboten werden, den ausgefüllten Fragebogen direkt an den externen Befragungsdienstleister per Post zu schicken.
Interkultureller Kontext
Viele Organisationen sind international aktiv. Daher kann es bei einer Befragung vorkommen, dass man Daten von Mitarbeitenden unterschiedlicher kultureller Herkunft erhebt. Hier gibt es bei der Erstellung des Fragebogens bestimmte Dinge zu beachten.
Beim Formulieren der Anweisungen sollte man berücksichtigen, dass Teilnehmende unterschiedlicher Herkunft ein unterschiedliches Verständnis bestimmter Anweisungen haben können oder unterschiedlich vertraut mit bestimmten Antwortformaten sind (z.B. Freitext). Wichtig ist außerdem, Metaphern oder Redewendungen zu vermeiden, da sie oft nur in einer bestimmten Sprache vorkommen. Eindeutigkeit und einfache Formulierung der Items machen es wahrscheinlicher, dass Teilnehmende auch mit unterschiedlichem kulturellem Hintergrund Items auf dieselbe Art verstehen.
Für die Übersetzung des Fragebogens bietet es sich an, auf Muttersprachler der Sprache zurückzugreifen, in die man übersetzt. Ein gängiges Verfahren ist außerdem, den Fragebogen von einer anderen Person zurückübersetzen zu lassen, um die Gleichheit der Itemformulierungen zu gewährleisten. Werden verschiedensprachige Übersetzungen benötigt, so sind sogenannte Übersetzungskonferenzen hilfreich. Bei diesen sitzen Muttersprachler aus verschiedenen Nationen gemeinsam an einem Tisch und diskutieren über den Fragebogen. So kann gewährleistet werden, dass der Fragebogen in seiner Bedeutung gleich verstanden wird.