Umfragen wofür? Ein Plädoyer für mehr Transparenz im Umgang mit Umfragedaten in Medien.
Sondaggi per cosa? Un'appello per una maggiore trasparenza nel trattare dati dei sondaggi nei media.

Helmuth Pörnbacher - 2018

Gerne werden in Medien Daten aus Umfragen zitiert. Auftraggeber sind Medien selbst oder aber Institutionen, die Umfragen in Auftrag gegeben haben und diese einer breiteren Öffentlichkeit vorstellen wollen.

---

---

Transparenz

Umfragen – keine Straßenbefragungen von einigen Personen – sind in erster Linie ein Instrument der Sozial- und Marktforschung, und meist gibt es keinen Grund, Umfragedaten in einem Massenmedium zu veröffentlichen. Wenn dagegen Umfrageergebnisse an die Öffentlichkeit getragen werden, dann verfolgt der Auftraggeber damit ein Ziel. Die Institution – ein Unternehmen, eine Verwaltung, eine Interessenvertretung – veröffentlicht Umfragedaten oft als „objektive“ Beweisführung in einer öffentlich geführten Diskussion, indem eine bestimmte Meinung – durch Zahlen belegt – Gewicht bekommen soll. Dagegen ist nichts einzuwenden. Wenn aber in eine öffentlich Debatte Umfragen als wissenschaftlicher Beleg eingebracht werden, dann sollte auch das Grundprinzip einer wissenschaftlichen Vorgehensweise eingehalten werden, nämlich jenes der Transparenz. Und dies ist nicht immer so.

Wer wird befragt?

So wie Wissenschaftler die Ergebnisse einer Untersuchung nur dann bewerten können, wenn Methode und Umsetzung offengelegt sind, müssen auch die Konsumenten der Medien in die Lage versetzt werden, die präsentierten Zahlen zu bewerten. Dazu braucht es ein Minimum an Wissen, es braucht aber auch Information, um sich mit diesem Wissen jeweils eine Meinung bilden zu können. Die Leser müssen sich dabei auf zwei Ebenen Gedanken machen:

• Ist die Umfrage technisch einwandfrei durchgeführt worden?
• Lassen sich die Schlüsse, die der Auftraggeber zieht, aus den Antworten ableiten?

Methodentransparenz

(1) Um zu beurteilen, ob die Umfrage nach den Regeln der Kunst durchgeführt wurde, braucht der kritische Leser/die kritische Leserin ein Minimum an Angaben zur Methode. Gerade weil man mit Meinungsumfragen auch Meinungen machen kann, verlangt das italienische Gesetz die Offenlegung dieser Angaben: Umfragen, die in öffentlichen Medien vorgestellt werden, müssen der Medienaufsichtsbehörde AGCOM gemeldet und die verwendete Methodik hinterlegt werden. Diese Informationen können dort auf einer eigenen Webseite abgerufen werden, ein Minimum an Information muss aber auch in den Medien selbst angegeben werden. Informationen zur Methode sind also nicht nur ein Zeichen von fachgerechtem Vorgehen, sondern auch gesetzlich vorgeschrieben. Zu diesen Informationen gehören:

• Wer hat die Umfrage in Auftrag gegeben?
• Wer hat sie durchgeführt?
• Wie und wann wurden Daten gesammelt?
• Für welche Gruppe stehen die Ergebnisse?
• Mit welcher Methode wurde die Repräsentativität hergestellt?
• Wie hoch war die Verweigerungsquote?
• Wie lautet der exakte Fragentext?
• Wie viele Personen haben pro Frage nicht geantwortet?

Inhaltliche Transparenz

(2) Die zweite, nicht weniger anspruchsvolle Frage, die der kritische Leser/die Leserin zu beantworten haben, ist jene, ob sich die Schlüsse, die die Auftraggeber und ihre beauftragten Forscher ziehen, aus den erhobenen Daten ableiten lassen. Auch dazu braucht es Informationen. Zum einen sollte ausgeführt werden, welche Fragestellung, welches Problem man mit der Umfrage überhaupt untersuchen wollte. In der Regel werden dazu sogenannte Forschungsfragen aufgestellt, die dann im Fragebogen mit einer oder mehreren Fragen umgesetzt werden. Die Forschungsfrage könnte etwa sein: Welches Image in der Gesamtbevölkerung hat die Organisation xy? Im Fragebogen ist dies dann mit folgender Frage umgesetzt: „Im Folgenden stehen eine Reihe von Meinungen zur Organisation xy. Bitte sagen Sie zu jeder Aussage, ob Sie zustimmen oder nicht.“ Aus den Antworten können dann Rückschlüsse gezogen werden, etwa indem sie mit Zahlen zu anderen Organisationen verglichen werden.

Ein Beispiel

Im September 2018 hat der Südtiroler HGV im Rahmen einer Pressekonferenz eine Umfrage vorgestellt; die dort präsentierten Ergebnisse und Interpretationen wurden im online-Portal salto am 3.9.2018 wiedergegeben. Das Präsentationsdokument, dass bei der Pressekonferenz verteilt wurde und auf das sich die Medien damit stützen konnten, ist mit dem Titel „Einstellungen zum Tourismus in Südtirol“ betitelt. Können sich die Leser nun, wie oben gefordert, ein Bild machen, inwieweit
1). die Umfrage technisch einwandfrei durchgeführt worden ist, und
2). inwieweit sich die Schlüsse, die der Auftraggeber zieht, aus den Antworten ableiten lassen?

Die Antwort ist zwei mal Nein.

Weder das Dokument der Pressekonferenz noch die Medienberichte geben Hinweise zur verwendeten Methodik. Die Umfrage wird als repräsentativ bezeichnet, damit erschöpfen sich die Informationen. Auch auf der Webseite der AGCOM sucht man die Umfrage vergeblich, obwohl die Meldung vorgeschrieben ist.
Lassen sich die Schlüsse des Auftraggebers aus den Daten herleiten? Auch diese Frage lässt sich anhand der vorliegenden Informationen nur schwer beantworten. Das Präsentationsdokument enthält außer dem genannten Titel keine Angabe, was Zielsetzung und Forschungsfragen waren, sodass man sich aus den Fragen selbst zusammen reimen muss, wozu sie gestellt wurden. Dazu kommt noch, dass die exakte Fragenformulierung nicht angegeben wird. So wurde eine Fragen zur „Wichtigkeit des Tourismus für die Entwicklung in Südtirol“ gestellt, außerdem wurde gefragt, ob „die Vorteile oder die Nachteile des Tourismus in Südtirol“ überwiegen. Daneben wurden „Auswirkungen des Tourismus auf verschiedene Lebensbereiche“ sowie „Herausforderungen für den Bereich Tourismus in Südtirol“ thematisiert. Aber wozu eigentlich? Der Auftraggeber liest aus den Zahlen ein „großes Vertrauen in der Bevölkerung als Bestätigung für seine Arbeit“, vermutlich, weil eine klare Mehrheit den Tourismus für die Entwicklung Südtirols als sehr wichtig einstuft. Ging es also um die Bewertung der Arbeit des HGV? Und wie steht es um die Tourismusgesinnung der Bevölkerung, von der im Titel die Rede ist? Dazu kann man sich mit den gegebenen Informationen ganz einfach kein Bild machen.

Es geht uns hier nicht darum, die genannte Arbeit des HGV zu kritisieren, sondern generell um einen Appell zum verantwortungsvollen Umgang mit einem wichtigen Forschungsinstrument, auf das man im Bereich der Sozial- und Marktforschung nicht verzichten kann. Wenn aber Umfragedaten in die Öffentlichkeit getragen werden, ohne zu sagen, wie man vorgegangen ist und wie man zu seinen Schlüssen kommt, dann landet man sehr schnell bei der fälschlicherweise Churchill zugeschriebenen Aussage, der gesagt haben soll, dass er nur der Statistik traue, die er selbst gefälscht hat. Damit schädigt man ein wichtiges Forschungsinstrument und spielt in der öffentliche Debatte generell jenen Leuten in die Hände, die ihre Aussagen nicht belegen können und keine sachliche Debatte führen wollen.