Umfragen wofür? Ein Plädoyer für mehr Transparenz im Umgang mit Umfragedaten in Medien.
Sondaggi per cosa? Un'appello per una maggiore trasparenza nel trattare dati dei sondaggi nei media.

Helmuth Pörnbacher - 2018

Gerne werden in Medien Daten aus Umfragen zitiert. Auftraggeber sind Medien selbst oder aber Institutionen, die Umfragen in Auftrag gegeben haben und diese einer breiteren Öffentlichkeit vorstellen wollen.

(Foto: Pixabay)

Transparenz

Umfragen – keine Straßenbefragungen von einigen Personen – sind in erster Linie ein Instrument der Sozial- und Marktforschung, und meist gibt es keinen Grund, Umfragedaten in einem Massenmedium zu veröffentlichen. Wenn dagegen Umfrageergebnisse an die Öffentlichkeit getragen werden, dann verfolgt der Auftraggeber damit ein Ziel. Die Institution – ein Unternehmen, eine Verwaltung, eine Interessenvertretung – veröffentlicht Umfragedaten oft als „objektive“ Beweisführung in einer öffentlich geführten Diskussion, indem eine bestimmte Meinung – durch Zahlen belegt – Gewicht bekommen soll. Dagegen ist nichts einzuwenden. Wenn aber in eine öffentlich Debatte Umfragen als wissenschaftlicher Beleg eingebracht werden, dann sollte auch das Grundprinzip einer wissenschaftlichen Vorgehensweise eingehalten werden, nämlich jenes der Transparenz. Und dies ist nicht immer so.

Wer wird befragt?

So wie Wissenschaftler die Ergebnisse einer Untersuchung nur dann bewerten können, wenn Methode und Umsetzung offengelegt sind, müssen auch die Konsumenten der Medien in die Lage versetzt werden, die präsentierten Zahlen zu bewerten. Dazu braucht es ein Minimum an Wissen, es braucht aber auch Information, um sich mit diesem Wissen jeweils eine Meinung bilden zu können. Die Leser müssen sich dabei auf zwei Ebenen Gedanken machen:
  • Ist die Umfrage technisch einwandfrei durchgeführt worden?
  • Lassen sich die Schlüsse, die der Auftraggeber zieht, aus den Antworten ableiten?

Methodentransparenz

(1) Um zu beurteilen, ob die Umfrage nach den Regeln der Kunst durchgeführt wurde, braucht der kritische Leser/die kritische Leserin ein Minimum an Angaben zur Methode. Gerade weil man mit Meinungsumfragen auch Meinungen machen kann, verlangt das italienische Gesetz die Offenlegung dieser Angaben: Umfragen, die in öffentlichen Medien vorgestellt werden, müssen der Medienaufsichtsbehörde AGCOM gemeldet und die verwendete Methodik hinterlegt werden. Diese Informationen können dort auf einer eigenen Webseite abgerufen werden, ein Minimum an Information muss aber auch in den Medien selbst angegeben werden. Informationen zur Methode sind also nicht nur ein Zeichen von fachgerechtem Vorgehen, sondern auch gesetzlich vorgeschrieben. Zu diesen Informationen gehören:
  • Wer hat die Umfrage in Auftrag gegeben?
  • Wer hat sie durchgeführt?
  • Wie und wann wurden Daten gesammelt?
  • Für welche Gruppe stehen die Ergebnisse?
  • Mit welcher Methode wurde die Repräsentativität hergestellt?
  • Wie hoch war die Verweigerungsquote?
  • Wie lautet der exakte Fragentext?
  • Wie viele Personen haben pro Frage nicht geantwortet?

Inhaltliche Transparenz

(2) Die zweite, nicht weniger anspruchsvolle Frage, die der kritische Leser/die Leserin zu beantworten haben, ist jene, ob sich die Schlüsse, die die Auftraggeber und ihre beauftragten Forscher ziehen, aus den erhobenen Daten ableiten lassen. Auch dazu braucht es Informationen. Zum einen sollte ausgeführt werden, welche Fragestellung, welches Problem man mit der Umfrage überhaupt untersuchen wollte. In der Regel werden dazu sogenannte Forschungsfragen aufgestellt, die dann im Fragebogen mit einer oder mehreren Fragen umgesetzt werden. Die Forschungsfrage könnte etwa sein: Welches Image in der Gesamtbevölkerung hat die Organisation xy? Im Fragebogen ist dies dann mit folgender Frage umgesetzt: „Im Folgenden stehen eine Reihe von Meinungen zur Organisation xy. Bitte sagen Sie zu jeder Aussage, ob Sie zustimmen oder nicht.“ Aus den Antworten können dann Rückschlüsse gezogen werden, etwa indem sie mit Zahlen zu anderen Organisationen verglichen werden.

Ein Beispiel

Im September 2018 hat der Südtiroler HGV im Rahmen einer Pressekonferenz eine Umfrage vorgestellt; die dort präsentierten Ergebnisse und Interpretationen wurden im online-Portal salto am 3.9.2018 wiedergegeben. Das Präsentationsdokument, dass bei der Pressekonferenz verteilt wurde und auf das sich die Medien damit stützen konnten, ist mit dem Titel „Einstellungen zum Tourismus in Südtirol“ betitelt. Können sich die Leser nun, wie oben gefordert, ein Bild machen, inwieweit
1). die Umfrage technisch einwandfrei durchgeführt worden ist, und
2). inwieweit sich die Schlüsse, die der Auftraggeber zieht, aus den Antworten ableiten lassen?

Die Antwort ist zwei mal Nein.

Weder das Dokument der Pressekonferenz noch die Medienberichte geben Hinweise zur verwendeten Methodik. Die Umfrage wird als repräsentativ bezeichnet, damit erschöpfen sich die Informationen. Auch auf der Webseite der AGCOM sucht man die Umfrage vergeblich, obwohl die Meldung vorgeschrieben ist.
Lassen sich die Schlüsse des Auftraggebers aus den Daten herleiten? Auch diese Frage lässt sich anhand der vorliegenden Informationen nur schwer beantworten. Das Präsentationsdokument enthält außer dem genannten Titel keine Angabe, was Zielsetzung und Forschungsfragen waren, sodass man sich aus den Fragen selbst zusammen reimen muss, wozu sie gestellt wurden. Dazu kommt noch, dass die exakte Fragenformulierung nicht angegeben wird. So wurde eine Fragen zur „Wichtigkeit des Tourismus für die Entwicklung in Südtirol“ gestellt, außerdem wurde gefragt, ob „die Vorteile oder die Nachteile des Tourismus in Südtirol“ überwiegen. Daneben wurden „Auswirkungen des Tourismus auf verschiedene Lebensbereiche“ sowie „Herausforderungen für den Bereich Tourismus in Südtirol“ thematisiert. Aber wozu eigentlich? Der Auftraggeber liest aus den Zahlen ein „großes Vertrauen in der Bevölkerung als Bestätigung für seine Arbeit“, vermutlich, weil eine klare Mehrheit den Tourismus für die Entwicklung Südtirols als sehr wichtig einstuft. Ging es also um die Bewertung der Arbeit des HGV? Und wie steht es um die Tourismusgesinnung der Bevölkerung, von der im Titel die Rede ist? Dazu kann man sich mit den gegebenen Informationen ganz einfach kein Bild machen.

Es geht uns hier nicht darum, die genannte Arbeit des HGV zu kritisieren, sondern generell um einen Appell zum verantwortungsvollen Umgang mit einem wichtigen Forschungsinstrument, auf das man im Bereich der Sozial- und Marktforschung nicht verzichten kann. Wenn aber Umfragedaten in die Öffentlichkeit getragen werden, ohne zu sagen, wie man vorgegangen ist und wie man zu seinen Schlüssen kommt, dann landet man sehr schnell bei der fälschlicherweise Churchill zugeschriebenen Aussage, der gesagt haben soll, dass er nur der Statistik traue, die er selbst gefälscht hat. Damit schädigt man ein wichtiges Forschungsinstrument und spielt in der öffentliche Debatte generell jenen Leuten in die Hände, die ihre Aussagen nicht belegen können und keine sachliche Debatte führen wollen.
 
 
Aktuelle Projekte
13.12.2021
Monitoring und Evaluierung des Berufsbildungsdiploms „Kfz-Diagnosetechniker”
Die dreijährige Berufsausbildung in italienischer Sprache zum Automechaniker ("Operatore auto-meccanico") hat eine lange Tradition in Südtirol. Seit einigen Jahren können Schüler/innen ein viertes Jahr besuchen, um sich zum "Kfz-Diagnosetechniker" ausbilden zu lassen.
mehr ...
24.11.2021
Bildungspflicht – Bildungserfolg im Südtiroler Schulsystem
Die empirische Untersuchung „Bildungspflicht – Bildungserfolg im Südtiroler Schulsystem: eine Analyse der Entwicklungen seit Einführung der Bildungspflicht bis 18 Jahre“ soll mit gesicherten statistischen Daten die Gestaltung einer zukunftsorientierten Bildungspolitik in Südtirol unterstützen.
mehr ...
25.10.2021
Mountainbiken in Südtirol: Potentiale und Konflikt
IDM Südtirol entwickelt mit seinen Partnern das touristische Angebot Südtirols. Ein Schwerpunkt dabei ist das Thema Radfahren und Radwandern, wobei nach den unterschiedlichen Spielarten des Fahrrads als Freizeitgerät unterschieden werden kann (Rennrad, Trekking, Mountainbike).
mehr ...
19.05.2021
Befragung von Mitgliedern und Nichtmitgliedern des Handels- und Dienstleisterverbandes Südtirol hds
Der Handels- und Dienstleisterverband Südtirol hds ist ein Südtiroler Wirtschaftsverband mit rund 5.600 Mitgliedsbetrieben. Eine Umfrage unter Mitgliedern und Nicht-Mitgliedern des hds soll der Verbandsspitze Feedback über die Reaktion des hds auf die Coronakrise geben sowie Inputs für die Erstellung des Tätigkeitsprogramms für die kommenden Jahre liefern. Die zentrale Frage lautet „Agiert der Verband richtig und gut?“
mehr ...
18.12.2020
Partnerschaften und Kooperationen in der Berufsbildung zwischen Deutschland und Italien – Akteure, Status quo und Entwicklungspotentiale
Wie steht es um die deutsch-italienischen Beziehungen in der Berufsbildung? Welche Kooperationsprojekte und Partnerschaften bestehen und wer sind deren Akteure? Diese Fragen stehen im Zentrum eines neuen Forschungsprojekts im Rahmen der deutsch-italienischen Berufsbildungszusammenarbeit.
mehr ...
29.10.2020
Monitoring und Evaluierung des Berufsdiploms “Betriebs- und Wartungstechniker für automatische Anlagen”
Die dreijährigen Ausbildungen der Berufsbildung in italienischer Sprache als “Elektriker-Elektrotechniker” und als “Mechaniker” haben in Südtirol eine lange Tradition. Seit ein paar Jahren können die Schüler/innen dieser beiden Kurse auch ein viertes Jahr anschließen, um „Betriebs- und Wartungstechniker für automatisierte Anlagen“ zu werden.
mehr ...
08.04.2020
Erhebung zum Konsumklima in Südtirol
Der Konsumklimaindex soll die Konsumneigung der Privathaushalte widerspiegeln. Er gilt als Frühindikator der wirtschaftlichen Entwicklung. Apollis führt die Interviews in Südtirol durch.
mehr ...
18.06.2019
Quantitative und qualitative Studie zur Rolle der deutschen Sprache in Italien
Ziel der Umfrage ist es, die Rolle der deutschen Sprache in Schulen, in Universitäten, im Kulturbereich und in privaten Unternehmen in Italien zu untersuchen.
mehr ...
25.05.2018
Frauen in der Südtiroler Gemeindepolitik
Warum sind Frauen in den politischen Gremien der Südtiroler Gemeinden immer noch deutlich unterrepräsentiert? Wie hängt das mit den Rahmenbedingungen der Politik und den Lebensumständen der Frauen zusammen? Und was lässt sich dagegen tun?
mehr ...