Umfragen wofür? Ein Plädoyer für mehr Transparenz im Umgang mit Umfragedaten in Medien.
Sondaggi per cosa? Un'appello per una maggiore trasparenza nel trattare dati dei sondaggi nei media.
Helmuth Pörnbacher - 2018
Gerne werden in Medien Daten aus Umfragen zitiert. Auftraggeber sind Medien selbst oder aber Institutionen, die Umfragen in Auftrag gegeben haben und diese einer breiteren Öffentlichkeit vorstellen wollen.![(Foto: Pixabay) (Foto: Pixabay)](img/user/20d678_imgWH0jLZ.jpg)
Transparenz
Umfragen – keine Straßenbefragungen von einigen Personen – sind in erster Linie ein Instrument der Sozial- und Marktforschung, und meist gibt es keinen Grund, Umfragedaten in einem Massenmedium zu veröffentlichen. Wenn dagegen Umfrageergebnisse an die Öffentlichkeit getragen werden, dann verfolgt der Auftraggeber damit ein Ziel. Die Institution – ein Unternehmen, eine Verwaltung, eine Interessenvertretung – veröffentlicht Umfragedaten oft als „objektive“ Beweisführung in einer öffentlich geführten Diskussion, indem eine bestimmte Meinung – durch Zahlen belegt – Gewicht bekommen soll. Dagegen ist nichts einzuwenden. Wenn aber in eine öffentlich Debatte Umfragen als wissenschaftlicher Beleg eingebracht werden, dann sollte auch das Grundprinzip einer wissenschaftlichen Vorgehensweise eingehalten werden, nämlich jenes der Transparenz. Und dies ist nicht immer so.
Wer wird befragt?
So wie Wissenschaftler die Ergebnisse einer Untersuchung nur dann bewerten können, wenn Methode und Umsetzung offengelegt sind, müssen auch die Konsumenten der Medien in die Lage versetzt werden, die präsentierten Zahlen zu bewerten. Dazu braucht es ein Minimum an Wissen, es braucht aber auch Information, um sich mit diesem Wissen jeweils eine Meinung bilden zu können. Die Leser müssen sich dabei auf zwei Ebenen Gedanken machen:
- Ist die Umfrage technisch einwandfrei durchgeführt worden?
- Lassen sich die Schlüsse, die der Auftraggeber zieht, aus den Antworten ableiten?
Methodentransparenz
(1) Um zu beurteilen, ob die Umfrage nach den Regeln der Kunst durchgeführt wurde, braucht der kritische Leser/die kritische Leserin ein Minimum an Angaben zur Methode. Gerade weil man mit Meinungsumfragen auch Meinungen machen kann, verlangt das italienische Gesetz die Offenlegung dieser Angaben: Umfragen, die in öffentlichen Medien vorgestellt werden, müssen der Medienaufsichtsbehörde AGCOM gemeldet und die verwendete Methodik hinterlegt werden. Diese Informationen können dort auf einer eigenen Webseite abgerufen werden, ein Minimum an Information muss aber auch in den Medien selbst angegeben werden. Informationen zur Methode sind also nicht nur ein Zeichen von fachgerechtem Vorgehen, sondern auch gesetzlich vorgeschrieben. Zu diesen Informationen gehören:
- Wer hat die Umfrage in Auftrag gegeben?
- Wer hat sie durchgeführt?
- Wie und wann wurden Daten gesammelt?
- Für welche Gruppe stehen die Ergebnisse?
- Mit welcher Methode wurde die Repräsentativität hergestellt?
- Wie hoch war die Verweigerungsquote?
- Wie lautet der exakte Fragentext?
- Wie viele Personen haben pro Frage nicht geantwortet?
Inhaltliche Transparenz
(2) Die zweite, nicht weniger anspruchsvolle Frage, die der kritische Leser/die Leserin zu beantworten haben, ist jene, ob sich die Schlüsse, die die Auftraggeber und ihre beauftragten Forscher ziehen, aus den erhobenen Daten ableiten lassen. Auch dazu braucht es Informationen. Zum einen sollte ausgeführt werden, welche Fragestellung, welches Problem man mit der Umfrage überhaupt untersuchen wollte. In der Regel werden dazu sogenannte Forschungsfragen aufgestellt, die dann im Fragebogen mit einer oder mehreren Fragen umgesetzt werden. Die Forschungsfrage könnte etwa sein: Welches Image in der Gesamtbevölkerung hat die Organisation xy? Im Fragebogen ist dies dann mit folgender Frage umgesetzt: „Im Folgenden stehen eine Reihe von Meinungen zur Organisation xy. Bitte sagen Sie zu jeder Aussage, ob Sie zustimmen oder nicht.“ Aus den Antworten können dann Rückschlüsse gezogen werden, etwa indem sie mit Zahlen zu anderen Organisationen verglichen werden.
Ein Beispiel
Im September 2018 hat der Südtiroler HGV im Rahmen einer Pressekonferenz eine Umfrage vorgestellt; die dort präsentierten Ergebnisse und Interpretationen wurden im online-Portal salto am 3.9.2018 wiedergegeben. Das Präsentationsdokument, dass bei der Pressekonferenz verteilt wurde und auf das sich die Medien damit stützen konnten, ist mit dem Titel „Einstellungen zum Tourismus in Südtirol“ betitelt. Können sich die Leser nun, wie oben gefordert, ein Bild machen, inwieweit
1). die Umfrage technisch einwandfrei durchgeführt worden ist, und
2). inwieweit sich die Schlüsse, die der Auftraggeber zieht, aus den Antworten ableiten lassen?
Die Antwort ist zwei mal Nein.
Weder das Dokument der Pressekonferenz noch die Medienberichte geben Hinweise zur verwendeten Methodik. Die Umfrage wird als repräsentativ bezeichnet, damit erschöpfen sich die Informationen. Auch auf der Webseite der AGCOM sucht man die Umfrage vergeblich, obwohl die Meldung vorgeschrieben ist.
Lassen sich die Schlüsse des Auftraggebers aus den Daten herleiten? Auch diese Frage lässt sich anhand der vorliegenden Informationen nur schwer beantworten. Das Präsentationsdokument enthält außer dem genannten Titel keine Angabe, was Zielsetzung und Forschungsfragen waren, sodass man sich aus den Fragen selbst zusammen reimen muss, wozu sie gestellt wurden. Dazu kommt noch, dass die exakte Fragenformulierung nicht angegeben wird. So wurde eine Fragen zur „Wichtigkeit des Tourismus für die Entwicklung in Südtirol“ gestellt, außerdem wurde gefragt, ob „die Vorteile oder die Nachteile des Tourismus in Südtirol“ überwiegen. Daneben wurden „Auswirkungen des Tourismus auf verschiedene Lebensbereiche“ sowie „Herausforderungen für den Bereich Tourismus in Südtirol“ thematisiert. Aber wozu eigentlich? Der Auftraggeber liest aus den Zahlen ein „großes Vertrauen in der Bevölkerung als Bestätigung für seine Arbeit“, vermutlich, weil eine klare Mehrheit den Tourismus für die Entwicklung Südtirols als sehr wichtig einstuft. Ging es also um die Bewertung der Arbeit des HGV? Und wie steht es um die Tourismusgesinnung der Bevölkerung, von der im Titel die Rede ist? Dazu kann man sich mit den gegebenen Informationen ganz einfach kein Bild machen.
Es geht uns hier nicht darum, die genannte Arbeit des HGV zu kritisieren, sondern generell um einen Appell zum verantwortungsvollen Umgang mit einem wichtigen Forschungsinstrument, auf das man im Bereich der Sozial- und Marktforschung nicht verzichten kann. Wenn aber Umfragedaten in die Öffentlichkeit getragen werden, ohne zu sagen, wie man vorgegangen ist und wie man zu seinen Schlüssen kommt, dann landet man sehr schnell bei der fälschlicherweise Churchill zugeschriebenen Aussage, der gesagt haben soll, dass er nur der Statistik traue, die er selbst gefälscht hat. Damit schädigt man ein wichtiges Forschungsinstrument und spielt in der öffentliche Debatte generell jenen Leuten in die Hände, die ihre Aussagen nicht belegen können und keine sachliche Debatte führen wollen.
Aktuelle Projekte
13.03.2024
Monitoring und Evaluierung des Berufsbildungsdiploms als „Spezialisierte Fachkraft für Multimediagestaltung“
Ab dem Ausbildungsjahr 2024/25 wird die Ausbildung zur „Spezialisierte Fachkraft für Multimediagestaltung“ an der italienischsprachigen Berufsschule nur mehr vierjährig sein, kann also nicht mehr mit einem dreijährigen Abschluss als Fachkraft beendet werden. In diesem Zusammenhang möchte die Landesdirektion der italienischsprachigen Berufsbildung den Grafik- und Multimediasektor untersuchen, um den Lehrplan und die technischen Inhalte der Ausbildung anzupassen.
07.03.2024
Bewertung einer Informations- und Werbekampagne für biologische Lebensmittel
Das von Bioland e.V. und Bioland Südtirol durchgeführte europäische Projekt „Grenzenlos Regional - Bio in Europa“ fördert eine Informations- und Werbekampagne für regionale Biolebensmittel. Zwischen 2023 und 2025 sind verschiedene Informationsmaßnahmen für unterschiedliche Zielgruppen in Italien und Deutschland geplant.
04.09.2023
Frauen in der Südtiroler Gemeindepolitik – Folgestudie
In der 2017-2018 durchgeführten Studie zu Frauen in den Südtiroler Gemeinden wurden auch Gründe für deren mangelnde Repräsentation in den politischen Gremien der Gemeinden untersucht. Mit dem damaligen Untersuchungsdesign konnten die Entscheidungen und das Verhalten auf Seiten der Wählerschaft nicht erhoben werden. Diese stehen im Fokus der Nachfolge-Studie. Sie wurde im Auftrag und in enger Zusammenarbeit mit Eurac Research (Institut für Public Management) durchgeführt.
13.12.2021
Monitoring und Evaluierung des Berufsbildungsdiploms „Kfz-Diagnosetechniker”
Die dreijährige Berufsausbildung in italienischer Sprache zum Automechaniker ("Operatore auto-meccanico") hat eine lange Tradition in Südtirol. Seit einigen Jahren können Schüler/innen ein viertes Jahr besuchen, um sich zum "Kfz-Diagnosetechniker" ausbilden zu lassen.
24.11.2021
Bildungspflicht – Bildungserfolg im Südtiroler Schulsystem
Die empirische Untersuchung „Bildungspflicht – Bildungserfolg im Südtiroler Schulsystem: eine Analyse der Entwicklungen seit Einführung der Bildungspflicht bis 18 Jahre“ soll mit gesicherten statistischen Daten die Gestaltung einer zukunftsorientierten Bildungspolitik in Südtirol unterstützen.
18.12.2020
Partnerschaften und Kooperationen in der Berufsbildung zwischen Deutschland und Italien – Akteure, Status quo und Entwicklungspotentiale
Wie steht es um die deutsch-italienischen Beziehungen in der Berufsbildung? Welche Kooperationsprojekte und Partnerschaften bestehen und wer sind deren Akteure? Diese Fragen stehen im Zentrum eines neuen Forschungsprojekts im Rahmen der deutsch-italienischen Berufsbildungszusammenarbeit.
29.10.2020
Monitoring und Evaluierung des Berufsdiploms “Betriebs- und Wartungstechniker für automatische Anlagen”
Die dreijährigen Ausbildungen der Berufsbildung in italienischer Sprache als “Elektriker-Elektrotechniker” und als “Mechaniker” haben in Südtirol eine lange Tradition. Seit ein paar Jahren können die Schüler/innen dieser beiden Kurse auch ein viertes Jahr anschließen, um „Betriebs- und Wartungstechniker für automatisierte Anlagen“ zu werden.
18.06.2019
Quantitative und qualitative Studie zur Rolle der deutschen Sprache in Italien
Ziel der Umfrage ist es, die Rolle der deutschen Sprache in Schulen, in Universitäten, im Kulturbereich und in privaten Unternehmen in Italien zu untersuchen.
Aktuelle Ergebnisse
14.09.2022
Markenmonitor
Aussagekräftige Indikatoren zur Markenstärke am Südtiroler Markt. ...