Umfragen wofür? Ein Plädoyer für mehr Transparenz im Umgang mit Umfragedaten in Medien.
Sondaggi per cosa? Un'appello per una maggiore trasparenza nel trattare dati dei sondaggi nei media.

Helmuth Pörnbacher - 2018

Gerne werden in Medien Daten aus Umfragen zitiert. Auftraggeber sind Medien selbst oder aber Institutionen, die Umfragen in Auftrag gegeben haben und diese einer breiteren Öffentlichkeit vorstellen wollen.

(Foto: Pixabay)

Transparenz

Umfragen – keine Straßenbefragungen von einigen Personen – sind in erster Linie ein Instrument der Sozial- und Marktforschung, und meist gibt es keinen Grund, Umfragedaten in einem Massenmedium zu veröffentlichen. Wenn dagegen Umfrageergebnisse an die Öffentlichkeit getragen werden, dann verfolgt der Auftraggeber damit ein Ziel. Die Institution – ein Unternehmen, eine Verwaltung, eine Interessenvertretung – veröffentlicht Umfragedaten oft als „objektive“ Beweisführung in einer öffentlich geführten Diskussion, indem eine bestimmte Meinung – durch Zahlen belegt – Gewicht bekommen soll. Dagegen ist nichts einzuwenden. Wenn aber in eine öffentlich Debatte Umfragen als wissenschaftlicher Beleg eingebracht werden, dann sollte auch das Grundprinzip einer wissenschaftlichen Vorgehensweise eingehalten werden, nämlich jenes der Transparenz. Und dies ist nicht immer so.

Wer wird befragt?

So wie Wissenschaftler die Ergebnisse einer Untersuchung nur dann bewerten können, wenn Methode und Umsetzung offengelegt sind, müssen auch die Konsumenten der Medien in die Lage versetzt werden, die präsentierten Zahlen zu bewerten. Dazu braucht es ein Minimum an Wissen, es braucht aber auch Information, um sich mit diesem Wissen jeweils eine Meinung bilden zu können. Die Leser müssen sich dabei auf zwei Ebenen Gedanken machen:
  • Ist die Umfrage technisch einwandfrei durchgeführt worden?
  • Lassen sich die Schlüsse, die der Auftraggeber zieht, aus den Antworten ableiten?

Methodentransparenz

(1) Um zu beurteilen, ob die Umfrage nach den Regeln der Kunst durchgeführt wurde, braucht der kritische Leser/die kritische Leserin ein Minimum an Angaben zur Methode. Gerade weil man mit Meinungsumfragen auch Meinungen machen kann, verlangt das italienische Gesetz die Offenlegung dieser Angaben: Umfragen, die in öffentlichen Medien vorgestellt werden, müssen der Medienaufsichtsbehörde AGCOM gemeldet und die verwendete Methodik hinterlegt werden. Diese Informationen können dort auf einer eigenen Webseite abgerufen werden, ein Minimum an Information muss aber auch in den Medien selbst angegeben werden. Informationen zur Methode sind also nicht nur ein Zeichen von fachgerechtem Vorgehen, sondern auch gesetzlich vorgeschrieben. Zu diesen Informationen gehören:
  • Wer hat die Umfrage in Auftrag gegeben?
  • Wer hat sie durchgeführt?
  • Wie und wann wurden Daten gesammelt?
  • Für welche Gruppe stehen die Ergebnisse?
  • Mit welcher Methode wurde die Repräsentativität hergestellt?
  • Wie hoch war die Verweigerungsquote?
  • Wie lautet der exakte Fragentext?
  • Wie viele Personen haben pro Frage nicht geantwortet?

Inhaltliche Transparenz

(2) Die zweite, nicht weniger anspruchsvolle Frage, die der kritische Leser/die Leserin zu beantworten haben, ist jene, ob sich die Schlüsse, die die Auftraggeber und ihre beauftragten Forscher ziehen, aus den erhobenen Daten ableiten lassen. Auch dazu braucht es Informationen. Zum einen sollte ausgeführt werden, welche Fragestellung, welches Problem man mit der Umfrage überhaupt untersuchen wollte. In der Regel werden dazu sogenannte Forschungsfragen aufgestellt, die dann im Fragebogen mit einer oder mehreren Fragen umgesetzt werden. Die Forschungsfrage könnte etwa sein: Welches Image in der Gesamtbevölkerung hat die Organisation xy? Im Fragebogen ist dies dann mit folgender Frage umgesetzt: „Im Folgenden stehen eine Reihe von Meinungen zur Organisation xy. Bitte sagen Sie zu jeder Aussage, ob Sie zustimmen oder nicht.“ Aus den Antworten können dann Rückschlüsse gezogen werden, etwa indem sie mit Zahlen zu anderen Organisationen verglichen werden.

Ein Beispiel

Im September 2018 hat der Südtiroler HGV im Rahmen einer Pressekonferenz eine Umfrage vorgestellt; die dort präsentierten Ergebnisse und Interpretationen wurden im online-Portal salto am 3.9.2018 wiedergegeben. Das Präsentationsdokument, dass bei der Pressekonferenz verteilt wurde und auf das sich die Medien damit stützen konnten, ist mit dem Titel „Einstellungen zum Tourismus in Südtirol“ betitelt. Können sich die Leser nun, wie oben gefordert, ein Bild machen, inwieweit
1). die Umfrage technisch einwandfrei durchgeführt worden ist, und
2). inwieweit sich die Schlüsse, die der Auftraggeber zieht, aus den Antworten ableiten lassen?

Die Antwort ist zwei mal Nein.

Weder das Dokument der Pressekonferenz noch die Medienberichte geben Hinweise zur verwendeten Methodik. Die Umfrage wird als repräsentativ bezeichnet, damit erschöpfen sich die Informationen. Auch auf der Webseite der AGCOM sucht man die Umfrage vergeblich, obwohl die Meldung vorgeschrieben ist.
Lassen sich die Schlüsse des Auftraggebers aus den Daten herleiten? Auch diese Frage lässt sich anhand der vorliegenden Informationen nur schwer beantworten. Das Präsentationsdokument enthält außer dem genannten Titel keine Angabe, was Zielsetzung und Forschungsfragen waren, sodass man sich aus den Fragen selbst zusammen reimen muss, wozu sie gestellt wurden. Dazu kommt noch, dass die exakte Fragenformulierung nicht angegeben wird. So wurde eine Fragen zur „Wichtigkeit des Tourismus für die Entwicklung in Südtirol“ gestellt, außerdem wurde gefragt, ob „die Vorteile oder die Nachteile des Tourismus in Südtirol“ überwiegen. Daneben wurden „Auswirkungen des Tourismus auf verschiedene Lebensbereiche“ sowie „Herausforderungen für den Bereich Tourismus in Südtirol“ thematisiert. Aber wozu eigentlich? Der Auftraggeber liest aus den Zahlen ein „großes Vertrauen in der Bevölkerung als Bestätigung für seine Arbeit“, vermutlich, weil eine klare Mehrheit den Tourismus für die Entwicklung Südtirols als sehr wichtig einstuft. Ging es also um die Bewertung der Arbeit des HGV? Und wie steht es um die Tourismusgesinnung der Bevölkerung, von der im Titel die Rede ist? Dazu kann man sich mit den gegebenen Informationen ganz einfach kein Bild machen.

Es geht uns hier nicht darum, die genannte Arbeit des HGV zu kritisieren, sondern generell um einen Appell zum verantwortungsvollen Umgang mit einem wichtigen Forschungsinstrument, auf das man im Bereich der Sozial- und Marktforschung nicht verzichten kann. Wenn aber Umfragedaten in die Öffentlichkeit getragen werden, ohne zu sagen, wie man vorgegangen ist und wie man zu seinen Schlüssen kommt, dann landet man sehr schnell bei der fälschlicherweise Churchill zugeschriebenen Aussage, der gesagt haben soll, dass er nur der Statistik traue, die er selbst gefälscht hat. Damit schädigt man ein wichtiges Forschungsinstrument und spielt in der öffentliche Debatte generell jenen Leuten in die Hände, die ihre Aussagen nicht belegen können und keine sachliche Debatte führen wollen.
 
 
Progetti in corso
13.03.2024
Monitoraggio e valutazione del percorso che porta al diploma professionale di “Tecnico/a Grafico/a Multimediale”
A partire dall’anno formativo 2024/25 il percorso di “Tecnico/a Grafico/a Multimediale” presso la scuola professionale in lingua italiana sarà solo quadriennale, ovvero non sarà più possibile terminare la formazione con una qualifica triennale. In questo contesto, la Direzione della Formazione professionale in lingua italiana di Bolzano desidera che venga fatto uno studio che esplori il settore grafico e multimediale al fine di adattare il curriculum ed i contenuti tecnici del corso.
continua ...
07.03.2024
Valutazione di una campagna di informazione e promozione dei prodotti agroalimentari biologici
Il progetto europeo „Più biologico regionale in Europa“ realizzato da Bioland Südtirol e Bioland e.V. promuove una campagna di informazione e di promozione dei prodotti agroalimentari biologici regionali. Tra il 2023 ed il 2025 sono previste diverse misure informative rivolte a gruppi target differenti in Italia ed in Germania.
continua ...
05.09.2023
Donne nella politica comunale in Alto Adige – seconda parte
Lo studio realizzato nel 2017-2018 sulla presenza femminile nelle giunte e nei consigli comunali ha analizzato anche le cause della scarsa rappresentanza delle donne nella politica comunale, non considerando il comportamento elettorale di donne e uomini. Questa tematica è al centro dello studio follow-up, realizzato di nuovo in stretta collaborazione con Eurac Research (Istituto per il management pubblico)
continua ...
13.12.2021
Monitoraggio e valutazione del percorso che porta al diploma professionale di “Tecnico Diagnostico Automeccanico”
I corsi triennali della Formazione Professionale in lingua italiana di “Operatore automeccanico” hanno una lunga tradizione in Alto Adige. Da diversi anni gli alunni che hanno frequentato questo corso possono frequentare un quarto anno per diventare “Tecnico diagnostico automeccanico”.
continua ...
24.11.2021
Obbligo formativo – successo educativo nel sistema scolastico altoatesino
Lo studio empirico ”Obbligo formativo – successo educativo nel sistema scolastico altoatesino: analisi degli sviluppi dell‘obbligo formativo fino ai 18 anni dall‘introduzione ad oggi” ha lo scopo di sostenere con dati statistici affidabili la progettazione di una politica educativa orientata al futuro in Alto Adige.
continua ...
17.02.2021
Alleanza per lo sviluppo dello spazio sud-alpino – Rimanere & Arrivare
Nell'ambito del progetto "Alleanza per lo sviluppo dello spazio sud-alpino" (Interreg), la Val Pusteria (Alto Adige) ed i distretti austriaci di Osttirol, Spittal a.d. Drau e Hermagor si sono riuniti per valorizzare la regione e orientarla verso il futuro. Nel work package, per il quale è stato incaricato Apollis in collaborazione con regionalSynergie di Innsbruck, saranno sviluppate delle linee guida al fine di promuovere „rimanere & arrivare“ nella regione.
continua ...
18.12.2020
Studio su Reti di partenariato e di Cooperazione nel campo della formazione professionale fra Italia e Germania. Soggetti coinvolti, stato dell’arte e potenzialità di sviluppo
Qual è lo stato delle relazioni tra Germania e Italia nel campo della formazione professionale? Quali progetti di cooperazione e partenariati esistono e chi sono i loro attori? Queste domande sono al centro di un nuovo progetto di ricerca nell'ambito della cooperazione italo-tedesca in materia di formazione professionale.
continua ...
29.10.2020
Monitoraggio e valutazione degli esiti formativi ed occupazionali del percorso di diploma professionale di “Tecnico per la conduzione e la manutenzione di impianti automatizzati”
I corsi triennali della Formazione Professionale in lingua italiana di “Operatore elettrico elettronico” e di “Operatore meccanico” hanno una lunga tradizione in Alto Adige. Da qualche anno si può proseguire il percorso con un quarto anno per diventare “Tecnico per la conduzione e la manutenzione di impianti automatizzati” (TCMIA)
continua ...
08.04.2020
Rilevazione del clima di fiducia dei consumatori altoatesini
L'indice del clima dei consumatori è destinato a riflettere la propensione al consumo delle famiglie. È considerato un indicatore precoce dello sviluppo economico. Apollis conduce le interviste in Alto Adige.
continua ...
18.06.2019
Studio quantitativo e qualitativo sul ruolo della lingua tedesca in Italia
L'indagine vuole investigare il ruolo della lingua tedesca nella scuola, nell'università, nella cultura e nelle aziende private in Italia.
continua ...
Risultati
23.01.2023
Brand Monitor Alto Adige
Informazioni significative su brand in Alto Adige. ...