Die Tücken der do-it-yourself-Marktforschung und praktische Tipps von Profis
Le insidie della ricerca di mercato fai-da-te e consigli pratici da parte dei professionisti

Ulrich Becker - 2018

Kostenlose Umfrage- und Analysetools verlocken immer mehr Betriebe, ihre Marktforschungsprojekte in Eigenregie durchzuführen. Ein Online-Fragebogen ist schnell programmiert, der Link dazu im Nu an alle Kontakte versandt, und schon spuckt die entsprechende App bunte Dashboards zu Kunden, Mitarbeitern oder gar zur Gesamtbevölkerung aus. Selbst namhafte Medien machen es mit teilweise abstrusen Online-Votings ja schließlich vor.

---

---

Als Profis auf diesem Gebiet geht uns dabei nicht unbedingt das große Geschäft durch die Lappen, aber die Haare sträuben sich manchmal schon – vor allem wenn wir nachträglich um eine Expertise gebeten werden. Daher möchten wir im folgenden einige typische Fallstricke aufzeigen und nützliche Tipps geben.

Wer wird befragt?

„Wenn ich über 1.000 ausgefüllte Fragebögen habe, ist mein Ergebnis doch sicher repräsentativ, oder?“ Nein, leider nicht! Egal, wie viral sich der Link zur Online-Umfrage verbreitet hat, es kommt nicht darauf an, wie viele geantwortet haben, sondern wer. Genauer gesagt: für ein repräsentatives Ergebnis müssen alle, die Sie befragen wollten, mit der gleichen Wahrscheinlichkeit geantwortet haben. Wie viele das letztlich sind, hat zwar Einfluss auf die statistische Genauigkeit, nicht aber auf die Repräsentativität – das sind zwei Paar Schuhe! Mit den Begriffen Grundgesamtheit, Stichprobe, Ausschöpfung und Repräsentativität finden Sie im Netz sicher weitere Informationen. Bei Online-Umfragen hat man jedenfalls oft das Problem, die Zielgruppe systematisch einzuladen und ihre tatsächliche Teilnahme zu kontrollieren. Und die Internetmuffel werden natürlich fehlen.

Wie wird befragt?

„Mit Google Forms kann ich meinen Fragebogen sofort online stellen und mit wenigen Klicks auswerten!“ Das mag schon stimmen, aber wie sieht das in einem mehrsprachigen Umfeld aus, wo die Befragten die Fragebogensprache wählen möchten? Und was ist, wenn Sie ihre Daten nach einer selbst konstruierten Zielgruppentypologie auswerten möchten? Sobald Sie die Umfrage in Excel exportieren, werden Sie mit Elementardaten bzw. Mikrodaten konfrontiert, d.h. für jeden Befragten enthält die Tabelle eine Zeile mit allen Antworten. Um die auszuwerten, braucht es schon fortgeschrittene Kenntnisse in Tabellenkalkulation oder ein Statistikprogramm, wie z.B. SPSS. Bei Google ist dieser Datensatz noch dazu textbasiert und die Aufbereitung mehrsprachiger Umfragen äußerst komplex. Zwei Tipps: Entwickeln Sie den Fragebogen nicht direkt in Ihrem Tool, sondern zunächst einmal „auf Papier“. Und prüfen Sie vorab, ob die Analyseoptionen Ihres Tools „alle Stücklen spielen“.
Wenn Sie mehr möchten und sich mehr zutrauen, dann schauen Sie sich doch einmal die Opensource-Lösungen LimeSurvey und PSPP an. Mit LimeSurvey können Sie um wenig Geld professionelle CAWI-Umfragen durchführen. Auch wir als Profis vertrauen darauf. PSPP ist ein kostenloser Klon der bekannten – und sehr teuren – Statistiksoftware SPSS. Mit ein paar Grundkenntnissen findet man sich sofort zurecht.

Was wird gefragt?

„Das ist doch kinderleicht! Ich frage einfach, was ich wissen möchte und gebe viel Raum für zusätzliche offene Antworten.“ Klingt auf den ersten Blick einleuchtend, aber zwischen Forschungsfragen und Fragebogenfragen klafft oft ein himmelweiter Unterschied. Wie man vom einen zum anderen kommt, wird in der Sozialforschung Operationalisierung genannt. Der Fragebogen kann letztlich mit einem Messinstrument verglichen werden und muss sich durch Validität und Reliabilität auszeichnen – kurz gesagt: er sollte wie ein Thermometer immer die tatsächlichen Grad Celsius anzeigen. Wie man Fragen gut formuliert, hat das Zentrum für Umfragen, Methoden und Analysen übrigens sehr anschaulich in 10 Geboten zusammengefasst. Und apropos offene Fragen: Viele Befragte tippen nur ungern längere Antworten, aber wenn doch – wie verarbeiten Sie die Flut an Informationen? Bei 1.000 schreibfreudigen Befragten kann daraus gut und gerne eine Romanlektüre werden.
Denken Sie auch daran, dass Sie die Antworten auf Ihre Forschungsfragen nicht immer direkt an den Antworten der Befragten ablesen können. Oft entsteht Wissen erst aus dem Zusammenhang mehrerer Merkmale.

Bevor Sie also mit Marktforschung in Eigenregie loslegen, machen Sie sich einen sorgfältigen Plan: Werden Sie sich klar über Ihre Vermutungen und Hypothesen, grenzen Sie die Zielgruppe ein und bleiben Sie realistisch, was Sie den Befragten beim Ausfüllen und sich selbst beim Auswerten zumuten dürfen. Bei uns steht ein systematisches Untersuchungskonzept jedenfalls immer an erster Stelle im Arbeitsprozess und ist für unsere Auftraggeber oft bereits ein zentrales Produkt der Zusammenarbeit.