Qualitätskontrolle in der Marktforschung

von Roman Esser

 

Deutsche Marktforscher unter Generalverdacht

Als DER SPIEGEL Anfang 2018 über „Manipulation in der Marktforschung“ schrieb, kamen erstmals in der deutschen Marktforschungsgeschichte allgemeine Zweifel an der Qualität der Arbeit der deutschen Marktforscher auf. Die Autoren unterstellen in ihrem Artikel einer ganzen Branche massive Qualitätsprobleme und die bewusste Manipulation von Studien.

Die Berichterstattung des SPIEGELs folgt der Logik der Printmedien: Es wird übertrieben, aufgebauscht und stark verallgemeinert. Sicherlich ist das gezeichnete Bild überzogen, aber bei selbstkritischer Betrachtung muss konstatiert werden, dass die in dem Artikel erhobenen Vorwürfe – zumindest im Einzelfall – so oder in ähnlicher Form aufgetreten sind und auch heute noch auftreten können.

 

Ursachen für Manipulationen

Moderne Marktforschungsprojekte sind oftmals durch einen hohen Komplexitätsgrad und viele beteiligte Akteure gekennzeichnet, so dass es vielfältige Gefahrenpotenziale gibt, an denen unwissentliche, aber auch vorsätzliche Datenmanipulationen auftreten können.

Die Ursachen für unbeabsichtigte Manipulationen sind oftmals zu ambitionierte Ziele gepaart mit Fahrlässigkeit, groben Fehlern aufgrund mangelnder Erfahrung oder Qualifikation der Beteiligten oder eine ausgeprägte „klappt schon“-Mentalität der Akteure. Obwohl kein Vorsatz unterstellt werden kann, sind auch bei unwissentlichen Manipulationen die betroffenen Ergebnisse im besten Fall unbrauchbar. Im worst case werden Fehler nicht erkannt und teure Maßnahmen auf der Basis falscher Annahmen durchgeführt.

Wissentliche Manipulationen erfolgen vorsätzlich, die Gründe hierfür sind vielfältig. Profitmaximierung oder gefühlte Notwehr aufgrund geringer Zahlungsbereitschaft auf Kundenseite, zu enge Zeitpläne oder unrealistische Studienziele sind hier oftmals vorzufinden.

Während sich unwissentliche Datenmanipulationen in der Regel sehr leicht identifizieren lassen, ist die Aufdeckung vorsätzlicher Manipulationen erheblich schwerer.

 

Qualitätskontrolle in der Marktforschung

Es stellt sich sowohl für Laien als auch für Marktforscher die Frage, welche Mechanismen und Maßnahmen unwissentliche sowie vorsätzliche Manipulationen verhindern oder aufdecken können.

Hier erscheint eine Unterscheidung zwischen konzeptioneller und prozessualer Ebene eines Marktforschungsprojektes  sinnvoll.

 

Konzeption: Definition smarter Projekte

Auf konzeptioneller Ebene sollten ausschließlich realistische und messbare Anforderungen hinsichtlich der Erkenntnisziele, der Zielgruppen, der Projekt-Zeiträume und der Anforderungen an Befragte definiert werden.

Es sollten unbedingt die S.M.A.R.T.-Regeln für erfolgreiches Marketing berücksichtigt werden. D.h. die Ziele, sprich Forschungsfragen, eines Projektes sollten spezifisch (specific), also konkret definiert sein. Der Erfolg sollte eindeutig messbar sein (measurable), die Ziele des Projektes von allen Akteuren akzeptiert werden (accepted), die Projektziele REALISTISCH (realistic) und klar terminierbar sein (time-bound).

Wenn ein qualifiziertes Institut bereits in der Angebotsphase Zweifel an der Durchführbarkeit eines Vorhabens mitteilt, ist dies keineswegs Zeichen mangelnder kaufmännischer Motivation, sondern oftmals ein erfahrungsbasierter Hinweis zum Schutz von Investitionen und Budgets.

 

Marktforschungsprozesse: Anbieterwahl

Die Auswahl von Projektmitarbeitern und Dienstleistern bildet den Grundstein für qualitativ hochwertige und damit objektive, reliable und valide Erkenntnisse.

Die Berufsbezeichnung Marktforscher ist in Deutschland nicht geschützt, so dass, eine Gewerbeanmeldung vorausgesetzt, unabhängig von Erfahrung und Qualifikation, Marktforschung angeboten werden darf.-So gestaltet es sich für Außenstehende schwer, seriöse von unseriösen Marktforschern zu unterscheiden.

Bei der Auswahl eines Marktforschungsanbieters sollten daher u.a. die folgenden Anforderungen berücksichtigt werden:

  • Qualifikation und Erfahrung der Mitarbeiter im Projektteam und in der Feldarbeit
  • Erfahrung im Bereich der Marktforschung allgemein und in dem jeweiligen Themengebiet im Speziellen
  • Seriosität des Unternehmensauftritts
  • Empfehlung / Bewertungen von Kunden
  • Mitgliedschaften in Verbänden wie bspw. BVM e.V. oder ESOMAR
  • Vermeidung der Auswahl eines Anbieters mit „Abnickmentalität“. Erfahrungsbasierte Vorschläge von Dienstleistern sollten ernst genommen werden, da so spätere Komplikationen vermieden werden. Zumindest ein gesundes Maß an Skepsis ist angebracht, wenn ein Dienstleister überambitionierte Ziele ohne Einwände akzeptiert.
  • Dienstleister, die Leistungen erheblich (30% und mehr) günstiger als der nächstgünstige Anbieter anbieten, haben in vielen Fällen entweder das Briefing nicht verstanden oder bieten qualitativ minderwertige Arbeit an.

 

Seriöse Anbieter agieren transparent, dazu zählen u.a.:

  • Bereitschaft des Dienstleisters den Forschungsprozess transparent offenzulegen und durch den Kunden vor Ort beobachten zu lassen.
  • Bereitschaft des Dienstleisters die erfassten Daten im Rohformat und ggfs. SPSS-Syntaxen zu liefern.
  • Bereitschaft des Dienstleisters etwaige Honorar- oder Incentivezahlungen an Dritte offenzulegen.
  • Möglichkeit der Durchführung von Feldkontrollen, bspw. bei persönlichen Interviews am Point of Commerce.
  • Lieferung von Nachweisen über die Feldarbeit (bspw. Kaufbelege beim Mystery Shopping)

Keines dieser Kriterien ist alleiniger Garant für qualitativ hochwertige Marktforschung, jedoch sind sie bei der Bewertung potentieller Dienstleister hilfreich.

 

Vermeidung von methodischen Fehlern, falschen Forschungsdesigns und der falschen Zielgruppenauswahl

Bei der Ausgestaltung von Forschungsdesigns, Fragebögen und Leitfäden gilt es, systematische Fehler, die oftmals in Fragestellungen sowie Antwortoptionen und der Befragungslogik vorzufinden sind, zu vermeiden.

Außerdem muss sichergestellt werden, den bzw. die Befragten nicht zu überfordern und so zu falschen oder fehlerhaften Antworten zu bewegen. Verhindert werden muss, dass falsche Zielgruppen zur Klärung von Befragungszielen befragt werden.

Daher sollten die folgenden Qualitätstreiber bei der Ausgestaltung eines Untersuchungs- bzw. Fragebogendesigns unbedingt berücksichtigt werden:

  • Berücksichtigung allgemeiner Befragungsstandards (bspw. hinsichtlich Dauer, Formulierung von Fragestellungen und Antworten, Vermeidung von Suggestivfragen, Vollständigkeit von Antwortkategorien…)
  • Berücksichtigung der Fragestellungen bei der Auswahl der geplanten Auswertungsmethoden. Berücksichtigung dieser bei der Fragebogenerstellung (bspw. Skalenniveaus).
  • Überprüfung der Befragungslogik: Wer bekommt welche Fragen gestellt?
  • Implementierung inhaltlicher Plausibilitätsprüfungen (bspw. Kontrollfragen)
  • Befragung ausschließlich relevanter Zielgruppen, sprich Generierung relevanter und fundierter Erkenntnisse
  • Berücksichtigung der Erreichbarkeit von Zielgruppen in den jeweils geeigneten Befragungskanälen
  • Berücksichtigung aktueller Erkenntnisse aus Medienwirkungs-, Usability- und Kognitionsforschung, u.a. zwecks Vermeidung von Langeweile sowie einer Überforderung der Teilnehmer.

 

Bei elektronischer Erfassung von Befragungen (bspw. im Fall von Online-Fragebögen):

  • Implementierung von Sicherheitsmechanismen, um Betrug (bspw. Mehrfachteilnahme) zu vermeiden
  • Implementierung elektronischer Plausibilitäts- und Qualitätskontrollmechanismen (bspw. Konsistenz des Antwortverhaltens, Befragungsdauer)
  • Gründliche Kontrolle des Frontends, sprich des Fragebogens, inkl. der Befragungslogik
  • Gründliche Kontrolle des Backends (bspw. der Datenbank, des Analysetools)
  • Auch hier: Berücksichtigung aktueller Erkenntnisse aus Medienwirkungs-, Usability- und Kognitionsforschung, zwecks Vermeidung einer Überforderung der Teilnehmer.

 

Die Berücksichtigung der bisherigen Empfehlungen reduziert die wesentlichen Fehler- und Manipulationsquellen auf dem Weg zur Datenbasis, was die Basis für qualitativ hochwertige Ergebnisse bildet, diese aber noch nicht garantiert.

Denn gerade im Rahmen der Auswertung und Interpretation von Ergebnissen gibt es großen Spielraum für vorsätzliche Manipulationen und unwissentliche Fehler.

 

Eine Reduzierung des Fehlerpotenzials liefern u.a. die folgenden Maßnahmen:

  • Durchführung der Auswertung ausschließlich durch qualifiziertes Personal
  • Vermeidung von Voreingenommenheit bei der Analyse der Ergebnisse
  • Datenbereinigung vor Beginn der Auswertung (bspw. Identifikation und Eliminierung von Dubletten, Eingabefehlern ,Ausreißern…)
  • Anwendung individuell passender Methoden bzw. Modelle für die jeweiligen Fragestellungen und Daten (bspw. Berücksichtigung von Datenniveaus)
  • Berücksichtigung möglichst aller Einflussfaktoren, welche Einfluss auf die beobachteten Sachverhalte haben (könnten)
  • Kritische Auseinandersetzung mit den Ergebnissen
  • 4- oder besser 6-Augenprinzip, Kontrolle aller Arbeitsschritte
  • Dokumentation der Arbeitsschritte / Transparenz ggü. dem Kunden

 

Auch Empfänger von Marktforschungsergebnissen können ihren Beitrag zur Sicherstellung der Qualität von Marktforschungsergebnissen leisten:

  • Vermeidung von Voreingenommenheit bei der Interpretation der Ergebnisse
  • Vermeidung selektiver Akzeptanz und Ablehnung von Ergebnissen
  • Verständnis statistischer Grundbegriffe wie bspw. Signifikanz, Relevanz, Korrelation, Kausalität, um Ergebnisse adäquat interpretieren zu können. Hier helfen seriöse Marktforscher gerne weiter.
  • Kritisches Hinterfragen der Ergebnisse – „gute“ Marktorscher erklären im Detail, wie ein Ergebnis zu Stande gekommen ist und wie es zu interpretieren ist.

 

Nutzen Sie Ihren Verstand!

Eine Berücksichtigung der dargelegten Maßnahmen reduziert das Risiko “qualitativ schlechter“ Ergebnisse erheblich. Dennoch sollte sich nicht ausschließlich darauf verlassen werden, das beste Instrument für qualitativ hochwertige Ergebnisse ist der Einsatz des gesunden Menschenverstands in allen Projektschritten: Bewahren Sie also ein gesundes Maß an Skepsis und hinterfragen Sie Unklarheiten. Lassen Sie sich nicht von rosigen Versprechungen und schmeichelhaften Ergebnissen täuschen. Ein kritischer Geist hat schon so manche Manipulation aufgedeckt.