Der Unfug der TED-Umfragen

Statistiken sind eine außerordentlich ergiebige Quelle für Reinfälle und Irrtümer. Nicht zufällig heißt ein Best- und Longseller auf diesem Gebiet „How to Lie with Statistics“ (Darrell Huff, 1954). Einige der notorischen Denkfallen habe ich in diesem Hoppla!-Blog bereits aufgespießt:

• Weitreichende Schlussfolgerungen aus zu kleinen Stichproben: Size matters
• Deutlich aber zu klein: Astrologie funktioniert!
• Stellvertreterstatistiken: Ein X für ein U
• Fragwürdige Rankings: Evaluitis: Hochschulranking
• Täuschung durch Datenaggregation: Statistik und Kausalität
• Missdeutung von Zusammenhängen als Kausalität
• Fehlender Maßstab oder falsche Bezugsgröße: Corona-Impfung: Risikoreduktion relativ und absolut
• Proben mit Stich: Wie „farbtreu“ sind Umfrageergebnisse?

Zu den „Proben mit Stich“ zählen für mich die TED-Umfragen. Bisher habe ich diese als sinnleere und harmlose Spielereien abgetan. Erst ein Leserbrief in der Fuldaer Zeitung hat mich aufgeschreckt: TED-Umfragen sind ein Übel der Kommunikationskultur.

Leserbrief zu einer TED-Umfrage

Unter der Überschrift Einladung zur Meinungsmache (Fuldaer Zeitung, 18.1.2022, S. 6) schreiben Kornelia und Iris Eibeck aus Gersfeld zur Frage des Tages „Haben Sie Verständnis für die wachsende Zahl an Demonstranten“ (FZ, 11.1,2022, S. 4):

Auf den ersten Blick gibt das Ergebnis vor, dass 67 Prozent der Teilnehmer Verständnis für die wachsende Zahl an Demonstranten haben. Erst unterhalb der prozentualen Auswertung wird im Kleingedruckten ausgewiesen, dass nur 2944 Personen überhaupt teilgenommen haben und dass es sich um eine nicht repräsentative Umfrage handelt. Uns graust davor, dass Menschen dieses Umfrageergebnis kritiklos übernehmen – und weitergeben. In einer Zeit von Verschwörungstheorien und Fake News sollten ernste Themen nicht in Umfragen mit unklarer Datenerhebung münden.

Der Fuldaer Zeitung gegenüber unterstütze ich diesen Leserbrief nachdrücklich: Diese TED-Umfragen verfestigen Irrationalismen und Spaltungstendenzen. Sie verstoßen gegen grundlegende Regeln des statistischen Schließens. Die erste Voraussetzung besagt, dass die Grundgesamtheit – also die Population, über die etwas ausgesagt werden soll – klar definiert sein muss. Und die zweite Forderung ist, dass das Ziehen einer Stichprobe aus dieser Grundgesamtheit nach dem Zufallsprinzip zu erfolgen hat. Selbstrekrutierte Stichproben wie bei TED erfüllen diese Forderungen ganz gewiss nicht.

Der Ressortleiter Politik/Nachrichten der Fuldaer Zeitung gibt mir im Grunde recht: Die „Frage des Tages“ sei nicht repräsentativ und folge nicht den Regeln der wissenschaftlichen Statistik. Das sei aber auch gar nicht das Ziel dieser Aktion.  Man wolle mit der „Frage des Tages“ nur ein Stimmungsbild der Leserschaft zu aktuellen Themen erzeugen. Die Leser bestätigten immer wieder, dass sie sehr wohl wüssten, wie sie die Ergebnisse zu lesen haben; und es gebe sicher auch weniger aufgeklärte Leser, die aus den Ergebnissen unerwünschte Schlüsse zögen. Die „Frage des Tages“ sei bei der Mehrheit der Leser beliebt – und aus Sicht der Redaktion auch ein Instrument zur Leserbindung.

Oh ja. Das kennen wir von Facebook und Co:  Manch eine publizistische Schandtat übersteht die Kritik allein aufgrund des wirtschaftlichen Erfolgs, der mit ihr verbunden ist.

Wozu Teledialog?

Das Teledialog-System wird 1979 auf der internationalen Funkausstellung (IFA) vorgestellt. Anders als die bis dahin übliche Zuschauerpost ermöglicht es eine direkte Form des interaktiven Fernsehens. Die per Telefon ermittelten Ergebnisse können ohne Zeitverzug noch während der Sendung präsentiert werden. Das Problem einer Umfrage stellt sich hier nicht: Man weiß ja, wer angesprochen ist und man rechnet auch damit, dass sich nur derjenige meldet, der hinreichenden Blutdruck entwickelt, um zum Telefonhörer zu greifen. Manipulation ist integraler Bestandteil der Sendung und ihre Wirkung reicht bestenfalls bis zum Teeküchen-Gespräch am folgenden Montag.

Warum sind TED-Umfragen gefährlich?

Ganz anders bei den TED-Umfragen von Zeitungen und Zeitschriften, on- oder offline. Da werden oftmals in die Tiefe reichende gesellschaftliche Fragen zur Abstimmung gestellt. Und der Leser meint, dass er aus dem Umfrageergebnis etwas lernen kann, ganz ähnlich den Umfragen zur Politik und zu den voraussichtlichen Wahlergebnissen.

Tatsächlich waren in der Frühzeit der Demokratie solche Umfragen kaum besser als das, was heute als TED angeboten wird – bis zum Präsidentschaftswahlkampf der USA im Jahr 1936. Die schriftliche Befragung von Millionen von Amerikanern ergab, dass wohl Landon siegen würde, und nicht etwa Roosevelt.

Der Markt- und Meinungsforscher George Gallup machte etwas Anderes. Er zog eine repräsentative Stichprobe, sorgte dafür, dass diese Leute persönlich mündlich interviewt wurden. So prognostizierte er einen Sieg von Roosevelt, und lag damit goldrichtig. Auch sagte er schon vor dem Bekanntwerden der schriftlich ermittelten Umfrageergebnisse vorher, dass diese fälschlicherweise Landon als Sieger vermelden würde.

Grund für die falsche Prognose waren unter anderem Auswahlfehler in der Stichprobe: Bei der schriftlichen Befragung hängen die Ergebnisse in besonders hohem Maße davon ab, wer beschließt, mitzumachen. Diese selbstrekrutierten Stichproben sind der Hauptmangel der TED-Umfragen.

Die heutige Kommunikationskultur zeichnet sich dadurch aus, dass uns die Gatekeeper abhandenkommen. Das betrifft insbesondere das Internet, aus dem wir uns – weitgehend ungefiltert und unkommentiert – Informationen zu allen möglichen Themen verschaffen können, manches informativ, vieles falsch, je rauflustiger, desto größer die Reichweite.

Die Beliebigkeit ist Zug der Zeit. Echokammern entstehen. Die Radikalisierung nimmt zu. Tageszeitungen sehe ich als eines der letzten Bollwerke gegen diesen Trend. Umso bedauerlicher ist, dass auch hier die Beliebigkeit Einzug hält und dass der journalistische Anstand den ökonomischen Interessen zum Opfer fällt.

Angesichts der Probleme auf dieser Welt wie Klimakrise, Pandemie, Mobilmachung, scheint das hier angesprochene Problem eher nebensächlich zu sein. Aber das Engagement für Wesentliches wird ja nicht dadurch geschmälert, dass man sich gegen die Erosion der Kommunikationskultur stark macht.