Wahlbörsen, Umfrageinstitute, Expertenprognose: Wer liefert die besten Voraussagen?

In diesem Jahr stehen wichtige Wahlen an. Hier die aktuelle Gesamtrangliste zu den Landtagswahlen (Abschluss 2023).

Vor einer größeren Wahl in Deutschland gibt es meist einen beträchtlichen Medienrummel. In den letzten beiden Wochen davor jagt eine Umfrage die nächste und wird ausgiebig, aber nicht immer sachkundig, kommentiert, wobei Wahlbörsen und Expertenprognosen kaum Beachtung finden.

Nicht selten wird ein Kopf-an-Kopf-Rennen herbeigeschrieben, wie zuletzt bei der Landtagswahl im Juni 2021 in Sachsen-Anhalt, die wegen des Herdentriebs der Prognoseinstitute mit einem kollektiven Versagen endete. Danach gab es zwar eine kurze Kritik, man wandte sich jedoch schnell wieder der bevorstehenden Bundestagswahl zu, die eine neue Rekordflut an Umfragen und Prognosen produzierte.

Wir beurteilen die Voraussagen zu jeder einzelnen Landtagswahl in einem entsprechenden Qualitätsbericht und stellen danach auch noch eine Gesamtrangliste für die Institute zusammen, die sich hinreichend oft an den aktuellen Wahlen in den 16 Bundesländern beteiligt haben.

Jetzt feiern wir ein kleines Jubiläum, weil diese Gesamtrangliste zum 20. Mal erstellt wird. Dabei werden sieben Kriterien verwendet, die miteinander und dem Endergebnis hoch korreliert sind. Speziell handelt es sich um vier Fehlerkriterien, die für jedes Institut isoliert berechnet werden. Hinzu kommen noch drei weitere Kenngrößen. Mit diesen lässt sich die Interaktion zwischen den Konkurrenten abbilden. Die zugehörigen Definitionen sind im Anhang zu finden. Zu den sieben Kriterien werden jeweils Einzelranglisten erstellt und für jedes Institut die Summe und der Durchschnitt der zugehörigen Einzelränge gebildet, die die Basis der Tabelle ist.

Bisher gab es nur vier verschiedene Spitzenreiter. Mit elf Siegen dominiert eindeutig das Umfrageinstitut Forschungsgruppe Wahlen (FGW), das mit dem ZDF zusammenarbeitet. In fünf Fällen gewann das umstrittene, anonyme Institut prognos, das insbesondere 2019 eine außergewöhnliche Serie von sehr guten Ergebnissen geliefert hat. Drei Erfolge konnte unser Institut Prognosys verbuchen, und zwar zweimal mit der Modellprognose Prognosys-Master-Vote und einmal mit unserer nicht mehr aktiven PESM-Wahlbörse. Jetzt steht erstmalig das relativ junge Umfrageinstitut Wahlkreisprognose vorn. Allerdings profitiert es davon, dass es nicht wie die Konkurrenten an den beiden Wahlen in Brandenburg und Sachsen mit jeweils sehr schlechten Prognoseergebnissen beteiligt war. Würde man z.B. diese beiden Wahlen eliminieren, so würden die Wahlbörse Wahlfieber und FGW die Rangliste anführen.

Wir veröffentlichen jedoch immer die neueste Gesamtrangliste (PDF) mit allen verfügbaren Resultaten. Auch wenn es, wie in diesem Fall eine unterschiedliche Anzahl von Teilnahmen gibt. Durch die vorgenommene Durchschnittsbildung wird dieser nicht vermeidbare Schwachpunkt weitestgehend abgemildert.

Es führt also das Umfrageinstitut Wahlkreisprognose mit einem Rangmittel von 1,7 relativ deutlich vor der österreichischen Wahlbörse Wahlfieber mit 2,5. Bei den sieben Einzelkriterien belegt Wahlkreisprognose fünfmal den ersten Platz, die nicht mehr aktive PESM-Wahlbörse zweimal. Dahinter folgen die Modellprognose Prognosys-Master-Vote mit einem Rangmittel von 3,1 sowie das langfristig gesehen beste Umfrageinstitut FGW mit 3,9.

Diese vier Institute haben sich von den anderen abgesetzt und bilden die Spitzengruppe. Interessant ist ebenfalls, dass sie vergleichsweise spät ihre finalen Voraussagen abgeben: FGW am Donnerstag, Wahlkreisprognose am Freitag, Prognosys-Master-Vote am Freitag oder Samstag und die Wahlbörse Wahlfieber erst am Wahlsonntag kurz vor dem Ende der Wahl. Es besteht somit durchaus ein Zusammenhang zwischen der Prognosequalität und dem Veröffentlichungszeitpunkt. Wenn man nämlich  spät seine Einschätzungen abgibt, verfügt man über die Prognosen anderer Konkurrenten, wodurch sich ein möglicher last-swing besser einbeziehen lässt.

Hinter diesem Spitzenquartett folgt ein Mittelfeld, das aus drei Instituten besteht. Auf dem fünften Platz mit dem Rangmittel 5,1 steht das Institut prognos, das vor den beiden letzten Landtagswahlen heftig von den etablierten Umfrageinstituten attackiert wurde, weil es zu seinen behaupteten Umfragen keinerlei Informationen preisgibt. Wir glauben zwar auch nicht an detaillierte Umfragen dieses Instituts, stufen es aber als Expertenprognose mit meist ordentlichen Voraussagen ein. Knapp dahinter mit einem Rangmittel von 5,4 ist unsere frühere PESM-Wahlbörse platziert. An siebter Stelle folgt mit dem Rangmittel 6,3 BirnstinglausRom, eine individuelle Expertenprognose von einer meinungsstarken und diskussionsfreudigen Journalistin aus dem fernen Rom.

Mit einem Rangmittel von 7,4 steht die Spezialprognose DAWUM auf dem achten Platz und führt das letzte Drittel an. Es handelt sich dabei um einen modifizierten Mittelwert der Prognosen aller Umfrageinstitute, wobei Aktualität stärker gewichtet wird. Mit weitem Abstand folgen drei etablierte Umfrageinstitute, die – sieht man von infratest dimap ab – eher durch Erzeugung von Aufmerksamkeit als durch Prognosequalität auffallen. Auf dem neunten Platz liegt INSA mit einem Rangmittel von 9,3 vor infratest dimap mit 9,7. Dieses Institut kooperiert mit der ARD und ist das einzige, das schon in der vorletzten Woche seine finale Prognose veröffentlicht. Auf dem letzten Platz in allen sieben Kriterien und somit einem Rangmittel von 11 steht Civey mit seinen umstrittenen Internetumfragen. Diese Methode ist für schnelle Tendenzaussagen bei Umfragen, die nicht weiter überprüfbar sind, durchaus geeignet. Aber in diesem Umfeld, in dem eindeutig die Präzision im Vordergrund steht, kann sie sich bisher nicht durchsetzen. Das sehr auf Medienwirksamkeit bedachte Umfrageinstitut Forsa beteiligt sich nur sporadisch an den Landtagswahlen. Die bisher erzielten Ergebnisse sind jedoch eher unbefriedigend und würden nur zu einem hinteren Platz reichen.

Beim Methodenvergleich liegen wie bei fast allen früheren Gesamtranglisten die Wahlbörsen mir einem Rangmittel von 1,4 vorn. Dieses Mal nur knapp dahinter folgen die Expertenprognosen mit 1,6, während die Gruppe der Umfrageinstitute, wie nahezu immer, klar abgeschlagen den letzten Platz belegen.

Bei den letzten vier Landtagswahlen in 2023 gab es bei zwei Wahlen bessere und bei zwei Wahlen schlechtere Prognosen im Vergleich zu den Vorwahlen. Insgesamt waren die Voraussagen etwas besser als der zehnjährige Durchschnitt.

Im Herbst 2024 stehen die drei äußerst spannenden Wahlen in Thüringen, Sachsen und Brandenburg an, bei denen schon die letzten Wahlen mit schlechten Prognosen behaftet waren. In Brandenburg gab es mit einem mittleren absoluten Fehler von 2,7 Prozent über alle Institute das bei weitem schlechteste Resultat. Als Schulnote wäre es eine peinliche sechs (ungenügend). Die Verhältnisse sind mit dem aktuellen Höhenflug der AfD und dem Auftreten der neuen Partei um Sarah Wagenknecht (BSW) nicht einfacher geworden und werden eine echte Herausforderung.

Bei der Europawahl im Juni wird es wohl etwas einfacher werden, weil es vergleichsweise wesentlich mehr Umfragen und Prognosen geben wird. Hier dürfte das Abschneiden der Kleinstparteien von zusätzlichem Interesse sein, weil es keine Fünf-Prozent-Hürde gibt und man wohl wieder schon bei einem Anteil von 0,7 Prozent einen Sitz gewinnen kann.

Das größte Wahlspektakel überhaupt wird dann im November bei den US-Wahlen über die Bühne gehen, mit teilweise bewusst gefälschten Prognosen und einem bisher nie dagewesenen Medienwirbel. Es könnte auch zum ersten Mal eine konkurrenzfähige Prognose auf Basis der künstlichen Intelligenz geben.

Erläuterungen zum Aufbau der Rangliste

MAF: mittlerer, absoluter Fehler

Für jedes Institut werden die absoluten Abweichungen (das heißt ohne Beachtung der Vorzeichen) zwischen Prognose und Wahlergebnis für jede Partei aufaddiert und daraus der Mittelwert berechnet.

Der MAF ist einfach interpretierbar und wird in den Medien am häufigsten verwendet.

MAPF: mittlerer, absoluter, prozentualer Fehler

Die absoluten Abweichungen zwischen Prognose und Wahlergebnis (MAF) werden bei jeder Partei durch die zugehörigen Wahlergebnisse dividiert. Diese Quotienten werden aufaddiert und daraus der Mittelwert berechnet.

Der MAPF ist eine sinnvolle Ergänzung zum MAF, da er den absoluten Fehler in Relation zum Wahlergebnis betrachtet. Es macht einen deutlichen Unterschied, ob man beispielsweise bei einem Wahlergebnis von 5% oder von 20% um absolute 2 Prozentpunkte falsch liegt. Im ersten Falle beträgt der prozentuale, absolute Fehler 40%, im zweiten nur 10%. Das bedeutet jedoch auch, dass der MAPF sehr sensibel auf eine Abweichung bei einer kleineren Partei reagieren kann.

MQF: mittlerer, quadratischer Fehler

Hier werden die einzelnen absoluten Abweichungen zwischen Prognose und Wahlergebnis für jede Partei quadriert. Diese Werte werden aufsummiert und daraus der Mittelwert bestimmt. Bisweilen wird daraus noch die Quadratwurzel gezogen, um den sogenannten root mean square error (RMSE) zu erhalten.

Der MQF bzw. RMSE ist ein natürliches Distanzmaß und liefert die Basis für statistische Tests.

MFIP95: mittlerer Fehler für Intervall-Prognosen

Für jede Partei und die Sonstigen wird auf Basis der jeweiligen Punktprognose mittels der bei Zufallsstichproben üblichen Fehlerformel ein 95%-iges Prognoseintervall berechnet. Ein Fehler liegt vor, wenn dieses Prognoseintervall den tatsächlichen Wert nicht überdeckt. Gibt es z.B. in 7 Fällen 2 Fehler, so beträgt der zug. MFIP95 hierfür 2/7=0.286.

Zu den vier Fehlermaßen werden für die Erstellung einer Gesamtrangliste aus mehreren Einzelranglisten noch drei zusätzliche Kriterien verwendet, nämlich der Top3/Flop3-Anteil sowie der mittlere Rang für die jeweilige Gruppe. Beim ersteren werden Platzierungen unter den ersten drei Rängen aller Teilnehmer positiv und unter den letzten drei Plätzen negativ bewertet. Diese Differenz zwischen der Anzahl der Top3- und der Flop3-Plätze wird noch durch die Anzahl der Teilnahmen dividiert.

Beim mittleren Rang (MR) werden die Ränge aus den Einzelranglisten gemittelt. Ferner werden nur Institute in die Gesamtrangliste aufgenommen, die an mindestens der Hälfte der Einzelwahlen teilgenommen haben.

Der Über-Durchschnitt gibt den Anteil der Fälle an, bei denen der MAF eines Instituts besser ist als der durchschnittliche MAF aller Institute bei einer Wahl.

Siehe auch: „Wahlbörsen sind mitunter besser zur Vorhersage von Wahlergebnissen geeignet“ und Wie zuverlässig sind unsere Wahlprognosen?

Prof. Dr. Walter Mohr: Studium der Mathematik und Wirtschaftswissenschaften, Lehr- und Forschungstätigkeiten an Fachhochschulen und Universitäten mit über 50 Veröffentlichungen, insbesondere in den Bereichen Zeitreihenanalyse und Wirtschafts- und Wahlprognosen sowie medizinischen Qualitätsuntersuchungen (eHealth).

Dr. Frank W. Püschel: Studium der Mathematik und Wirtschaftswissenschaften, Lehrtätigkeiten im Hochschulbereich, Forschungsschwerpunkt auf den Gebieten der Zeitreihenanalyse und Wirtschaftsprognosen. Aktuell tätig in der Geschäftsführung eines Medizinprodukteherstellers.

Ähnliche Beiträge:

• Walter Mohr: “Wahlbörsen sind mitunter besser zur Vorhersage von Wahlergebnissen geeignet.”
• Wie zuverlässig sind unsere Wahlprognosen?
• Wahlbörsen, Umfrageinstitute, Expertenprognosen zur Europawahl
• Europawahlen: Auf welche Prognosen ist Verlass?
• Wahlbörsen, Expertenprognosen, Umfrageinstitute? Wettbewerb um das beste Prognoseinstitut