Prognosequalität: Wahlbörsen vor Expertenprognosen und Umfrageinstituten

Analyse der Prognosequalität von Landtagswahlen – Bürgerschaftswahl 2025 in Hamburg

Bei der Erstellung der Rangliste zu dieser Wahl gab es zunächst ein rechnerisches Problem. So hat FGW (Forschungsgruppe Wahlen) die Parteien FDP und BSW wegen ihrer geringen Anteilswerte nicht gesondert ausgewiesen, während INSA dieses für Volt praktiziert hat. In einem solchen Fall muss man sich für einen sinnvollen Vergleich auf den kleinsten gemeinsamen Nenner aller Institute einigen. Das bedeutet, dass diese drei obigen Parteien bei den Sonstigen aufzunehmen sind.

Etablierte Umfrageinstitute veröffentlichen in der Regel keine Parteiprognosen unter 3 Prozent, weil dann die relativen Schwankungen sehr groß ausfallen könnten. Das könnte u.a. bewirkt haben, dass die Prognosen für Hamburg insgesamt (gemessen durch den mittleren, absoluten Fehler MAF) etwas schlechter ausgefallen sind. Vielleicht ist ebenfalls die starke Konzentration auf die Bundestagswahl, die eine Woche vorher stattfand, ein Grund dafür, dass es keine wesentlichen Verbesserungen der Prognosequalität in der letzten Woche gab. Zwei klare Fehleinschätzungen sind durchgehend zu registrieren. Alle Institute haben die AfD deutlich zu hoch bewertet. Umgekehrt wurde die CDU trotz erfolgreicher Bundestagswahl zu tief eingestuft. Ansonsten dominierten die landespolitischen Aspekte mit hohen Zustimmungswerten zur bisherigen Regierungskoalition, die wohl im Amt bleiben wird. Allerdings sind die Ergebnisse auch nicht vollständig von der Bundestagswahl entkoppelt, wie die Verluste bei den Ampelparteien und die Zugewinne bei CDU, AfD und Linken zeigen.

Insgesamt war der MAF über alle Institute mit 1,77 Prozent (Schulnote 3,7) relativ unbefriedigend und schlechter als die Vorwahl 2020 mit 1,44 Prozent (Schulnote 2,9). Damit gab es die drittschlechteste Prognose der laufenden Serie unterboten nur noch von den Wahlen in Schleswig-Holstein (Schulnote 4,3) und dem Extremfall in Sachsen-Anhalt (Schulnote 5,8).

In der Rangliste liegt FGW eindeutig vorn und kann damit den Sieg von 2020 eindrucksvoll wiederholen. Auf den nächsten Plätzen landen die beiden Expertenprognosen von Prognosys-Master-Vote und Wahlfieberteam. Es folgen das relativ neue Umfrageinstitut Wahlkreisprognose vor den beiden weiteren Expertenschätzungen von politpro und DAWUM, die beide modifiziere Mittelwerte veröffentlichen. Die Wahlbörse Wahlfieber erreicht den siebten Platz vor den beiden nächsten Expertenvoraussagen von Prognos und Birnstingl. Mit deutlichem Abstand (bezüglich der Rangsumme RS) stehen am Ende die vier Umfrageinstitute infratest, Civey, INSA und Trend Research. Beim Methodenvergleich kann sich die Gruppe der Expertenprognosen knapp vor der Wahlbörse behaupten, während die Umfrageinstitute bei allen Kriterien am Ende stehen.

Gesamtrangliste zur Prognosequalität der Institute bei den aktuellen Landtagswahlen

Im Gesamtranking über alle 16 aktuellen Landtagswahlen ist jetzt die PESM-Wahlbörse ausgeschieden, weil sie nach über 20 Jahren Laufzeit seit Ende 2022 nicht mehr aktiv ist und dadurch zu wenige Resultate vorzuweisen hat. Trotz der in Hamburg nur mäßigen Leistung kann die einzig verbliebene österreichische Wahlbörse Wahlfieber ihren Spitzenplatz verteidigen. Wie beim letzten Mal steht dahinter FGW ganz knapp vor Prognosys-Master-Vote. Dieses Trio hat sich schon länger von der Konkurrenz abgesetzt und ihre Prognosequalität kann insgesamt mir der Schulnote gut bewertet werden. Beim letzten Kriterium, das angibt wie häufig ein Institut besser als die mittlere Prognosequalität ist, schneiden diese drei Institute in 87,5 Prozent der Fälle, also bei 14 von 16 Landtagswahlen überdurchschnittlich ab. Das ist im Vergleich zu den anderen Instituten eine besondere Leistung.

Interessant ist ebenfalls, dass mit einer Wahlbörse, einem Umfrageinstitut und einer Expertenschätzung alle drei verschiedenen Methoden in der Spitze vertreten sind. Einen bemerkenswerten vierten Platz belegt das relativ neue Institut Wahlkreisprognose, das nunmehr erstmalig eine vollständige Serie aller 16 aktuellen Landtagswahlen vorweisen kann. Erwähnenswert ist ferner der fünfte Rang von Birnstingl, einer Wahlbörsenexpertin und meinungsbewussten Bloggerin aus Rom mit ihren teilweise vom Mainstream abweichenden, frühzeitigen Prognosen. Dagegen macht die Plattform DAWUM eher konservative Voraussagen nur aus der Kombination von Umfrageinstituten, die gemäß ihrer Aktualität gewichtet sind. Vervollständigt wird das Mittelfeld durch das anonyme Institut Prognos, das häufig durch große Schwankungen seiner Prognosequalität auffällt. Bei der aktuellen Bundestagswahl gab es z.B. einen hervorragenden zweiten Platz, während hier im Gesamtranking der Landtagswahlen nur Rang 7 herausspringt.

Am Ende der Rangliste stehen schon lange weit abgeschlagen, wie man an den entsprechenden Rangsummen sehen kann, die bekannten Umfrageinstitute von infratest, Civey und INSA. Allerdings könnte die Qualität von infratest wesentlich besser sein, wenn dieses Institut seine antiquierte Haltung ändern und wie die gesamte Konkurrenz auch in der letzten Woche noch eine finale Prognose veröffentlichen würde. Das könnte eine enorme Bereicherung darstellen.

Der Methodenvergleich ist bei allen Kriterien eindeutig: Wahlbörsen vor Expertenprognosen und Umfrageinstituten.

Nachdenkenswert ist auch das immer wieder erfolgreiche Abschneiden der locker vernetzten Gruppe aus Wahlbörse, Prognosys –Master-Vote und Birnstingl. Im Vergleich zu den etablierten Umfrageinstituten, die fast alle mit großen Medien zusammenarbeiten und dadurch einen enormen Einfluss haben, kommen sie trotz ihrer besseren Qualität nicht in die Öffentlichkeit. Man fühlt sich manchmal an das kleine, renitente gallische Dorf von Asterix und Obelix erinnert. Aber das macht die Wahlprognosen schon seit vielen Jahren spannend, weil diese kleinen Institute die großen und das Establishment immer wieder ärgern. Allerdings merken im Gegensatz zum Comic die politisch Interessierten nichts davon.

Prof. Dr. Walter Mohr                             Dr. Frank W. Püschel

Erläuterungen zum Aufbau der Rangliste

MAF: mittlerer, absoluter Fehler

Für jedes Institut werden die absoluten Abweichungen (das heißt ohne Beachtung der Vorzeichen) zwischen Prognose und Wahlergebnis für jede Partei aufaddiert und daraus der Mittelwert berechnet.

Der MAF ist einfach interpretierbar und wird in den Medien am häufigsten verwendet.

MAPF: mittlerer, absoluter, prozentualer Fehler

Die absoluten Abweichungen zwischen Prognose und Wahlergebnis (MAF) werden bei jeder Partei durch die zugehörigen Wahlergebnisse dividiert. Diese Quotienten werden aufaddiert und daraus der Mittelwert berechnet.

Der MAPF ist eine sinnvolle Ergänzung zum MAF, da er den absoluten Fehler in Relation zum Wahlergebnis betrachtet. Es macht einen deutlichen Unterschied, ob man beispielsweise bei einem Wahlergebnis von 5% oder von 20% um absolute 2 Prozentpunkte falsch liegt. Im ersten Falle beträgt der prozentuale, absolute Fehler 40%, im zweiten nur 10%. Das bedeutet jedoch auch, dass der MAPF sehr sensibel auf eine Abweichung bei einer kleineren Partei reagieren kann.

MQF: mittlerer, quadratischer Fehler

Hier werden die einzelnen absoluten Abweichungen zwischen Prognose und Wahlergebnis für jede Partei quadriert. Diese Werte werden aufsummiert und daraus der Mittelwert bestimmt. Bisweilen wird daraus noch die Quadratwurzel gezogen, um den sogenannten root mean square error (RMSE) zu erhalten.

Der MQF bzw. RMSE ist ein natürliches Distanzmaß und liefert die Basis für statistische Tests.

MFIP95: mittlerer Fehler für Intervall-Prognosen

Für jede Partei und die Sonstigen wird auf Basis der jeweiligen Punktprognose mittels der bei Zufallsstichproben üblichen Fehlerformel ein 95%-iges Prognoseintervall berechnet. Ein Fehler liegt vor, wenn dieses Prognoseintervall den tatsächlichen Wert nicht überdeckt. Gibt es z.B. in 7 Fällen 2 Fehler, so beträgt der zug. MFIP95 hierfür 2/7=0.286.

Zu den vier Fehlermaßen werden für die Erstellung einer Gesamtrangliste aus mehreren Einzelranglisten noch drei zusätzliche Kriterien verwendet. Beim Top3/Flop3-Anteil werden Platzierungen unter den ersten drei Rängen aller Teilnehmer positiv und unter den letzten drei Plätzen negativ bewertet. Diese Differenz zwischen der Anzahl der Top3- und der Flop3-Plätze wird noch durch die Anzahl der Teilnahmen dividiert. Beim mittleren Rang (MR) werden die Ränge aus den Einzelranglisten gemittelt. Ferner werden nur Institute in die Gesamtrangliste aufgenommen, die an mindestens der Hälfte der Einzelwahlen teilgenommen haben. Schließlich wird für jedes Institut der Anteil der Fälle bestimmt, bei denen es in den Einzelwahlen besser ist als der mittlere MAF aller Institute.

Ähnliche Beiträge:

• Bewertung der Prognosen der Umfrageinstitute und Wahlbörsen
• Wahlbörsen, Umfrageinstitute, Expertenprognose: Wer liefert die besten Voraussagen?
• Sind Wahlumfragen neutral?
• Wahlbörse: Vorsprung der SPD hat sich auf 3,5 Prozentpunkte leicht verringert
• »Zurzeit sehe ich einen sehr knappen Vorsprung für Trump«