Wahlbörsen, Umfrageinstitute, Expertenprognosen zur Europawahl

Qualitätsbericht zu den Prognosen der Europawahlen von 2014 und 2019 (Teil 2)

Wir haben die Einteilung der sechs Europawahlen in die vier ersten (Teil 1) und beiden letzten bewusst vorgenommen. Zum einen zeigte sich ein extremer Qualitätsunterschied und zum anderen waren bei den ersten vier Wahlen die Umfrageinstitute mit einer Ausnahme praktisch unter sich, während 2014 und 2019 zwei Wahlbörsen und mehrere Expertenschätzungen dazukamen.

Ferner gab es vor der Wahl von 2014 eine wichtige Entscheidung des Bundesverfassungsgerichtes, wodurch die Fünf-Prozent-Sperrklausel bei Europawahlen als verfassungswidrig eingestuft wurde. Damit haben auch Kleinstparteien Chancen auf Parlamentssitze. Rechnerisch existiert durch die feste Vorgabe von 96 Sitzen für Deutschland eine gewisse Prozenthürde, die nun bei etwa 0,6 Prozent liegt. In den beiden letzten Europawahlen 2014 und 2019 schafften dadurch jeweils sieben Kleinstparteien den Sprung ins Europaparlament. Ferner wurde 2019 bei allen größeren Parteiblöcken erstmals ein Spitzenkandidat aufgestellt.

Bei den Umfrageinstituten gab es einige Veränderungen. So verzichteten Allensbach und GMS auf weitere Teilnahmen. Die weit vor der Wahl abgegebenen mäßigen Schätzungen von Emnid (2014) und Forsa (2019) sind auf Basis unserer Richtlinien nicht berücksichtigt worden. Dafür sind nun die Umfrageinstitute Ipsos, Civey und Wahlkreisprognose hinzugekommen.

Statistische Auswertung zur Europawahl 2014

Tabelle 1: Rangliste zur Europawahl 2014

Die CDU/CSU wurde von allen Instituten überschätzt. Sie büßte zwar das dritte Mal in Folge Stimmen ein, gewann aber dennoch mit 35,4 Prozent. Die SPD konnte mit 27,3 Prozent ihren Abwärtstrend stoppen und deutlich zulegen. Die Grünen verschlechterten sich im Vergleich zur Vorwahl etwas und erreichten 10,7 Prozent und damit wieder den dritten Platz. Zwischen der von allen überschätzten Linken, die auf 7,4 Prozent kam, und der erstmals bei einer Europawahl auftretenden AfD mit 7,0 Prozent, gab es ein knappes Rennen. Die FDP stürzte zwar auf 3,4 Prozent ab, konnte jedoch wegen des Wegfalls der Fünf-Prozent-Hürde ins Parlament einziehen. Von den Kleinstparteien schafften das, nach Größe geordnet, folgende sieben Vertreter: Freie Wähler, Piraten, Tierschutzpartei, NPD, Familie, ÖDP und Die Partei. Insgesamt kamen die Sonstigen auf 8,9 Prozent.

Dieses Mal hatten sich alle sieben Institute speziell auf Europawahlen eingestellt und erreichten mit einem mittleren, absoluten Fehler (MAF) über alle Konkurrenten von 1,18 Prozent die bisher weitaus beste Prognosequalität, die jetzt mit entsprechenden Bundestagswahlen vergleichbar ist.

Es gab einen überlegenen Sieg von Forschungsgruppe Wahlen (FGW) mit einer neuen Bestleistung und einem MAF von 0,68 Prozent, was auf unserer empirisch bestimmten Notenskala einer sehr guten Bewertung (1,0) entspricht. Es ist anzumerken, dass FGW das einzige Umfrageinstitut war, das in der letzten Woche die finale Prognose abgegeben hat. Dahinter folgten, dicht beieinander, infratest, unsere PESM-Wahlbörse sowie Ipsos. Die weiteren Ränge belegten INSA, die österreichische Wahlbörse Wahlfieber und YouGov. Den Methodenvergleich konnten die Umfragen gegen die Wahlbörsen gewinnen.

Statistische Auswertung zur Europawahl 2019

Tabelle 2: Rangliste zur Europawahl 2019

Diese Wahl brachte eine beachtliche Verschiebung im Ranking der Parteien. In allen bisherigen fünf Wahlen gab es die Reihenfolge Union, SPD und Grüne. Jetzt konnten sich erstmalig die Grünen mit 20,5 Prozent klar vor der SPD mit 15,8 Prozent positionieren. Trotz großer Verluste blieb die CDU/CSU mit 28,9 Prozent zum sechsten Mal hintereinander siegreich. Für Union und SPD war es jeweils das schlechteste Resultat bei Europawahlen. Gründe sind das besonders gute Abschneiden der Grünen, der Sonstigen und auch der AfD, die mit hohen Zugewinnen und 11,0 Prozent den vierten Platz belegte. In weitem Abstand folgten die Linke mit 5,5 Prozent und fast gleichauf die FDP mit 5,4 Prozent. Wegen der nicht mehr gültigen Fünf-Prozent-Klausel konnten auch bei dieser Wahl wieder sieben Kleinstparteien Mandate erringen, und zwar größenmäßig geordnet: Die Partei, Freie Wähler, Tierschutzpartei, ÖDP, Familie, Volt und die Piraten. Im Vergleich zur Vorwahl ist die NPD herausgefallen und Volt hinzugekommen. Zusammen verbuchten die Kleinstparteien mit 12,9 Prozent eine neue Bestmarke.

Die Wahlbeteiligung erreichte mit 61,8 Prozent ebenfalls einen neuen Rekord. Wie schon bei der Bundestagswahl 2017 und den Landtagswahlen in diesem Zeitraum gab es jetzt mit Wahlbörsen und Expertenschätzungen eine erstzunehmende Konkurrenz zu den etablierten Umfrageinstituten. So belegte BirnstinglausRom, eine meinungsstarke in Rom lebende Journalistin, den ersten Platz vor FGW. Dahinter konnten sich die beiden Wahlbörsen PESM und Wahlfieber platzieren. Das Mittelfeld bildeten DAWUM, eine Kombinationsprognose nur aus Umfragedaten und Ipsos, sowie unser Prognosys-Master-Vote, ein halbautomatisches Prognosemodell auf Basis mehrerer Kriterien, und das Umfrageinstitut Civey, das mit neuen Methoden für Aufmerksamkeit sorgte. Das Tabellenende besteht aus einer Dreiergruppe von dem anonymen und sehr umstrittenen Institut Prognos, vor infratest und INSA.

Im Durchschnitt war der MAF über alle Institute mit 1,27 Prozent fast so gut wie bei der Vorgängerwahl 2014. Im Methodenvergleich siegten dieses Mal die Wahlbörsen knapp vor den Expertenschätzungen, während die Umfragen abgeschlagen auf dem dritten Platz lagen.

Mit dem großen Interesse an europaspezifischen Fragen, wobei die Flüchtlings- und Umweltpolitik eine zentrale Rolle spielten und den guten Prognoseergebnissen konnten die Europawahlen das Manko einer Wahl zweiter Klasse endgültig überwinden und ihre Eigenständigkeit gewinnen.

Gesamtrangliste und Fazit

Tabelle 3: Gesamtrangliste zu den Europawahlen 2014 und 2019

In die Gesamtrangliste für die beiden letzten Wahlen sollen alle Institute aufgenommen werden, die mindestens an der Hälfte der Wahlen teilgenommen haben. Sie müssen jedoch mehr als einmal dabei sein, weil sonst bei nur einmaliger Teilnahme eher Verzerrungen auftreten können. Damit kommen vier Umfrageinstitute (FGW, infratest, Ipsos und INSA) und zwei Wahlbörsen (PESM und Wahlfieber) in die endgültige Auswahl. Die Gesamtrangliste wird wie immer auf Basis von sieben Kriterien ermittelt (man vergleiche dazu den Anhang).

An der Spitze steht FGW klar vor unserer PESM-Wahlbörse. Sie waren in beiden Wahlen jeweils unter den TOP 3. Deutlich dahinter folgen Ipsos und auf den weiteren Rängen infratest, die österreichische Wahlbörse Wahlfieber und INSA. Bezogen auf den MAF ergeben sich für diese sechs Institute damit Schulnoten zwischen 1,5 und 2,8. Den Methodenvergleich entscheiden die Umfrageinstitute knapp für sich. Insbesondere bei dieser letzten Wahl tauchten mehrere neue Institute auf, die allerdings bisher nur eine Teilnahme aufweisen können und damit nicht in obige Gesamtrangliste aufgenommen werden können. Es sind dieses in qualitativer Reihenfolge: BirnstinglausRom, DAWUM, Prognosys-Master-Vote, Civey, Prognos und YouGov. Nach der nächsten Wahl 2024 wird es eine größere Gesamtrangliste mit interessanten Verschiebungen geben.

Im ersten Teil unserer Analysen haben wir festgestellt, dass die vier Europawahlen von 1994 – 2009 mit einem MAF von 2,98 Prozent wesentlich schlechter ausgefallen sind als der Durchschnitt der fünf Bundestagswahlen im selben Zeitraum mit 1,20 Prozent. Beim Mittel der letzten beiden Europawahlen (2014 und 2019) sowie der entsprechenden Bundestagswahlen (2013 und 2017) gab es diesen eklatanten Niveauunterschied nicht mehr. Die Durchschnittswerte für die Europawahlen waren mit 1,23 Prozent praktisch identisch mit den Mittel der beiden Bundestagswahlen von 1,24 Prozent.

Für diese außergewöhnlichen Verbesserungen bei den beiden letzten Europawahlen gibt es mehrere Gründe. Ganz sicher hat dazu beigetragen, dass die Umfrageinstitute nunmehr speziell auf die Europawahlen zugeschnittene Befragungen durchgeführt haben. Besonders wichtig ist auch, dass die meisten Institute jetzt ihre finale Prognose erst in der letzten Woche abgeben. Dadurch können die immer kurzfristigeren Entscheidungen der Wähler besser verarbeitet werden. (Bei Landtagswahlen wird von der vorletzten auf die letzte Woche eine Verbesserung des MAF im Mittel von knapp 0,5 Prozentpunkten erzielt). Außerdem erfolgten die Umfragen jetzt mit höherer Frequenz und vor allem lief der immer vorhandene Herdentrieb (die unsichtbare Koordination der Institute) in die richtige Richtung.

Wie bei den Bundes- und Landtagswahlen der letzten Jahre stehen den etablierten Umfrageinstituten (FGW, infratest, Allensbach, Forsa, Emnid, INSA und GMS) nunmehr einige neue gegenüber (Ipsos, Civey, Wahlkreisprognose). Vor allem aber hat sich eine alternative Gruppe gebildet, jetzt unter Führung der Wahlbörse Wahlfieber, da unsere PESM-Wahlbörse seit 2022 nicht mehr aktiv ist. Dazu gehören BirnstinglausRom, Prognosys- Master-Vote und Prognos. Von der Prognoseleistung sind diese mindestens gleichwertig und hätten in den Medien eine größere Aufmerksamkeit verdient.

Die statistische Prognosequalität der Europawahlen ist jetzt den Bundestagswahlen durchaus ebenbürtig. Medial gibt es immer noch einen großen Unterschied. Bei der letzten Europawahl waren elf Prognoseinstitute beteiligt, während es bei der Bundestagswahl 2021 mehr als doppelt so viele waren.

Anhang

Erläuterungen zum Aufbau der Rangliste

MAF: mittlerer, absoluter Fehler

Für jedes Institut werden die absoluten Abweichungen (das heißt ohne Beachtung der Vorzeichen) zwischen Prognose und Wahlergebnis für jede Partei aufaddiert und daraus der Mittelwert berechnet.

Der MAF ist einfach interpretierbar und wird in den Medien am häufigsten verwendet.

MAPF: mittlerer, absoluter, prozentualer Fehler

Die absoluten Abweichungen zwischen Prognose und Wahlergebnis (MAF) werden bei jeder Partei durch die zugehörigen Wahlergebnisse dividiert. Diese Quotienten werden aufaddiert und daraus der Mittelwert berechnet.

Der MAPF ist eine sinnvolle Ergänzung zum MAF, da er den absoluten Fehler in Relation zum Wahlergebnis betrachtet. Es macht einen deutlichen Unterschied, ob man beispielsweise bei einem Wahlergebnis von 5% oder von 20% um absolute 2 Prozentpunkte falsch liegt. Im ersten Falle beträgt der prozentuale, absolute Fehler 40%, im zweiten nur 10%. Das bedeutet jedoch auch, dass der MAPF sehr sensibel auf eine Abweichung bei einer kleineren Partei reagieren kann.

MQF: mittlerer, quadratischer Fehler

Hier werden die einzelnen absoluten Abweichungen zwischen Prognose und Wahlergebnis für jede Partei quadriert. Diese Werte werden aufsummiert und daraus der Mittelwert bestimmt. Bisweilen wird daraus noch die Quadratwurzel gezogen, um den sogenannten root mean square error (RMSE) zu erhalten.

Der MQF bzw. RMSE ist ein natürliches Distanzmaß und liefert die Basis für statistische Tests.

MFIP95: mittlerer Fehler für Intervall-Prognosen

Für jede Partei und die Sonstigen wird auf Basis der jeweiligen Punktprognose mittels der bei Zufallsstichproben üblichen Fehlerformel ein 95%-iges Prognoseintervall berechnet. Ein Fehler liegt vor, wenn dieses Prognoseintervall den tatsächlichen Wert nicht überdeckt. Gibt es z.B. in 7 Fällen 2 Fehler, so beträgt der zug. MFIP95 hierfür 2/7=0.286.

Zu den vier Fehlermaßen werden für die Erstellung einer Gesamtrangliste aus mehreren Einzelranglisten noch drei zusätzliche Kriterien verwendet, nämlich der Top3/Flop3-Anteil sowie der mittlere Rang für die jeweilige Gruppe. Beim ersteren werden Platzierungen unter den ersten drei Rängen aller Teilnehmer positiv und unter den letzten drei Plätzen negativ bewertet. Diese Differenz zwischen der Anzahl der Top3- und der Flop3-Plätze wird noch durch die Anzahl der Teilnahmen dividiert.

Beim mittleren Rang (MR) werden die Ränge aus den Einzelranglisten gemittelt. Ferner werden nur Institute in die Gesamtrangliste aufgenommen, die an mindestens der Hälfte der Einzelwahlen teilgenommen haben.

Der Über-Durchschnitt gibt den Anteil der Fälle an, bei denen der MAF eines Instituts besser ist als der durchschnittliche MAF aller Institute bei einer Wahl.

Ähnliche Beiträge:

• Europawahlen: Auf welche Prognosen ist Verlass?
• Wie zuverlässig sind unsere Wahlprognosen?
• Wahlbörsen, Umfrageinstitute, Expertenprognose: Wer liefert die besten Voraussagen?
• Wahlbörsen, Expertenprognosen, Umfrageinstitute? Wettbewerb um das beste Prognoseinstitut
• Qualität der Wahlprognosen der Umfrageinstitute