Die Gesamtrangliste über die aktuellen Landtagswahlen in den 16 Bundesländern ist ein wichtiges Instrument zu Qualitätsprüfung der Institute. Dabei wird aus sieben Kriterien eine zusammenfassende Bewertung gebildet.
Es gibt vier Fehlerkriterien, die separat und ohne Einfluss der anderen Institute gemessen werden. Hinzu kommen noch drei weitere, die direkt abhängig von der Konkurrenz sind. Alle sieben Kriterien sind sinnvoll, weil sie hoch miteinander und dem Gesamtranking korreliert sind. Eine kurze Definition dieser Kriterien findet man im Anhang. Für jedes einzelne wird dabei über alle Institute eine Rangliste erstellt. Dann werden die sieben Rangwerte für jedes Institut aufsummiert. Diese Rangsumme entscheidet final über das Gesamtranking, wobei kleinere Werte besser sind. Ferner werden nur Institute in die Tabelle aufgenommen, die hinreichend oft (an mindestens acht der 16 Landtagswahlen) teilgenommen haben.
Jetzt steht nach der Doppelwahl am 8. Oktober in Hessen und Bayern die zwanzigste Gesamtrangliste an. Eindeutiger Rekordsieger ist bisher Forschungsgruppe Wahlen (FGW) mit elf Spitzenplätzen. Dahinter folgen die Expertenprognosen von prognos (5), Prognosys-Master-Vote (2) sowie die PESM-Wahlbörse (1), die jetzt nicht mehr aktiv ist.
Wir haben hier die Gesamtrangliste ohne die früheren Ergebnisse aus Hessen und Bayern zusammengestellt, um die Ausgangsposition der Institute vor diesen beiden aktuellen Wahlen klarer aufzuzeigen.
Die Spitzengruppe besteht aus dem relativ neuen Umfrageinstitut Wahlkreisprognosen mit 17 Punkten knapp vor der österreichischen Wahlbörse Wahlfieber (20). Gemeinsam auf dem dritten Platz landen mit 24 Punkten Prognosys-Master-Vote und FGW. Dabei profitiert Wahlkreisprognosen davon, dass es noch nicht, wie die drei anderen Konkurrenten, bei den beiden extrem schlecht ausgefallenen Wahlen in Brandenburg und Sachsen dabei war. Das sieht man in der Tabelle auch daran, dass Wahlkreisprognosen bei den vier Fehlerkriterien eindeutig führt, bei den drei anderen Kriterien jedoch nur Platz 4 erreicht. Mit großer Wahrscheinlichkeit gibt es daher mit Wahlkreisprognosen oder Wahlfieber einen neuen, erstmaligen Tabellenführer im Gesamtklassement.
Im Mittelfeld stehen das Experteninstitut prognos (34), die PESM-Wahlbörse (38) und die Expertenprognose von BirnstinglausRom (41). Am Tabellenende rangieren die Expertenprognose von dawum (56) sowie weit abgeschlagen die bekannten Umfrageinstitute von INSA (65), infratest (68) und Civey (77). Forsa hat nicht genügend Teilnahmen, würde sich jedoch mit den bisher gezeigten Ergebnissen nur im hinteren Bereich einreihen.
Sehr aufschlussreich ist außerdem der Methodenvergleich. Das aktuelle Ranking fällt ähnlich wie bei fast allen früheren 19 Gesamtranglisten aus. An erster Stelle steht die Gruppe der Wahlbörsen knapp vor der Gruppe der Expertenprognosen, während die Umfrageinstitute weit abgeschlagen sind.
Es gibt bei Landtagswahlen in Deutschland eine große Vielfalt von Prognosen. Im Durchschnitt nehmen sechs Umfrageinstitute und sechs Experteninstitute einschließlich Wahlbörsen teil. Allerdings beherrschen die Umfrageinstitute, die im Qualitätsvergleich meist schlechter abschneiden, mit ihren reichweitenstarken Medienpartnern praktisch vollständig den Markt. Diese seit vielen Jahren bestehende Situation ist unbefriedigend, weil dadurch wichtige Aspekte ausgeblendet werden.
Vielleicht erleben wir ja bei den US-Wahlen 2024 zum ersten Mal Wahlprognosen auf Basis von Künstlicher Intelligenz?
Erläuterungen zum Aufbau der Rangliste
MAF: mittlerer, absoluter Fehler
Für jedes Institut werden die absoluten Abweichungen (das heißt ohne Beachtung der Vorzeichen) zwischen Prognose und Wahlergebnis für jede Partei aufaddiert und daraus der Mittelwert berechnet.
Der MAF ist einfach interpretierbar und wird in den Medien am häufigsten verwendet.
MAPF: mittlerer, absoluter, prozentualer Fehler
Die absoluten Abweichungen zwischen Prognose und Wahlergebnis (MAF) werden bei jeder Partei durch die zugehörigen Wahlergebnisse dividiert. Diese Quotienten werden aufaddiert und daraus der Mittelwert berechnet.
Der MAPF ist eine sinnvolle Ergänzung zum MAF, da er den absoluten Fehler in Relation zum Wahlergebnis betrachtet. Es macht einen deutlichen Unterschied, ob man beispielsweise bei einem Wahlergebnis von 5% oder von 20% um absolute 2 Prozentpunkte falsch liegt. Im ersten Falle beträgt der prozentuale, absolute Fehler 40%, im zweiten nur 10%. Das bedeutet jedoch auch, dass der MAPF sehr sensibel auf eine Abweichung bei einer kleineren Partei reagieren kann.
MQF: mittlerer, quadratischer Fehler
Hier werden die einzelnen absoluten Abweichungen zwischen Prognose und Wahlergebnis für jede Partei quadriert. Diese Werte werden aufsummiert und daraus der Mittelwert bestimmt. Bisweilen wird daraus noch die Quadratwurzel gezogen, um den sogenannten root mean square error (RMSE) zu erhalten.
Der MQF bzw. RMSE ist ein natürliches Distanzmaß und liefert die Basis für statistische Tests.
MFIP95: mittlerer Fehler für Intervall-Prognosen
Für jede Partei und die Sonstigen wird auf Basis der jeweiligen Punktprognose mittels der bei Zufallsstichproben üblichen Fehlerformel ein 95%-iges Prognoseintervall berechnet. Ein Fehler liegt vor, wenn dieses Prognoseintervall den tatsächlichen Wert nicht überdeckt. Gibt es z.B. in 7 Fällen 2 Fehler, so beträgt der zug. MFIP95 hierfür 2/7=0.286.
Zu den vier Fehlermaßen werden für die Erstellung einer Gesamtrangliste aus mehreren Einzelranglisten noch drei zusätzliche Kriterien verwendet, nämlich der Top3/Flop3-Anteil sowie der mittlere Rang für die jeweilige Gruppe. Beim ersteren werden Platzierungen unter den ersten drei Rängen aller Teilnehmer positiv und unter den letzten drei Plätzen negativ bewertet. Diese Differenz zwischen der Anzahl der Top3- und der Flop3-Plätze wird noch durch die Anzahl der Teilnahmen dividiert.
Beim mittleren Rang (MR) werden die Ränge aus den Einzelranglisten gemittelt. Ferner werden nur Institute in die Gesamtrangliste aufgenommen, die an mindestens der Hälfte der Einzelwahlen teilgenommen haben.
Der Über-Durchschnitt gibt den Anteil der Fälle an, bei denen der MAF eines Instituts besser ist als der durchschnittliche MAF aller Institute bei einer Wahl.
Siehe auch: „Wahlbörsen sind mitunter besser zur Vorhersage von Wahlergebnissen geeignet“ und Wie zuverlässig sind unsere Wahlprognosen?
Prof. Dr. Walter Mohr: Studium der Mathematik und Wirtschaftswissenschaften, Lehr- und Forschungstätigkeiten an Fachhochschulen und Universitäten mit über 50 Veröffentlichungen, insbesondere in den Bereichen Zeitreihenanalyse und Wirtschafts- und Wahlprognosen sowie medizinischen Qualitätsuntersuchungen (eHealth).
Dr. Frank W. Püschel: Studium der Mathematik und Wirtschaftswissenschaften, Lehrtätigkeiten im Hochschulbereich, Forschungsschwerpunkt auf den Gebieten der Zeitreihenanalyse und Wirtschaftsprognosen. Aktuell tätig in der Geschäftsführung eines Medizinprodukteherstellers.
Ähnliche Beiträge:
- Walter Mohr: “Wahlbörsen sind mitunter besser zur Vorhersage von Wahlergebnissen geeignet.”
- Wie zuverlässig sind unsere Wahlprognosen?
- Wahlbörsen, Umfrageinstitute, Expertenprognosen zur Europawahl
- Wahlbörsen, Umfrageinstitute, Expertenprognose: Wer liefert die besten Voraussagen?
- Europawahlen: Auf welche Prognosen ist Verlass?
Wahrsagerei, mich hat noch nie jemand gefragt, wo ich meine Kreuze machen würde.
Und wenn mich jemand fragen würde, wäre meine Antwort daß die Wahlen in der Europäischen Union und der Bundesrepublik Deutschland, Frei und Geheim sind.
Wer nicht mal ein Reality Check in der Gegenwart hin bekommt, der kann erst recht nicht die offizielle Zukunft einschätzen!
Daß ganze der Prognose hat mehr mit der Divination zutun als mit der Mantik 😎
Diese Aussage ist kurios:
“Vielleicht erleben wir ja bei den US-Wahlen 2024 zum ersten Mal Wahlprognosen auf Basis von Künstlicher Intelligenz?”
Was glauben denn die Autoren, auf welcher Basis bisher Wahlprognosen erstellt wurden?
Das waren ganz genauso Computer mit Abgleich und Konsolidierung aktueller Daten mit historischen Datenbeständen (nach soziologischen/sozialempirischen Kriterien).
Oder was glauben die Autoren, macht “Künstliche Intelligenz” in der Meinungsumfrage-Software aus? Gab es überhaupt ein Update oder rödelt da nicht immer noch dieselbe Software?
Oder sollen jetzt – wie schon bei Corona – auch in der Wahlforschung belanglose Modellrechnungen der Bio-Mathematik jenseits aller Praxis der Meinungsumfragen und jenseits der empirischen Sozialforschung eingeführt werden?
Die schöne Name KI macht Narrenspiegel möglich. Wie gern hätten bereits die Corona-Krisenstäbe den PR-Begriff der “Künstlichen Intelligenz” zur Verfügung gehabt.
@Estragon
Ja, diese KI-Taschenspielertrickser sind weiterentwickelten Glasperlenspieler, die Hermann Hesse vor 80 Jahren beschrieb. Da halt auch ich`s mit der LI, der lebendigen Intelligenz und den herkömmlichen fünf Grundrechenarten besonders in der ganzdeutschen Politwahlprognostik.
Eine Frage :
Wie würde ein demokratisches Land darauf reagieren, wenn reale Werte der Wahlen publiziert würden?
Gar nicht,
es wird nicht reagiert.
Von Jahr zu Jahr, von Wahl zu Wahl steigt die Anzahl der Nichtwähler.
Die Antwort :
Es wird einfach weiter regiert und das Wahlalter der Wähler gesenkt.
Jepp, auch wenn nur 100 Wähler wählen würden, wäre die Wahl legitim. Eine feste Quote für eine Mindestwahlbeteiligung gibt es meines Wissens nach nicht.
Vielleicht würden sie dann die Wahlpflicht einführen???
Ich lasse mich dahingehend aber gerne belehren.
Bei KI kommt doch nur raus was vorher ein Interessengeleiteter dort reinprogrammiert hat, Fehlerquoten und Unsinn inbegriffen (input – output)
Wahlprognosen und Umfragen dienen wohl eher der Wählermanipulation.
Wenn ich heute prognostiziere dass die GRÜNEN 17% verlieren und nicht mehr in den Bundestag kommen würden, dann motiviert das die grünen Wähler zur Wahl zu gehen und umgekehrt