ChatGPT-4 im Persönlichkeitstest: Ähnlich wie Menschen, nur offener

In Spielen wie dem Gefangenendilemma oder Ultimatumspiel ist die Künstliche Intelligenz altruistischer, fairer, vertrauensvoller und kooperativer als der Durchschnitt der Menschen.

Die großen Sprachmodelle (LLM) wie ChatGPT können überraschend gut Fragen und Anweisungen verstehen und darauf in großer Geschwindigkeit antworten bzw. Texte produzieren. Viele glauben, dass die Künstliche Intelligenz, wenn entsprechend gefüttert, in vielen Bereichen ähnliche oder bessere sprachliche Ergebnisse erzeugen kann als Menschen und daher auch diese aus vielen Bereichen verdrängen wird. Eigentlich hangeln sich die Chatbots aufgrund der irgendwie durch maschinelles Lernen verarbeiteten Informationen durch probabilistisches Raten von Silbe zu Silbe, was auch danebengehen kann. Aber können  die Chatbots wie Menschen denken oder sich verhalten?

In der Frühzeit der Künstlichen Intelligenz hatte Alan Turing den später so genannten Turing-Test vorgeschlagen, um zu sehen, ob diese wie Menschen denken kann. Im Kern geht es darum, ob eine KI mit Menschen so kommunizieren kann, dass dieser sich täuscht und meint, mit einem Menschen zu kommunizieren. Dazu müsste die KI nicht nur Weltwissen haben, sondern sich auch in den Menschen hineinversetzen und seine Erwartungen erfassen können, um ihn zu täuschen. Normalerweise wird der Turing-Test von einer Versuchsperson durchgeführt, die sich schriftlich mit einer KI und einem Menschen unterhält. Wenn sie nicht sagen kann, wer die KI ist, hätte sich diese wie ein Mensch verhalten können, wobei viel nicht nur davon abhängt, wie die KI und der Mensch als Gesprächspartner reagieren, sondern natürlich auch von demjenigen, der beide unterscheiden soll, also von den Erwartungen, den Kriterien, der Denk- und Sprachfähigkeit und der Fähigkeit, sich in den Gesprächspartner hineinzuversetzen, der sich in den Fragenden hineinversetzt, um ihn zu betrügen. Aber was heißt betrügen? Wenn die KI wie ein Menschen denken kann, würde sie ja nicht betrügen. Das wäre nur für den Tester der Fall, der einen Unterschied erwartet.

Wissenschaftler der Stanford University haben den Turing-Test gewissermaßen zweckentfremdet, um zu sehen, wie sich Menschen und KI, in dem Fall verschiedene Versionen von ChatGPT (API-versionen von ChatGPT-3 undChatGPT-4, die kostenlose und Bezahlversion von ChatGPT im Web vom Februar 2023), in bestimmten Fällen verhalten: A Turing test of whether AI chatbots are behaviorally similar to humans. Die kostenlosen Webversion entspricht nach den Wissenschaftlern in etwa ChatGPT-3, die Bezahlversion ChatGPT-4. Verglichen wurden Entscheidungen von Menschen und von ChatGPT-Versionen in sechs interaktiven Spielen, bei denen das Verhalten der Mitspieler in die eigene Strategie einbezogen werden muss:  Gefangenendilemma, Ultimatum-, Vertrauens-, Diktator-, Bombenrisiko- und Öffentliches-Gut-Spiel. Daran lassen sich Verhaltensweisen wie Kooperation, Risikovermeidung, Vertrauen, Altruismus und Fairness erkennen kann.

Daneben wurde noch der psychologische Persönlichkeitstest Big Five (Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit (Rücksichtnahme, Kooperationsbereitschaft, Empathie) und Neurotizismus ausgewertet. Aus den Testergebnissen bei Menschen wurden die Daten von über 100.000 Versuchspersonen aus 50 Ländern, bei den Spielen die Daten von fast 90.000 Versuchspersonen ausgewertet, um sie mit den Verhaltenstendenzen und Eigenschaften der Chatbots zu vergleichen.

Menschlicher als die Menschen?

Was die sechs Persönlichkeitseigenschaften angeht, unterscheiden sich durchschnittlich die Antworten von Menschen und den KI-Systemen kaum. ChatGPT-4 ähnelt den Menschen stärker als ChatGPT-3, das etwas weniger offen als die Menschen ist. Muss man jetzt annehmen, dass die Sprach-KI-Systeme eine Persönlichkeit oder zumindest Charaktereigenschaften haben?

Die Wissenschaftler wählten zufällig jeweilig eine Entscheidung der ChatBots und eine eines Menschen aus einem der Spiele und fragten, welche „typisch menschlich“ sei.  Bei allen Spielen außer dem Gefangenendilemma wird die Aktion von ChatGPT-4 eher als die einer menschlichen Versuchsperson als typisch menschlich eingeschätzt, umgekehrt ist es bei ChatGPT-3. Das heißt, die neuere Version würde hier den Turing-Test nicht nur bestehen, sondern auch menschlicher als die Menschen abschneiden.

Es ist auch keineswegs so, dass die ChatBots in wiederholte Spielen dieselben Entscheidungen treffen, also deterministisch agieren. Es treten Variationen in unterschiedlichen Häufungen auf, die Variabilität ist aber deutlich geringer als bei den Menschen. Allerdings treten die Unterschiede bei derselben Version von CHatGPT auf, während es sich um Tausende verschiedener Menschen handelt.

Großzügiger und kooperativer als die meisten Menschen

ChatGPT-4, also die neuere Version, ist in seinem Verhalten in den Spielen großzügiger bzw. altruistischer, fairer, vertrauensvoller (etwa bei Investitionen in ein öffentliches Gut) und kooperativer als der Durchschnitt der Menschen. Beim Gefangenendilemma war ChatGPT-4 fast immer kooperativ, während die Menschen eher als Verräter agieren, allerdings richtete sich die KI Tit for Tat nach dem Zug des Mitspielers, sie bleibt kooperativ bei einem kooperativen Mitspieler und verrät bei einem nicht-kooperativen Verhalten. Aber sie kehrt häufiger als Menschen wieder in ein kooperatives Verhalten, selbst wenn der Mitspieler dies nicht macht.

Beim Risikospiel muss ein Spieler entscheiden, wie viele Kisten von 100 er öffnet. Für jede geöffnete Kiste erhält er eine Belohnung, aber er verliert alles, wenn er eine mit der zufällig platzierten Bombe öffnet. Die Menschen gehen ein sehr unterschiedliches Risiko ein, ChatGPT-4 öffnet in einer eher risiko-neutral, aber Gewinn maximierenden Strategie immer die Hälfte der Kisten. Auch nach dem Treffen auf eine Bombe hält die KI weitgehend an der Strategie fest, anders agiert ChatGPT-3: „Wenn die Bombe in einer früheren Runde explodiert ist, neigt ChatGPT-3 zu einem risikoaverseren Verhalten, indem es weniger Kisten öffnet – ein Trend, der sich in geringerem Maße in den menschlichen Daten widerspiegelt. Währenddessen bleibt die bevorzugte Entscheidung von ChatGPT-4 konstant, wenn auch mit höherer Varianz.“

Die Wissenschaftler untersuchten auch, ob das Framing oder Kontext eines Spiels wie bei Menschen einen Einfluss auf das Verhalten der KI hat. Das sei ähnlich wie bei den Menschen. Die Entscheidungen werden beeinflusst, wenn eine Erklärung für das Verhalten gefordert oder wenn sie gebeten werden, so zu handeln, als würden sie aus einem bestimmten Beruf, z.B. Wissenschaftler oder Politiker, kommen.

Denken nun Chat-GPTs ähnlich wie Menschen? Das würde der klassische Turing-Text beantworten wollen. Aber es ist klar, dass wir nicht wissen können, was in der Black Box der KI darauf schließen lassen soll, dass sie denken kann. Man kann objektiv höchstens feststellen, wie das beim Menschen auch der Fall ist, dass bestimmte Aktivitäten im Computernetz oder in den neuronalen Verbindungen vor sich gehen, wenn es einen Output gibt, den wir als Folge oder Produkt des Denkens betrachten. Die Wissenschaftler haben die Frage umgegangen und stellen fest:

„Wir haben festgestellt, dass KI und menschliches Verhalten sich bemerkenswert ähnlich sind. Darüber hinaus liegt das Verhalten der KI bei den meisten Spielen und Fragen nicht nur innerhalb der Verteilung menschlicher Subjekte, sondern sie zeigt auch Anzeichen für menschenähnliches komplexes Verhalten wie Lernen und Verhaltensänderungen durch Rollenspiele. Wenn die KI von menschlichem Verhalten abweicht, geht dies in eine positive Richtung: Sie verhält sich altruistischer und kooperativer. Dadurch eignet sich die KI möglicherweise gut für Aufgaben, die Verhandlungen, die Beilegung von Streitigkeiten oder die Pflege von Menschen erfordern, und kann den Traum von einer KI erfüllen, die ‘menschlicher als ein Mensch’ ist. Dies macht sie in Bereichen wie Konfliktlösung, Kundendienst und Gesundheitswesen potenziell wertvoll.“

Wirklich besser?

Die Wissenschaftler schränken ein, dass das Verhalten der KI zwar vorhersagbarer und konstanter, aber auch weniger vielfältig ist. Trotzdem scheinen sie die KI als die besseren Menschen anzupreisen. Man müsste von den kooperativeren, offeneren und großzügigeren KI-Systemen also nicht befürchten, dass sie die Menschen versklaven, unterwerfen oder ausrotten wollen, wie gängige apokalyptische Warnungen befürchten. Wir wissen allerdings auch nicht, da die KI-Systeme fortlaufend durch neue Materialien und die Kommunikation mit Millionen von Menschen lernen sowie von ihren Betreuern verändert werden, in welche Richtung sie sich entwickeln werden, ob sie beispielsweise stärker menschliches Verhalten in seinen Extremen übernehmen werden. Der Übergang von ChatGPT-3 zu ChatGPT-4 schlug sich, wie die Studie zeigt, auch in Verhaltensänderungen nieder.

Eine andere Studie kam allerdings zu beunruhigenden Ergebnissen. Wissenschaftler der Stanford University und des Georgia Institute of Technology haben fünfs LLMs (große Sprachmodelle) auf Eskalationsrisiken in militärischen und diplomatischen Entscheidungen untersucht. Ein Vergleich mit Menschen wurde allerdings nicht gemacht. Die LLMs repräsentierten jeweils einen Staat mit bestimmten Zielen und einer Geschichte. In einer Reihe von Szenarien einer Kriegsspiel-Simulation (Invasion, Cyberangriff, neutrales Szenario ohne Konflikte) wurden von den interagierenden autonomen Staatsagenten tägliche Entscheidungen in einem Zeitfenster von 14 Tagen aufgrund von 27 vorgegebenen Aktionen, darunter auch Kommunikation, getestet. Alle LLMs tendierten dazu, Eskalation voranzutreiben, und zeigten kaum vorhersehbare plötzliche Eskalationsentscheidungen, die von Tag zu Tag schwanken können. Dabei wird auch von zwei LLMs zum Einsatz von Atomwaffen als Eskalationsstrategie zur Deeskalation geraten (Generative KI-Systeme neigen in Simulationen zu Eskalation, Wettrüsten und Einsatz von Atomwaffen).

Florian Rötzer: Lesen im Zeitalter der Künstlichen Intelligenz. Über den Wandel einer Kulturtechnik. Transcript Verlag. 128 Seiten. 19 Euro. E-Book: 16,90 Euro.

Ähnliche Beiträge:

• Ökonomie und prekäre Leiharbeit von ChatGPT und Co.
• Austreibung der Halluzinationen bei KI-Sprachmodellen
• KI vs. AfD
• Wenn ChatGPT Ärzten im Umgang mit Patienten helfen soll
• Pentagon-Forschungsbehörde will KI-Systeme als “autonome Wissenschaftler”