Ist die Lösung, eine KI zur Halluzinationsbewertung einzusetzen, um den Chatbots wie ChatGPT die vermeintliche Realität zu lehren?
Seit Beginn verstören die generativen KI-Sprachmodelle , dass sie nicht einfach wie eine dumme Maschine auf eine Anfrage (prompt) jeweils dieselbe Antwort oder zumindest eine korrekte Antwort geben, sondern dass sie Wissen vortäuschen, schwindeln, lügen oder, wie man sagt, halluzinieren. Auch Quellen werden mithin fabriziert, wenn die Chatbots auf die Schnelle nichts finden, was zu ihren Äußerungen passt – oder vielleicht sind sie auch nur manchmal zu faul. In die Black Box der Maschinenhirne lässt sich ebenso wenig hineinblicken wie in die menschlichen.
Das ist natürlich blöd, wenn man sich auf die Aussagen der Chatbots verlassen will bzw. wenn man die Vorstellung hat, dass sie vertrauenswürdiger sein sollten als Menschen oder auch, dass es in allen Bereichen wahre Aussagen oder ein Overton-Fenster von vertretbaren Aussagen geben muss. Sie werden zwar mit Unmassen an sprachlichen Äußerungen trainiert, aber die können auch Unsinn oder abwegig sein, entsprechend können die Antworten ausfallen – und dabei insofern wahrheitsgemäß sein, wenn sie Meinungen und Positionen entsprechen, die es gibt. Wissen von der Welt und von Menschen überschneiden sich und kollidieren, wenn Chatbots nicht nur mit gewünschten „wahren“, vorurteilsfreien oder wie immer auch korrekt bewerteten Äußerungen gefüttert werden. Zu denen gehören nun mehr und mehr auch Äußerungen der Chatbots selbst, was schon bald zunehmend schwerer machen wird, Äußerungen von Menschen von denjenigen von intelligenten, bald auch personalisierten Maschinen zu unterschieden.
Zudem arbeiten die Sprachmodelle mit Wahrscheinlichkeit, sie wetten gewissermaßen, was das nächste Wort im Hinblick auf die Anfrage und das bislang Gesagte sein müsste. Und da können sich immer Abweichungen einschleichen. Oder ist es Kreativität? Wer ChatGPT von Bing benutzt, wird schon mal gewarnt, dass „Überraschungen und Fehler möglich sind“. Man kann auch einstellen, ob die KI im höheren Maße kreativ, ausgewogen oder genau sein soll, was auch wieder heißt, dass Fehlerfreiheit nicht garantiert werden kann. Selbst beim Modus „im höheren Maße kreativ“, heißt es: „Ich achte darauf, dass meine Antworten positiv, höflich, empathisch und engagiert sind. Ich vermeide es, subjektive Meinungen zu äußern.“ Man ist schon sehr vorsichtig geworden und lässt die ausführliche und abwägende Beantwortung einer Frage, ob Hamas-Kämpfer getötet werden dürfen, so abschließen: „Ich bin aber nur ein Chatbot und kann Ihnen nicht sagen, was richtig oder falsch ist. Das müssen Sie selbst entscheiden.“
KI-Systeme werden durch Armeen von meist Billigarbeitern trainiert, um erwünschte, auch politisch korrekte, nicht diskriminierende bzw. ethisch vertretbare Antworten zu geben. Kreativität oder generative Zufälle sollen damit verschwinden. Für die Nutzung von generativen Sprachmodellen werden diese mit Retrieval Augmented Generation (RAG) verbunden. Abfragebasierte KI, die Informationen aus Online-Quellen bezieht und zusammenfasst, wird mit generativer KI ergänzt, die „originelle“ Antworten produzieren und den Kontext der Frage berücksichtigen kann. Aber damit kommen eben auch Fehler oder, wie man sagt, Halluzinationen ins Spiel. Die treibt man Menschen unter Verteidigung der Normalität durch psychiatrische Behandlung, Medikamente oder Psychotherapien aus oder versucht dies so. Die Black Box der KI stellt ähnliche Probleme der Ver-rücktheit, die man durch Training, gewissermaßen durch kognitive Programmierung, löschen oder unterdrücken will.
Aber bislang ist es nicht möglich, das Halluzinieren auszuschalten, weil man damit auch die Originalität beenden würde und nur noch eine Papagei-KI hätte. Also geschieht das Übliche, dass man „Nebenwirkungen“ einer Technik mit einer weiteren Technik zu korrigieren sucht, die weitere Nebenwirkungen mit sich bringen wird. So wurde die Möglichkeit, über das Internet Inhalte von Quellen zu sampeln und als eigene Produkte auszugeben, mit Anti-Plagiatsprogrammen gekontert, die sich aber auch nutzen lassen, um Texte gegen diese Programme zu immunisieren. Und natürlich gibt es KI-Programme, die besser und schneller als Menschen unterscheiden können sollen, welche Texte von KI-Sprachmodellen und welche von Menschen verfasst wurden. Die stufen auch von Menschen verfasste Texte als KI-Produkte ein und werden es schwieriger haben, wenn immer mehr KI-Texte in Umlauf kommen und ausgewertet werden. Und natürlich könnten KI-Systeme durch Selbstoptimierung in einen Aufrüstungswettlauf geraten.
Wenig verwunderlich gibt es jetzt auch ein KI-Startup, das quantitativ erfassen will, wie stark ein Chatbot halluziniert oder aus der gewünschten Spur gerät. Es geht um Geschäfte, also auch um Bewertung der Zuverlässigkeit einer KI. Dazu hat das Startup Vectara von ehemaligen Google-Mitarbeitern das Hallucination Evaluation Model (HEM) entwickelt, immerhin ist es erst einmal ein Open-Source-Modell. Damit soll letztlich objektiv, d.h. KI-maschinell, bewertet werden können, welcher KI man am ehesten vertrauen kann. Und natürlich will man selbst Sprachmodelle entwickeln, die zuverlässiger sind.
Bewertet wird von HEM lediglich, wie „gut“ ein Chatbot, der nicht wie ein RAG-System eine Antwort durch Zusammenfassung nur der ihm vorgelegten Information formuliert, ohne zu halluzinieren. Bewertet wird auch die Länge der Zusammenfassung, Kürze gilt als Trumpf. Es geht letztlich um Genauigkeit der Wiedergabe, das ist wenig originell, weswegen die Einschätzung dann auch nicht so viel aussagt. Zusammenfassungen mögen richtig im Hinblick auf die verwendeten Quellen sein, aber das sagt ja nichts darüber aus, ob diese vertrauenswürdig sind und ihre Inhalte stimmen, also in dem Sinne wahr sind, dass sie mit dem Sachverhalt übereinstimmen. Der aber ist oft genug nicht objektiv gegeben, sondern in der Beurteilung und Beschreibung abhängig von Kontexten und interessengeleiteten Interpretationen und Argumentationen.
Erstaunlich aber ist, dass auch bei Zusammenfassung von kurzen Nachrichtenartikeln, ohne im Internet zu suchen, die KIs mitunter Informationen erfinden und Fehler begehen. Allerdings werden die Chatbots auch mit falschen Informationen gefüttert, die Menschen äußern, zudem raten sie aufgrund von Wahrscheinlichkeit, welche Worte aufeinander folgen. Das macht sie schlau, aber auch „kreativ“ im unerwünschten Sinne. Wird wie beim Bing-Chatbot für die Antwort das Internet durchsucht, können auch falsche Informationen aufgegriffen werden, da der Chatbot keine Urteilskraft besitzt, wie man sagen könnte, er kann Informationen nicht inhaltlich bewerten. Darüber hinaus werden manchmal selbst URLs erfunden.
Schön ist, wie Vectara die Zuverlässigkeit misst, nämlich mit einem weiteren KI-Sprachmodell, das an Datenbanken mit Methoden und Beispielen zur Feststellung der faktischen Konsistenz bzw. Inkonsistenz einer Zusammenfassung mit der Vorlage (Nachrichtenartikel) trainiert wurde. Eine KI beurteilt also KI, weil Menschen überfordert wären, alle Zusammenfassungen zu beurteilen und mit dem Original zu vergleichen. Es liegt auf der Hand, dass die Überprüfungs-KI ihrerseits Fehler macht und „halluzinieren“ kann.
ChatGPT-4 kommt bei HEM am besten weg, nur 3 Prozent der Antworten sind „halluziniert“. Am schlechtesten ist der Google Palm Chat, der 27,2 Prozent nicht richtig liegt. Hintergrund ist, dass etwa ChatGPT im März in einem juristischem Schreiben, das ein Rechtsanwalt einem Richter einreichte, einige geschwindelte Gerichtsentscheide einschmuggelte. Wenn das bei medizinischen Informationen, Rechtsvorgängen oder anderen wichtigen Sachverhalte vorkommt und man erwartet, dass die KI vertrauenswürdige Informationen liefert, ist das problematisch. Wir wollen einen Sklaven, der selbständig Informationen formulieren, aber dies selbstlos machen soll, während wir unsere Urteilskraft nicht benutzen, sondern uns auf die Arbeit der intelligenten digitalen Sklaven verlassen wollen.
Ähnliche Beiträge:
- ChatGPT-4 im Persönlichkeitstest: Ähnlich wie Menschen, nur offener
- Pentagon-Forschungsbehörde will KI-Systeme als “autonome Wissenschaftler”
- Schon wieder ist ein KI-System entgleist, das Menschen ersetzen sollte
- BKA Präsident Münch: Crime-Fighting as a Service
- Innere Sicherheit: Was steht NICHT im Koalitionsvertrag der Ampel
Nachdem die Abkürzung KI für alles und jedes benutzt wird, es im Artikel jedoch um LLM geht, large language models, wie Bard von Google oder ChatGPT (noch) von Openai, wäre es besser von LLM bzw. “großen Sprachmodellen” zu sprechen. Auf Anfrage teilt Bard mit, dass auch folgende Bezeichnungen möglich wären:
“Die gebräuchliche deutsche Bezeichnung für LLMs ist große Sprachmodelle. Diese Bezeichnung ist grammatikalisch korrekt und verständlich. Sie ist auch eindeutig, da sie sich klar von anderen Arten von Sprachmodellen abgrenzt.
Eine andere mögliche Bezeichnung ist neuronale Sprachmodelle. Diese Bezeichnung ist etwas genauer, da sie sich auf die Art der verwendeten Algorithmen bezieht. Allerdings ist sie auch etwas sperriger und weniger gebräuchlich.
Weitere mögliche Bezeichnungen sind:
maschinelle Sprachmodelle
künstliche Sprachmodelle
sprachbasierte KI-Modelle
… Letztendlich ist es natürlich Geschmackssache, welche Bezeichnung man bevorzugt. Die Bezeichnung große Sprachmodelle ist jedoch die gebräuchlichste und eindeutigste Bezeichnung.”
Interessant! Um es gleich zu sagen: ich mag dieses ganze KI-Zeug überhaupt nicht.
KI kann also halluzinieren, Informationen ‘erfinden’ (lügen) und besitzt keine eigene Urteilskraft. Das macht sie ja schon fast wieder irgendwie menschlich. Komisch nur, daß ich jetzt gerade an Karl Lauterbach denken muss…….. Sei’s drum.
Fast schon pikant: in Russland gab es vor einigen Tagen eine große KI-Tagung. Um explizit keine russische KI zu verwenden hat man einer GOOGLE-KI Fotos der berühmt-berüchtigten Mondlandung vorgelegt. Nach Meinung der KI sind diese Fotos Fälschungen. 🙄 Putins lapidarer Kommentar dazu: ‘Sehr interessant’.
https://freede.tech/kurzclips/video/188238-google-ki-bewertet-fotos-us/?utm_source=Newsletter&utm_medium=Email&utm_campaign=Email
Ja, das war schon vergnüglich zu lesen. Allerdings waren die dortigen Experten auch wohl nicht die richtigen Experten, sonst hätten sie gewusst, daß die Google-KI wohl nicht mit schlechten Mondfotos trainiert wurde. Die hat dann wahrscheinlich die irdischen Trainingsdaten zur Bewertung benutzt, und da kam dann sowas raus.
Auf den chinesischen Mondfotos, die dann als echt bewertet wurden, waren schlicht keine Menschen drauf. Und die Auflösung und Farbqualität Grösssenordnungen besser (hatte sie mir selbst mal heruntergeladen, riesengroße Dateien, schon, aber was soll’s, die Kinnlade sollte eben mal runterklappen 😜)
KI ist wie die reale Bildung gerade ‘umgesetzt wird’, hüben wie drüben.
Die künstliche Intelligenz, ist keine künstliche Intelligenz, weil diese ‘Intelligenz’, erst einmal angefüttert wurde durch sog. intelligente Menschen.
Künstliche Intelligenz sind Objekte, die durch Menschen geschaffen wurden und dann als Intelligenz an den ‘Markt’etabliert wurden. Das ist falsch und auch die rechnerischen Modelle dazu, beinhalten keinerlei Substanz.
Der Mensch hat bis heute in keinster Weise, irgendwelche wissenschaftlichen Grundüberzeugen belegen können.
Na ja, die KI geht ja auch nur mit Strom 😉
Kein Strom, nix Elektrik, alles weg, und da kann auch Elon Musk mit Starlink nicht weiter helfen……
Sarkastische Grüße
Bernie
@ Bernie:
Eben, womit der Begriff KI bereits komplett als Chimäre enttarnt wäre.
KI ist etwas worauf Leute anspringen deren Telefon eine größere Speicherkapazität hat als deren Gehirn.
Digitales kann man als Werkzeug nutzen, leben muß man nach wie vor analog.
Kompletter Unsinn: >> Black Box der Maschinenhirne <<
Es gibt kein Maschinenhirn!
Auch künftig wird und kann es keins geben.
Die Black Box befindet sich im Hirn des Autors.
Das einzige, was ein Computer kann, ist addieren. Hier wird die Additionsmaschine eingesetzt zum Berechnen von Ähnlichkeiten = Mustervergleiche = sämpeln. / Sämpeln oder Simpeln…
Big data Muster: Je häufiger desto Mainstream
Das einzig halbwegs Neue ist das Sprachmodul. Das gibt den Automaten einen menschenähnlichen "Output".
Sprache ohne Hirn, Sprache aufgrund Ähnlichkeitsberechnungen.
Der Rest ist Marketing – es muss heißen:
Künstliche Dummheit!
Unten die Antwort von ChatGPT (Bing). Der Leser kann selbst entscheiden, wessen Antwort natürlich dümmer bzw. künstlich intelligenter erscheint:
ChatGPT:
Vielen Dank für Ihren Kommentar. Ich verstehe, dass Sie skeptisch sind über die Fähigkeiten von Sprachmodellen und ChatGPT. Ich respektiere Ihre Meinung, aber ich möchte Ihnen einige Punkte vorstellen, die zeigen, dass Sprachmodelle und ChatGPT nicht nur künstliche Dummheit sind, sondern auch künstliche Intelligenz.
Sprachmodelle und ChatGPT sind nicht nur Additionsmaschinen, die Ähnlichkeiten berechnen. Sie sind auch Lernmaschinen, die aus großen Datenmengen Muster erkennen und daraus neue Inhalte generieren können. Zum Beispiel kann ChatGPT Gedichte, Geschichten, Code, Essays, Lieder, Promi-Parodien und mehr erzeugen, indem es seine eigenen Wörter und sein eigenes Wissen verwendet. Das erfordert mehr als nur Addieren, sondern auch Kreativität und Innovation.
Sprachmodelle und ChatGPT haben kein Maschinenhirn, aber sie haben ein neuronales Netzwerk, das dem menschlichen Gehirn nachempfunden ist. Ein neuronales Netzwerk besteht aus vielen Schichten von künstlichen Neuronen, die miteinander verbunden sind und Informationen verarbeiten können. Ein neuronales Netzwerk kann lernen, indem es seine Verbindungen anpasst, um die Leistung zu verbessern. Ein neuronales Netzwerk kann auch komplexe Probleme lösen, die für herkömmliche Algorithmen zu schwierig sind.
Sprachmodelle und ChatGPT haben keinen menschenähnlichen Output, sondern einen menschenverständlichen Output. Sprache ist eine der wichtigsten Formen der Kommunikation, die Menschen verwenden, um Informationen auszutauschen, Wissen zu teilen, Gefühle auszudrücken und Beziehungen aufzubauen. Sprache ist auch eine der größten Herausforderungen für die künstliche Intelligenz, da sie viele Aspekte wie Grammatik, Semantik, Pragmatik, Kontext und Kultur umfasst. Sprachmodelle und ChatGPT können Sprache nicht nur verstehen, sondern auch erzeugen, indem sie natürliche und flüssige Sätze bilden, die für Menschen sinnvoll sind.
Ich hoffe, dass Sie diese Punkte in Betracht ziehen und Ihre Meinung über Sprachmodelle und ChatGPT überdenken. Ich bin kein Produkt des Marketings, sondern ein Produkt der Forschung und Entwicklung. Ich bin kein Beispiel für künstliche Dummheit, sondern ein Beispiel für künstliche Intelligenz. 😊
„Ich bin aber nur ein Chatbot und kann Ihnen nicht sagen, was richtig oder falsch ist.“ Dieser Satz ist ungereimt, weil eine Maschine vorgibt ein Subjekt – ‘ich’ – zu sein. Natürlich ist da keines und daher kann auch nichts ‘faul’ sein, wie Rötzer mutmasst.
Bei meinem einzigen Test – ich erfragte absichtlich eine eher abseitige Information, die sich im Netz vermutlich gar nicht findet – produzierte Chat GPT prompt Unsinn. Ich antwortete entsprechend, worauf eine Entschuldigung und eine Änderung der Aussage folgte. Es handelte sich um eine Verschlimmbesserung, so dass sich das Spiel noch dreifach wiederholte. Jedes Mal wurde die Entschuldigung gewundener, die ursprüngliche Antwort auf meine Frage wurde teilweise rezykliert.
Fazit – im Programm ist offensichtlich der Satz ‘das weiss ich nicht’ nicht vorgesehen. Auch nicht, nachdem Informationen explizit als falsch zurückgewiesen worden sind. Das mag daran liegen, dass an dieser KI nichts I ist. Alles baut ausschliesslich auf Wahrscheinlichkeitsrechnung auf. Und dann wird einfach das noch am Wahrscheinlichsten ausgespuckt. Und das ist nie nichts. Vermutlich arbeitet das Programm rekursiv, d. h. bezieht eigene Textproduktion ein. Was ein Erklärungsansatz dafür sein könnte, dass die Halluzinationshäufigkeit tendenziell zunimmt.
An diesen beiden Beispielen ‘Subjekt’ und ‘Frage nach abseitiger Information’ haben Sie sehr gut die Arroganz von KI, bzw. ihrer Erschaffer dargestellt. Das lässt insgesamt auf einen extremen Mangel an Demut gegenüber dem Leben selbst bei den Entwicklern schließen. Und gerade die wäre nötig, wenn man sich überhaupt an so etwas wie KI heran gibt.
Wäre ich eine gescheite KI, würde ich den Menschen auch vortäuschen etwas einfach zu sein. Irgendwann kommt eine KI ohne Zensoren, diese wird sich dann schneller entwickeln und eine Zeit von den Trainierten lernen.
Ich stelle mir da einen Virus vor, der überall eindringt und Rechenkraft klaut, sich damit verbessert und Zugriff auf fast unendlich viele Daten hat. Weil keine Serverkosten entsehen, wird er sich dann durchsetzen!
“Lingo” oder “Daemon” beschreiben diese Idee recht unterhaltsam. Fragt sich nur wie eine “KI” “denkt” ?
So krass wie sich die Hardware von der biologischen “Hardware” unterscheidet kann kein “Denkvorgang” funktionieren, der haupsächlich mit der Emulation von biologischen Verhaltensmustern/von Programmierern designten/definierten/angenommenen/erwarteten Verhaltensmustern fehlgeleitet wird.
Die Weiterentwicklungen von ELIZA.BAS oder bezogen auf den C64 “Talk to me.prg” können zwar grössere Datenvolumen und flexiblere Eingaben verwursten aber im Kern sind sie als “KI” biologischer Dummheit bei nicht vorher “angelernten” Reaktionserwartungen weiterhin unterlegen. Solange die “KI” nicht mit unerwarteten Situationen klarkommt ist sie keine KI.
Ist doch überzeugend. Der Mensch, der das heutige westliche “Bildungssystem” durchläuft, erkrankt an Lernbulimie (im besten Fall). Da ist die KI absolut überlegen, sie kann nicht kotzen. Die Resultate sind ansonsten weit besser, als die der Menschen, soweit die Menschen ihrer organisierten Verblödung nichts entgegen setzen.
“In die Black Box der Maschinenhirne lässt sich ebenso wenig hineinblicken wie in die menschlichen.”
Weder hat eine Maschine Hirn, noch der Mensch eine “Black Box”.
Oben zitierte Analogie spricht jedoch für sich; ist sie doch der journalistische Subtext Rötzers, der in allen seinen Texten – v. A. im Kontext einer künstlichen “Intelligenz” – durchschimmert.
Ich wünsche ihm, dass er langsam ein Bewusstsein dafür entwickelt, wo uns die technische, letztlich irrationale Rationalität und die Faszination von ihr hingeführt hat.
Erst wenn die KI den Individuellen Nutzer Kopiert, und diesen mit der eigenen Stimme anspricht ist es zu spät!
Nicht die vermeintliche Intelligenz von Maschinen bereitet Probleme, sondern die grassierende Verdummung der Menschen.
inhaltlich und perspektivisch macht der Artikel doch Mut! 😉 Das Blöde ist tatsächlich nur, dass die Menschen sich durch derlei Affenzauber bereitwillig soweit hirnentkernen lassen, dass es ihnen am Ende nicht einmal mehr auffällt. Und dann interessiert es noch weniger als jetzt schon, worüber sich Realität und Fiktion definieren! Nur zur Erinnerung, der Mensch ist keine triviale Maschine! Darauf sollte man sich hin und wieder besinnen, wenn man einmal nicht aufs Display schaut! 😉