Wir haben den Eindruck, der auch gerne verstärkt wird, dass die KI in Form der LLMs uns schon überlegen sein. In Scharen unterwerfen sich Menschen den Maschinen und übernehmen deren Gedanken. Tatsächlich stoßen die KI-Chatbots gut strukturierte und grammatikalisch korrekte Texte mit breitem Quellenhintergrund in hoher Geschwindigkeit auf der Basis von sehr vielen sehr unterschiedlichen Publikationen aus. Mit dem Verfertigen von Texten zu bestimmten Themen scheinen sie besser zu sein, auch wenn sie ebenfalls wie Menschen gelegentlich Fehler machen oder angebliche Sachverhalte erfinden, um Lücken des Wissens zu überdecken. Das scheint auch menschlich oder sogar kreativ zu sein. Noch allerdings reagieren sie nur auf Anfragen und initiieren sie Denken und Interaktionen nicht selbst.
Aber man muss sich auch einmal vorstellen, wenn man nicht in prometheische Scham verfallen will, den von Menschen erfundenen Maschinen hoffnungsvoll unterlegen zu sein, dass ein Mensch mit seinem Gehirn einer KI gegenübersitzt, die zwar irgendwie körperlos auf dem Bildschirm erscheint, aber eigentlich in einem oder mehreren teils riesigen Rechenzentren – vergleichbar dem Gehirn im Körper – mit Zigtausenden von Servern mitsamt Stromversorgung, auch eigenen Kraftwerken, und Kühlsystemen haust. Verbraucht werden von der KI große Mengen an Strom zur Datenverarbeitung und zur Kühlung. Dazu wird zur Kühlung auch viel Wasser benötigt. Man darf also nicht ein einzelnes menschliches Gehirn und einen Chatbot vergleichen, weil die dahinter stehenden Dimensionen sich massiv unterscheiden.
Man könnte allerdings einwenden, dass die menschlichen Gehirne, die denken und Sprache verarbeiten, aber auch vieles anderes teils gleichzeitig machen, nicht isoliert betrachtet werden können. Wir sind keine Eremiten wie unfreiwillig Kaspar Hauser, sondern vielfältig direkt und indirekt mit anderen Menschen verbunden. Die Gehirne denken nicht alleine, sondern im Verbund mit anderen. In ihnen ist auch die Erfahrung der Vorfahren gespeichert, aber sie lernen mit vergleichsweise wenigen Informationen aus ihrer Umgebung. Bei einzelnen Anfragen nutzen die Chatbots natürlich nicht die gesamten Kapazitäten, aber sie basieren darauf, dass sie Unmengen an Informationen verarbeitet haben müssen.
Das sagt zumindest Michael Frank, Kognitionswissenschaftler von der Stanford University. Elise Cutts verweist in ihrem Artikel in Technology Review, in dem sie der Effizienzkluft zwischen biologischen und digitalen Gehirnen nachgeht, auf ihn. Einer KI die Verwendung menschlicher Sprache zu lehren, erfordert eine „unmenschliche Menge an Daten“. Sie nimmt sehr viel mehr Wörter auf, als ein Kleinkind bis zum ersten Lebensjahr, in dem es zu sprechen beginnt, dies aber im Vergleich zur KI sehr effizient macht. Frank spricht von einer Effizienz-Kluft trotz der enormen Fortschritte bei der Entwicklung der KI: „Aber wir müssen immer noch einen Wald niederbrennen und die gesamte Summe des menschlichen Wissens durchforsten, um diesen Meilenstein nachzubilden, der sich im Laufe eines Jahres in unseren Wohnzimmern abspielt.“
Kleinkinder würden verständliche Sätze bilden können, nachdem sie 10 bis 30 Millionen Wörter aus ihrer Umgebung vernommen haben: „Wenn man GPT-2 mit 30 Millionen Wörtern trainiert, erhält man einen Nonsense-Generator.“ LLM Llama 3.1 von Meta wurde beispielsweise mit 15 Billionen Tokens, kleinste Einheit von Sprachmodellen wie Silben, Zeichen, Satzzeichen etc., gefüttert. Mangelnde Effizienz zeigt sich daran, dass weitere ungeheure Mengen an Daten von KI verarbeitet werden müssen, um besser zu werden. Schon wird das Reservoir an nicht von KI generierten Texten immer kleiner. Wenn große Sprachmodelle (LLMs) immer mehr von KI generierten Texten inzestuös erarbeiten, lässt ihre Leistung nach, verblöden sie. Zudem schwillt ihr „Gehirn“ in Form der Rechenzentren und deren Energieverbrauch drastisch an. Auch Gehirne von Babys wachsen bis zum Erwachsenenalter, aber weil sie effizienter sind, weit entfernt von Dimensionen von LLMs.
„Kinder zeigen, dass es möglich sein könnte, mit weniger mehr zu lernen. Mit weitaus weniger. Ein Kind im Vorjugendalter, das in einem sprachlich reichhaltigen Umfeld aufgewachsen ist, hat möglicherweise etwa 100 Millionen Wörter gehört. Rechnet man die Lese- und Schreibfähigkeit hinzu, lässt sich diese Wortzahl bis zum Alter von 20 Jahren auf vielleicht 300 Millionen Wörter steigern.“
Digitale Gehirne lernen allerdings schneller, wenn auch weniger effizient. Allerdings werden biologische Gehirne mit Gehirnarealen geboren, die den Erwerb von Sprache mit Wörtern, Satzstrukturen, Grammatik und Semantik begünstigen und erlauben, zumindest die Muttersprache by the way zu reproduzieren. LLMs entwickeln sich ebenfalls weiter, eine Version baut auf die andere auf, sie müssen nicht, wie suggeriert wird, Sprache immer wieder von Null an lernen. Wenn LLMs miteinander agieren, können sie voneinander womöglich auch lernen, wie das Kinder durch Mitmenschen machen. Und überhaupt haben menschliche Gehirne vieles gespeichert, das zahlreiche Generationen vor ihnen gelernt wurde. Sie stehen gewissermaßen auf den Schultern von Riesen, was KI, die blitzschnell lernt, erst erwerben muss.
Die Autorin des Artikels in Technology Review schlägt vor, maschinelles Lernen etwa durch reverse-engineering des Lernens von Kindern zu verbessern. Allerdings ist noch zu wenig über das Lernen von biologischen Gehirnen bekannt und ob das irgendwie konform mit dem probabilistischen Vorgehen der LLMs sein könnte. Dennoch experimentieren Forscher mit BabyLM, also mit dem Ansatz, LLMs nur mit wenigen Millionen Wörtern Sprache beizubringen. Sie werden mit Texten von Kinderbüchern, mit solchen in einfacher Sprache oder mit der Sprache gefüttert, mit der Erwachsene mit Kindern sprechen. Größere Fortschritte wurden nicht erzielt, da fehlt der Funke. Das ist mitunter ja auch bei gar nicht so wenigen Menschen der Fall, die Sprache nur rudimentär beherrschen.
Ähnliche Beiträge:
- Empfinden KI-Modelle Freude oder Abscheu?
- Können generative Sprachmodelle (LLM) nicht denken, weil sie nur Sprache verarbeiten?
- Lassen sich menschliche Gehirne durch einen Input „für immer verrückt“ machen?
- Sind KI-Chatbots bereits kreativer als Menschen?
- Wenn KI das Denken übernimmt und die Gehirne befreit
Zu dem Bombenattentat in Monaco (vor zwei Monaten geschehen):
Es hat eine Tante von Fr.Berezovska in der Ukraine ein Interview gegeben.
Dass sie Fr.Berezovska seit ihrer Kindheit kennt und so etwas niemals von ihr gedacht hätte. Sie äussert die Vermutung, dass jemand ihr eine Falle gestellt und sie dazu verleitet hat aber dass sie sich damit nicht gut auskenne.
Dass es evtl. so gewesen sein könnte, dass man ihr etwas versprochen hat, vielleicht eine gewisse Bezahlung angeboten hat und dass sie sich vielleicht nicht darauf eingelassen hätte, „wenn man ihr
von Anfang an gesagt hätte: ‚Das ist diese und jene Arbeit.‘“ Sie hätte es definitiv nicht gemacht. Sie hätte ihren Sohn sehr geliebt „Und sie hätte verstanden, welche Folgen das haben könnte.“
Die Tante äussert, dass in ihrer Familie die Meinung ist: „Das hätte sie nicht tun können. Entweder wurde sie absichtlich vor diese Videokameras gelockt […] oder man hat sie dazu gezwungen. Vielleicht wurde sie dazu gezwungen – aus Angst vor dem Tod oder aus Sorge um ihre Angehörigen[…]“.
Über Berichte, dass Fr.Berezovska auch schiessen konnte:“Wissen Sie, ich habe darüber gelesen. Das ist doch eine Lüge. Wo hätte sie schiessen sollen, wenn sie weder eine Waffe noch eine Bewilligung hatte? Das ist einfach eine Lüge. Das stimmt nicht. Ich habe schon über sie gelesen, dass sie aus der Region Luhansk stammt, dass sie irgendwo aus Kasachstan kommt und dass sie schiessen konnte.“ Sie sagt, dass ihre Kinder mit ihr zusammen aufgewachsen sind und dass alles Lügen sind. Das Schlangentatoo auf dem rechten Oberarm hat sich Fr.Berezovska in Deutschland stechen lassen. Sie kam gut gelaunt an und war nicht beunruhigt, das hätte die Tante bemerkt. Fr.Berezovska hat bevor sie in Monaco ankam noch eine Powerbank in einem Telefonladen in einem Vorort gekauft. Sie sieht unbeschwert aus und hat mit dem Handy per NFC bezahlt. Irgendwo stand, dass sie eine Auseinandersetzung mit einem Nachbarn gehabt hat.