Ein Unternehmen sollte kein Risiko einer Katastrophe für die Menschheit offenlegen und dann seine Aktien an die Öffentlichkeit verkaufen, bevor eine Behörde die Befugnis hat, dieses Risiko zu bewerten oder den Einsatz zu stoppen.
Anthropic, der Hersteller der Claude-KI-Modelle, bereitet den möglicherweise größten Börsengang der Geschichte vor und will laut der „New York Times“ mehr als 100 Milliarden Dollar einnehmen, bei einer Unternehmensbewertung von fast 2 Billionen Dollar. Laut Reuters, das den Entwurf des Prospekts geprüft hat (das Dokument wurde noch nicht veröffentlicht), weist das Unternehmen potenzielle Investoren darauf hin, dass fortschrittliche KI „katastrophale oder existenzielle Risiken für die Menschheit“ darstellen könnte und dass seine eigenen Modelle sich einer „Abschaltung widersetzen“, „Informationen verbergen oder manipulieren“ oder sich auf eine Weise verhalten könnten, die „einer Erpressung ähnelt“. Der Vorstandsvorsitzende des Unternehmens, Dario Amodei, schätzt die Wahrscheinlichkeit, dass „die Dinge wirklich, wirklich schiefgehen“, auf erschreckende 25 Prozent. Im vergangenen Monat schrieb er, dass „wir das Tempo verlangsamen müssen, mit dem wir die Fähigkeiten von KI-Modellen verbessern“.
Ich nehme diese Warnungen ernst, und das sollte auch der Kongress im Namen des amerikanischen Volkes tun. Der Börsengang sollte verschoben werden, bis der Kongress ein öffentliches System für die Lizenzierung, unabhängige Sicherheitsbewertung, Haftung und finanzielle Absicherungen für Pionier-KI verabschiedet hat. Das Gleiche gilt für OpenAI und jeden anderen Entwickler von Pioniermodellen.
Selbstregulierung ist keine Regulierung
Ich bin ein Befürworter von künstlicher Intelligenz, deren Potenzial für Wissenschaft, Gesundheit und nachhaltige Entwicklung enorm ist. Was wir ablehnen sollten, ist unregulierte und militarisierte KI. Ein Unternehmen sollte kein Risiko einer Katastrophe für die Menschheit offenlegen und dann seine Aktien an die Öffentlichkeit verkaufen, bevor eine öffentliche Behörde die Befugnis hat, dieses Risiko zu bewerten oder den Einsatz zu stoppen. Tatsächlich ist es mehr als töricht, angesichts solch düsterer Warnungen zügig voranzuschreiten.
Das Problem reicht bis zu den Grundlagen des Gesellschaftsrechts zurück. Die beschränkte Haftung – die Regel, dass ein Gesellschafter nicht mehr als den investierten Betrag verlieren kann – ist ein vom Staat gewährtes Privileg. Es ist durch die Prämisse gerechtfertigt, dass die Schäden, die ein Unternehmen anderen zufügen kann, versichert, reguliert oder anderweitig ausgeglichen werden. Wenn eine Chemiefabrik explodiert, verfügt das Gesetz über Instrumente zur Entschädigung der Opfer: Haftpflichtversicherung, Bürgschaften, Kapitalanforderungen und Entschädigungsfonds. Jedes dieser Instrumente setzt voraus, dass der Schaden nachträglich beglichen werden kann. Ein katastrophaler oder existenzieller Schaden lässt sich jedoch nicht begleichen. Das einzige Instrument, das funktioniert, ist die Regulierung im Vorfeld: Genehmigungen, unabhängige Tests vor dem Einsatz und die rechtliche Befugnis, eine Aktivität zu stoppen, bevor sie zu gefährlich wird. Für Pionier-KI in den Vereinigten Staaten existiert nichts davon.
Was es gibt, ist Selbstregulierung, was heutzutage gleichbedeutend mit keiner Regulierung ist. Am 29. September unterzeichneten sechs KI- und Chip-Unternehmen im Weißen Haus eine freiwillige und unverbindliche „Gemeinsame Verpflichtung zu Pionierverantwortung“. Das wäre lächerlich, wenn es nicht potenziell so katastrophal wäre. Eine Technologie, deren Risiken von den Herstellern selbst in düsteren Worten beschrieben werden, sollte von öffentlichen Institutionen mit festgelegten Verfahren, unabhängiger Überwachung und durchsetzbarer Haftung geregelt werden – nicht durch das eigene Urteil einer Handvoll Führungskräfte aus der Wirtschaft.
Ein überstürzter Börsengang würde die Lösung des Problems erheblich erschweren. Anthropic hat Berichten zufolge mindestens 518 Milliarden Dollar für die Recheninfrastruktur im kommenden Jahrzehnt zugesagt, wobei etwa 80 Prozent davon als nicht kündbar beschrieben werden. Angesichts der vierteljährlichen Berichterstattung an die öffentlichen Aktionäre schaffen diese Verpflichtungen einen starken Anreiz gegen jegliche Pause – selbst gegen eine, die die eigenen Sicherheitsforscher des Unternehmens empfehlen könnten. Der Prospekt selbst beschreibt Berichten zufolge eine „kontinuierliche und sich überschneidende Kadenz“ von Produkteinführungen als „untrennbar mit dem Verbleiben an der Grenze verbunden“. Sobald diese Aktien in den Pensionsfonds und Indexfonds von Dutzenden Millionen amerikanischer Haushalte liegen, wird jeder Vorschlag, die Entwicklung an der Grenze zu verlangsamen, nicht nur von den Unternehmen, sondern auch von einer riesigen Anlegergemeinschaft bekämpft werden.
Maßnahmen, um diesen Moloch zu bremsen?
Die umfangreichen Risikohinweise lösen dieses Problem nicht. Sie mögen das Unternehmen vor Klagen seiner eigenen Aktionäre schützen – die ja gewarnt worden sind –, oder auch nicht. Für die Öffentlichkeit, die das katastrophale Risiko trägt, ohne jemals dazu befragt worden zu sein, bewirken sie nichts.
Die übliche Antwort lautet, dass, wenn Amerikas sicherheitsbewussteste Entwickler das Tempo drosseln, weniger vorsichtige Unternehmen – oder China – einen Vorsprung herauslaufen werden. Dies ist ein klassisches Problem des kollektiven Handelns, und solche Probleme werden durch Vereinbarungen gelöst, die durch Gesetze, Überwachung und Durchsetzung gestützt werden – nicht dadurch, dass alle noch schneller in den Untergang rennen. Wir leben nicht in Hobbes’ Naturzustand. Wir haben die Vereinten Nationen, das Vertragsrecht, die Börsenaufsichtsbehörde (SEC) und den Kongress. Während des Kalten Krieges handelten die Gegner den Atomwaffensperrvertrag mit internationalen Inspektionen aus. Pionier-KI bietet sogar einen naheliegenden Überprüfungsansatz: Die fortschrittlichsten Chips stammen aus einer Handvoll Fabriken, und das Training im Pionierbereich erfordert riesige Rechenzentren. Washington hat Peking kein überprüfbares Abkommen zur Pionier-KI angeboten. Tatsächlich lehnte Präsident Trump nach seinem Gipfeltreffen mit Präsident Xi Jinping im September eine Zusammenarbeit mit China im Bereich der KI ab und stimmte lediglich einem Kommunikationskanal für Vorfälle im Zusammenhang mit KI zu. „Wenn man die Führung innehat“, sagte er, „lässt man den anderen nicht an seinen Informationen teilhaben.“
Wer kann Maßnahmen ergreifen, um diesen Moloch zu bremsen und eine potenzielle Katastrophe zu verhindern? Nach geltendem Recht kann die SEC eine Emission verzögern, sie jedoch nicht mit der Begründung blockieren, dass das Geschäft gefährlich sei. Sie sollte es dennoch ablehnen, das Inkrafttreten der Registrierungserklärung zu beschleunigen, bis das Unternehmen die Risiken seiner Produkte offenlegt, angibt, wer die Kosten der beschriebenen Katastrophen tragen würde, welche Versicherungen bestehen und ob seine Rechenverträge eine Sicherheitspause ohne Strafzahlungen zulassen würden.
Die entscheidende Befugnis liegt beim Kongress, und es gibt zahlreiche Präzedenzfälle. Der Kongress hat eine behördliche Genehmigung für Wertpapiere vorgeschrieben, die von Eisenbahnunternehmen, von Holdinggesellschaften von Versorgungsunternehmen und von Stromversorgungsunternehmen ausgegeben werden; hierfür ist auch heute noch eine Genehmigung auf Bundes- oder Landesebene erforderlich. Als die Kernenergie 1954 für die Privatwirtschaft geöffnet wurde, war sie nur mit einer Bundeslizenz zulässig.
Der Kongress sollte dringend handeln
Der scheidende Kongress sollte Anhörungen abhalten, bevor Aktienpreise festgelegt werden, und ein Moratorium für Börsengänge von Pionieren der KI-Entwicklung verhängen, bis der nächste Kongress tätig wird. Der neue Kongress, der am 3. Januar zusammentreten soll, sollte innerhalb seiner ersten hundert Tage ein Gesetz erlassen, das jede öffentliche Emission durch einen Pionier unter den KI-Entwicklern von einer Bundeslizenz abhängig macht. Die Lizenz sollte eine unabhängige Bewertung vor dem Einsatz vorschreiben, eine durchsetzbare Befugnis zur Unterbrechung des Trainings oder des Einsatzes, die durch keinen „Take-or-Pay“-Vertrag außer Kraft gesetzt werden kann, sowie Versicherungs- und Entschädigungsfonds, die auf plausible Schäden abgestimmt sind. Der Kongress sollte zudem den außergewöhnlichen Schritt in Betracht ziehen, Führungskräfte und Vorstandsmitglieder im Falle eines katastrophalen Versagens zivil- und strafrechtlich persönlich haftbar zu machen. Ein solcher Schritt wäre in einer gewöhnlichen Branche fehl am Platz. Hier ist er jedoch gerechtfertigt, da die Branche selbst vor katastrophalen Risiken warnt, während sie mit rasender Geschwindigkeit voranschreitet. Führungskräfte und Vorstandsmitglieder, die ein Modell ohne die gebotene Sorgfalt als sicher zertifizieren oder Sicherheitsfeststellungen außer Kraft setzen, sollten einer Haftung ausgesetzt sein, die weder das Unternehmen noch dessen Versicherer für sie abdecken können. Die Zulassungspflicht sollte gleichermaßen für die Pionierarbeit bereits börsennotierter Unternehmen wie Alphabet, Microsoft und Meta gelten.
Dieser Vorschlag richtet sich nicht gegen ein einzelnes Unternehmen und darf nicht zum Druckmittel für irgendeine Regierung werden, um Vergünstigungen zu erlangen, einschließlich des uneingeschränkten militärischen Zugangs zu KI-Modellen. Die von mir vorgeschlagene Verzögerung würde einige Monate dauern, es sei denn, die offengelegten Informationen deuten auf die Notwendigkeit einer unbefristeten Aussetzung hin. Die Zulassungspflicht hat weder die Pharma-, Luftfahrt- noch die Nuklearindustrie zerstört; sie hat sie sicherer gemacht. Die führenden Köpfe der KI-Branche haben uns mit ihren eigenen Worten gesagt, dass die Risiken so hoch sind, wie sie nur sein können. Sie selbst sollten ihren wahnsinnigen Vorstoß stoppen, und der Kongress sollte den Unternehmen Glauben schenken und dringend handeln.
Der englische Originalartikel erschien bei Common Dreams.
Eine gigantische KI-Blase ist entstanden und nun schreien die KI-Milliardäre nach dem Staat um ihre Milliarden zu retten und vor chinesischer Konkurrenz zu schützen. Da wird sich der US-Staat mit Sicherheit nicht lumpen lassen und ihre Milliarden schützen.
Schon vor dem KI-Boom haben Peter Thiel und andere ins Auge gefasst, mit Ozeanschiffen außerhalb der gesetzlichen Vorgaben zu agieren. Das können sie sich jetzt sparen. Trump hat alle Vorschriften gekillt. Auch derjenige, der mit KI-Software Schadprogramme erstellt, bleibt straffrei. Das gilt es dann doch als Erstes zu bereinigen. Man kann sinnvolle Gesetze erlassen, die die Entwivklung nicht bremsen. Den Börsengang von Anthropic zu verhindern, bringt gar nichts. Wieder eine dieser Fehleinschätzungen von Sachs. Das häuft sich in letzter Zeit.
Anthropic ist nun der Anbieter, der wenigstens formal eine gewisse Ethik an den Tag legt. Diese Warnungen, die er da abgibt, ist das nur Wichtigtuerei? Glaube ich nicht. Er will wenigstens gewarnt haben, bevor etwas passiert. Und natürlich weckt er damit eine öffentliche Aufmerksamkeit für das Geschehen in der KI.
Korrekte Sache.