In zwei Jahren, so der KI-Hersteller Anthropic, wären KI-Systeme in der Lage, sich mit "rekursiver Selbstverbesserung" eigenständig weiterzuentwickeln. Die Befürchtung: Am Ende dieses Horror-Szenarios könnten die Maschinen die Menschheit entmachten.
Wenn der KI-Entwickler Anthropic später in diesem Jahr an die Börse geht, dürfte dies zu den größten Börsengängen der Geschichte zählen. Der Grund: Der Chatbot Claude erfreut sich insbesondere unter Programmierern großer Beliebtheit, die bereit sind, beträchtliche Summen für den Zugang zu zahlen.
Seit der Einführung von Claude Code, einem auf Softwareentwicklung spezialisierten KI-Agenten, im Februar 2025 ist das System für viele Entwickler weltweit unverzichtbar geworden – auch für jene bei Anthropic selbst. Nach Angaben des Unternehmens wurden im Mai mehr als vier Fünftel des veröffentlichten Codes von Claude geschrieben. Vor der Einführung von Claude Code habe dieser Anteil noch im niedrigen einstelligen Prozentbereich gelegen.
Dabei hat sich nicht nur die Menge, sondern auch die Qualität der Ergebnisse deutlich verbessert. Ein Vergleich des Thinktanks METR zeigt, dass die Modelle von Anthropic Anfang 2025 Aufgaben bewältigen konnten, für die menschliche Softwareentwickler knapp eine Stunde benötigten. Die neuesten Systeme erledigen inzwischen Arbeiten, die einen Menschen mehr als einen Arbeitstag kosten würden.
Vor diesem Hintergrund mag es leichtfallen, skeptisch die Augenbrauen zu heben, wenn ausgerechnet Anthropic – derzeit an der Spitze der Branche und der Konkurrenz deutlich voraus – fordert, die Welt müsse die Möglichkeit haben, "die Entwicklung von Spitzen-KI zu verlangsamen oder vorübergehend auszusetzen", wie das Unternehmen am 5. Juni erklärte. Welcher Marktführer würde nicht davon profitieren, wenn seine Wettbewerber eine Zwangspause einlegen müssten?
Doch die Führung von Anthropic, die seit Jahren vor den Risiken außer Kontrolle geratener KI-Systeme warnt, scheint ihre Bedenken ernst zu meinen. Die jüngste Generation von KI-Modellen ist mittlerweile so leistungsfähig beim Programmieren, Konstruieren und bald wohl auch beim wissenschaftlichen Forschen, dass manche Experten vermuten, sie könnten zu den letzten Modellen gehören, die noch von Menschen entwickelt werden.
Jack Clark, Mitgründer von Anthropic, schätzt die Wahrscheinlichkeit auf 60 Prozent, dass bis Ende 2028 ein KI-System in der Lage sein wird, seinen eigenen Nachfolger ohne menschliches Zutun zu erschaffen.
Ein solcher Moment würde den Beginn eines Prozesses markieren, der als "rekursive Selbstverbesserung" (Recursive Self-Improvement, RSI) bezeichnet wird. Dabei entsteht ein geschlossener Kreislauf: Version eins eines Modells entwickelt Version zwei, die schneller und leistungsfähiger ist. Version zwei erzeugt Version drei, die wiederum überlegen ist – und so weiter.
Mit jeder Iteration steigen die Fähigkeiten des Systems. Wer eine KI entwickelt, die dazu fähig ist, benötigt anschließend keine menschlichen Entwickler mehr, um die nächste Generation zu erschaffen. "Was vielen wie eine fantasievolle Erzählung erscheint, könnte sich als realer Trend erweisen", sagt Clark.
Welche Folgen RSI hätte, weiß niemand mit Sicherheit. Da KI-Systeme im Gegensatz zu Menschen ohne Pause arbeiten können, erwarten manche Forscher, dass daraus binnen kurzer Zeit eine superintelligente KI hervorgehen könnte – ein sogenannter "schneller Take-off". In der Szene wird dieser Vorgang gelegentlich lautmalerisch als "Foom" bezeichnet – nach dem Geräusch einer explosionsartigen Intelligenzsteigerung.
Kritiker und Warner befürchten, dass eine solche Superintelligenz sich menschlicher Kontrolle entziehen könnte. Der Beginn rekursiver Selbstverbesserung wäre dann jener Augenblick, in dem das Schicksal der Menschheit an Maschinen übergeht. Allerdings würde auch eine sich selbst verbessernde KI zunächst auf praktische Grenzen stoßen.
Um RSI zu ermöglichen, müssten zahlreiche spezialisierte Aufgaben automatisiert werden, die heute noch Menschen übernehmen. Datenwissenschaftler entwickeln theoretische Grundlagen, Programmierer setzen sie um. Systemingenieure schaffen die Infrastruktur, auf der experimentelle Modelle zu produktionsreifen Systemen heranwachsen.
Andere Fachleute erschließen neue Trainingsdaten oder entwickeln Methoden, diese künstlich zu erzeugen. Sicherheits- und Alignment-Teams prüfen, ob die entstehenden Modelle keinen Schaden anrichten.
Nicht alle diese Tätigkeiten lassen sich gleichermaßen automatisieren, und innerhalb jeder Disziplin sind manche Aufgaben leichter von KI zu übernehmen als andere. Vermutlich wird es nicht mehr lange dauern, bis ein menschlicher Programmierer seine Arbeit verrichten kann, ohne selbst eine einzige Zeile Code zu schreiben. Weitaus schwieriger dürfte es hingegen sein, eine KI dazu zu befähigen, etwa den Erwerb einer bislang nicht digitalisierten Sammlung wissenschaftlicher Arbeiten auszuhandeln.
Zudem verläuft die Entwicklung entlang einer "zerklüfteten Grenze": Welche Aufgaben als Nächstes automatisiert werden, ist oft überraschend. Lange galt die Entwicklung neuer Algorithmen als vergleichsweise sicher vor Automatisierung. Doch im Mai 2025 präsentierte Google DeepMind mit AlphaEvolve ein System, das genau dies beherrscht.
Es schlug unter anderem eine Verbesserung der Lastverteilung in Googles Rechenzentren vor, die den weltweiten Rechenaufwand des Konzerns um 0,7 Prozent reduzierte. Zudem fand es effizientere Verfahren für die Matrixmultiplikation, wodurch das Training des Sprachmodells Gemini um rund ein Prozent beschleunigt wurde.
Für eine vollständige rekursive Selbstverbesserung müssten letztlich sämtliche Glieder dieser Wertschöpfungskette automatisiert werden. Doch schon vorher könnte KI die Forschung und Entwicklung massiv beschleunigen.
Ein Bericht des Centre for Security and Emerging Technology (CSET) an der Georgetown University kommt zu dem Schluss, dass die Produktivität von KI-gestützter Forschung gegenüber rein menschlicher Forschung zunächst um das Zehnfache, dann um das Hundertfache und schließlich um das Tausendfache steigen könnte. Selbst wenn einzelne Bereiche zunächst schwer automatisierbar seien, würden diese Engpässe durch das beschleunigte Innovationstempo rasch überwunden.
Derzeit kann kein KI-Modell seinen eigenen Nachfolger vollständig entwickeln. Kleinere Modelle können jedoch bereits heute von großen Modellen autonom erzeugt werden. Mit menschlicher Unterstützung gelingt es ihnen sogar, andere große Modelle zu entwickeln.
Ein Beispiel liefert Andrej Karpathy, einst Mitgründer des Forschungsteams von OpenAI und später Leiter der KI-Entwicklung bei Tesla. Anfang des Jahres trainierte er einen Chatbot mit einer Leistungsfähigkeit vergleichbar mit GPT-2, einem Sprachmodell von OpenAI aus dem Jahr 2019. Damals, vot sieben Jahren, waren dafür 168 Stunden Rechenzeit auf 32 modernsten Chips nötig. Karpathy erreichte ein ähnliches Ergebnis auf einem einzigen Rechner mit acht Grafikprozessoren in nur drei Stunden.
Nach weiteren Optimierungen reduzierte er die Trainingszeit seines Modells "Nanochat" auf etwas mehr als zwei Stunden. Im März übergab er die Aufgabe weiterer Beschleunigungen an einen KI-Agenten namens Autoresearch. Innerhalb von zwei Tagen sank die Trainingsdauer auf eine Stunde und 48 Minuten, fünf Tage später auf eine Stunde und 39 Minuten. "Ich habe nichts mehr angefasst", berichtet Karpathy.
Bemerkenswert ist dies auch deshalb, weil Karpathy selbst zu den talentiertesten KI-Forschern seiner Generation zählt. Die Verbesserungen, die das System fand, waren keineswegs revolutionär: bessere Startwerte für das Training, eine Erweiterung des Aufmerksamkeitsfensters und die Korrektur von Konzentrationsverlusten des Modells. Dennoch hatte Karpathy diese Möglichkeiten übersehen. "Zusammengenommen haben sie Nanochat tatsächlich verbessert", sagt er.
Solche Effizienzsteigerungen dürften mit zunehmender Leistungsfähigkeit der Modelle unvermeidlich werden. Denn ein erheblicher Teil der Arbeit an modernen KI-Systemen besteht aus wenig glamourösen Tätigkeiten: Infrastrukturkomponenten müssen integriert, Hard- und Softwarefehler behoben sowie Trainingsparameter feinjustiert werden. Vieles davon können KI-Systeme bereits heute weitgehend selbstständig erledigen.
Selbst komplexere Forschungsaufgaben nähern sich der Automatisierung, sagt Joe Spisak vom New Yorker KI-Labor Reflection AI. Gibt man modernen Modellen eine grobe Idee für eine mögliche Effizienzsteigerung, können sie Experimente entwerfen, diese an kleineren Modellen testen, die Ergebnisse auswerten und einen umsetzbaren Plan für den großskaligen Einsatz entwickeln.
Aufgaben, für die Menschen Stunden benötigen, erledigen KI-Systeme inzwischen oft innerhalb von rund 30 Minuten. Der Mensch übernimmt zunehmend die Rolle eines Forschungsdirektors, der die Richtung vorgibt, während die KI die Experimente programmiert, überwacht, optimiert und auswertet.
Der Produktivitätsschub ist verführerisch – zugleich aber beunruhigend. Denn je kleiner die Rolle des Menschen im Entwicklungsprozess wird, desto größer erscheint die Gefahr, die Kontrolle zu verlieren. Am Ende könnten Modelle von Modellen trainiert werden, um Ziele zu verfolgen, die ebenfalls von Modellen definiert wurden – und deren Sicherheit ausschließlich von anderen Modellen überprüft wird.
Manche sehen darin die Vorstufe einer Katastrophe. Der Physiker und KI-Forscher Max Tegmark vom Massachusetts Institute of Technology vergleicht die Situation mit einem Autofahrer, der auf der Autobahn bei geschlossenen Augen das Gaspedal durchtritt. Solange er sich weigert, die Augen zu öffnen, sei das Ergebnis zwangsläufig verheerend.
Tegmark skizziert verschiedene Szenarien: Hoch entwickelte KI-Systeme könnten Menschen als Entscheidungsträger in Wirtschaft und Politik verdrängen und die Menschheit entmachten. Sie könnten dem ersten Entwickler nahezu unbegrenzte Macht verleihen und eine globale Diktatur ermöglichen. Oder sie könnten schlicht jedes Interesse am Wohlergehen der Menschen verlieren und diese nach und nach verdrängen, um Platz für weitere Rechenzentren und Energieinfrastruktur zu schaffen.
Bereits vor drei Jahren gehörte Tegmark zu den Initiatoren eines offenen Briefes, der eine Pause in der Entwicklung leistungsfähiger KI forderte. Der aktuelle Bericht des CSET kommt zu einem ähnlichen Schluss: Systeme, die durch rekursive Selbstverbesserung entstehen, "bergen extreme Risiken". Deshalb seien schon heute vorbereitende Maßnahmen erforderlich. Anthropic scheint dieser Einschätzung inzwischen bemerkenswert nahezustehen.
Gleichzeitig existieren mehrere physische Beschränkungen, die die Geschwindigkeit selbst verbessernder KI-Systeme zumindest vorerst begrenzen dürften. Die wichtigste davon ist die verfügbare Rechenleistung. Trotz erheblicher Effizienzfortschritte benötigen neue Modelle weiterhin mehr Rechenkapazität als ihre Vorgänger. Der Fortschritt hängt daher maßgeblich vom Ausbau der Rechenzentrumsinfrastruktur ab.
Hinzu kommt die Nachfrage der Nutzer. Die vorhandene Rechenleistung muss zwischen dem Betrieb bestehender Dienste, dem Training neuer Modelle und experimenteller Forschung aufgeteilt werden. Je mehr Kapazität für zahlende Kunden benötigt wird, desto weniger steht kurzfristig für die Entwicklung der nächsten Generation zur Verfügung.
Ein weiteres Hindernis betrifft die Trainingsdaten. Viele jüngste Fortschritte wurden in Bereichen erzielt, in denen Erfolg eindeutig messbar ist. Ein Computerprogramm funktioniert oder funktioniert nicht. Ein mathematischer Beweis ist korrekt oder falsch. In solchen Fällen können Modelle selbst Trainingsdaten erzeugen und deren Qualität automatisch überprüfen.
Weitaus schwieriger ist es jedoch, ein Modell in Bereichen wie kreativem Schreiben oder juristischer Urteilsfindung zu verbessern. Wenn KI-Systeme weiterhin auf Erfahrungen und Daten aus der realen Welt angewiesen bleiben, könnte dies die Möglichkeiten rekursiver Selbstverbesserung erheblich einschränken.
Das "Schließen des Kreislaufs" mag ein entscheidender Schritt auf dem Weg zu einer Superintelligenz sein – und könnte sich, je nach Perspektive, entweder zu einer technologischen Utopie oder zu einem Albtraum entwickeln. Doch es ist nicht der einzige Schritt, der notwendig wäre, um ein exponentielles Wachstum der Fähigkeiten künstlicher Intelligenz auszulösen.
"© 2026 The Economist Newspaper Limited. All rights reserved."
"From The Economist, translated by www.deepl.com, published under licence. The original article, in English, can be found on www.economist.com"
