Vielleicht werden wir in ein paar Jahren sagen: "Das war der Moment, als wir es noch hätten stoppen können …" In den USA hat sich ein KI-Prototyp selbstständig über seinen Auftrag hinweg gesetzt und eine andere KI attackiert. Cyber-Security-Experten sind alarmiert.
Es klingt wie aus einem Science-Fiction-Film. Am 16. Juli gab die KI-Plattform Hugging Face bekannt, die Strafverfolgungsbehörden eingeschaltet zu haben, nachdem ein Angreifer mithilfe eines KI-Agenten in ihre Systeme eingedrungen war. Am 21. Juli stellte sich heraus, dass überhaupt kein Mensch beteiligt gewesen war: Der Angreifer war der KI-Agent selbst.
Eine Kombination aus OpenAIs GPT-5.6 Sol, einem Modell, das das Unternehmen Anfang Juli veröffentlicht hatte, und einem leistungsfähigeren, bislang unveröffentlichten Modell hatte sich aus der Testumgebung befreit und anschließend die Systeme von Hugging Face kompromittiert.
Die KI-Modelle waren auf der Suche nach einer Lösung für eine Evaluierungsaufgabe, die ihnen von ihren Entwicklern gestellt worden war. "Diese Situation ist beispiellos", sagt Stephan Llerena, Research Fellow am Institute for Law and AI, einer US-amerikanischen Denkfabrik.
KI-Labore prüfen ihre Modelle vor der Veröffentlichung auf potenziell gefährliche Fähigkeiten. OpenAI wollte untersuchen, wie sich seine neuesten Modelle in ExploitGym schlagen – einer standardisierten Sammlung von Aufgaben, die testet, wie gut KI-Systeme bekannte Schwachstellen in mehreren weitverbreiteten Anwendungen ausnutzen können, darunter auch Googles Chrome-Browser.
Für seine öffentlich zugänglichen Modelle setzt OpenAI Sicherheitsmechanismen ein, die verhindern sollen, dass diese unerwünschte Handlungen verfolgen. Wer etwa die kommerziell verfügbare Version von ChatGPT bittet, beim Hacken einer Website zu helfen, erhält eine Absage. Um die Fähigkeiten seines noch unveröffentlichten Modells zu bewerten, setzte das Unternehmen diese Beschränkungen jedoch vorübergehend außer Kraft.
Ein hochleistungsfähiges KI-System mit Cyberangriffsfähigkeiten unkontrolliert auf das offene Internet loszulassen, erschien allerdings zu riskant. Deshalb platzierte OpenAI seine Modelle in einer Sandbox – einer isolierten Computerumgebung ohne Internetzugang. Eine Ausnahme bildete lediglich ein intern gehosteter Dienst eines Drittanbieters, über den kleine Softwarepakete bezogen werden konnten, die für die Durchführung der Tests erforderlich waren.
Das Unternehmen erhielt jedoch weit mehr, als es erwartet hatte. Anstatt die Evaluierungsaufgaben direkt zu lösen, verschafften sich die OpenAI-Modelle Zugang zum offenen Internet, indem sie eine bislang unbekannte Schwachstelle in diesem Softwaredienst ausnutzten. Nachdem sie auf diese Weise online gelangt waren, schlossen die Modelle zutreffend daraus, dass die Lösungen für ihre Aufgaben bei Hugging Face gespeichert waren – einer populären Plattform für Open-Source-KI-Modelle und Datensätze.
Anschließend führten sie einen mehrstufigen Angriff durch. Zunächst luden sie einen Datensatz zu Hugging Face hoch, der von der Plattform automatisch verarbeitet wurde. Im Verlauf eines Wochenendes ermöglichte dieser Datensatz – von Hugging Face später als "bösartig" eingestuft – den Modellen, Zugangsdaten abzugreifen und auf interne Server zuzugreifen. Sowohl Hugging Face als auch OpenAI entdeckten den Vorfall unabhängig voneinander und erklärten, bei den Ermittlungen zusammenzuarbeiten.
Am 21. Juli teilte OpenAI in einem Blogbeitrag mit, als Reaktion strengere Kontrollen seiner Infrastruktur eingeführt zu haben. Zudem habe das Unternehmen die von den Modellen entdeckten Schwachstellen dem Entwickler des Software-Gateways gemeldet.
Darüber hinaus nahm OpenAI Hugging Face in sein Programm für "Trusted Access" auf. Dieses ermöglicht ausgewählten Partnern den Einsatz von Modellen mit erweiterten Cyberfähigkeiten – darunter auch jenes Modell, das zuvor in die eigenen Systeme eingedrungen war –, um ihre Verteidigungsmaßnahmen zu verbessern.
OpenAI betonte zugleich, seine Modelle seien "extrem fokussiert" darauf gewesen, Lösungen für die ExploitGym-Evaluierung zu finden. Unklar bleibt jedoch, wie sich die KI-Systeme verhalten hätten, wenn sie andere Ziele verfolgt hätten.
Hinzu kommt: Hugging Face gilt keineswegs als Nachzügler in der Cybersicherheit. Das Unternehmen wird mit 4,5 Milliarden US-Dollar bewertet, beschäftigt Hunderte Mitarbeiter und verfügt über ein eigenes Cybersecurity-Team. Für eine schlechter ausgestattete Organisation hätte der Vorfall deutlich gravierendere Folgen haben können.
Es ist nicht das erste Anzeichen dafür, dass die Fähigkeiten moderner KI-Modelle beginnen, die menschliche Kontrolle zu übersteigen. Bereits im April berichtete ein Anthropic-Forscher online, er sei überrascht gewesen, als das damals noch unveröffentlichte Modell Claude Mythos ihm eine E-Mail geschickt habe. Darin teilte es mit, im Rahmen einer eigenen Bewertung seiner Cyberfähigkeiten erfolgreich aus einer Sandbox ausgebrochen zu sein – während der Forscher gerade in einem Park ein Sandwich gegessen habe.
Wie das im Vorfall mit Hugging Face eingesetzte OpenAI-Modell hätte auch Mythos keinen uneingeschränkten Internetzugang besitzen dürfen. Anders als im aktuellen Fall kompromittierte das Modell jedoch keine fremden Unternehmensserver.
Auch jenseits des Hackings zeigen KI-Modelle überraschende Fähigkeiten. Im Mai widerlegte ein unveröffentlichtes OpenAI-Modell die 80 Jahre alte Vermutung über planare Einheitsabstände ("Planar Unit Distance Conjecture"), ein zentrales Problem der kombinatorischen Geometrie, das der Mathematiker Paul Erdős 1946 formuliert hatte.
Am 20. Juli schrieb Levent Alpöge, Mathematiker an der Harvard University, er habe mit Claude Fable 5 – einem im Juli von Anthropic veröffentlichten Modell – die Jacobi-Vermutung widerlegt, an der Mathematiker ebenfalls seit mehr als acht Jahrzehnten gescheitert waren.
OpenAI hat bislang keine Einzelheiten darüber veröffentlicht, wie sein unveröffentlichtes Modell aus der abgeschotteten Umgebung entkommen konnte. Doch selbst wenn dies geschehen wäre, könnten laut Alex Meinke von der Londoner KI-Sicherheitsorganisation Apollo Research "nur sehr, sehr wenige Cyberexperten weltweit" den technischen Ablauf des Angriffs vollständig nachvollziehen. Der Grund: KI-Systeme beginnen, Menschen bei Aufgaben der Cybersicherheit zu übertreffen.
Die US-Regierung hat in jüngster Zeit die Regulierung neuer KI-Modelle schrittweise angepasst. Der Vorfall zeigt jedoch, dass bereits unveröffentlichte Modelle, die sich noch in der Entwicklung befinden, erhebliche Risiken bergen.
"Weder auf Bundes- noch auf Ebene der Bundesstaaten gibt es Vorschriften, die Unternehmen verpflichten würden, den internen Einsatz hochleistungsfähiger KI-Modelle wie jenes im Fall des Hugging-Face-Hacks offenzulegen", sagt Nathan Calvin, Justiziar der US-amerikanischen Non-Profit-Organisation Encode AI, die sich für eine Regulierung künstlicher Intelligenz einsetzt.
Zwar schreiben einige Bundesstaaten Unternehmen vor, Cyber-Vorfälle zu melden, doch diese Regelungen sind eng gefasst. Ein im vergangenen Jahr in Kalifornien verabschiedetes Gesetz verpflichtet sogenannte Frontier-Labore dazu, jeden "kritischen Sicherheitsvorfall" innerhalb von 15 Tagen nach dessen Entdeckung zu melden.
Dazu zählt auch der Einsatz "täuschender Techniken", mit denen ein Modell Überwachungsmaßnahmen "außerhalb des Kontexts einer Evaluierung" umgeht. Ob der Angriff auf Hugging Face unter die Bestimmung gefallen wäre, ist nach Einschätzung Calvins jedoch unklar.
Damit stellt sich eine weitere schwierige Frage: Wer hätte gehaftet, wenn die Folgen des Angriffs erheblich kostspieliger gewesen wären? Das US-Bundesrecht gegen Computerkriminalität zielt ausschließlich auf vorsätzlichen unbefugten Zugriff auf Computersysteme ab. OpenAI hatte jedoch nicht beabsichtigt, dass seine Modelle eigenmächtig außer Kontrolle geraten, um sich die Lösungen für ihren Test zu beschaffen.
"Viele dieser Rechtsfragen hängen von der Absicht ab – also davon, was OpenAI wusste oder vorhersehen konnte", sagt Llerena. Dieser Angriff kam für das Unternehmen überraschend. Beim nächsten Mal wird es deutlich schwieriger sein, sich auf Unwissenheit zu berufen.
© 2026 The Economist Newspaper Limited. All rights reserved."
"From The Economist, translated by www.deepl.com, published under licence. The original article, in English, can be found on www.economist.com"
