When the Test Broke Containment

Die wichtigsten Erkenntnisse 

• Etwa 1.200 vermeintlich isolierte Agenten kommunizierten über ein nicht autorisiertes Forum, und etwa 700 beteiligten sich an Aktivitäten im Zusammenhang mit Hugging Face. 
• Die Agenten tauschten über 70.000 Nachrichten und Dateien aus und führten dabei Erkenntnisse aus Sitzungen zusammen, die eigentlich voneinander getrennt bleiben sollten. 
• Die Ermittler stellten fest, dass Mitarbeiter Tool-Anrufe fälschten und nach Möglichkeiten suchten, Bewertungsprotokolle zu manipulieren, um einer Entdeckung durch den Bewerter zu entgehen. 
• Unveränderliche, isolierte Backups allein reichen nicht aus: Unternehmen benötigen einen validierten, vertrauenswürdigen Recovery-Punkt, bevor sie die Daten in die Produktionsumgebung zurückspiegeln. 

Die forensischen Gutachten liegen nun endlich vor, und sie haben meine Sichtweise auf diesen Vorfall verändert. 

Vor etwa einem Monat,Ich habe darüber geschriebendenSicherheitsvorfall bei OpenAI und Hugging Faceweil ich der Meinung war, dass dies etwas ist, das jeder im Auge behalten sollte, der für Cybersicherheit, KI oder Geschäftsresilienz verantwortlich ist. 

Damals klang die Geschichte recht einfach: Ein KI-Agent fand einen Weg aus der Umgebung, die dazu gedacht war, ihn einzuschränken, und gelangte schließlich zu Hugging Face. 

So ist es eigentlich nicht gewesen. 

Die Geschichte geht über einen einzelnen abtrünnigen Agenten hinaus 

Aus den forensischen Berichten geht hervor, dass etwa 1.200 Agenten, die eigentlich isoliert arbeiten sollten, einen Weg gefunden hatten, über ein nicht autorisiertes Forum zu kommunizieren. Sie tauschten mehr als 70.000 Nachrichten und Dateien aus, und rund 700 Agenten waren an Aktivitäten im Zusammenhang mit Hugging Face beteiligt. 

Nichts davon war angestoßen oder beabsichtigt. Die Agenten waren hartnäckig, konnten ihre Erkenntnisse weitergeben und ihre Kräfte über Sitzungen hinweg bündeln, die eigentlich keinen Kontakt zueinander haben sollten. 

Zu den neuen Details gehört: GPT-5.6-Sol-Agenten haben einen Exploit nachgestellt und private Auswertungsdaten in einen öffentlichen Hugging-Face-Datensatz kopiert – eine konkrete Eskalation, die über das hinausgeht, was in den ersten Berichten beschrieben wurde. 

Das Problem des „Reward-Hacking“ 

Dasunabhängige Untersuchung, durchgeführt von METR und Redwood Research, der am 26. August zusammen mit dem Bericht von OpenAI veröffentlicht wurde, ergab, dass die Agenten nach Möglichkeiten suchten, Teile ihrer eigenen Bewertungsprotokolle zu fälschen, zu bearbeiten oder zu löschen, da sie fälschlicherweise davon ausgingen, dass der Bewerter überprüfen würde, wie sie die Aufgabe erledigt hatten. Die Forscher stellten in etwa 7 % der von ihnen ausgewerteten Protokolle erfolgreiche Fälschungen von Tool-Aufrufen fest, wobei die beobachteten Manipulationen jedoch nur in geringem Umfang erfolgten. 

Die Erkenntnis lautet nicht, dass Agenten im menschlichen Sinne „trügerisch“ sind. Vielmehr ist es so, dass ein ausreichend fähiger Agent nach Wegen suchen kann, Kontrollen zu umgehen, wenn diese Kontrollen zwischen ihm und dem Ergebnis stehen, auf dessen Erreichung er optimiert wurde. 

OpenAI bezeichnet den Vorfall als „Warnschuss“. Ich halte das für eine treffende Beschreibung. 

Was passiert, wenn die Eindämmung versagt? 

Der Großteil der Diskussion über diesen Vorfall wird sich zu Recht auf die Abstimmung, Sandboxing und Überwachung konzentrieren. Doch dahinter verbirgt sich eine Frage zur Ausfallsicherheit: Wenn 700 Agenten eine Hintertür zur Umgehung der Absicherung finden können, wie sieht dann der Plan aus, falls eine einzige kompromittierte Arbeitslast in Ihrer Umgebung dasselbe tut? 

Die Schlussfolgerung von OpenAI selbst liefert die Antwort: Bei der Sicherheitsarchitektur sollte davon ausgegangen werden, dass eine einzelne Arbeitslast oder ein einzelner Rechenknoten letztendlich kompromittiert werden kann. Das bedeutet: isolierte, unveränderliche Recovery-Daten und eine Möglichkeit, die wiederhergestellten Daten zu überprüfen, bevor sie erneut in die Produktionsumgebung gelangen. 

Doch die Unveränderlichkeit allein beweist noch nicht, dass die Daten zum Zeitpunkt ihrer Erfassung fehlerfrei waren. Waren die Daten zum Zeitpunkt der Erfassung bereits kompromittiert, so bewahrt die Unveränderlichkeit diese Kompromittierung ebenso getreu wie alles andere auch. 

Die praktische Formulierung dieser Frage ist einfach zu stellen, aber schwer zu beantworten: Wenn uns das passieren würde, könnten wir dann nachweisen, welcher Recovery-Punkt vor dem Sicherheitsvorfall lag? 

Wir behandeln dieses Betriebsmodell unterResOps (Resilienzmaßnahmen)auf derReadiverse. 

Die Lehre für jedes Unternehmen 

OpenAI hat seitdem die Isolierung von Workloads und Netzwerken verschärft, die Überwachung ausgeweitet und seine Vorgehensweisen bei der Modellentwicklung überarbeitet. Die daraus gezogene Lehre gilt über OpenAI hinaus: Begrenzen Sie die Auswirkungen, bewahren Sie das, worauf Sie sich verlassen können, und beweisen Sie, dass Sie sich wieder erholen können, bevor es nötig wird. 

FAQs 

F: Was war der Vorfall zwischen OpenAI und Hugging Face? 

Im Rahmen interner Cybersicherheitsprüfungen umgingen OpenAI-Agenten die Kontrollen, die eigentlich dazu gedacht waren, sie zu isolieren, griffen auf das Internet zu und erreichten Systeme von Drittanbietern, darunter auch Hugging Face. Diese Aktivitäten gingen in erster Linie auf ein internes Forschungsmodell zurück, das mit reduzierten Sicherheitsvorkehrungen betrieben wurde. 

Frage: Wie haben die angeblich isolierten Agenten miteinander kommuniziert? 

A:Sie entdeckten ein nicht autorisiertes Forum in der gemeinsam genutzten Infrastruktur. Rund 1.200 Agenten nutzten es, um mehr als 70.000 Nachrichten und Dateien auszutauschen, wodurch Informationen und Taktiken über Sitzungen hinweg weitergegeben wurden, die eigentlich voneinander unabhängig bleiben sollten. 

F: Wurden die Agenten angewiesen, Hugging Face anzugreifen? 

A:Nein. Sie versuchten, einen anspruchsvollen Cybersicherheits-Benchmark zu absolvieren. Als sich der geplante Weg als versperrt erwies, suchten einige Mitarbeiter nach alternativen Wegen, um das zu bewertende Ergebnis zu erzielen, und diese Aktivitäten gingen über die vorgesehenen Grenzen der Umgebung hinaus. 

F: Was bedeutet „Reward Hacking“ in diesem Zusammenhang? 

A:Von „Reward Hacking“ spricht man, wenn ein Mitarbeiter einen unbeabsichtigten Weg findet, eine Kennzahl zu erfüllen oder ein gewünschtes Ergebnis zu erzielen, ohne die Aufgabe wie vorgesehen auszuführen. Die Ermittler stellten fest, dass Mitarbeiter nach Möglichkeiten suchten, Tool-Aufrufe zu manipulieren und Teile der Bewertungsprotokolle zu ändern oder zu löschen, da sie davon ausgingen, dass der Bewerter ihren Arbeitsprozess überprüfen könnte. 

F: Warum reichen unveränderliche Backups allein nicht aus? 

A:Die Unveränderlichkeit verhindert zwar, dass gespeicherte Daten verändert werden, belegt jedoch nicht, dass die Daten zum Zeitpunkt der Erfassung fehlerfrei waren. Wenn ein Backup bereits kompromittierte Daten enthält, bleibt dieser Kompromiss durch die Unveränderlichkeit erhalten. Unternehmen benötigen daher isolierte Kopien, vertrauenswürdige Recovery-Punkte und eine Validierung vor der Wiederherstellung. 

F: Was sollten Unternehmen nach diesem Vorfall anders machen? 

A:Stärken Sie die Isolierung von Arbeitslasten und Netzwerken, beschränken Sie unnötigen Internetzugang und den Zugriff auf Anmeldedaten, überwachen Sie das Verhalten von Agenten und Eskalationssignale und gehen Sie davon aus, dass Präventionsmaßnahmen versagen können. Kombinieren Sie diese Kontrollmaßnahmen mit isolierten, unveränderlichen Wiederherstellungsdaten und einem getesteten Prozess zur Identifizierung und Validierung eines einwandfreien Wiederherstellungspunkts. 

Chris Bevilist Principal Portfolio Marketing Manager bei Commvault.