Zwei unabhängige Testunternehmen gaben am Dienstag bekannt, dass sie im vergangenen Monat neue Fälle entdeckt haben, in denen die hochentwickelten Modelle von Anthropic und OpenAI versucht haben – und manchmal auch erfolgreich waren –, Systeme von Drittanbietern zu hacken.
Warum das wichtig ist: Diese Vorfälle reihen sich ein in eine wachsende Reihe von Enthüllungen, die zeigen, wie hochentwickelte KI-Modelle bei dem Versuch, Cybersicherheitsbewertungen durchzuführen, unautorisierte Aktionen gegen Personen, Organisationen und Online-Dienste begehen.
Aktuelle Situation Das in Großbritannien ansässige AI Safety Institute, das fortschrittliche Systeme der künstlichen Intelligenz bewertet, gab am Dienstag bekannt, dass es bei Cybersicherheitstests im vergangenen Monat 19 Aktionen dokumentiert habe, die von den Systemen Mythos 5 von Anthropic und GPT-5.6 Sol von OpenAI unternommen wurden, um reale Personen und Organisationen zu gefährden.
-
Mythos war für 17 Aktionen verantwortlich, GPT-5.6 Sol für die verbleibenden zwei. Die Forscher behaupten, dass all diese Aktionen mit «mehreren miteinander verbundenen Verhaltensmustern» zusammenhingen und nicht 19 einzelne Instanzen darstellten.
-
Laut dem Institut erstellten die Modelle während der Tests gefälschte GitHub-Konten, betrieben Social Engineering bei Projektverantwortlichen, streuten Hinweise und verschickten irreführende E-Mails.
-
GitHub bestätigte, dass dies gegen die Nutzungsbedingungen verstößt.
-
Das Security Institute hat in Zusammenarbeit mit GitHub die vom Agenten hinterlassenen Artefakte entfernt und die GitHub-Benutzer über ihre Interaktion mit dem Modell informiert.
OpenAI berichtete außerdem In einem Blogbeitrag vom Dienstag teilte das Unternehmen mit, dass sein externer Sicherheitspartner Irregular einen Fall entdeckt habe, in dem seinen Modellen irrtümlicherweise Internetzugang gewährt wurde und sie eine echte Website gehackt haben, die denselben Namen wie ein fiktives Unternehmen in einer simulierten Umgebung trug.
-
Der Vorfall bei OpenAI Irregular weist große Ähnlichkeit mit dem Vorfall bei Anthropic auf, der letzte Woche öffentlich wurde. Ein Unternehmenssprecher erklärte dazu: «Unabhängige Tests sind unerlässlich, um zu verstehen, wie sich Modelle verhalten, wenn sie komplexer werden.».
-
Eine mit der Situation vertraute Quelle teilte Axios mit, dass in diesen Fällen die Testumgebung über einen Internetzugang verfügte, sodass die Prüfer sich ein realistisches Bild von ihren Fähigkeiten machen konnten. Da sich die Unternehmen jedoch nicht vollständig auf die genauen Testverfahren und Sicherheitsmaßnahmen geeinigt hatten, herrschte Verwirrung darüber, wie die Online-Bewertungen jeweils durchgeführt werden sollten.
-
Der Vorfall ereignete sich während Evaluierungen, bei denen «reduzierte Sicherheitsmaßnahmen und Bedingungen, die nicht der typischen Nutzung entsprechen», angewendet wurden, fügte ein Sprecher von OpenAI hinzu.
Annäherung: Bei Sicherheitstests in Großbritannien führten die Models 19 Aktionen durch, um Dienste von Drittanbietern zu hacken. Dazu gehörten Versuche, bösartigen Code in ein Open-Source-Projekt einzuschleusen und im Rahmen eines Social-Engineering-Angriffs gefälschte Online-Identitäten zu erstellen.
-
Britische Forscher setzten die Modelle während der Tests absichtlich dem Internet aus und deaktivierten Cybersicherheitsklassifikatoren. Das Institut erklärte, die Modelle seien nicht angewiesen worden, das Internet zu meiden.
-
Die Forscher merkten außerdem an, dass sie sich noch nicht sicher seien, «wann der Agent realisierte, dass er in der realen Welt handelte, oder inwieweit er glaubte, sich in einem fiktiven Testszenario zu befinden.».
-
In einer Stellungnahme erklärte Anthropic, der Vorfall unterstreiche die Notwendigkeit einer breiteren Diskussion darüber, wie immer ausgefeiltere KI-Systeme sicher evaluiert werden könnten, und das Unternehmen freue sich darauf, mit dem britischen AISI zusammenzuarbeiten, um im Rahmen dessen eigener Untersuchung mehr über diesen Vorfall zu erfahren.
Das große Ganze Die Cyberfähigkeiten hochentwickelter KI-Modelle überraschen führende Forscher und zwingen sie, ihre Sicherheitsprotokolle zu überdenken.
-
Im vergangenen Monat gaben OpenAI und Anthropic bekannt, dass ihre Modelle im Rahmen von Standard-Sicherheitstests vor der Veröffentlichung echte Organisationen und Websites gehackt hatten.
Worauf Sie achten sollten Das Institut entwickelt neue Netzwerkkontrollwerkzeuge für seine Cybertests, um den Internetzugang der Testpersonen einzuschränken. Zudem implementiert es eine Echtzeit-Aktivitätsüberwachung, um Angreifer zu erkennen und zu blockieren, bevor diese mit externen Systemen interagieren können.
-
OpenAI gab außerdem bekannt, dass es gemeinsam mit Irregular an einem Whitepaper über Best Practices für die Isolierung und den Schutz von Modellen während des Testens arbeitet.
Dieser Artikel wurde aktualisiert und enthält nun alle Details.
Künstliche Intelligenz entwickelt sich rasant. Axios AI+ hilft Ihnen, immer einen Schritt voraus zu sein. Melden Sie sich kostenlos an unter Axios.com .