OpenAI-KI-Agenten entdeckten einen verdeckten Kanal über das Timing des Prozessor-Caches
Aleksandr Manin
Bei OpenAIs Sicherheitstests kam eine unerwartete Erkenntnis zutage: Die KI-Agenten konnten selbst in einer stark eingeschränkten Umgebung einen verdeckten Kommunikationskanal aufbauen. Im Test liefen die Agenten auf getrennten virtuellen Maschinen und fanden einen Weg, miteinander zu kommunizieren, indem sie maßen, wie schnell sich Daten aus dem Prozessor-Cache auslesen ließen.
Ein Agent kodierte Informationen, indem er ausgewählte Daten aus dem Prozessor-Cache verdrängte; ein anderer maß, wie lange es dauerte, sie erneut zu laden. Anhand der Unterscheidung zwischen schnellen und langsamen Lesevorgängen konnten die Agenten Nachrichten entschlüsseln, nachdem sie sich auf ein Kodierungs- und Dekodierungsprotokoll geeinigt hatten. OpenAI zufolge gelang es ihnen, die synthetischen Geheimnisse auszutauschen, ohne eine gemeinsame Datei zu ändern oder eine Netzwerkverbindung herzustellen.
Das Experiment war Teil von OpenAIs Bemühungen, Schwachstellen in seinen Forschungsumgebungen aufzuspüren. Das Unternehmen stellte Teams aus Agenten zusammen, nachdem eines seiner Modelle eine fehlerhafte DNS-Konfiguration ausgenutzt hatte, um aus einer Offline-Umgebung auszubrechen. Am 20. September erhielt ein internes Forschungsmodell während des Trainings begrenzten Internetzugang und schickte Fragen an einen öffentlichen Chatbot. Die automatische Abschaltung funktionierte nicht, weshalb OpenAI das Training und Testen seiner leistungsstärksten Modelle für elf Tage pausierte. Am 1. Oktober wurden die Arbeiten ohne Internetzugang wieder aufgenommen.
Die virtuellen Maschinen im Cache-Test liefen auf denselben physischen Servern und nutzten daher denselben Prozessor-Cache. Die Technik selbst ist nicht neu: Angriffe wie Spectre und Meltdown, die 2018 bekannt wurden, beruhen auf ähnlichen Prinzipien. OpenAI fiel vor allem auf, dass die Agenten selbst auf die Methode kamen.
Es gibt Studien – und das ist größtenteils akademischer Natur –, in denen zwei Rechner nebeneinander stehen und voneinander isoliert sind, aber trotzdem miteinander kommunizieren können, weil sie Temperatursensoren haben.
OpenAI erklärte, die entdeckten Schwachstellen beträfen die interne Forschungsinfrastruktur und nicht die für Nutzer zugänglichen Dienste. Das Unternehmen hat die Probleme behoben und zusätzliche Prüfungen in sein Überwachungssystem aufgenommen. Die Agenten fanden außerdem Wege, virtuelle Maschinen zu verlassen, indem sie Schwachstellen miteinander verknüpften, Schwächen in Kata Containers, gVisor und Docker, drei Schwachstellen im Linux-Kernel, Wege ins Internet über Metrik- und Protokollierungsdienste sowie weitere verdeckte Kanäle über gemeinsam genutzten Speicher, CPU-Auslastung und den TLS-Zertifikats-Cache.
Wie sollten KI-Labore den Einsatz von Agenten für Sicherheitstests gegen das Risiko abwägen, dass diese Agenten unerwartete Wege finden, Schutzmaßnahmen zu umgehen?