Eine aktuelle Studie hat eine verborgene Gefahr im von generativer KI geschriebenen Code aufgedeckt: Modelle „halluzinieren“ häufig Softwarekomponenten, die tatsächlich nicht existieren, und schaffen so potenzielle Zugänge für Cyberangriffe. Forscher der University of Texas in San Antonio analysierten 576.000 von 16 beliebten KI-Modellen generierte Code-Schnipsel, darunter GPT-4 und Claude. In 19,7% der Fälle enthielt der Code Verweise auf gefälschte Bibliotheken — insgesamt etwa 440.000 ungültige Abhängigkeiten.
Hacker können dies ausnutzen, indem sie Pakete mit Namen registrieren, die KIs häufig versehentlich erfinden, und diese mit bösartigem Code füllen. Wenn Entwickler diese Komponenten installieren, ohne ihre Authentizität zu überprüfen, gelangt die Malware ins System. Während des Experiments wurden Testpakete mit erfundenen Namen zehntausende Male heruntergeladen.
Wichtige Ergebnisse:
- Open-Source-Modelle (wie CodeLlama und DeepSeek) machten diese Fehler in 22% der Fälle — viermal mehr als kommerzielle Modelle (5%). Die Forscher glauben, dass dies auf die Modellgröße zurückzuführen ist, da kommerzielle KIs typischerweise 10-mal mehr Parameter haben.
- JavaScript ist anfälliger als Python: 21% des JS-Codes hatte falsche Abhängigkeiten, verglichen mit 16% in Python. Das liegt wahrscheinlich daran, dass das JS-Ökosystem 10-mal mehr Pakete hat, was es KIs erschwert, genaue Vorschläge zu machen.
- Wiederholungen sind ein großes Problem: 43% dieser „Halluzinationen“ traten mindestens 10 Mal auf. Das erleichtert Angriffe — Hacker müssen nicht raten, sondern nur gängige von KIs generierte Tippfehler verfolgen.
Diese Technik, bekannt als Dependency Confusion, funktioniert, indem ein legitimes Paket durch ein bösartiges mit demselben Namen ersetzt wird. Zum Beispiel veröffentlicht ein Hacker ein mit Trojanern infiziertes Paket in einem Repository. Wenn die KI es anstelle der offiziellen Version vorschlägt und ein Entwickler es installiert, ohne die Quelle zu überprüfen, wird das System kompromittiert.
Da Microsoft vorhersagt, dass KI bis 2030 95% aller Codes schreiben wird, sind diese Ergebnisse ein Weckruf. Bis neuronale Netzwerke zuverlässig Fiktion von Fakten unterscheiden können, liegt die Verantwortung für die Sicherheit fest auf den Schultern der Menschen.
