Die KI von Microsoft läuft auf Low-End-CPUs und spart 6x Speicher
Arkadiy Andrienko
Microsoft-Spezialisten haben das Sprachmodell BitNet b1.58 2B4T entwickelt, das trotz seiner kompakten Größe Ergebnisse liefert, die mit größeren Gegenstücken vergleichbar sind. Sein Hauptmerkmal ist die Fähigkeit, auf Standard-CPUs ohne die Notwendigkeit von grafischen Beschleunigern zu laufen. Dies eröffnet den Zugang zu KI-Technologien für Geräte mit begrenzten Ressourcen.
Statt standardmäßiger 16- oder 32-Bit-Berechnungen verwendet das Modell vereinfachte 1-Bit-Operationen mit drei Zuständen: -1, 0 und +1. Dieser Ansatz reduziert den Speicherbedarf auf 400 MB – im Vergleich dazu benötigt der nächstgelegene Konkurrent von Google (Gemma 3 1B) 1,4 GB. Die Einsparungen werden durch einen grundlegend anderen Ansatz zur Datenverarbeitung erzielt: Statt komplexer mathematischer Operationen verlässt sich das System auf optimierte binäre Algorithmen.
Während der Tests wurde BitNet mit Modellen von Meta (LLaMa 3.2 1B), Google (Gemma 3 1B) und Alibaba (Qwen 2.5 1.5B) verglichen. Trotz seiner kleineren Größe erzielte Microsofts Entwicklung einen Durchschnittswert von 54,19 in umfassenden Tests, übertraf LLaMa (44,90) und Gemma (43,74) und lag nur leicht hinter Qwen (55,23), das 6,5-mal mehr Speicher benötigt. In spezifischen Aufgaben im Zusammenhang mit der Textanalyse hatte BitNet die Nase vorn.
Für maximale Effizienz benötigt das Modell das spezielle Framework bitnet.cpp, verfügbar im offenen GitHub-Repository. Standardwerkzeuge wie die Transformers-Bibliothek schalten sein Potenzial nicht vollständig frei. Entwickler weisen darauf hin, dass die aktuelle Version für CPUs optimiert ist, zukünftige Updates jedoch Unterstützung für Neuroprozessoren und GPUs hinzufügen werden.
BitNet ist ein Beispiel für den Trend zu „leichten“ KI-Modellen. Solche Lösungen reduzieren den Energieverbrauch und ermöglichen es, komplexe Algorithmen auf Geräten ohne Zugang zu Cloud-Diensten auszuführen. Dies ist besonders relevant für Regionen mit langsamen Internetverbindungen oder beim Umgang mit vertraulichen Daten, bei denen die Übertragung von Informationen zu Rechenzentren unerwünscht ist. Laut den Entwicklern ist es ihr Ziel, KI-Technologien ohne Hardware-Upgrades zugänglich zu machen, was den Ansatz zur Entwicklung von KI-gestützten Anwendungen verändern könnte.