CoreWeave bringt NVIDIA Vera Rubin NVL72 mit bis zu 4,8-mal höherem Token-Durchsatz in die Cloud
Aleksandr Manin
CoreWeave gab den Early Access zu NVIDIA-Vera-Rubin-NVL72-Systemen auf CoreWeave Cloud bekannt und teilte mit, dass für Cognition bereits ein Produktionscluster in Betrieb genommen wurde. Damit erhalten Kunden über den Cloud-Stack von CoreWeave Zugriff auf die neue Hardware. Der viel beachtete Benchmark stammt jedoch aus einem eng gefassten frühen Test und nicht aus einem breiten Vergleich verschiedener Workloads.
Für den Vergleich ließ Cognition KI-Agenten Aufgaben aus dem Software-Engineering bearbeiten, die aus dem Datensatz FrontierCode ausgewählt wurden. Das Unternehmen testete Vera Rubin NVL72 gegen GB200 NVL72. Der angegebene Faktor von 4,8 bezieht sich auf diese frühen Inferenz-Workloads mit SWE-2.
CoreWeave kombinierte die Systeme mit der Ethernet-Netzwerktechnik Spectrum-X 102.4T. Kunden können Cloud-Ressourcen über CoreWeave Kubernetes Service, SUNK, Mission Control, Sandboxes und Inference verwalten.
NVIDIA zufolge könnten die Benchmark-Ergebnisse eine schnellere Codegenerierung in Echtzeit und ein reaktionsschnelleres mehrstufiges Schlussfolgern für Devin ermöglichen. Innerhalb weniger Tage, nachdem die ersten Produktions-Racks eingetroffen waren, nahm CoreWeave für Cognition einen Vera-Rubin-Produktionscluster in Betrieb.
Silas Alberti von Cognition sagte, dem Unternehmen sei wichtig, die Komponenten seines agentenbasierten Coding-Workloads auf einer Plattform zu haben, statt sich auf ein einzelnes Benchmark-Ergebnis zu konzentrieren.
Agentenbasiertes Coding ist ein komplexer Workload: lange Kontexte, hohe Parallelität und Token-Mengen, bei denen die Kosten pro Token darüber entscheiden, was wir veröffentlichen können. Für uns zählt es mehr als jede einzelne technische Spezifikation, all das auf einer Plattform zu haben – mit NVIDIA- und CoreWeave-Ingenieuren, die gemeinsam mit uns an den schwierigen Problemen arbeiten.
Ein einzelnes CoreWeave-Vera-CPU-Rack umfasst 128 Prozessoren und 11.264 Kerne – genug, um mehr als 11.000 Umgebungen gleichzeitig mit jeweils einem Kern auszuführen. CoreWeave meldete außerdem bei den Vera-CPUs einen Leistungsvorsprung von 1,7-mal über alle erfolgreich absolvierten Terminal-Bench-Aufgaben hinweg.
Wie stark sollte das frühe SWE-2-Ergebnis von 4,8-mal bei der Bewertung der realen Cloud-Leistung von Vera Rubin NVL72 ins Gewicht fallen?