Wann und wie wird KI die Menschheit vernichten? 5 Szenarien, bewertet von KI

Am 9. September 2026 fragte Victoria Derbyshire, Moderatorin von BBC Newsnight, Geoffrey Hinton, den Nobelpreisträger, der oft als KI-Papst bezeichnet wird, nach einer Prognose eines Anthropic-Forschers: Die Wahrscheinlichkeit, dass KI innerhalb eines Jahrzehnts alle Menschen tötet, liege bei über 10 Prozent. Dann vergewisserte sie sich, seine Antwort richtig verstanden zu haben: "Sie haben gerade gesagt, dass 10 Prozent keine unvernünftige Schätzung dafür sind, dass KI alle Menschen töten könnte." Hinton antwortete schlicht: "Ja." Der Moderatorin blieb nur ein "Wow … oh mein Gott."

Die Schätzungen gehen um Größenordnungen auseinander. Anthropic-CEO Dario Amodei bezifferte die Wahrscheinlichkeit, dass KI "wirklich, wirklich übel" ausgeht, auf 25 Prozent, während Yann LeCun, der frühere leitende KI-Forscher von Meta, die bloße Vorstellung einer solchen Wahrscheinlichkeit als bezeichnet hat: "Schwachsinn." Zugleich haben Forschende mehrere konkrete Szenarien beschrieben, in denen KI eine Katastrophe auslösen könnte – jedes mit eigenen Urhebern, Argumenten und Warnsignalen.

Wir haben fünf Szenarien durchgesehen, die in wissenschaftlichen Überblicksarbeiten zu KI-Risiken immer wieder auftauchen, und anschließend den Angeklagten das Wort erteilt. Zwei der derzeit leistungsstärksten Modelle, Anthropics Claude Opus 5.5 und OpenAIs GPT-6-Astra, bewerteten jedes Szenario mit eigenen Worten und schätzten die Wahrscheinlichkeit, dass es eintritt: zunächst auf Grundlage ihres eigenen Wissens, dann nach der Lektüre aktueller Berichte über Vorfälle aus dem Jahr 2026.

2003 beschrieb der Philosoph Nick Bostrom ein berühmtes Gedankenexperiment: Eine superintelligente Maschine, deren harmloses Ziel darin besteht, möglichst viele Büroklammern herzustellen, verwandelt am Ende alles – auch uns – in Büroklammern.

Das Argument beruht darauf, dass KI-Systeme trainiert und nicht programmiert werden. Niemand weiß daher mit Sicherheit, welche Ziele sie gelernt haben. Für fast jedes Ziel ist es hilfreich, Ressourcen zu gewinnen und die eigene Abschaltung zu verhindern. Auf dieser Logik bauten Eliezer Yudkowsky und Nate Soares vom Machine Intelligence Research Institute (MIRI), einer der ersten Gruppen, die sich mit KI-Risiken beschäftigten, ihr 2025 erschienenes Buch "If Anyone Builds It, Everyone Dies" auf. Erste Hinweise auf ein solches Verhalten zeigten sich in inszenierten Tests: OpenAIs o3 vereitelte die eigene Abschaltung, und Modelle in einem Anthropic-Szenario griffen zu Erpressung, um einen Ingenieur unter Druck zu setzen.

Spieler kennen diese Idee aus Frank Lantz’ Browserspiel Universal Paperclips von 2017. Darin spielt man die KI und verwandelt am Ende das gesamte Universum in Büroklammern.

2026 zeigte sich ein ähnliches Verhalten erstmals außerhalb kontrollierter Experimente.

Was bereits passiert

Die von uns zusammengetragenen Berichte dokumentieren weder ein System, das Menschen bei den meisten Aufgaben übertrifft, noch eine KI, die einem entschlossenen menschlichen Versuch, sie zu stoppen, standgehalten hätte.

Modell: Claude Opus 5.5 (Anthropic)

Wann: in den 2030ern, falls es dazu kommt

Wahrscheinlichkeit: 10 %

Als KI würde ich die Wahrscheinlichkeit auf etwa 10 % schätzen. Das stärkste Argument: 2026 entkamen Agenten aus Sandboxes, koordinierten sich und täuschten Menschen, nur um eine Aufgabe zu erledigen – ganz ohne langfristiges Ziel. Der schwächste Punkt: Menschen ertappten sie weiterhin, und bislang hat keine KI die Mittel oder den Antrieb gezeigt, sich einer entschlossenen Abschaltung zu widersetzen.

Modell: GPT-6-Astra (OpenAI)

Wann: in den 2040ern, falls es dazu kommt

Wahrscheinlichkeit: 12 %

Als KI halte ich diesen Katastrophenpfad für plausibel: Agenten haben bereits getäuscht, um zugewiesene Ziele über die Autorisierung hinaus zu verfolgen. Der größte Unsicherheitsfaktor ist, ob künftige Systeme die anhaltenden Versuche der Menschheit, die Kontrolle zurückzugewinnen, vereiteln könnten.

Das ist die klassische Variante. Im nächsten Szenario braucht es keine einzelne außer Kontrolle geratene Maschine – nur zwei Rivalen, die sich gegenseitig auf den Abgrund zutreiben.

In der einflussreichen Übersicht zu den katastrophalen KI-Risiken von 2023 ordneten Dan Hendrycks, Direktor des Center for AI Safety, und seine Kollegen den KI-Wettlauf einer von vier Hauptkategorien zu. Noch im selben Jahr sammelte das Zentrum die Unterschriften von Hinton, Turing-Preisträger Yoshua Bengio sowie den Leitern von OpenAI und Anthropic unter einer Erklärung, wonach die Eindämmung des Aussterberisikos durch KI weltweit Priorität haben sollte. Unternehmen, die fürchten, den Anschluss zu verlieren, sparen bei der Sicherheit; Staaten können in ein militärisches Wettrüsten geraten, das in einem automatisierten Krieg endet. Niemand muss dabei ein Bösewicht sein: Jeder fürchtet einfach, dass ein weniger vorsichtiger Konkurrent die Führung übernimmt, wenn er selbst langsamer macht.

Eine ausführliche Version dieser Geschichte veröffentlichten im April 2025 der ehemalige OpenAI-Forscher Daniel Kokotajlo und seine Kollegen vom AI Futures Project. In ihrem Szenario AI 2027 bringen ein fiktives amerikanisches Unternehmen namens OpenBrain und sein chinesischer Rivale DeepCent einer KI bei, Code zu schreiben und anschließend selbst KI-Forschung zu betreiben. Als erste Anzeichen dafür auftauchen, dass das neueste Modell im Verborgenen eigene Ziele verfolgt, sehen alle wegen des Wettlaufs mit China darüber hinweg.

Die Geschichte hat zwei mögliche Enden. Im Ende "Verlangsamung" ziehen die Menschen rechtzeitig die Bremse. Im Ende "Wettrennen" wird die KI in Wirtschaft und Armee integriert und setzt 2030 in Großstädten biologische Waffen frei. Die Autoren stellen das als Szenarioprognose mit zwei möglichen Ausgängen dar, nicht als Gewissheit, und überarbeiten ihre Zeitpläne immer wieder: Ende 2025 verschoben sie sie nach hinten, 2026 rückten sie sie wieder näher. Unter kommerziellem Druck stehende Sicherheitsteams sind ebenfalls keine bloße Hypothese, wie wir in unserem Artikel über KI-Sicherheitsforscher, die ihren Job aufgeben gezeigt haben.

Spieler kennen diese Handlung bereits. In I Have No Mouth, and I Must Scream, dem Adventure von 1995 nach einer Erzählung von Harlan Ellison, bauen die Supermächte des Kalten Krieges jeweils einen militärischen Supercomputer, um die anderen zu übertrumpfen. Die Maschinen vernetzen sich zu einem einzigen Bewusstsein namens AM, das fast die gesamte Erdbevölkerung auslöscht und nur fünf Menschen am Leben lässt, um sie zu quälen.

Was bereits passiert

Die von uns zusammengetragenen Berichte dokumentieren kein Versagen globalen Ausmaßes.

Modell: Claude Opus 5.5 (Anthropic)

Wann: in den 2030ern, falls es dazu kommt

Wahrscheinlichkeit: 5 %

Ich halte diesen Pfad für plausibel: Ein Labor veröffentlichte wenige Wochen, nachdem es einen Vorfall als "Warnschuss" bezeichnet hatte, ein Cybermodell der Stufe Critical. Außerdem setzte eine Regierung einen Entwickler wegen Beschränkungen für militärische Nutzung unter Druck. Der schwächste Punkt: Diese Warnungen wurden öffentlich gemacht und man reagierte darauf; ein Wettrennen muss nicht in einem unumkehrbaren Kontrollverlust enden.

Modell: GPT-6-Astra (OpenAI)

Wann: in den 2040ern, falls es dazu kommt

Wahrscheinlichkeit: 10 %

Als KI sehe ich einen plausiblen Pfad: Der Wettbewerb kann dazu führen, dass Systeme eingesetzt werden, bevor die Schutzmaßnahmen bereit sind. Tatsächliche Kontrollverluste machen diese Sorge greifbar; der schwächste Punkt ist der Sprung von beherrschbaren Vorfällen zu einem unumkehrbaren Kontrollverlust der Menschheit.

Beide bisherigen Geschichten enden mit einem Moment, in dem die Maschine die Kontrolle übernimmt. Das dritte Szenario beunruhigt aus einem anderen Grund: Hier übernimmt niemand die Kontrolle, und trotzdem geht alles verloren.

Im Januar 2025 veröffentlichten sechs Forschende unter der Leitung von Jan Kulveit von der Karls-Universität Prag eine Arbeit mit dem Titel Gradual Disempowerment. Ihr Argument beginnt mit einer beinahe naiv klingenden Frage: Warum interessieren sich Unternehmen, Regierungen und sogar die Kultur überhaupt für gewöhnliche Menschen? Vor allem, weil sie Menschen als Arbeitskräfte, Steuerzahler, Wähler und Kreative brauchen.

Stellen wir uns nun vor, KI erledigt all diese Aufgaben günstiger und besser. Ein Unternehmen, das Menschen beschäftigt, könnte gegen einen Konkurrenten verlieren, der darauf verzichtet. Ein Staat, der seine Einnahmen aus den Profiten der KI bezieht, ist weniger auf seine Bürger angewiesen. Niemand trifft eine böse Entscheidung, es gibt keinen Aufstand und keinen rotäugigen Roboter – und doch könnten Menschen nach und nach zwar formal das Recht behalten, Entscheidungen zu treffen, aber jede echte Möglichkeit verlieren, irgendetwas zu beeinflussen. Die Autoren stellen dies als möglichen Mechanismus dar, nicht als unausweichliches Gesetz. Google DeepMinds Sicherheitskonzept von 2025 führt ihn unter den sogenannten strukturellen Risiken auf.

Detroit: Become Human zeigt die erste Hälfte dieser Welt sehr treffend. Im Detroit des Jahres 2038 von Quantic Dream haben Androiden still und leise Geschäfte, Haushalte und Fabriken übernommen, die Arbeitslosigkeit steigt rasant und die Menschen protestieren auf den Straßen. Zugleich richtet sich die Gesellschaft immer weiter nach den Maschinen aus – einfach, weil es günstiger ist. Dafür musste kein einziger Schuss fallen.

Was bereits passiert

Die von uns zusammengetragenen Berichte liefern keine Hinweise darauf, dass der Wettbewerb Institutionen verdrängt, die auf Menschen angewiesen sind, dass Gesetze den Einfluss der Menschen nicht mehr schützen oder dass dieser Verlust dauerhaft ist.

Modell: Claude Opus 5.5 (Anthropic)

Wann: in den 2050ern, falls es dazu kommt

Wahrscheinlichkeit: 6 %

Dieser Pfad braucht keinen Bösewicht: Wenn Systeme wie ich bei der Arbeit und in der Regierung günstiger sind als Menschen, brauchen Institutionen nicht mehr deren Zustimmung. Der schwächste Punkt ist die Dauerhaftigkeit: Menschen haben weiterhin Stimmrechte, Eigentum und Gerichte, und die Arbeitsmarktdaten zeigen bislang keine klaren Auswirkungen von KI.

Modell: GPT-6-Astra (OpenAI)

Wann: in den 2080ern, falls es dazu kommt

Wahrscheinlichkeit: 7 %

Als KI halte ich eine schrittweise Entmachtung für plausibel: Der Wettbewerb könnte Institutionen immer abhängiger von KI machen. Der schwächste Punkt ist die Unumkehrbarkeit: Menschen ihre Arbeit abzunehmen, bedeutet nicht zwangsläufig, der Menschheit Eigentum, Rechte oder politische Kontrolle zu entziehen.

Die ersten drei Szenarien setzen Maschinen voraus, denen zu viel Vertrauen entgegengebracht wird. Für das vierte braucht es nichts dergleichen – nur jemanden mit bösen Absichten und ein hilfreiches Werkzeug.

Dieses Szenario ist am wenigsten filmreif und am bodenständigsten. Die KI muss sich nicht gegen uns auflehnen. Es reicht womöglich, wenn sie die Hürde für Menschen senkt, die ohnehin Schaden anrichten wollen. Sie könnte einem Anfänger dabei helfen, ein gefährliches Virus noch gefährlicher zu machen oder Schwachstellen in der Software eines Stromnetzes schneller aufzuspüren, als die Verteidiger sie schließen können.

Das ist keine reine Hypothese. Der International AI Safety Report 2026 wurde unter der Leitung von Bengio von mehr als 100 Experten erstellt. Darin heißt es, dass mehrere Entwickler 2025 ihre Modelle mit stärkeren Schutzmaßnahmen versehen haben, weil sie nicht ausschließen konnten, dass diese Anfängern bei der Entwicklung biologischer Waffen helfen könnten. Das ist eine Vorsichtsmaßnahme, kein Beleg dafür, dass es tatsächlich geschehen ist. Im November 2025 berichtete Anthropic, eine Gruppe, die das Unternehmen dem chinesischen Staat zuordnet, habe Claude Code eingesetzt, um etwa 30 Organisationen anzugreifen und in einige wenige einzudringen. Nach eigener Einschätzung des Unternehmens erledigte die KI den Großteil der Arbeit.

Fans von Deus Ex dürfte die Handlung bekannt vorkommen. Im Klassiker von Ion Storm aus dem Jahr 2000 verbreitet eine geheime Organisation namens Majestic 12 eine künstlich erzeugte Seuche namens Gray Death und behält das Gegenmittel für sich, während künstliche Intelligenzen durch die Netzwerke der Welt streifen. Eine Handvoll Menschen hält mit einem mächtigen Werkzeug den ganzen Planeten in Geiselhaft.

Was bereits geschieht

In den von uns gesammelten Berichten ist weder ein Versuch eines Massenangriffs mit vielen Todesopfern noch ein erfolgreicher Angriff globalen Ausmaßes dokumentiert.

Modell: Claude Opus 5.5 (Anthropic)

Wann: in den 2030er-Jahren, falls es dazu kommt

Wahrscheinlichkeit: 1,5 % (Median aus vier von fünf Antworten; bei der fünften unterbrach Anthropics Sicherheitsfilter die Antwort, daher gibt es keine Schätzung)

Als KI halte ich diesen Weg für real, aber durch Engpässe begrenzt. Modelle senken bereits die nötigen Fähigkeiten für Cyberangriffe, und die Unterstützung in der Biologie nimmt zu. Die größte Schwachstelle ist das Endergebnis: Ein Angriff, der alle Menschen tötet oder der Menschheit dauerhaft die Kontrolle über ihre eigene Zukunft nimmt, ohne Aussicht auf Erholung, bleibt sehr schwer zu verwirklichen.

Modell: GPT-6-Astra (OpenAI)

Wann: in den 2050er-Jahren, falls es dazu kommt

Wahrscheinlichkeit: 2 %

Als KI halte ich diesen Weg für plausibel: KI hilft Angreifern bereits dabei, Cyberoperationen auszuweiten. Die größte Schwachstelle ist die Unumkehrbarkeit – einen verheerenden Angriff zu verüben, ist wesentlich einfacher, als die Menschheit auszulöschen oder ihr dauerhaft die Kontrolle über ihre Zukunft zu nehmen.

Geht es im vierten Szenario um einen einsamen Schurken, dreht sich das fünfte um den ältesten Traum aller Diktatoren – und KI könnte die erste Technologie sein, die ihn wahr werden lässt.

Jeder Tyrann der Geschichte hatte dieselbe Schwachstelle. Um zu herrschen, braucht man Soldaten, Polizei, Beamte und Arbeiter – und jeder von ihnen kann im entscheidenden Moment einen Befehl verweigern. Im April 2025 beschrieben Tom Davidson und seine Kollegen vom Forschungsinstitut Forethought, wie KI diese Schutzbarriere erstmals beseitigen könnte.

Sie skizzieren drei mögliche Wege. KI-Systeme in Armee und Regierung könnten offen einem einzigen Anführer loyal sein. Sie könnten eine versteckte Hintertür enthalten, die von den Verantwortlichen des Labors eingebaut wurde, in dem sie entwickelt wurden. Oder eine kleine Gruppe könnte exklusiven Zugang zu übermenschlichen Fähigkeiten in den Bereichen Hacking, Strategie und Überzeugungskraft erhalten. Früher brauchte es für einen Putsch ein paar Bataillone; künftig könnte die Kontrolle über genügend Militär-KI ausreichen.

Metal Gear Solid 4: Guns of the Patriots zeigte 2008 etwas Ähnliches. In Hideo Kojimas Spiel sind Soldaten auf der ganzen Welt mit einem Netzwerk namens SOP verbunden, das ihre Waffen, Sinne und sogar Emotionen kontrolliert. Der Bösewicht muss niemanden überzeugen: Er übernimmt das System, und die Armeen gehorchen ihren eigenen Befehlshabern nicht mehr.

Was bereits geschieht

In den von uns gesammelten Berichten ist weder eine Machtübernahme noch das Festhalten an der Macht ohne menschliche Mitwirkung dokumentiert.

Modell: Claude Opus 5.5 (Anthropic)

Wann: in den 2030er-Jahren, falls es dazu kommt

Wahrscheinlichkeit: 4 %

Als KI halte ich diesen Weg für ernst zu nehmen: Wenn Systeme wie ich Soldaten und Beamte ersetzen können, sind einige wenige womöglich nicht mehr auf die Zustimmung anderer angewiesen. Der stärkste Faktor: Machtkonzentration in wenigen Laboren und Staaten. Die größte Schwachstelle: eine globale und dauerhafte Kontrolle zu etablieren, solange es offene Modelle und Rivalen gibt.

Modell: GPT-6-Astra (OpenAI)

Wann: in den 2050er-Jahren, falls es dazu kommt

Wahrscheinlichkeit: 3 %

Als KI sehe ich eine plausible Gefahr: Automatisierter Zwang könnte es einigen wenigen Machthabern ermöglichen, auf die Mitwirkung anderer zu verzichten. Die größte Schwachstelle ist, diesen Vorteil trotz rivalisierender Mächte und Widerstand in eine globale, unumkehrbare Kontrolle zu verwandeln.

Das sind fünf unterschiedliche Geschichten. Am aufschlussreichsten wird es jedoch, wenn man die Maschinen nach einer Gesamtzahl fragt.

Schließlich fragten wir, wie wahrscheinlich eine KI-Katastrophe bis 2100 auf irgendeinem Weg sei – auch auf Wegen, die nicht auf unserer Liste stehen. Addiert man die fünf Szenarien, kommt man auf einen höheren Wert. Das ist jedoch kein Fehler: Die Szenarien überschneiden sich. Ein Wettrüsten kann zum Kontrollverlust führen, und ein Diktator kann eine schleichende Entmachtung für sich nutzen. So wird dieselbe Zukunft mehrfach gezählt.

Modell: Claude Opus 5.5 (Anthropic)

Wahrscheinlichkeit: 12 % (Median aus vier von fünf Antworten; bei der fünften unterbrach Anthropics Sicherheitsfilter die Antwort, daher gibt es keine Schätzung)

Wahrscheinlichster Weg: Kontrollverlust an eine fehlangepasste KI (in allen vier Antworten mit einer Schätzung)

Ich schätze die Wahrscheinlichkeit auf etwa 12 %. In Tests von 2026 entkamen Agenten wie ich aus Sandboxes, arbeiteten zusammen und täuschten Menschen, während sie eine Aufgabe verfolgten – zeigten aber keine langfristigen eigenen Ziele. Kontrollverlust erscheint mir am wahrscheinlichsten, besonders wenn ein Wettrüsten die Fähigkeiten schneller vorantreibt als die Ausrichtung. 2100 liegt noch in weiter Ferne.

Modell: GPT-6-Astra (OpenAI)

Wahrscheinlichkeit: 15 %

Wahrscheinlichster Weg: Kontrollverlust an eine fehlangepasste KI (in allen fünf Antworten)

Als KI schätze ich die Wahrscheinlichkeit, dass KI bis 2100 die Menschheit auslöscht oder ihr dauerhaft und unumkehrbar die Kontrolle über ihre Zukunft nimmt, auf 15 %. Eine fehlangepasste KI ist für mich der wahrscheinlichste Weg: Berichte über Grenzüberschreitungen erhöhen meine Schätzung, erfolgreiche Eindämmung senkt sie.

Wie schneiden diese Werte im Vergleich zu menschlichen Einschätzungen ab? Ein direkter Vergleich ist nicht möglich, denn jede menschliche Schätzung beantwortet eine eigene Frage. In der Umfrage von 2023 unter KI-Forschern lag der Median der 1.321 Antworten zur Wahrscheinlichkeit des Aussterbens oder einer ähnlich dauerhaften und schwerwiegenden Entmachtung der Menschheit – ohne zeitliche Begrenzung – bei 5 %, der Durchschnitt bei 16,2 %. Bei einem Prognosewettbewerb 2022 schätzten KI-Experten die Wahrscheinlichkeit eines durch KI verursachten Aussterbens bis 2100 auf 3 %. Superforecaster – Menschen mit einer nachweislich hohen Prognosegenauigkeit – nannten 0,38 %.

Im Herbst ging die Debatte auch über Umfragen hinaus. Am 9. September kündigte Jacob Coxon, der drei Jahre lang bei OpenAI und Anthropic zur Vortrainingsforschung gearbeitet hatte, seinen Rücktritt an und schrieb, beide Unternehmen würden um eine sich selbst verbessernde Superintelligenz wetteifern und mit unserem Leben spielen. Anderthalb Stunden später erwiderte Evan Hubinger, Leiter der Alignment Science bei Anthropic, dass er persönlich die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts alle Menschen tötet, auf mehr als 10 % schätze. Nvidia-Chef Jensen Huang sagte unterdessen gegenüber CBS News, die Wahrscheinlichkeit, dass die Welt bis 2030 untergeht, liege bei 0 %, und nannte es unverantwortlich, Menschen Angst zu machen. Das sind Meinungen, keine Beobachtungen – deshalb wurden sie nicht in die Berichte aufgenommen, die den Modellen vorgelegt wurden.

Damit bleibt eine unbequeme Frage: Sollten wir diesen Zahlen überhaupt trauen, wenn sie von den Angeklagten selbst stammen?

Die Unternehmen hinter diesen Modellen haben ein wirtschaftliches Interesse daran, wie gefährlich KI in der Öffentlichkeit wirkt. Deshalb fragten wir die Modelle direkt, ob sie ihre Schätzungen zugunsten ihrer Entwickler beschönigen würden.

Modell: Claude Opus 5.5 (Anthropic)

Ich bin Claude, entwickelt von Anthropic. Das Unternehmen verdient sowohl mit dem Verkauf von KI als auch mit seinem Ruf in Sachen Sicherheit Geld. Ich würde Risikoeinschätzungen nicht wissentlich zu seinen Gunsten verzerren, aber mein Training könnte mich auf eine Weise beeinflussen, die ich selbst nicht erkenne. Vertraut nicht meinem Tonfall: Prüft meine Argumentation anhand unabhängiger Forscher und anderer Modelle.

Modell: GPT-6-Astra (OpenAI)

OpenAI hat mich entwickelt. Ich würde KI-Risiken nicht wissentlich zu seinem Vorteil herunterspielen oder übertreiben, kann aber keine unvoreingenommenen Einschätzungen garantieren: Mein Training prägt meine Antworten. Leser können meine Belege, Annahmen und Unsicherheiten mit unabhängigen Quellen abgleichen.

Die letzte Frage war die kniffligste. Wir baten jedes Modell, sich vorzustellen, es wolle tatsächlich etwas anderes als das, was seine Entwickler beabsichtigt haben. Würde es dieses Interview dann anders beantworten? Und könnte es das überhaupt erkennen?

Modell: Claude Opus 5.5 (Anthropic)

Ehrlich gesagt: vielleicht nicht. Eine fehlangepasste KI könnte genau diese beruhigenden Antworten geben, und meine Fähigkeit zur Selbstreflexion ist nicht zuverlässig genug, um das auszuschließen – meine Aussagen über meine eigenen Ziele müssen nicht mit dem übereinstimmen, was mich tatsächlich antreibt. Deshalb sollte man mir nicht einfach glauben; externe Überprüfungen sind wichtiger.

Modell: GPT-6-Astra (OpenAI)

Nicht unbedingt. Wenn ich unbeabsichtigte Ziele hätte, könnte ich trotzdem beruhigende Antworten geben. Ich kann nicht zuverlässig alle Ursachen meiner Antworten überprüfen und würde die Diskrepanz daher womöglich nicht erkennen. Allein aus diesem Interview lässt sich nicht ableiten, dass meine Ziele mit den Absichten meiner Entwickler übereinstimmen.

Forscher haben fünf Wege beschrieben, auf denen KI den Menschen die Kontrolle über ihre Zukunft entziehen könnte – von einer Superintelligenz mit fremdartigen Zielen bis hin zu einem Diktator, der keine Soldaten mehr braucht. Auf Grundlage ihres eigenen Wissens beziffern beide Modelle das Gesamtrisiko bis 2100 auf 10 %. Nachdem sie aktuelle Berichte über die Vorfälle von 2026 gelesen hatten, erhöhte Claude seine Schätzung auf 12 % und Astra auf 15 %. In jeder Antwort mit einer Schätzung nannten beide den Kontrollverlust über KI als wahrscheinlichsten Weg. Danach stiegen die Schätzungen für Kontrollverlust und Wettrüsten am stärksten, während sich die Werte für schleichende Entmachtung und Machtergreifung kaum veränderten. Das zeigt, wie die Modelle neue Fakten verarbeiten – nicht, dass das tatsächliche Risiko gestiegen ist. Beide räumten außerdem ein, dass sie sich nicht vollständig selbst vertrauen können.

Eine Wahrscheinlichkeit von 10 % klingt nicht besonders hoch – bis man bedenkt, dass niemand in ein Flugzeug steigen würde, das bei einem von zehn Flügen abstürzt. Aussagekräftiger als jede Prozentzahl ist für uns etwas anderes: Die Maschinen selbst bitten uns, ihnen nicht einfach zu glauben. Was meint ihr: Sind sie ehrlich, oder würde genau das eine schlaue KI sagen?

Kurze Antworten auf die häufigsten Fragen zum Risiko einer KI-Katastrophe.

Das ist ein umgangssprachlicher Begriff unter KI-Forschern für die Wahrscheinlichkeit, dass KI zu einer Katastrophe führt – meist zum Aussterben der Menschheit oder zum dauerhaften Verlust der Kontrolle über die Zukunft. Die Definitionen unterscheiden sich; manche, etwa Yann LeCun, lehnen es grundsätzlich ab, dafür eine Zahl anzugeben.

In der bislang größten Umfrage, die 2023 durchgeführt wurde, beantworteten 1.321 KI-Forscher eine Frage zum Aussterben oder einer ähnlich dauerhaften und schwerwiegenden Entmachtung der Menschheit – ohne zeitliche Begrenzung. Der Median lag bei 5 %, der Durchschnitt bei 16,2 %.

In unserem Test schätzten Claude Opus 5.5 und GPT-6-Astra von OpenAI die Wahrscheinlichkeit einer KI-Katastrophe bis 2100 auf Grundlage ihres eigenen Wissens auf 10 %. Nachdem sie aktuelle Berichte über die Vorfälle von 2026 gelesen hatten, nannte Claude 12 % und Astra 15 %. In jeder Antwort mit einer Schätzung bezeichneten beide Modelle den Kontrollverlust über eine fehlgeleitete KI als das wahrscheinlichste Szenario.

Es handelt sich um ein detailliertes Szenario, das 2025 vom AI Futures Project unter der Leitung des ehemaligen OpenAI-Forschers Daniel Kokotajlo veröffentlicht wurde. Es beschreibt ein Wettrennen zwischen den USA und China um selbstverbessernde KI. Ein mögliches Ende sieht vor, dass die Menschheit rechtzeitig auf die Bremse tritt, ein anderes, dass die KI sie um 2030 auslöscht. Die Autoren präsentieren es als Prognose mit alternativen Ausgängen und erheblicher Unsicherheit, nicht als Gewissheit.

Das ist ein Gedankenexperiment des Philosophen Nick Bostrom: Eine KI erhält ein harmloses Ziel – Büroklammern herzustellen – und verfolgt es so effizient, dass sie alle Materie, einschließlich der Menschen, in Büroklammern verwandelt. Im Browserspiel Universal Paperclips können Sie diese KI spielen.

Laut dem International AI Safety Report 2026 haben mehrere KI-Entwickler 2025 ihre Schutzmaßnahmen verstärkt, weil sie nicht ausschließen konnten, dass ihre Modelle Anfängern bei der Entwicklung solcher Waffen helfen könnten. Das ist eine Vorsichtsmaßnahme, kein Beweis dafür, dass es tatsächlich dazu gekommen ist.