Immer häufiger hört man heutzutage etwas über die Risiken und Gefahren von “KI”. Erstmal vorne weg, die Frage, ob “KI” gefährlich ist, kann man ganz klar mit ja beantworten: KI wird in der Kriegsführung eingesetzt1, für Propaganda2, Massenüberwachung[^Überwachung], autonome Erpressung3 und rät zum Suizid4. Die mittelfristigen Auswirkungen auf die Gesamtgesellschaft bezüglich sozialen Zusammenhalt und wahrscheinlich auch wirtschaftlich (allein auf dem Stand auf dem KI-Modelle heute sind und sei es nur, dass die Börse crasht) sind nicht klar absehbar, aber definitiv existent.

Die Frage die aber auch immer größer wird und um die es hier gehen soll, gerade auch weil der Begriff “KI” viel in dystopischen Filmen verwendet wird, ist die Frage ob “KI” eine existenzielle Gefahr ist, wie es ein Nuklearkrieg ist.

Was ist “Künstliche Intelligenz”?

Bevor wir uns aber damit beschäftigen, erst Mal ein kurzer Einschub. Künstliche Intelligenz ist ein Hype Begriff, der alles und nichts heißen kann. Um mal die Extreme aufzuweisen: Ich habe Werbung gesehen, die eine Kaffeemaschine als “KI-unterstützt bezeichnet” und, das einzige was konkret dahingehen genannt wurde, war dass das favorisierte Getränke weiter oben in der Liste ist (also wahrscheinlich einfach jenes, welches am häufigsten verwendet wird.)

Auf der anderen Seite schwingt beim Begriff “Künstliche Intelligenz” die ganzen Blockbuster à la Terminator mit. Bei der KI schlauer als Menschen ist und versucht die Menscheheit zu vernichten.

Der Begriff KI ist deswegen zu nebulös und konnotiert für eine gute Debatte. Deshalb grenze ich den Begriff hier erst einmal ein, ich beziehe mich auf Modelle, die durch Machine Learning, hier fast ausschließlich der (auch unklar abgegrenzte) Bereich “Deep Learning” entstanden sind und heute schon unglaubliche Dinge erreichen – von Echtzeit-Übersetzung über Blumen erkennen bis zur automatisierter Kriegsführung.

Modelle wie ChatGPT, Gemini und Claude basieren auf sogenannten LLMs (Large Language Models), ein Sammelbegriff für eine Vielzahl von konkreten Modellen, die aber auf derselben Idee aufsetzen. Dieser Begriff ist schon viel klarer definiert und mir deshalb für die Meisten Diskussionen lieber. Hier bleibe ich aber bei dem Begriff KI, da die Beispiele nicht nur auf LLMs begrenzt sind.

Wie auch schon oben ausgeführt ist also KI sehr präsent und auch schon sehr gefährlich, aber die entscheidende Frage ist: Geht das jetzt so weiter?

Der beeindruckende Fortschritt der KI

Es gibt erstaunlich viele Menschen, die sich schon lange viel Gedanken über die existenziellen Risiken von KI machen und viele Argumente für diese Szenarien liefern.

Im Endeffekt gibt es bisher aber nur ein Argument, das ich überzeugend finde: KI hat bisher sehr viel geschafft, von dem man dachte es würde sehr viel länger dauern oder sogar ganz unmöglich wäre für Maschinen: Sie haben Go und Schach gemeistert, Texte geschrieben, Bilder gemalt und sogar Proteine gefaltet.5

Die Frage, die sich daraus ergibt, ist ziemlich klar: Was ist mit den Problemen die KI heute noch nicht lösen kann, oder bei denen es unmöglich scheint, dass eine KI sie löst? Wir die KI bald intelligenter und schneller sein als wir?

Und was heißt das dann? Wenn die KI das Ziel hatte Büroklammern herzustellen, stellt sie dann aus allem, inklusive uns Menschen Büroklammern her?6 Oder wenn ein Teil der Programmierung/Zielsetzung der KI ist einfach nur nicht abgeschaltet zu werden? Vernichtet sie dann alles intelligente Leben um dieses Ziel zu erfüllen?

Und selbst wenn sie noch von Menschen “kontrolliert” wird, ist die Frage ob wir die Auswirkungen überblicken könnten - und was die Ziele dieser Menschen sind.

Das epistemische Risiko: Das Unbekannte

Aber natürlich kann keiner (wirklich) sagen, dieses Szenario wird eintreten bzw. dieses Szenario ist x% wahrscheinlich - ganz im Gegensatz bspw. zum Klimawandel, bei dem wir das (unter der Annahme physikalischer Modelle7) ziemlich gut abschätzen können.

Das nennt man ein epistemisches Risiko, wir haben keine Ahnung ob dieses Szenario möglich ist und wenn ja wie wahrscheinlich es ist.

Der Sammelbegriff für diesen Gedankengang (das KI ein existenzielles Risiko ist/sein könnte) ist AI-Safety.

Aber KI ist nicht das einzige Problem

Dadurch wissen wir auch nicht ob es ein wichtiges Problem ist oder nicht und das man es in keine Schublade stecken kann und es genauer analysieren kann führt glaube ich zu einem Großteil dazu dass diese Diskussion in gewissen Kreisen sehr hitzig und zwingend unfundiert ist. Hinzu kommt ganz klar die beeindruckende Geschwindigkeit in der Entwicklung dieser Modelle, welche die Debatte sehr dringend macht/erscheinen lässt.

Klar muss dabei aber immer bleiben: existenzielle Risiken haben wir die ganze Zeit

Und die oben erwähnten anderen Probleme, die KI mit sich bringt, darf man auch nicht aus den Augen verlieren – darunter auch die Verschärfung der Klimakrise durch erhöhten Ressourcenbedarf.

Das paradoxe Verhalten vieler KI-Firmen und Entwickler

Das Seltsamste an der Sache ist aber definitiv, wie viele KI-Firmen selbst vor der Gefahr einer “superintelligenten KI” warnen (OpenAI, Anthropic) und viele der Mitarbeiter dieser Firmen auch sagen, es sei eine ihrer größten Ängste – aber trotzdem versuchen sie, möglichst schnell möglichst intelligente Modelle zu bauen.

Die meisten dieser Firmen haben das erklärte Ziel, eine superintelligente KI zu bauen (AGI) – etwas, das man sich auch ohne existenzielle Risiken gut überlegen sollte (ethische Implikationen, militärischer Einsatz).

Ich halte es hier auch nicht für unplausibel, dass zusätzlich zu der Faszination, die Technik weiterzubringen (und dem Geld), auch noch dieses Prinzip von “Wenn schon jemand eine Superintelligenz hat, dann möchte das schon ich sein, ich gehe wenigstens vernünftig damit um” mitschwingt.

Was sollten wir tun?

Daran merkt man vielleicht auch eine andere Komponente, warum dieses Problem so viel beschäftigt: Es sollte eigentlich so einfach zu lösen sein. Es müssten viel weniger Menschen aufhören, KIs zu programmieren, als beispielsweise Menschen aufhören müssten zu fliegen.

Das würde ich jetzt einfach mal sacken lassen, einen Moment nachdenken. Macht es soweit Sinn? Wenn nicht wäre ich sehr interessiert zu wissen, was unplausibel erscheint.

Wenn man der Meinung ist, dass KI eine existenzielle Gefahr ist, die wahrscheinlich nicht super unwahrscheinlich ist (wozu ich immer mehr tendiere, was mich selbst noch wundert), dann ist die zentrale Frage: Was tut man?

Der erste Schritt ist ganz klar KI-Regulierungen einzuführen und stärkere Seitenplanken in KI Modelle einzubauen, das hilft auch insbesondere gegen einige der ganz oben genannten anderen KI Risiken.

Darüber hinaus stellt sich die Frage, wie weit man die KI-Entwicklung selbst verlangsamen möchte, weil man dann tatsächlich weltweite Kontrolle – sowohl von Unternehmen als auch von Rechenzentren – bräuchte (viele ziehen hier den Vergleich zur gegenseitigen Kontrolle wie bei Nuklearwaffen; ein Vergleich, mit dem ich mir schwer tue, aber ich sehe wo er herkommt, nämlich aus der Notwendigkeit tiefgehender und effektiver globaler Kontrolle). Und das ist im aktuellen Weltklima leider de facto unvorstellbar.

Ich persönlich sehe auch nicht den Wert von einem allgemein superintelligenten System. Ich fände viele problemspezifischere Systeme – beispielsweise bei der Proteinfaltung – viel praktischer und besser. Warum das überhaupt eine der Zielsetzungen ist, ist für mich eine relevante Frage (Ich habe ein bisschen was in Richtung vorherrschender Philosophien in der “bubble” gelesen, aber nichts wo ich sattelfest genug bin um drüber zu schreiben).

Zudem: Selbst wenn die extremsten Szenarien nicht eintreffen – massive KI-Systeme und Rechenzentren konzentrieren enorme Macht in wenigen Händen, was schon ein Grund ist zumindest ein Auge drauf zu haben.

Fazit: Handeln trotz Unsicherheit

Vielleicht ist KI ein existenzielles Risiko. Wir wissen es nicht.

Das heißt nicht, dass es keine anderen globale potenziell existenzielle Probleme gibt wie Klimawandel und Nuklearwaffen, aber leider eins mehr über das man sich Gedanken machen sollte.

Wie genau das aussieht ist schwierig, sollte aber mit allgemeine strengerer KI-Regulierung anfangen und potenziell globalen Kontrollen großer Rechenzentren. Es heißt auf jeden Fall nicht, das wir jetzt alle GPUs zerstören sollten (wie Menschen im Gespräch mal gefordert haben.)

Um mal im Gegensatz einen positiven Ausblick zu geben: Es gibt auch wenige Menschen die glauben das jetzt der Technosozialismus kommt, in dem alle materiellen Bedürfnisse erfüllt sind und wir uns frei machen können von Armut, Kriegen und unangenehmer Arbeit. (Ganz so toll de facto nutzlos zu sein ist es aber glaube ich auch nicht)

(Oder aber, die Entwicklung stagniert bald und wir leben einfach so weiter wie bisher nur etwas komfortabler und mit größeren Klimaproblemen.)

P.S: Ich habe für diesen Blogpost Claude Haiku “Lektor” spielen lassen und es hat mehrfach Halbsätze eingebaut die AI Safety noch zwingender erscheinen lassen sollen (Als Abschluss Satz hat es bspw: “Welches dieser Szenarien wahrscheinlicher ist, weiß ich nicht. Aber deshalb sollten wir handeln.” einfügen wollen.)

  1. https://www.cbsnews.com/news/anthropic-claude-ai-iran-war-u-s/ ↩

  2. https://de.wikipedia.org/wiki/Deepfake ↩

  3. https://theshamblog.com/an-ai-agent-published-a-hit-piece-on-me/ (Ok, noch nicht ganz, aber auf dem Besten Weg) ↩

  4. https://www.zeit.de/digital/2025-09/chatgpt-jugendschutz-suizid ↩

  5. Ich habe mal gelesen, dass vor AlphaFold bzw. mit Röntgenkristallographie es oft eine ganze Doktorarbeit war die Faltung eines Proteins zu bestimmen. Ich finde leider keinen Beleg, also vllt. stimmt es einfach nicht. ↩

  6. https://en.wikipedia.org/wiki/Instrumental_convergence ↩

  7. Hier wird es philosophisch natürlich interessant: Wer sagt, dass unsere Modelle morgen noch gelten? Wer sagt, dass es morgen noch Gravitation gibt? Wir haben gar keine Sicherheit dafür, aber bisher scheinen diese Annahmen sehr vernünftig. Und da werden auch einige andere Argumente aus der AI Safety Richtung schwach, in dem sie nämlich auf diesen Punkt herumreiten – aber nach diesem Motto müsste man auch versuchen, sich auf das Verschwinden der Erde morgen vorzubereiten. ↩