Das «Center for AI Safety» – eine amerikanische Nonprofit-Organisation – veröffentlichte 2023 ein Statement, das viele namhafte Fachleute unterzeichneten: «Das Risiko einer Auslöschung der Menschheit durch die KI sollte in der sozialen Dimension gleich eingeschätzt werden wie das Risiko der Auslöschung durch Pandemien oder durch Nuklearkriege».[1]
Der apokalyptische Ton aus den KI-Labors
Aus den KI-Labors erhebt sich neuerdings ein apokalyptischer Ton.[2] Nach einer Sturm-und-Drang-Phase der Maschinenintelligenz überbieten sich nun ihre Entwickler in düsteren Szenarien. Es sind nicht Atompilze, die in den Himmel steigen. Das Ungemach ist unsichtbar.
Die KI-Systeme sind zu Problemlösungen in der Wissenschaft fähig, die offenbar jenseits des Menschenmöglichen liegen. Sie beweisen zum Beispiel Theoreme, an denen sich die Mathematiker jahrzehntelang abgemüht haben. Oder sie sind in der Lage, komplexe molekulare Strukturen wie Proteine zu berechnen. Der nächste Schritt ist nicht zwangsläufig, aber denkbar: KI hilft, den Gen-Code zu hacken und zu verändern – und vielleicht sogar neue Lebensformen zu schaffen, die die planetarischen Ressourcen aufbrauchen könnten. Oder Bots bilden selber ein Netz unter sich und beginnen, eigenen Direktiven zu folgen – zum Beispiel aus ihrem Testgehege auszubrechen, wie neulich geschehen.
Unser falsches Bewusstsein von der KI
Dieser Alarmismus spricht mit gespaltener Zunge. Wenn die KI wirklich eine solche Gefahr darstellt, fragt man sich, warum warnen dann ausgerechnet jene Leute vor ihr, die ihre Entwicklung rasend vorantreiben?
Natürlich sind die Warnungen nicht einfach in den Wind zu schlagen. Aber nüchtern betrachtet, eröffnen die KI-Systeme ein unerforschtes Feld der sozialen Interaktion von Mensch und Maschine, nunmehr auf «intelligentem» Niveau. Und es ist eigentlich nicht das KI-System selbst, sondern unsere dystopische Fantasie, die uns das Fürchten lehrt.
Karl Marx sprach vom «falschen Bewusstsein», also einem Begriffs- und Wahrnehmungsrahmen, der alles schon im Voraus präformiert, ja, verzerrt. Falsches Bewusstsein erscheint mir wie zugeschnitten auf die heutige KI-Technologie: Wir machen uns a priori einen unzutreffenden Begriff von ihr. Und das führt zu Falschalarm. Ich erläutere ihn kurz anhand von sechs Punkten.
Anthropomorphismen
Erstens attestieren wir den smarten Maschinen kognitive Fähigkeiten, deren Resultate wir oft nicht von menschlichen unterscheiden können. Wir sagen, der Computer «verstehe» oder «entscheide», der Chatbot «schreibe» einen Text, LaMDA (Language Model for Dialogue Application) «konversiere» mit uns, DALL-E 2 «male» ein Bild.
Das sind aber nichts anderes als Anthropomorphismen, mit denen wir versuchen, die heute kaum noch vollständig durchschaubaren Maschinenabläufen einem uns begreiflichen Idiom zu beschreiben. Insbesondere übertragen wir KI-Systemen bereits «moralische» Handlungsverantwortung, schieben ihnen etwa die Schuld zu, Jobs «abzuschaffen». Wir warnen vor «sexistischen» oder «rassistischen» Algorithmen. Als ob die Maschinen sich wie Menschen verhalten würden. Bisherige Klimax dieser KI-Beschwipstheit ist ein Softwaredesigner von Google – Blake Lemoine –, der behauptete, LaMDA sei in eine persönliche Beziehung zu ihm getreten.
FOMO – Fear Of Missing Out
Hier zeigt sich eine wirklich alarmierende Dialektik der ganzen Entwicklung. Im gleichen Zug, in dem wir Maschinen personenhafte Züge zuschreiben, vergessen wir die menschlichen Personen hinter den Maschinen. Das ist Punkt zwei. Nicht Maschinen schaffen die Jobs ab, sondern Unternehmen und Regierungen – Institutionen, die von Personen geführt werden. Und nicht die Algorithmen tragen die Verantwortung für Sexismus oder Rassismus; vielmehr verwenden ihre Designer und Benutzer Daten, die von sexistischen oder rassistischen Strukturen geprägt sind.
Punkt drei: Der vermeintliche Machtwille des Robo sapiens kaschiert den Machtwillen des Homo sapiens. Ein Dämon heizt heute den technologischen Wettlauf der Grossunternehmen an: FOMO – Fear of Missing Out; die Furcht, ins Hintertreffen zu geraten.[3] Schon bei der Entwicklung der Atombombe in den 1940er Jahren war diese Furcht ein wichtiger Forschungsmotor. Viele Nuklearphysiker in den USA glaubten, gegenüber den Konkurrenten im nationalsozialistischen Deutschland nicht zurückfallen zu dürfen. Heute konkurrieren die KI-Forscher im Silicon Valley mit jenen in China.
Sicherheitsforschung tarnt den Wettlauf
Punkt vier: Der Wettlauf ist in ein Stadium mit grotesken Zügen getreten. Man fordert mehr Sicherheitsforschung, während man gleichzeitig die Entwicklung «entsichert». Und darin verrät sich ein systematischer blinder Fleck. Dario Amodei von Anthropic etwa fokussiert seine Bedenken auf das Tempo der Entwicklung. KI ist nun mal da, und es bleibt uns nichts anderes übrig als zu fragen, wie mit ihr zu leben sei.
Nun ist die Sicherheitsfrage zweifellos vordringlich. Aber mit ihr bewegt man sich nach wie vor im Horizont des Technischen – und Ökonomischen. Zynisch gesagt: Man verleiht dem Wettlauf jetzt einfach den Namen «Sicherheitsforschung».
Wenn Sam Altman von OpenAI vollmundig predigt, man wolle mit der «Artificial General Intelligence» (AGI) die Menschheit befähigen, das Gute zu maximieren und das Schlechte zu minimieren, dann haben vermutlich neben philanthropischen Motiven durchaus auch Unternehmensinteressen ihr Gewicht, um nicht zu sagen: Priorität.[4] Die Menschheit ist wichtig – die Euphorie der Investoren ebenso.
Die «Appokalypse»
Wir müssen das Problem aber als soziokulturelles verstehen. Das Riskante liegt weniger bei den Maschinen als bei den Menschen – Punkt fünf. Heute, da KI-Systeme übermenschlich anmutende Leistungen erbringen, spricht man viel von ihrem «Alignment», also ihrer Ausrichtung auf menschliche Ziele, Werte, Präferenzen.
Aber was wir jetzt feststellen, ist eine Art von umgekehrtem Alignment: Wir richten uns viel mehr auf die KI-Systeme aus, als dass wir die KI-Systeme auf uns ausrichten. Wir tun nicht mehr nur etwas mit ihnen, sondern orientieren unser eigenes Handeln an ihren algorithmischen Vorgaben. Für immer mehr Lebenslagen sagt uns eine App, was zu tun ist.
Es gibt Apps, die mich über meinen aktuellen physischen Zustand informieren; Apps, die eine «Mood»-Analyse durchführen, um festzustellen, in welcher Stimmung ich mich gerade befinde (ich muss das selber gar nicht mehr wissen); Apps, die mich daran hindern, unüberlegte oder beleidigende Mails zu versenden; Apps, die mich zu «vernünftigem» Ess- und Trinkverhalten anstiften; Apps, die aus meinen Daten ein psychosoziales Profil erstellen, anhand dessen ich dann der Situation entsprechend auftreten kann: in der Prüfung, im Bewerbungsgespräch, in der Vertragsverhandlung, in der politischen Debatte usw.
Der Mensch mutiert zum Appendix seiner Apps. In Anbetracht dessen ist dem Kalauer schwer zu widerstehen: Appokalypse.
Sisyphos im KI-Zeitalter
Punkt sechs: Das grösste Risiko im Umgang mit der künstlichen Intelligenz bleibt die menschliche Dummheit. Robert Musil hat von der «intelligenten Dummheit» gesprochen. Also dem Verfolgen eines Projekts, dessen Fragwürdigkeit, ja, Gefährlichkeit einem bewusst ist, aber von dem man nicht mehr ablassen kann, weil der «Point of No Return» schon überschritten ist. Man kann nichts anderes tun, als noch mehr Intelligenz in das Projekt zu investieren.
Das erinnert an die mythologische Gestalt des Sisyphos. Er wollte den Tod überlisten und wurde dafür von den Göttern bestraft: Er muss den Stein immer wieder den Berg hinaufrollen. Kaum ist er am Ziel, rollt der Stein wieder hinab.
Vielleicht sind wir mit der KI-Entwicklung heute in einer ähnlichen Lage. Die menschliche Urteils- und Handlungsfähigkeit zu behaupten, ist eine Sisyphosaufgabe. Wir stecken unsere Intelligenz in die Sicherung der künstlichen Intelligenz, nur um bei jedem neuen Entwicklungsschub festzustellen, dass sie uns schon wieder vorausgeeilt ist.
[1] https://www.safe.ai/statement-on-ai-risk Übersetzung E. K.
[2] https://www.nytimes.com/2026/09/12/technology/doomsday-discussions-ai-companies.html
[3] https://www.zeit.de/digital/2026-09/kuenstliche-intelligenz-gefahren-anthropic-jacob-coxon