NEW YORK TIMES BESTSELLER • An urgent warning of the unprecedented risks that AI and other fast-developing technologies pose to global order, and how we might contain them while we have the chance—from a co-founder of the pioneering artificial intelligence company DeepMind and current CEO of Microsoft AI “A fascinating, well-written, and important book.”—Yuval Noah Harari “Essential reading.”—Daniel Kahneman “An excellent guide for navigating unprecedented times.”—Bill Gates A Best Book of the Year: CNN, Economist, Bloomberg, Politico Playbook, Financial Times, The Guardian, CEO Magazine, Semafor • Winner of the Inc. Non-Obvious Book Award • Finalist for the Porchlight Business Book Award and the Financial Times and Schroders Business Book of the Year Award We are approaching a critical threshold in the history of our species. Everything is about to change. Soon you will live surrounded by AIs. They will organize your life, operate your business, and run core government services. You will live in a world of DNA printers and quantum computers, engineered pathogens and autonomous weapons, robot assistants and abundant energy. None of us are prepared. As co-founder of the pioneering AI company DeepMind, part of Google, Mustafa Suleyman has been at the center of this revolution. The coming decade, he argues, will be defined by this wave of powerful, fast-proliferating new technologies. In The Coming Wave, Suleyman shows how these forces will create immense prosperity but also threaten the nation-state, the foundation of global order. As our fragile governments sleepwalk into disaster, we face an existential dilemma: unprecedented harms on one side, the threat of overbearing surveillance on the other. Can we forge a narrow path between catastrophe and dystopia? Is it possible to contain the threat of AI? This groundbreaking book from the ultimate AI insider establishes “the containment problem”—the task of maintaining control over powerful technologies—as the essential challenge of our age.
Steuerungsprobleme: Mustafa Suleyman denkt darüber nach, welche Risiken rasant sich entwickelnde Technologien wie Künstliche Intelligenz und synthetische Biologie bergen.
Hat die Methode maschinellen Denkens einmal begonnen, wird sie wahrscheinlich nicht lange brauchen, um unsere beschränkten Fähigkeiten zu übertreffen", prognostizierte Alan Turing 1951 in einem Beitrag für die BBC. Die Maschinen könnten sich austauschen, um so ihren Verstand zu optimieren, und die Frage nach ihrem Tod stelle sich nicht. Turings Schlussfolgerung: "Früher oder später, so müssen wir folglich annehmen, würden die Maschinen die Kontrolle übernehmen."
Die Sorge vor einem Kontrollverlust über neuartige Technologien steht auch im Zentrum von Mustafa Suleymans Buch "The Coming Wave". Doch Suleyman, Mitbegründer und Chef des KI-Unternehmens Inflection AI, sorgt sich dabei nicht allein um Turings Szenario, in dem superintelligente Maschinen die Menschen zu Statisten im Weltenlauf degradieren (ein Szenario, vor dem führende KI-Forscher wie Geoffrey Hinton mittlerweile eindringlich warnen). Vielmehr sieht Suleyman die Menschheit an der Schwelle zu einem ganzen Bündel versatiler Technologien, von Künstlicher Intelligenz über synthetische Biologie bis hin zu Quantencomputern, die uns eine nie da gewesene Allmacht über die Welt verleihen. Mit diesen Technologien werden Versprechen des Endes von Krankheit und Armut verknüpft, sie bergen jedoch zugleich die Gefahr von Unfällen und Missbrauch - mit potentiell katastrophalen Folgen. Unsere Gesellschaften seien auf die nahende Welle epochaler, sich gegenseitig verstärkender Technologien nicht im Ansatz vorbereitet. Das zentrale Problem ist für Suleyman daher eines der Eingrenzung ("containment"): "Wie können wir die wertvollsten Technologien, die je erfunden wurden, in den Griff bekommen, wenn sie billiger werden und sich schneller verbreiten als alle anderen in der Geschichte?"
Suleymans Buch ist eine eindringliche Warnung vor den Unwägbarkeiten zukünftiger Technologien. Dass sie in dieser Deutlichkeit aus der Herzkammer des Silicon Valley kommt, mag zunächst irritieren. Suleyman, der in London aufwuchs, aber mittlerweile in Palo Alto lebt, ist schließlich ein Unternehmer, der gleich zwei der führenden KI-Labs mitbegründet und an deren Forschung mitgewirkt hat: 2010 zunächst Deepmind, das bedeutende Durchbrüche in der Technik des Reinforced Learning erzielte und 2014 in Google eingegliedert wurde, und 2022 dann Inflection AI, dessen Chatbot Pi als einfühlsamer persönlicher Assistent konzipiert ist. Das Buch, das Suleyman, der erst Ende dreißig ist, nun mit Unterstützung des britischen Autors Michael Bhaskar geschrieben hat, ist jedoch ein willkommener Kontrapunkt - zu den naiv-libertären Stimmen einflussreicher Risikokapitalgeber wie Marc Andreessen, die jegliche Regulierung von KI ablehnen, und den Äußerungen des omnipräsenten Open-AI-Chefs Sam Altman, der opportunistisch einzelne Chancen und Gefahren herausgreift.
Suleyman geht systematischer und umsichtiger vor. Einen wertvollen Beitrag zu einer Debatte, die dringend größere öffentliche Aufmerksamkeit verdient, leistet er nicht zuletzt, weil es ihm gelingt, die abstrakte Sorge vor unkontrollierbaren Technologien konkret zu motivieren. Sein Text gliedert sich dabei in vier Teile.
Der erste Abschnitt skizziert eine Art Wellentheorie der Ausbreitung neuer Technologien als Triebfedern der Geschichte der Menschen, die "von verletzlichen Primaten zur dominierenden Kraft auf dem Planeten" wurden. Suleymans Hauptaugenmerk liegt dabei auf Allzwecktechnologien wie der Schrift, der Elektrizität oder dem Internet, die so vielseitig einsetzbar sind, dass sie von Grund auf die Art und Weise verändern, wie Menschen in ihre Umwelt eingreifen können. Unter Rückgriff auf historische Beispiele zeigt Suleyman dabei auch auf, wie schwierig es ist, die Verbreitung und Weiterentwicklung nützlicher Technologien zu steuern.
Im zweiten Teil, dem Kernstück des Buches, charakterisiert Suleyman die nächste technologische Stufe. Dabei positioniert er Künstliche Intelligenz und synthetische Biologie im Zentrum, flankiert von Robotik, Quantencomputern, Nanotechnologie und Methoden zur grenzenlosen Energiegewinnung. Tatsächlich sind die Fortschritte mitunter rasant: Computerprogramme sind mittlerweile in der Lage, Witze zu erklären und Songs zu schreiben, und DNA-Synthetisierer erlauben es, DNA-Sequenzen praktisch nach Belieben zu generieren. Für Suleyman bedeuten diese Technologien eine Zäsur. Weil sie Bits und Gene als Bausteine haben und damit die vertrautere Welt der Atome hinter sich lassen, verheißen sie die Fähigkeit, grundlegender in unsere Welt einzugreifen. Diese Technologien seien nicht länger nur ein Werkzeug, sondern würden bald "das Leben gestalten und mit unserer eigenen Intelligenz konkurrieren".
Im dritten Teil des Buches beschreibt Suleyman das politische Dilemma, das sich seiner Meinung nach aus den aufgezeigten technologischen Entwicklungen ergibt. Einerseits hält er eine unkontrollierte Verbreitung der neuen Werkzeuge für bedrohlich und destabilisierend: Wie lange kann eine Gesellschaft funktionieren, wenn jeder die Möglichkeit hat, nach Feierabend in der Garage noch einige neuartige Superviren herzustellen? Im Falle massiver staatlicher Repression, um Zugang zu mächtigen Technologien zu kontrollieren, drohe andererseits ein Abgleiten in Totalitarismus. Technologische Stagnation sei jedoch auch keine Lösung: Selbst wenn es uns möglich wäre, kollektiv auf die Entwicklung neuer Technologien zu verzichten, so seien einige doch für die Bewältigung akuter Probleme - vom Klimawandel bis hin zum demographischen Wandel - essenziell.
Im vierten Teil schließlich versucht Suleyman aufzuzeigen, wie diesem Dilemma begegnet werden kann und sich die technologische Entwicklung vielleicht doch steuern ließe. Dabei präsentiert er einen ganzen Strauß an Maßnahmen, vom staatlichen "Apollo-Programm zur KI-Sicherheit und zur biologischen Sicherheit" über die Einführung strikter globaler Regeln zur Zertifizierung neuer Produkte in diesen Bereichen bis hin zur Einführung von Sondersteuern und neuartigen Unternehmensstrukturen zur Abschwächung finanzieller Anreize beim Einsatz von Hochrisikotechnologien. Punktuell könnten zudem bestehende Engpässe, etwa in der Produktion fortgeschrittener Computerchips, genutzt werden, um die Entwicklung zu bremsen und so Zeit zu gewinnen. Suleymans Ausblick bleibt dennoch eher düster. Im besten Fall sieht er offene Gesellschaften auf einem schmalen Grat, den sie von nun an für ewig beschreiten müssen und der keinen Fehltritt erlaubt.
"The Coming Wave" richtet sich an eine breitere Öffentlichkeit und ist klar und anschaulich geschrieben. Um seine Thesen zu untermauern, verweist Suleyman immer wieder auf historische Präzedenzfälle und konkrete Anwendungsmöglichkeiten. Anekdoten aus seiner Zeit bei Deepmind und Inflection AI webt er unaufdringlich in den Text ein. Nicht alle Ideen sind neu, und einige werden andernorts differenzierter ausgeführt. So geht Suleyman beispielsweise nicht auf den Gedanken ein, dass die Einbettung digitaler Technologien in unseren Alltag auch deswegen zu einer Machtverschiebung führt, weil wir gegen technische Vorgaben, anders als gegen Gesetze, oft gar nicht mehr verstoßen können. Und doch: Suleyman führt die vielfältigen Überlegungen zu einem klaren und kohärenten Argument zusammen.
Dieses Argument bietet einzelne Angriffspunkte. So ist fraglich, ob die Fälle synthetische Biologie und Künstliche Intelligenz tatsächlich analog sind. Während wir im Fall synthetischer Biologie zunächst weiterhin Werkzeuge entwickeln, über deren Einsatz Menschen bestimmen, und sich Entwicklungen auf biologischen Zeitskalen vollziehen, könnte Künstliche Intelligenz zu einem genuin autonomen Akteur werden und sich potentiell in rasantem Tempo weiterentwickeln. Darüber hinaus könnte man einzelne Behauptungen infrage stellen, etwa Suleymans These, westliche Staaten seien heute weniger handlungsfähig als in der Vergangenheit, oder seine Prognose, dass KI innerhalb der kommenden drei Jahre in einem breiten Spektrum von Fertigkeiten ein menschliches Niveau erreichen werde. Und auch einige seiner durchaus interessanten Lösungsansätze hätten eine genauere Analyse verdient: Wie etwa ließe sich ein Forschungsethos kultivieren, das auf Risikominimierung ausgerichtet ist?
Nichts davon aber betrifft den Kern von Suleymans Sorge: dass wir kurz vor der Entwicklung von Technologien stehen, die so gewaltig sind, dass ihre ungehinderte Verbreitung unsere Zivilisation in ihren Grundfesten bedroht. Diese Sorge ist nicht intuitiv, denn ein unvermittelter, radikaler Einschnitt widerspricht unserer Erfahrung. Neue Technologien dringen in aller Regel graduell in unsere Lebenswelt, und selbst wenn sie, wie das Smartphone, unsere Gewohnheiten verändern, bleiben sie gefühlt zumindest kollektiv beherrschbar. Zugleich aber scheint Suleymans Sorge rational begründet. Hätte sich herausgestellt, dass man Nuklearwaffen aus Sand herstellen kann, wäre die Geschichte wohl anders verlaufen. Welche Macht neue Technologien Menschen in den kommenden Jahren verleihen werden, lässt sich nicht genau vorhersagen. Aber in Anbetracht exponentieller Trends sollte man die Sorge, dass diese sehr weitreichend sein könnte, ernst nehmen. Nicht zuletzt im Bereich Künstlicher Intelligenz scheint eine Grenze des Fortschritts allein wegen immer schnellerer Prozessoren kaum absehbar: Verglichen mit dem menschlichen Gehirn, hat sich der Computer seit Turings Radiobeitrag im Jahr 1951 jedenfalls stark entwickelt. FRIEDEMANN BIEBER
Mustafa Suleyman und Michael Bhaskar: "The Coming Wave". Künstliche Intelligenz, Macht und das größte Dilemma des 21. Jahrhunderts.
Aus dem Englischen von Andreas Wirthensohn. C. H. Beck Verlag, München 2024. 377 S., geb., 28,- Euro.
Alle Rechte vorbehalten. © F.A.Z. GmbH, Frankfurt am Main