How society can shape individual actions in times of uncertainty When we make decisions, our thinking is informed by societal norms, "guardrails" that guide our decisions, like the laws and rules that govern us. But what are good guardrails in today's world of overwhelming information flows and increasingly powerful technologies, such as artificial intelligence? Based on the latest insights from the cognitive sciences, economics, and public policy, Guardrails offers a novel approach to shaping decisions by embracing human agency in its social context. In this visionary book, Urs Gasser and Viktor Mayer-Schönberger show how the quick embrace of technological solutions can lead to results we don't always want, and they explain how society itself can provide guardrails more suited to the digital age, ones that empower individual choice while accounting for the social good, encourage flexibility in the face of changing circumstances, and ultimately help us to make better decisions as we tackle the most daunting problems of our times, such as global injustice and climate change. Whether we change jobs, buy a house, or quit smoking, thousands of decisions large and small shape our daily lives. Decisions drive our economies, seal the fate of democracies, create war or peace, and affect the well-being of our planet. Guardrails challenges the notion that technology should step in where our own decision making fails, laying out a surprisingly human-centered set of principles that can create new spaces for better decisions and a more equitable and prosperous society.
Dieser Download kann aus rechtlichen Gründen nur mit Rechnungsadresse in A, D ausgeliefert werden.
Frankfurter Allgemeine ZeitungDick mögen die Regeln sein, doch nicht zu sehr
Leben mit Künstlichen Intelligenzen: Urs Gasser und Viktor Mayer-Schönberger denken über Leitlinien im Umgang mit Algorithmen nach
Die Klosterregel des heiligen Benedikt ist gut gealtert: Bis heute richten viele Orden ihr klösterliches Leben nach dem um das Jahr 540 verfassten Werk aus. Urs Gasser, Professor für Public Policy, Governance and Innovative Technology in München, und Viktor Mayer-Schönberger, der am Oxford Internet Institute Internet Governance und Regulierung lehrt, sehen den Grund für die bleibende Aktualität der Benediktsregel in ihrer besonderen Struktur: Sie ist umfangreich, detailliert und enthält zahlreiche Ausnahmen. Und wem an der Regel etwas nicht passe, der möge es doch besser machen, so der Ordensgründer. Mit dieser Flexibilität lasse sich die Benediktsregel gut an die Veränderungen der Zeitläufte anpassen - und mache sie zu einem Beispiel für eine gelungene Guardrail, eine Leitplanke oder auch Absturzsicherung für menschliche Entscheidungen.
Menschen treffen ihre Entscheidungen nicht mit einem Logiklehrbuch in der Hand. Stattdessen lassen sie sich von vielen und immer wieder anderen Faktoren leiten. Das können etwa Gewohnheiten sein, Rollenerwartungen oder Tricks, wie sie in Management-Seminaren gelehrt werden, Checklisten, die in Notfällen abzuarbeiten sind, oder Datenschutzregeln. All diese Strukturen an der Schnittstelle von Individuum und Gesellschaft fassen Grasser und Mayer-Schönberger als Guardrails zusammen. In ihrem neuen Buch analysieren sie, was gute Leitplanken ausmacht und wie diese für die Zukunft aussehen sollten. Denn die Welt verändere sich rasant, und wir sind dabei, in unseren Entscheidungsroutinen neue, manchmal problematische Leitplanken zu etablieren. Dabei denken die Autoren vor allem an KI-Systeme, die für uns Daten analysieren, Fragen beantworten und immer häufiger auch Entscheidungen treffen.
Anhand zahlreicher Fallbeispiele illustrieren die Autoren zunächst, welche Tücken Entscheidungen immer wieder mit sich bringen, zumal dann, wenn sie unter Zeitdruck getroffen werden müssen: Was tun bei unvollständigen, widersprüchlichen, zweifelhaften oder einseitigen Informationen? Und wie abschätzen, welche Folgen eine Maßnahme haben wird?
Heute scheint ausgemacht, dass lernende Algorithmen uns helfen sollen und müssen, mit Datenmengen zurechtzukommen. Sie sollen Muster finden, die ohne sie verborgen blieben, und Entscheidungen besser, objektiver und fairer machen. Die Autoren konstatieren eine Entwicklung weg von "dicken" hin zu "dünnen" Entscheidungsregeln. Diese bei der Wissenschaftshistorikerin Lorraine Daston entliehenen Begriffe bezeichnen zwei unterschiedliche Arten von Vorschriften: Die "dicken" sind umfangreich und regeln viele Einzelfälle in allen möglichen Konstellationen, wie die Benediktsregel; die "dünnen" sind knapp formuliert und lassen den Kontext möglichst außen vor. Nur dünne Regeln lassen sich in Algorithmen fassen und von Computerprogrammen abarbeiten. Dann tritt etwa ein Smart Contract, über eine Blockchain abgesichert, an die Stelle menschlicher Vermittlung.
Bessere Entscheidungen sind zweifellos gut zu gebrauchen. Nur, so die begründete Befürchtung der Forscher: Die verfügbaren Algorithmen sind damit oft völlig überfordert. Was wir als angemessene Entscheidung empfinden, hängt von Vorwissen, von gesetzten Zielen und vom Kontext ab - also von all dem, was die dünnen Regeln nicht beachten. So sind auch die Erfahrungen mit automatisierten Entscheidungen im sozialen Bereich nicht überzeugend: Auf den Websites zahlreicher NGOs finden sich inzwischen ganze Sammlungen von Fällen, in denen Algorithmen Angehörigen traditionell diskriminierter Gruppen den Zugang zum Gesundheitswesen, zu Universitäten, zu Krediten oder zu Arbeitsplätzen verwehrten oder erschwerten. Denn die diskriminierenden Strukturen stecken selbst dann noch in den Trainingsdaten dieser Systeme, wenn diese die entsprechenden Informationen gar nicht berücksichtigen dürfen. Die Algorithmen haben ebenso wie Menschen Biases, Einseitigkeiten, aber anders als Menschen verstehen sie nicht einmal, was es heißt, die mit ihnen verknüpften Einstellungen zu überwinden.
Wir brauchen aber keine Maschinen, so die Autoren, die uns nahelegen, so zu entscheiden, wie wir schon immer entschieden haben. Zudem sind lernende Systeme nicht nur konservativ, sie neigen auch dazu, Randbereiche der Datenerhebung, etwa Minderheiten und Sonderfälle, auszublenden. Und da sie auch aus ihren eigenen vergangenen Entscheidungen lernen, verstärkt sich diese Tendenz. Vor einem "technischen Solutionismus", der für jedes Problem einen passenden Algorithmus verspricht, warnen die Autoren daher. Die Geländer dürften niemals ein für alle Mal festgeschraubt werden, sondern müssten immer wieder neu justiert werden. Das sei zwar aufwendig, auf lange Sicht aber sein Geld wert. Auf jeden Fall sollten zukünftige Guardrails Menschen und Gesellschaften ermöglichen, aus Fehlern zu lernen, sollten vielfältige Perspektiven einbeziehen und Anpassungen zulassen. Es sollten dicke, keine dünnen Leitlinien sein.
Allerdings, auch das hat Lorraine Daston gezeigt, haben auch dicke Regeln ihre Tücken: Sie können so umfassend werden, dass sich jeder auf irgendwelche Ausnahmen berufen kann und niemand mehr durchblickt. Diesem "Kontext-Problem" - man kann es nicht weglassen, darf aber auch nicht zu sehr ins Detail gehen - begegnen die Autoren mit einem Appell an die Tugend der Zurückhaltung oder Selbstbeschränkung. Darunter fallen bei ihnen ganz unterschiedliche Dinge, von der Entscheidung, eine Situation nicht unnötig außer Kontrolle geraten zu lassen, bis hin zu Anregungen aus dem Rechtssystem, in dem die angemessene Anwendung der Gesetze immer wieder ausgehandelt wird.
Grasser und Mayer-Schönberger thematisieren eine wichtige, häufig übersehene Ebene zwischen dem viel erforschten individuellen Entscheidungsverhalten und den expliziten Regeln und Gesetzen. Wie die flexiblen Guardrails, welche die Autoren fordern, umgesetzt werden sollen, bleibt allerdings ein wenig abstrakt. Aber, wie der heilige Benedikt schrieb: Wem die Regeln nicht passen, der kann ja andere vorschlagen. MANUELA LENZEN
Urs Gasser/Viktor Mayer-Schönberger: "Guardrails". Guiding Human Decisions in the Age of AI.
Princeton University Press, Princeton 2024. 240 S., geb.,
25,99 Euro.
Alle Rechte vorbehalten. © Frankfurter Allgemeine Zeitung GmbH, Frankfurt am Main.
Leben mit Künstlichen Intelligenzen: Urs Gasser und Viktor Mayer-Schönberger denken über Leitlinien im Umgang mit Algorithmen nach
Die Klosterregel des heiligen Benedikt ist gut gealtert: Bis heute richten viele Orden ihr klösterliches Leben nach dem um das Jahr 540 verfassten Werk aus. Urs Gasser, Professor für Public Policy, Governance and Innovative Technology in München, und Viktor Mayer-Schönberger, der am Oxford Internet Institute Internet Governance und Regulierung lehrt, sehen den Grund für die bleibende Aktualität der Benediktsregel in ihrer besonderen Struktur: Sie ist umfangreich, detailliert und enthält zahlreiche Ausnahmen. Und wem an der Regel etwas nicht passe, der möge es doch besser machen, so der Ordensgründer. Mit dieser Flexibilität lasse sich die Benediktsregel gut an die Veränderungen der Zeitläufte anpassen - und mache sie zu einem Beispiel für eine gelungene Guardrail, eine Leitplanke oder auch Absturzsicherung für menschliche Entscheidungen.
Menschen treffen ihre Entscheidungen nicht mit einem Logiklehrbuch in der Hand. Stattdessen lassen sie sich von vielen und immer wieder anderen Faktoren leiten. Das können etwa Gewohnheiten sein, Rollenerwartungen oder Tricks, wie sie in Management-Seminaren gelehrt werden, Checklisten, die in Notfällen abzuarbeiten sind, oder Datenschutzregeln. All diese Strukturen an der Schnittstelle von Individuum und Gesellschaft fassen Grasser und Mayer-Schönberger als Guardrails zusammen. In ihrem neuen Buch analysieren sie, was gute Leitplanken ausmacht und wie diese für die Zukunft aussehen sollten. Denn die Welt verändere sich rasant, und wir sind dabei, in unseren Entscheidungsroutinen neue, manchmal problematische Leitplanken zu etablieren. Dabei denken die Autoren vor allem an KI-Systeme, die für uns Daten analysieren, Fragen beantworten und immer häufiger auch Entscheidungen treffen.
Anhand zahlreicher Fallbeispiele illustrieren die Autoren zunächst, welche Tücken Entscheidungen immer wieder mit sich bringen, zumal dann, wenn sie unter Zeitdruck getroffen werden müssen: Was tun bei unvollständigen, widersprüchlichen, zweifelhaften oder einseitigen Informationen? Und wie abschätzen, welche Folgen eine Maßnahme haben wird?
Heute scheint ausgemacht, dass lernende Algorithmen uns helfen sollen und müssen, mit Datenmengen zurechtzukommen. Sie sollen Muster finden, die ohne sie verborgen blieben, und Entscheidungen besser, objektiver und fairer machen. Die Autoren konstatieren eine Entwicklung weg von "dicken" hin zu "dünnen" Entscheidungsregeln. Diese bei der Wissenschaftshistorikerin Lorraine Daston entliehenen Begriffe bezeichnen zwei unterschiedliche Arten von Vorschriften: Die "dicken" sind umfangreich und regeln viele Einzelfälle in allen möglichen Konstellationen, wie die Benediktsregel; die "dünnen" sind knapp formuliert und lassen den Kontext möglichst außen vor. Nur dünne Regeln lassen sich in Algorithmen fassen und von Computerprogrammen abarbeiten. Dann tritt etwa ein Smart Contract, über eine Blockchain abgesichert, an die Stelle menschlicher Vermittlung.
Bessere Entscheidungen sind zweifellos gut zu gebrauchen. Nur, so die begründete Befürchtung der Forscher: Die verfügbaren Algorithmen sind damit oft völlig überfordert. Was wir als angemessene Entscheidung empfinden, hängt von Vorwissen, von gesetzten Zielen und vom Kontext ab - also von all dem, was die dünnen Regeln nicht beachten. So sind auch die Erfahrungen mit automatisierten Entscheidungen im sozialen Bereich nicht überzeugend: Auf den Websites zahlreicher NGOs finden sich inzwischen ganze Sammlungen von Fällen, in denen Algorithmen Angehörigen traditionell diskriminierter Gruppen den Zugang zum Gesundheitswesen, zu Universitäten, zu Krediten oder zu Arbeitsplätzen verwehrten oder erschwerten. Denn die diskriminierenden Strukturen stecken selbst dann noch in den Trainingsdaten dieser Systeme, wenn diese die entsprechenden Informationen gar nicht berücksichtigen dürfen. Die Algorithmen haben ebenso wie Menschen Biases, Einseitigkeiten, aber anders als Menschen verstehen sie nicht einmal, was es heißt, die mit ihnen verknüpften Einstellungen zu überwinden.
Wir brauchen aber keine Maschinen, so die Autoren, die uns nahelegen, so zu entscheiden, wie wir schon immer entschieden haben. Zudem sind lernende Systeme nicht nur konservativ, sie neigen auch dazu, Randbereiche der Datenerhebung, etwa Minderheiten und Sonderfälle, auszublenden. Und da sie auch aus ihren eigenen vergangenen Entscheidungen lernen, verstärkt sich diese Tendenz. Vor einem "technischen Solutionismus", der für jedes Problem einen passenden Algorithmus verspricht, warnen die Autoren daher. Die Geländer dürften niemals ein für alle Mal festgeschraubt werden, sondern müssten immer wieder neu justiert werden. Das sei zwar aufwendig, auf lange Sicht aber sein Geld wert. Auf jeden Fall sollten zukünftige Guardrails Menschen und Gesellschaften ermöglichen, aus Fehlern zu lernen, sollten vielfältige Perspektiven einbeziehen und Anpassungen zulassen. Es sollten dicke, keine dünnen Leitlinien sein.
Allerdings, auch das hat Lorraine Daston gezeigt, haben auch dicke Regeln ihre Tücken: Sie können so umfassend werden, dass sich jeder auf irgendwelche Ausnahmen berufen kann und niemand mehr durchblickt. Diesem "Kontext-Problem" - man kann es nicht weglassen, darf aber auch nicht zu sehr ins Detail gehen - begegnen die Autoren mit einem Appell an die Tugend der Zurückhaltung oder Selbstbeschränkung. Darunter fallen bei ihnen ganz unterschiedliche Dinge, von der Entscheidung, eine Situation nicht unnötig außer Kontrolle geraten zu lassen, bis hin zu Anregungen aus dem Rechtssystem, in dem die angemessene Anwendung der Gesetze immer wieder ausgehandelt wird.
Grasser und Mayer-Schönberger thematisieren eine wichtige, häufig übersehene Ebene zwischen dem viel erforschten individuellen Entscheidungsverhalten und den expliziten Regeln und Gesetzen. Wie die flexiblen Guardrails, welche die Autoren fordern, umgesetzt werden sollen, bleibt allerdings ein wenig abstrakt. Aber, wie der heilige Benedikt schrieb: Wem die Regeln nicht passen, der kann ja andere vorschlagen. MANUELA LENZEN
Urs Gasser/Viktor Mayer-Schönberger: "Guardrails". Guiding Human Decisions in the Age of AI.
Princeton University Press, Princeton 2024. 240 S., geb.,
25,99 Euro.
Alle Rechte vorbehalten. © Frankfurter Allgemeine Zeitung GmbH, Frankfurt am Main.