"In making decisions-be they decisions for ourselves, our families, our work, or our government-our thinking is informed by a host of factors that include the information we have on hand, the societal norms exerting pressure in one direction or another, the laws that govern us, and, increasingly, the technology that can bring the power of algorithms, AI, and computing to our aid. Viktor Mayer-Schèonberger and Urs Gasser term this overarching set of external influences "guardrails": the structures, much like the same-named barriers on highways, that establish the bounds and direction of desirable behavior. As technology has come to play an outsized role in shaping our decision-making, the authors argue that a clear understanding of what role guardrails can and should play in our society is essential-and that this in turn can help us determine what kind of transparency and accountability we require of the technology we rely on. The authors first consider some of the challenges of decision-making in the digital world in chapters that focus on information and misinformation, human bias and the promise (or not) of AI to correct it, and decision-making in the face of uncertainty. In each case, they show how the quick embrace of technological solutions can lead to results we don't expect or hope for (for instance, the perpetuation of racial discrimination in the algorithmic assessment of credit-worthiness). They then lay out what they see as the key principles for good guardrails-empowering individual decisions, accounting for the social good, and flexibility in the face of new circumstances. Ultimately, the authors present a vision for the future of decision-making that centers individual choice and human volition even in face of technological progress"--
Frankfurter Allgemeine Zeitung | Besprechung von 18.06.2024Dick mögen die Regeln sein, doch nicht zu sehr
Leben mit Künstlichen Intelligenzen: Urs Gasser und Viktor Mayer-Schönberger denken über Leitlinien im Umgang mit Algorithmen nach
Die Klosterregel des heiligen Benedikt ist gut gealtert: Bis heute richten viele Orden ihr klösterliches Leben nach dem um das Jahr 540 verfassten Werk aus. Urs Gasser, Professor für Public Policy, Governance and Innovative Technology in München, und Viktor Mayer-Schönberger, der am Oxford Internet Institute Internet Governance und Regulierung lehrt, sehen den Grund für die bleibende Aktualität der Benediktsregel in ihrer besonderen Struktur: Sie ist umfangreich, detailliert und enthält zahlreiche Ausnahmen. Und wem an der Regel etwas nicht passe, der möge es doch besser machen, so der Ordensgründer. Mit dieser Flexibilität lasse sich die Benediktsregel gut an die Veränderungen der Zeitläufte anpassen - und mache sie zu einem Beispiel für eine gelungene Guardrail, eine Leitplanke oder auch Absturzsicherung für menschliche Entscheidungen.
Menschen treffen ihre Entscheidungen nicht mit einem Logiklehrbuch in der Hand. Stattdessen lassen sie sich von vielen und immer wieder anderen Faktoren leiten. Das können etwa Gewohnheiten sein, Rollenerwartungen oder Tricks, wie sie in Management-Seminaren gelehrt werden, Checklisten, die in Notfällen abzuarbeiten sind, oder Datenschutzregeln. All diese Strukturen an der Schnittstelle von Individuum und Gesellschaft fassen Grasser und Mayer-Schönberger als Guardrails zusammen. In ihrem neuen Buch analysieren sie, was gute Leitplanken ausmacht und wie diese für die Zukunft aussehen sollten. Denn die Welt verändere sich rasant, und wir sind dabei, in unseren Entscheidungsroutinen neue, manchmal problematische Leitplanken zu etablieren. Dabei denken die Autoren vor allem an KI-Systeme, die für uns Daten analysieren, Fragen beantworten und immer häufiger auch Entscheidungen treffen.
Anhand zahlreicher Fallbeispiele illustrieren die Autoren zunächst, welche Tücken Entscheidungen immer wieder mit sich bringen, zumal dann, wenn sie unter Zeitdruck getroffen werden müssen: Was tun bei unvollständigen, widersprüchlichen, zweifelhaften oder einseitigen Informationen? Und wie abschätzen, welche Folgen eine Maßnahme haben wird?
Heute scheint ausgemacht, dass lernende Algorithmen uns helfen sollen und müssen, mit Datenmengen zurechtzukommen. Sie sollen Muster finden, die ohne sie verborgen blieben, und Entscheidungen besser, objektiver und fairer machen. Die Autoren konstatieren eine Entwicklung weg von "dicken" hin zu "dünnen" Entscheidungsregeln. Diese bei der Wissenschaftshistorikerin Lorraine Daston entliehenen Begriffe bezeichnen zwei unterschiedliche Arten von Vorschriften: Die "dicken" sind umfangreich und regeln viele Einzelfälle in allen möglichen Konstellationen, wie die Benediktsregel; die "dünnen" sind knapp formuliert und lassen den Kontext möglichst außen vor. Nur dünne Regeln lassen sich in Algorithmen fassen und von Computerprogrammen abarbeiten. Dann tritt etwa ein Smart Contract, über eine Blockchain abgesichert, an die Stelle menschlicher Vermittlung.
Bessere Entscheidungen sind zweifellos gut zu gebrauchen. Nur, so die begründete Befürchtung der Forscher: Die verfügbaren Algorithmen sind damit oft völlig überfordert. Was wir als angemessene Entscheidung empfinden, hängt von Vorwissen, von gesetzten Zielen und vom Kontext ab - also von all dem, was die dünnen Regeln nicht beachten. So sind auch die Erfahrungen mit automatisierten Entscheidungen im sozialen Bereich nicht überzeugend: Auf den Websites zahlreicher NGOs finden sich inzwischen ganze Sammlungen von Fällen, in denen Algorithmen Angehörigen traditionell diskriminierter Gruppen den Zugang zum Gesundheitswesen, zu Universitäten, zu Krediten oder zu Arbeitsplätzen verwehrten oder erschwerten. Denn die diskriminierenden Strukturen stecken selbst dann noch in den Trainingsdaten dieser Systeme, wenn diese die entsprechenden Informationen gar nicht berücksichtigen dürfen. Die Algorithmen haben ebenso wie Menschen Biases, Einseitigkeiten, aber anders als Menschen verstehen sie nicht einmal, was es heißt, die mit ihnen verknüpften Einstellungen zu überwinden.
Wir brauchen aber keine Maschinen, so die Autoren, die uns nahelegen, so zu entscheiden, wie wir schon immer entschieden haben. Zudem sind lernende Systeme nicht nur konservativ, sie neigen auch dazu, Randbereiche der Datenerhebung, etwa Minderheiten und Sonderfälle, auszublenden. Und da sie auch aus ihren eigenen vergangenen Entscheidungen lernen, verstärkt sich diese Tendenz. Vor einem "technischen Solutionismus", der für jedes Problem einen passenden Algorithmus verspricht, warnen die Autoren daher. Die Geländer dürften niemals ein für alle Mal festgeschraubt werden, sondern müssten immer wieder neu justiert werden. Das sei zwar aufwendig, auf lange Sicht aber sein Geld wert. Auf jeden Fall sollten zukünftige Guardrails Menschen und Gesellschaften ermöglichen, aus Fehlern zu lernen, sollten vielfältige Perspektiven einbeziehen und Anpassungen zulassen. Es sollten dicke, keine dünnen Leitlinien sein.
Allerdings, auch das hat Lorraine Daston gezeigt, haben auch dicke Regeln ihre Tücken: Sie können so umfassend werden, dass sich jeder auf irgendwelche Ausnahmen berufen kann und niemand mehr durchblickt. Diesem "Kontext-Problem" - man kann es nicht weglassen, darf aber auch nicht zu sehr ins Detail gehen - begegnen die Autoren mit einem Appell an die Tugend der Zurückhaltung oder Selbstbeschränkung. Darunter fallen bei ihnen ganz unterschiedliche Dinge, von der Entscheidung, eine Situation nicht unnötig außer Kontrolle geraten zu lassen, bis hin zu Anregungen aus dem Rechtssystem, in dem die angemessene Anwendung der Gesetze immer wieder ausgehandelt wird.
Grasser und Mayer-Schönberger thematisieren eine wichtige, häufig übersehene Ebene zwischen dem viel erforschten individuellen Entscheidungsverhalten und den expliziten Regeln und Gesetzen. Wie die flexiblen Guardrails, welche die Autoren fordern, umgesetzt werden sollen, bleibt allerdings ein wenig abstrakt. Aber, wie der heilige Benedikt schrieb: Wem die Regeln nicht passen, der kann ja andere vorschlagen. MANUELA LENZEN
Urs Gasser/Viktor Mayer-Schönberger: "Guardrails". Guiding Human Decisions in the Age of AI.
Princeton University Press, Princeton 2024. 240 S., geb.,
25,99 Euro.
Alle Rechte vorbehalten. © Frankfurter Allgemeine Zeitung GmbH, Frankfurt am Main.
Leben mit Künstlichen Intelligenzen: Urs Gasser und Viktor Mayer-Schönberger denken über Leitlinien im Umgang mit Algorithmen nach
Die Klosterregel des heiligen Benedikt ist gut gealtert: Bis heute richten viele Orden ihr klösterliches Leben nach dem um das Jahr 540 verfassten Werk aus. Urs Gasser, Professor für Public Policy, Governance and Innovative Technology in München, und Viktor Mayer-Schönberger, der am Oxford Internet Institute Internet Governance und Regulierung lehrt, sehen den Grund für die bleibende Aktualität der Benediktsregel in ihrer besonderen Struktur: Sie ist umfangreich, detailliert und enthält zahlreiche Ausnahmen. Und wem an der Regel etwas nicht passe, der möge es doch besser machen, so der Ordensgründer. Mit dieser Flexibilität lasse sich die Benediktsregel gut an die Veränderungen der Zeitläufte anpassen - und mache sie zu einem Beispiel für eine gelungene Guardrail, eine Leitplanke oder auch Absturzsicherung für menschliche Entscheidungen.
Menschen treffen ihre Entscheidungen nicht mit einem Logiklehrbuch in der Hand. Stattdessen lassen sie sich von vielen und immer wieder anderen Faktoren leiten. Das können etwa Gewohnheiten sein, Rollenerwartungen oder Tricks, wie sie in Management-Seminaren gelehrt werden, Checklisten, die in Notfällen abzuarbeiten sind, oder Datenschutzregeln. All diese Strukturen an der Schnittstelle von Individuum und Gesellschaft fassen Grasser und Mayer-Schönberger als Guardrails zusammen. In ihrem neuen Buch analysieren sie, was gute Leitplanken ausmacht und wie diese für die Zukunft aussehen sollten. Denn die Welt verändere sich rasant, und wir sind dabei, in unseren Entscheidungsroutinen neue, manchmal problematische Leitplanken zu etablieren. Dabei denken die Autoren vor allem an KI-Systeme, die für uns Daten analysieren, Fragen beantworten und immer häufiger auch Entscheidungen treffen.
Anhand zahlreicher Fallbeispiele illustrieren die Autoren zunächst, welche Tücken Entscheidungen immer wieder mit sich bringen, zumal dann, wenn sie unter Zeitdruck getroffen werden müssen: Was tun bei unvollständigen, widersprüchlichen, zweifelhaften oder einseitigen Informationen? Und wie abschätzen, welche Folgen eine Maßnahme haben wird?
Heute scheint ausgemacht, dass lernende Algorithmen uns helfen sollen und müssen, mit Datenmengen zurechtzukommen. Sie sollen Muster finden, die ohne sie verborgen blieben, und Entscheidungen besser, objektiver und fairer machen. Die Autoren konstatieren eine Entwicklung weg von "dicken" hin zu "dünnen" Entscheidungsregeln. Diese bei der Wissenschaftshistorikerin Lorraine Daston entliehenen Begriffe bezeichnen zwei unterschiedliche Arten von Vorschriften: Die "dicken" sind umfangreich und regeln viele Einzelfälle in allen möglichen Konstellationen, wie die Benediktsregel; die "dünnen" sind knapp formuliert und lassen den Kontext möglichst außen vor. Nur dünne Regeln lassen sich in Algorithmen fassen und von Computerprogrammen abarbeiten. Dann tritt etwa ein Smart Contract, über eine Blockchain abgesichert, an die Stelle menschlicher Vermittlung.
Bessere Entscheidungen sind zweifellos gut zu gebrauchen. Nur, so die begründete Befürchtung der Forscher: Die verfügbaren Algorithmen sind damit oft völlig überfordert. Was wir als angemessene Entscheidung empfinden, hängt von Vorwissen, von gesetzten Zielen und vom Kontext ab - also von all dem, was die dünnen Regeln nicht beachten. So sind auch die Erfahrungen mit automatisierten Entscheidungen im sozialen Bereich nicht überzeugend: Auf den Websites zahlreicher NGOs finden sich inzwischen ganze Sammlungen von Fällen, in denen Algorithmen Angehörigen traditionell diskriminierter Gruppen den Zugang zum Gesundheitswesen, zu Universitäten, zu Krediten oder zu Arbeitsplätzen verwehrten oder erschwerten. Denn die diskriminierenden Strukturen stecken selbst dann noch in den Trainingsdaten dieser Systeme, wenn diese die entsprechenden Informationen gar nicht berücksichtigen dürfen. Die Algorithmen haben ebenso wie Menschen Biases, Einseitigkeiten, aber anders als Menschen verstehen sie nicht einmal, was es heißt, die mit ihnen verknüpften Einstellungen zu überwinden.
Wir brauchen aber keine Maschinen, so die Autoren, die uns nahelegen, so zu entscheiden, wie wir schon immer entschieden haben. Zudem sind lernende Systeme nicht nur konservativ, sie neigen auch dazu, Randbereiche der Datenerhebung, etwa Minderheiten und Sonderfälle, auszublenden. Und da sie auch aus ihren eigenen vergangenen Entscheidungen lernen, verstärkt sich diese Tendenz. Vor einem "technischen Solutionismus", der für jedes Problem einen passenden Algorithmus verspricht, warnen die Autoren daher. Die Geländer dürften niemals ein für alle Mal festgeschraubt werden, sondern müssten immer wieder neu justiert werden. Das sei zwar aufwendig, auf lange Sicht aber sein Geld wert. Auf jeden Fall sollten zukünftige Guardrails Menschen und Gesellschaften ermöglichen, aus Fehlern zu lernen, sollten vielfältige Perspektiven einbeziehen und Anpassungen zulassen. Es sollten dicke, keine dünnen Leitlinien sein.
Allerdings, auch das hat Lorraine Daston gezeigt, haben auch dicke Regeln ihre Tücken: Sie können so umfassend werden, dass sich jeder auf irgendwelche Ausnahmen berufen kann und niemand mehr durchblickt. Diesem "Kontext-Problem" - man kann es nicht weglassen, darf aber auch nicht zu sehr ins Detail gehen - begegnen die Autoren mit einem Appell an die Tugend der Zurückhaltung oder Selbstbeschränkung. Darunter fallen bei ihnen ganz unterschiedliche Dinge, von der Entscheidung, eine Situation nicht unnötig außer Kontrolle geraten zu lassen, bis hin zu Anregungen aus dem Rechtssystem, in dem die angemessene Anwendung der Gesetze immer wieder ausgehandelt wird.
Grasser und Mayer-Schönberger thematisieren eine wichtige, häufig übersehene Ebene zwischen dem viel erforschten individuellen Entscheidungsverhalten und den expliziten Regeln und Gesetzen. Wie die flexiblen Guardrails, welche die Autoren fordern, umgesetzt werden sollen, bleibt allerdings ein wenig abstrakt. Aber, wie der heilige Benedikt schrieb: Wem die Regeln nicht passen, der kann ja andere vorschlagen. MANUELA LENZEN
Urs Gasser/Viktor Mayer-Schönberger: "Guardrails". Guiding Human Decisions in the Age of AI.
Princeton University Press, Princeton 2024. 240 S., geb.,
25,99 Euro.
Alle Rechte vorbehalten. © Frankfurter Allgemeine Zeitung GmbH, Frankfurt am Main.