Hannah Fry is an Associate Professor in the mathematics of cities from University College London. In her day job she uses mathematical models to study patterns in human behaviour, and has worked with governments, police forces, health analysts and supermarkets. Her TED talks have amassed millions of views and she has fronted television documentaries for the BBC and PBS; she also hosts the long-running science podcast, ¿The Curious Cases of Rutherford & Fry¿ with the BBC.
Frankfurter Allgemeine Zeitung | Besprechung von 11.06.2019Das Nonnen-Experiment
Was Algorithmen können und dürfen
Die britische Mathematikerin Hannah Fry will mit ihrem Buch "Hello World" erklären, was Algorithmen tatsächlich können und wie sie unser Leben verändern. Auf schnell zu lesenden 272 Seiten gelingt ihr das recht gut, wobei ihr auch mal ein Fehler unterläuft: So ist die Aussage falsch, dass in Berlin "die Menschenmengen in den Bahnhöfen mit Algorithmen zur Gesichtserkennung überwacht werden". Tatsächlich gab es bislang ein einziges Pilotprojekt an einem einzigen Bahnhof (Südkreuz) und das auch nur ein Jahr lang.
Anders sieht es in den Vereinigten Staaten von Amerika aus: Dort werden Algorithmen teilweise großflächig eingesetzt, auch bei der Strafzumessung: "Ziel ist es, die Wahrscheinlichkeit zu berechnen, dass ein Angeklagter innerhalb von zwei Jahren wieder straffällig wird. Bei dieser Aufgabe erreichte der eingesetzte Algorithmus eine Präzisionsrate von 70 Prozent." Das würde in Europa nicht ausreichen, um als seriös zu gelten, und führt in den Vereinigten Staaten zu kuriosen Ergebnissen: So hatte der Angeklagte Christopher Drew Brooks als 19 Jahre alter Mann einvernehmlichen Sex mit einer Minderjährigen. Staatsanwaltschaft und Verteidiger einigten sich auf ein geringes Strafmaß, da beide meinten, dass eine lange Haftstrafe nicht die beste Vorgehensweise sei.
Der Richter ignorierte den Deal und vertraute dem Algorithmus, der eine längere Haftzeit empfahl. Der Algorithmus berücksichtigte dabei das Alter bei der Berechnung der Rückfallquote. Wäre Brooks 36 Jahre alt gewesen (und das Mädchen weiterhin minderjährig), hätte der Algorithmus empfohlen, ihn überhaupt nicht ins Gefängnis zu schicken.
Andere Algorithmen wollen erkennen können, wie hoch das Demenzrisiko einer Person ist, und zwar anhand von Aufsätzen, die jemand im Alter von 22 Jahren geschrieben hat. Dafür wurde ein Test mit einigen Hundert Nonnen in Kentucky gemacht, die älter als 70 Jahre alt waren. Da keine von ihnen Kinder hatte, rauchte oder trank, konnten die Wissenschaftler viele Faktoren ausschließen, die im Verdacht stehen, das Risiko einer Alzheimer-Erkrankung zu erhöhen.
Zudem hatten alle Nonnen einen ähnlichen Lebensstil und gleichen Zugang zu ärztlicher Versorgung. Im Alter von 22 Jahren hatte jede von ihnen einen Aufsatz geschrieben, weshalb sie in das Kloster eintreten wolle. Hier ein Satzbeispiel einer Nonne, die bis an ihr Lebensende über hervorragende kognitive Fähigkeiten verfügte: "Nachdem ich die achte Klasse beendet hatte, wollte ich Aspirantin in Mankato werden, aber ich selbst hatte nicht den Mut, meine Eltern um Erlaubnis zu bitten, also tat Schwester Agreda es für mich, und sie gaben bereitwillig ihre Zustimmung." Zum Vergleich dazu ein Satz einer Nonne, deren Erinnerungsvermögen in ihren letzten Lebensjahren stetig abnahm: "Nachdem ich die Schule verlassen hatte, arbeitete ich bei der Post."
Neunzig Prozent der Nonnen, die Alzheimer bekamen, hatten als junge Frauen nur geringe sprachliche Fähigkeiten. "Interessant ist, dass sich unauffällige Hinweise auf unsere zukünftige Gesundheit in den kleinsten Datenfragmenten verbergen können, wo man sie nicht erwartet - und zwar viele Jahre bevor die ersten Symptome einer Krankheit auftreten", schreibt Fry: "Vielleicht werden Algorithmen eines Tages sogar in der Lage sein, Anzeichen für Krebs aufzuspüren, Jahre bevor Ärzte sie wahrnehmen."
Fry nennt viele weitere Beispiele und erklärt auch, weshalb es Algorithmen so schwerfällt, vorab zu erkennen, ob ein Film populär wird. (Es fehle an einem objektiven Maßstab für Qualität.) Vor allem aber schreibt Fry: "Algorithmen machen Fehler. Sie sind ungerecht." Gleichzeitig seien sie unverzichtbar und oft hilfreich. Es brauche eine sinnvolle Regulierung. Und genau dazu hat Mario Martini von der Deutschen Universität für Verwaltungswissenschaften Speyer nun Vorschläge vorgelegt.
In seinem Werk "Blackbox Algorithmus" entwirft er wichtige Grundlagen einer Regulierung Künstlicher Intelligenz. Das Buch ist aus dem Drittmittelprojekt "Algorithmenkontrolle im Internet der Dinge" hervorgegangen, das das Bundesjustizministerium gefördert hat. Martini schreibt, dass nur 10 Prozent der Deutschen wissen, wie Algorithmen funktionieren. Es handele sich dabei um "Schritt-für-Schritt-Anleitungen, um ein (mathematisches) Problem strukturiert zu lösen." Zu den häufigsten Aufgaben gehöre es, in Datenmengen zu suchen und Daten zu sortieren. Ihre Treffsicherheit gründe aber nicht allein auf fortgeschrittener Mathematik und logischen Schlüssen. Algorithmen codierten auch die subjektiven Vorstellungen ihrer Schöpfer. Sie seien daher nur so diskriminierungsfrei wie die Menschen, die sie entwickeln.
Martini fordert eine staatlich initiierte "Stiftung Datentest" und eine "Datenschutzampel", die Verbraucher über mögliche Gefährdungen ihrer Privatsphäre informiert. "Um das Innovationspotential nicht auszubremsen, sollte der Gesetzgeber seine regulatorischen Zügel aber auch nicht zu straff anziehen", fordert der Jurist. So seien generelle Transparenzpflichten, etwa den Quellcode offenzulegen, nicht zielführend. Der Gesetzgeber müsse - ähnlich wie im Medizinprodukte-Recht -- ein gestuftes, nach Gefährdungsgrad ausdifferenziertes Risikoklassensystem entwickeln, um die regulatorischen Vorgaben "einzelfallspezifisch zu konkretisieren". Dazu macht Martini viele gute Vorschläge, die neben präventiven Maßnahmen wie Transparenzanforderungen, begleitende Kontrollen mit Mitwirkungspflichten und nachträglicher Haftung auch eine regulierte Selbstregulierung umfasst.
All das könne nur europaweit geschehen. "Im Idealfall avancieren klare unionale Standards zum Standortvorteil, um eine frühzeitige, rechtssichere und ethisch vertretbare Wertschöpfung mit digitalen Technologien sicherzustellen."
JOCHEN ZENTHÖFER.
Hannah Fry: Hello World. C.H. Beck, München 2019. 272 Seiten. 19,95 Euro.
Mario Martini: Blackbox Algorithmus. Springer, Berlin 2019. 400 Seiten. 109,99 Euro.
Alle Rechte vorbehalten. © F.A.Z. GmbH, Frankfurt am Main
Was Algorithmen können und dürfen
Die britische Mathematikerin Hannah Fry will mit ihrem Buch "Hello World" erklären, was Algorithmen tatsächlich können und wie sie unser Leben verändern. Auf schnell zu lesenden 272 Seiten gelingt ihr das recht gut, wobei ihr auch mal ein Fehler unterläuft: So ist die Aussage falsch, dass in Berlin "die Menschenmengen in den Bahnhöfen mit Algorithmen zur Gesichtserkennung überwacht werden". Tatsächlich gab es bislang ein einziges Pilotprojekt an einem einzigen Bahnhof (Südkreuz) und das auch nur ein Jahr lang.
Anders sieht es in den Vereinigten Staaten von Amerika aus: Dort werden Algorithmen teilweise großflächig eingesetzt, auch bei der Strafzumessung: "Ziel ist es, die Wahrscheinlichkeit zu berechnen, dass ein Angeklagter innerhalb von zwei Jahren wieder straffällig wird. Bei dieser Aufgabe erreichte der eingesetzte Algorithmus eine Präzisionsrate von 70 Prozent." Das würde in Europa nicht ausreichen, um als seriös zu gelten, und führt in den Vereinigten Staaten zu kuriosen Ergebnissen: So hatte der Angeklagte Christopher Drew Brooks als 19 Jahre alter Mann einvernehmlichen Sex mit einer Minderjährigen. Staatsanwaltschaft und Verteidiger einigten sich auf ein geringes Strafmaß, da beide meinten, dass eine lange Haftstrafe nicht die beste Vorgehensweise sei.
Der Richter ignorierte den Deal und vertraute dem Algorithmus, der eine längere Haftzeit empfahl. Der Algorithmus berücksichtigte dabei das Alter bei der Berechnung der Rückfallquote. Wäre Brooks 36 Jahre alt gewesen (und das Mädchen weiterhin minderjährig), hätte der Algorithmus empfohlen, ihn überhaupt nicht ins Gefängnis zu schicken.
Andere Algorithmen wollen erkennen können, wie hoch das Demenzrisiko einer Person ist, und zwar anhand von Aufsätzen, die jemand im Alter von 22 Jahren geschrieben hat. Dafür wurde ein Test mit einigen Hundert Nonnen in Kentucky gemacht, die älter als 70 Jahre alt waren. Da keine von ihnen Kinder hatte, rauchte oder trank, konnten die Wissenschaftler viele Faktoren ausschließen, die im Verdacht stehen, das Risiko einer Alzheimer-Erkrankung zu erhöhen.
Zudem hatten alle Nonnen einen ähnlichen Lebensstil und gleichen Zugang zu ärztlicher Versorgung. Im Alter von 22 Jahren hatte jede von ihnen einen Aufsatz geschrieben, weshalb sie in das Kloster eintreten wolle. Hier ein Satzbeispiel einer Nonne, die bis an ihr Lebensende über hervorragende kognitive Fähigkeiten verfügte: "Nachdem ich die achte Klasse beendet hatte, wollte ich Aspirantin in Mankato werden, aber ich selbst hatte nicht den Mut, meine Eltern um Erlaubnis zu bitten, also tat Schwester Agreda es für mich, und sie gaben bereitwillig ihre Zustimmung." Zum Vergleich dazu ein Satz einer Nonne, deren Erinnerungsvermögen in ihren letzten Lebensjahren stetig abnahm: "Nachdem ich die Schule verlassen hatte, arbeitete ich bei der Post."
Neunzig Prozent der Nonnen, die Alzheimer bekamen, hatten als junge Frauen nur geringe sprachliche Fähigkeiten. "Interessant ist, dass sich unauffällige Hinweise auf unsere zukünftige Gesundheit in den kleinsten Datenfragmenten verbergen können, wo man sie nicht erwartet - und zwar viele Jahre bevor die ersten Symptome einer Krankheit auftreten", schreibt Fry: "Vielleicht werden Algorithmen eines Tages sogar in der Lage sein, Anzeichen für Krebs aufzuspüren, Jahre bevor Ärzte sie wahrnehmen."
Fry nennt viele weitere Beispiele und erklärt auch, weshalb es Algorithmen so schwerfällt, vorab zu erkennen, ob ein Film populär wird. (Es fehle an einem objektiven Maßstab für Qualität.) Vor allem aber schreibt Fry: "Algorithmen machen Fehler. Sie sind ungerecht." Gleichzeitig seien sie unverzichtbar und oft hilfreich. Es brauche eine sinnvolle Regulierung. Und genau dazu hat Mario Martini von der Deutschen Universität für Verwaltungswissenschaften Speyer nun Vorschläge vorgelegt.
In seinem Werk "Blackbox Algorithmus" entwirft er wichtige Grundlagen einer Regulierung Künstlicher Intelligenz. Das Buch ist aus dem Drittmittelprojekt "Algorithmenkontrolle im Internet der Dinge" hervorgegangen, das das Bundesjustizministerium gefördert hat. Martini schreibt, dass nur 10 Prozent der Deutschen wissen, wie Algorithmen funktionieren. Es handele sich dabei um "Schritt-für-Schritt-Anleitungen, um ein (mathematisches) Problem strukturiert zu lösen." Zu den häufigsten Aufgaben gehöre es, in Datenmengen zu suchen und Daten zu sortieren. Ihre Treffsicherheit gründe aber nicht allein auf fortgeschrittener Mathematik und logischen Schlüssen. Algorithmen codierten auch die subjektiven Vorstellungen ihrer Schöpfer. Sie seien daher nur so diskriminierungsfrei wie die Menschen, die sie entwickeln.
Martini fordert eine staatlich initiierte "Stiftung Datentest" und eine "Datenschutzampel", die Verbraucher über mögliche Gefährdungen ihrer Privatsphäre informiert. "Um das Innovationspotential nicht auszubremsen, sollte der Gesetzgeber seine regulatorischen Zügel aber auch nicht zu straff anziehen", fordert der Jurist. So seien generelle Transparenzpflichten, etwa den Quellcode offenzulegen, nicht zielführend. Der Gesetzgeber müsse - ähnlich wie im Medizinprodukte-Recht -- ein gestuftes, nach Gefährdungsgrad ausdifferenziertes Risikoklassensystem entwickeln, um die regulatorischen Vorgaben "einzelfallspezifisch zu konkretisieren". Dazu macht Martini viele gute Vorschläge, die neben präventiven Maßnahmen wie Transparenzanforderungen, begleitende Kontrollen mit Mitwirkungspflichten und nachträglicher Haftung auch eine regulierte Selbstregulierung umfasst.
All das könne nur europaweit geschehen. "Im Idealfall avancieren klare unionale Standards zum Standortvorteil, um eine frühzeitige, rechtssichere und ethisch vertretbare Wertschöpfung mit digitalen Technologien sicherzustellen."
JOCHEN ZENTHÖFER.
Hannah Fry: Hello World. C.H. Beck, München 2019. 272 Seiten. 19,95 Euro.
Mario Martini: Blackbox Algorithmus. Springer, Berlin 2019. 400 Seiten. 109,99 Euro.
Alle Rechte vorbehalten. © F.A.Z. GmbH, Frankfurt am Main
A stylish, thoughtful, and scrupulously fair-minded account of what the software that increasingly governs our lives can and cannot do ... A beautifully accessible guide that leaps lightly from one story to the next without sparing the reader hard questions... deserves a place in the bestseller charts. Oliver Moody The Times