The International Bestseller by 'The Galileo of number crunchers' (Independent)
Every time we choose a route to work, decide whether to go on a second date, or set aside money for a rainy day, we are making a prediction about the future. Yet from the financial crisis to ecological disasters, we routinely fail to foresee hugely significant events, often at great cost to society. The rise of 'big data' has the potential to help us predict the future, yet much of it is misleading, useless or distracting.
In The Signal and the Noise, the New York Times political forecaster Nate Silver, who accurately predicted the results of every state in the 2012 US election, reveals how we can all develop better foresight in an uncertain world. From the stock market to the poker table, from earthquakes to the economy, he takes us on an enthralling insider's tour of the high-stakes world of forecasting, showing how we can all learn to detect the true signals amid a noise of data.
'Remarkable and rewarding' Matthew D'Ancona, Sunday Telegraph
'A lucid explanation of how to think probabilistically' Guardian
Every time we choose a route to work, decide whether to go on a second date, or set aside money for a rainy day, we are making a prediction about the future. Yet from the financial crisis to ecological disasters, we routinely fail to foresee hugely significant events, often at great cost to society. The rise of 'big data' has the potential to help us predict the future, yet much of it is misleading, useless or distracting.
In The Signal and the Noise, the New York Times political forecaster Nate Silver, who accurately predicted the results of every state in the 2012 US election, reveals how we can all develop better foresight in an uncertain world. From the stock market to the poker table, from earthquakes to the economy, he takes us on an enthralling insider's tour of the high-stakes world of forecasting, showing how we can all learn to detect the true signals amid a noise of data.
'Remarkable and rewarding' Matthew D'Ancona, Sunday Telegraph
'A lucid explanation of how to think probabilistically' Guardian
Dieser Download kann aus rechtlichen Gründen nur mit Rechnungsadresse in A, B, BG, CY, CZ, D, DK, EW, E, FIN, F, GR, HR, H, IRL, I, LT, L, LR, M, NL, PL, P, R, S, SLO, SK ausgeliefert werden.
Frankfurter Allgemeine Zeitung | Besprechung von 09.12.2012Kopf oder Zahl
Sind wir Herr über unsere Entscheidungen? Oder längst Opfer allmächtiger Algorithmen? Ausgerechnet Nate Silver, Zukunftsforscher der Stunde, hält die Berechenbarkeit menschlichen Handelns für eine Illusion
Alle fünf Jahre nehmen die Bürger der Vereinigten Staaten an einem landesweiten philosophischen Experiment teil. Etwa sechzig Prozent der erwachsenen Staatsbürger versuchen durch ihre persönliche Stimmabgabe herauszufinden, ob ihre freie Entscheidung notwendig ist, um zu ermitteln, wer in den kommenden Jahren der Präsident ihres Landes sein soll. In den vergangenen beiden Präsidentschaftswahlen hat sich das altmodische Ritual als relativ überflüssig erwiesen: Man hätte auch einfach Nate Silver fragen können.
Weil er in seinem "New York Times"-Blog "Five Thirty Eight" die Wahlergebnisse in 50 von 50 Bundesstaaten richtig prognostizierte, gilt der vierunddreißigjährige Statistiker als heimlicher Gewinner der Wahl. Seitdem wird Silver, der schon 2008 die Ergebnisse in 49 von 50 Staaten richtig vorhergesehen hatte, nicht nur persönlich mit unvermeidlichen Ehrentiteln ("König der Quants", "Amerikas Präsident der Daten", "Gott der Algorithmen") gefeiert; sein Erfolg gilt auch als Triumph der Mathematik gegen die pundits, jene meinungsstarken Fernsehexperten, die ihre Prophezeiungen vor der Wahl aus einer Mischung aus Eitelkeit und Ideologie zusammenbrauten. Und all jenen konservativen Stimmungsmachern, die womöglich selbst daran geglaubt hatten, dass Silvers Zahlen nur sein demokratisches Wunschdenken zum Ausdruck bringen, bleibt jetzt nur, sich über dessen simple Methodik zu wundern. Denn im Prinzip hat Silver nichts anderes getan, als die Durchschnittswerte der wichtigsten Umfragen zu errechnen. Im Gegensatz zu jenen Kommentatoren aber, welche, als hätten sie noch nie vom Prinzip der Mehrheitswahl gehört, die Ausgeglichenheit in nationalen Umfragen als Indikator eines Kopf-an-Kopf-Rennens interpretierten, zog er die richtigen Schlüsse aus den Zahlen. Womöglich besteht darin tatsächlich die größte Frechheit Silvers: dass seinen Berechnungen keine geheime Formel zugrunde lag.
Jenseits aller Genugtuung aber, über diesen Sieg der Nüchternheit gegen das Geschrei, den Sieg auch der Analyse gegen die Meinung, jenseits dieses unerwarteten Schimmers der Vernunft in den oft so krawallorientierten amerikanischen Medien, scheint Silvers Präzision eine derzeit verbreitete Sorge zu bestätigen: die Angst um den Kontrollverlust der Individuen angesichts immer raffinierterer Datenprofile. Die Vorstellung, dass die Autonomie menschlicher Entscheidungen durch immer perfektere Algorithmen aufgehoben wird, ist heute als Utopie genauso verbreitet wie ihr Gegenteil. Wenn Bürger in der Wahlkabine nicht mehr als freie Menschen entscheiden, sondern nur noch das Opfer ihrer eigenen, berechenbaren Prädispositionen (wie Wohnort, Alter, Familienstand, Einkommen, Hautfarbe, Bildung, Musikgeschmack, Leseliste) sind, dann ist das erst der Anfang ihrer umfassenden Entmündigung.
Nicht alle aber weinen dem Ende menschlicher Undurchschaubarkeit nach: Das Schlagwort "Big Data", das derzeit die ganze IT-Branche verrückt macht, beinhaltet das Versprechen, dass unerschöpfliche Datenfelder brachliegen, die nur auf die richtigen Techniken warten, um eingefahren, analysiert und kommerziell verwertet zu werden. Der "Wired"-Chefredakteur Chris Anderson hat angesichts des "Zeitalters der Petabytes" bereits vor vier Jahren das Ende aller Theorie verkündet. Heute werden Tag für Tag Daten im Exabyte-Bereich produziert, alleine die Menge der täglichen Tweets ergibt zwölf Terrabytes. Big Data mache es möglich, verspricht etwa die Firma IBM ihren Kunden, "Fragen zu beantworten, die bisher unerreichbar waren".
Zur Enttäuschung all dieser Propheten aber, weist ausgerechnet Silver solche Allmachtsphantasien zurück. Sein kurz vor der Wahl erschienenes Buch "The Signal and the Noise" ist alles andere als eine Bedienungsanleitung für idiotensichere Prognosen. Nicht zum Spaß lautet sein Untertitel: "Warum so viele Vorhersagen scheitern - und manche nicht". Dabei hat Silver natürlich keine grundsätzlichen Einwände gegen Prognosen. Aber im Unterschied zu vielen anderen Naturwissenschaftlern weiß er um die Illusion einer objektiven Wissenschaft. Denn erst indem wir den Daten eine Bedeutung geben, werden sie zum "Signal"; alles andere ist Rauschen. "Zahlen können nicht für sich selbst sprechen", schreibt Silver. "Wir sprechen für sie. Wir laden sie mit Bedeutung auf." Und im Gegensatz zu vielen Pressesprechern seines Fachs denkt er gar nicht daran, die Schwächen seines Fachs zu unterschlagen: "Wir können niemals perfekte objektive Vorhersagen machen. Sie werden immer von unserer subjektiven Sicht der Dinge geprägt sein." Skepsis ist die erste Tugend des Statistikers: Nur wer sich all der Voraussetzungen und Überzeugungen bewusst ist, die in seine Modelle eingehen, sagt Silver, kann zu brauchbaren Ergebnissen kommen.
Silvers Chronik der Pleiten, Pech und Pannen macht deutlich, wie groß die Unwägbarkeiten der Vorhersagen sind, und zwar in so unterschiedlichen Bereichen wie Wetter, Erdbeben, Baseball, Poker oder Politik. Am härtesten geht er mit dem Versagen der Prognosen in der Wirtschaft ins Gericht, die Finanzkrise liefert erwartungsgemäß umfangreiches Material. Und trotzdem hat es nichts mit Rechthaberei zu tun, wenn er, in der ersten Hälfte seines Buches, über all die Blindheiten und Taschenspielertricks seiner Kollegen spricht, über systematische und absichtliche Fehler. Über den Unterschied zwischen Vorhersagen und Prognosen, zwischen akkuraten und präzisen Aussagen, zwischen zu spezifischen und zu unspezifischen Modellen. Es geht ihm um die Verbesserung der Methoden, deren Qualität im Zweifelsfall nicht daran zu erkennen ist, ob sich eine Prophezeiung am Ende auch erfüllt. Denn natürlich ist eine erfolgreiche Vorhersage, das wissen wir seit Krake Paul, kein Indiz für deren Verlässlichkeit. Oft aber kommen die Zweifel an den Unzulänglichkeiten eines Modells erst, wenn es nicht mehr funktioniert.
Jahrelang etwa galt der Gewinner des Super Bowl als wichtiger Indikator für den amerikanischen Aktienmarkt. Bis 1997 stiegen beziehungsweise fielen die Kurse, je nachdem, ob ein Team der National Football League (NFL) oder der American Football League (AFL) die Meisterschaft gewann, immerhin in 28 von 31 Jahren. Erst als sich ab 1998 die Korrelation umdrehte, wurde offensichtlich, dass sich die Trefferquote nur dem Zufall verdankte. Selbst wenn seriöse Ökonomen diesen Wert nie ernst genommen haben, schreibt Silver, glauben auch heute noch viele, dass ihre Prognosen besser werden, indem man sie mit möglichst vielen Variablen anreichert. Und wenn der Wettbewerb um die Erschließung der unentdeckten Datenmeere erst richtig losgeht, wird die Prahlerei über vermeintliche Geheimzusammenhänge vermutlich kaum zurückhaltender.
Dass Silver den Visionen solcher Zahlenmagie misstraut, das liegt nicht nur daran, dass er viele der Fehler, die er beschreibt, auch selbst gemacht hat. Eine Zeitlang verdiente er sein Geld als professioneller Pokerspieler, bis er erkannte, dass auch die besten Wahrscheinlichkeitsrechnungen das Pech nicht ausschließen können. Vor allem aber verdankt sich seine gesunde Skepsis einem mathematischen Theorem, an dem sich viele Pokerspieler orientieren, ohne es zu wissen: dem Satz von Bayes. Der britische Mathematiker Thomas Bayes entwickelte Mitte des 18. Jahrhunderts eine Formel, die zu berechnen hilft, wie neue Erkenntnisse im Lichte vorheriger Urteile interpretiert werden müssen. Für Bayes war Wahrheit immer nur als Annäherung zu haben, nicht weil die Wirklichkeit so unzuverlässig ist, sondern unsere Fähigkeiten, sie zu verstehen. Was hilft, glauben Bayes und Silver, ist, sich seine eigene Unvollkommenheit einzugestehen. Als Statistiker hält auch er sich an eine Art Hippokratischen Eid, wenigstens an den Teil, der verlangt: Richte keinen Schaden an!
Wenn man aber den Versprechen der absoluten Berechenbarkeit der Welt nicht glauben kann, dann muss man auch die Prophezeiungen eines totalitären Datendeterminismus relativieren, die sich daran anschließen. Dass immer genauere persönliche Profile möglich werden, bedeutet eben nicht, dass man sich den Menschen nur noch als Summe seiner Amazonempfehlungen, Googletreffer und Bookmarks vorstellen muss. Daten aus der Vergangenheit, auch das lehrt Silver, sind ein erbärmlicher Indikator für zukünftige Ereignisse; wieso sollte man sich selbst von seinem eigenen Profil entmündigen lassen?
Die Existenz dominanter Verhaltensmuster ermöglicht nicht nur Dissidenz; sie belohnt sie womöglich sogar. Sein eigenes Handeln unvorhersehbar zu machen, ist nicht nur eine Strategie beim Pokern, sondern eine elementare Eigenschaft des Menschen. Einer der Helden in Silvers Buch ist der Wettmillionär Haralabos "Bob" Voulgaris, von dem man lernen könnte, dass es kein Nachteil sein muss, wenn man eigene Erfahrungen und Intuition gegen die vermeintlich sicheren Prognosen (die sich in seiner Welt als Quoten ausdrücken) setzt.
"Die Zukunft", hat Jacques Derrida einmal gesagt, "gehört den Gespenstern." Sie ist mehr als die Hochrechnung der Vergangenheit. Wem könnte man das besser glauben, als einem Mann, der sie vorhersehen kann.
HARALD STAUN
Nate Silver: "The Signal and The Noise", Penguin Press, 544 Seiten
Alle Rechte vorbehalten. © F.A.Z. GmbH, Frankfurt am Main
Sind wir Herr über unsere Entscheidungen? Oder längst Opfer allmächtiger Algorithmen? Ausgerechnet Nate Silver, Zukunftsforscher der Stunde, hält die Berechenbarkeit menschlichen Handelns für eine Illusion
Alle fünf Jahre nehmen die Bürger der Vereinigten Staaten an einem landesweiten philosophischen Experiment teil. Etwa sechzig Prozent der erwachsenen Staatsbürger versuchen durch ihre persönliche Stimmabgabe herauszufinden, ob ihre freie Entscheidung notwendig ist, um zu ermitteln, wer in den kommenden Jahren der Präsident ihres Landes sein soll. In den vergangenen beiden Präsidentschaftswahlen hat sich das altmodische Ritual als relativ überflüssig erwiesen: Man hätte auch einfach Nate Silver fragen können.
Weil er in seinem "New York Times"-Blog "Five Thirty Eight" die Wahlergebnisse in 50 von 50 Bundesstaaten richtig prognostizierte, gilt der vierunddreißigjährige Statistiker als heimlicher Gewinner der Wahl. Seitdem wird Silver, der schon 2008 die Ergebnisse in 49 von 50 Staaten richtig vorhergesehen hatte, nicht nur persönlich mit unvermeidlichen Ehrentiteln ("König der Quants", "Amerikas Präsident der Daten", "Gott der Algorithmen") gefeiert; sein Erfolg gilt auch als Triumph der Mathematik gegen die pundits, jene meinungsstarken Fernsehexperten, die ihre Prophezeiungen vor der Wahl aus einer Mischung aus Eitelkeit und Ideologie zusammenbrauten. Und all jenen konservativen Stimmungsmachern, die womöglich selbst daran geglaubt hatten, dass Silvers Zahlen nur sein demokratisches Wunschdenken zum Ausdruck bringen, bleibt jetzt nur, sich über dessen simple Methodik zu wundern. Denn im Prinzip hat Silver nichts anderes getan, als die Durchschnittswerte der wichtigsten Umfragen zu errechnen. Im Gegensatz zu jenen Kommentatoren aber, welche, als hätten sie noch nie vom Prinzip der Mehrheitswahl gehört, die Ausgeglichenheit in nationalen Umfragen als Indikator eines Kopf-an-Kopf-Rennens interpretierten, zog er die richtigen Schlüsse aus den Zahlen. Womöglich besteht darin tatsächlich die größte Frechheit Silvers: dass seinen Berechnungen keine geheime Formel zugrunde lag.
Jenseits aller Genugtuung aber, über diesen Sieg der Nüchternheit gegen das Geschrei, den Sieg auch der Analyse gegen die Meinung, jenseits dieses unerwarteten Schimmers der Vernunft in den oft so krawallorientierten amerikanischen Medien, scheint Silvers Präzision eine derzeit verbreitete Sorge zu bestätigen: die Angst um den Kontrollverlust der Individuen angesichts immer raffinierterer Datenprofile. Die Vorstellung, dass die Autonomie menschlicher Entscheidungen durch immer perfektere Algorithmen aufgehoben wird, ist heute als Utopie genauso verbreitet wie ihr Gegenteil. Wenn Bürger in der Wahlkabine nicht mehr als freie Menschen entscheiden, sondern nur noch das Opfer ihrer eigenen, berechenbaren Prädispositionen (wie Wohnort, Alter, Familienstand, Einkommen, Hautfarbe, Bildung, Musikgeschmack, Leseliste) sind, dann ist das erst der Anfang ihrer umfassenden Entmündigung.
Nicht alle aber weinen dem Ende menschlicher Undurchschaubarkeit nach: Das Schlagwort "Big Data", das derzeit die ganze IT-Branche verrückt macht, beinhaltet das Versprechen, dass unerschöpfliche Datenfelder brachliegen, die nur auf die richtigen Techniken warten, um eingefahren, analysiert und kommerziell verwertet zu werden. Der "Wired"-Chefredakteur Chris Anderson hat angesichts des "Zeitalters der Petabytes" bereits vor vier Jahren das Ende aller Theorie verkündet. Heute werden Tag für Tag Daten im Exabyte-Bereich produziert, alleine die Menge der täglichen Tweets ergibt zwölf Terrabytes. Big Data mache es möglich, verspricht etwa die Firma IBM ihren Kunden, "Fragen zu beantworten, die bisher unerreichbar waren".
Zur Enttäuschung all dieser Propheten aber, weist ausgerechnet Silver solche Allmachtsphantasien zurück. Sein kurz vor der Wahl erschienenes Buch "The Signal and the Noise" ist alles andere als eine Bedienungsanleitung für idiotensichere Prognosen. Nicht zum Spaß lautet sein Untertitel: "Warum so viele Vorhersagen scheitern - und manche nicht". Dabei hat Silver natürlich keine grundsätzlichen Einwände gegen Prognosen. Aber im Unterschied zu vielen anderen Naturwissenschaftlern weiß er um die Illusion einer objektiven Wissenschaft. Denn erst indem wir den Daten eine Bedeutung geben, werden sie zum "Signal"; alles andere ist Rauschen. "Zahlen können nicht für sich selbst sprechen", schreibt Silver. "Wir sprechen für sie. Wir laden sie mit Bedeutung auf." Und im Gegensatz zu vielen Pressesprechern seines Fachs denkt er gar nicht daran, die Schwächen seines Fachs zu unterschlagen: "Wir können niemals perfekte objektive Vorhersagen machen. Sie werden immer von unserer subjektiven Sicht der Dinge geprägt sein." Skepsis ist die erste Tugend des Statistikers: Nur wer sich all der Voraussetzungen und Überzeugungen bewusst ist, die in seine Modelle eingehen, sagt Silver, kann zu brauchbaren Ergebnissen kommen.
Silvers Chronik der Pleiten, Pech und Pannen macht deutlich, wie groß die Unwägbarkeiten der Vorhersagen sind, und zwar in so unterschiedlichen Bereichen wie Wetter, Erdbeben, Baseball, Poker oder Politik. Am härtesten geht er mit dem Versagen der Prognosen in der Wirtschaft ins Gericht, die Finanzkrise liefert erwartungsgemäß umfangreiches Material. Und trotzdem hat es nichts mit Rechthaberei zu tun, wenn er, in der ersten Hälfte seines Buches, über all die Blindheiten und Taschenspielertricks seiner Kollegen spricht, über systematische und absichtliche Fehler. Über den Unterschied zwischen Vorhersagen und Prognosen, zwischen akkuraten und präzisen Aussagen, zwischen zu spezifischen und zu unspezifischen Modellen. Es geht ihm um die Verbesserung der Methoden, deren Qualität im Zweifelsfall nicht daran zu erkennen ist, ob sich eine Prophezeiung am Ende auch erfüllt. Denn natürlich ist eine erfolgreiche Vorhersage, das wissen wir seit Krake Paul, kein Indiz für deren Verlässlichkeit. Oft aber kommen die Zweifel an den Unzulänglichkeiten eines Modells erst, wenn es nicht mehr funktioniert.
Jahrelang etwa galt der Gewinner des Super Bowl als wichtiger Indikator für den amerikanischen Aktienmarkt. Bis 1997 stiegen beziehungsweise fielen die Kurse, je nachdem, ob ein Team der National Football League (NFL) oder der American Football League (AFL) die Meisterschaft gewann, immerhin in 28 von 31 Jahren. Erst als sich ab 1998 die Korrelation umdrehte, wurde offensichtlich, dass sich die Trefferquote nur dem Zufall verdankte. Selbst wenn seriöse Ökonomen diesen Wert nie ernst genommen haben, schreibt Silver, glauben auch heute noch viele, dass ihre Prognosen besser werden, indem man sie mit möglichst vielen Variablen anreichert. Und wenn der Wettbewerb um die Erschließung der unentdeckten Datenmeere erst richtig losgeht, wird die Prahlerei über vermeintliche Geheimzusammenhänge vermutlich kaum zurückhaltender.
Dass Silver den Visionen solcher Zahlenmagie misstraut, das liegt nicht nur daran, dass er viele der Fehler, die er beschreibt, auch selbst gemacht hat. Eine Zeitlang verdiente er sein Geld als professioneller Pokerspieler, bis er erkannte, dass auch die besten Wahrscheinlichkeitsrechnungen das Pech nicht ausschließen können. Vor allem aber verdankt sich seine gesunde Skepsis einem mathematischen Theorem, an dem sich viele Pokerspieler orientieren, ohne es zu wissen: dem Satz von Bayes. Der britische Mathematiker Thomas Bayes entwickelte Mitte des 18. Jahrhunderts eine Formel, die zu berechnen hilft, wie neue Erkenntnisse im Lichte vorheriger Urteile interpretiert werden müssen. Für Bayes war Wahrheit immer nur als Annäherung zu haben, nicht weil die Wirklichkeit so unzuverlässig ist, sondern unsere Fähigkeiten, sie zu verstehen. Was hilft, glauben Bayes und Silver, ist, sich seine eigene Unvollkommenheit einzugestehen. Als Statistiker hält auch er sich an eine Art Hippokratischen Eid, wenigstens an den Teil, der verlangt: Richte keinen Schaden an!
Wenn man aber den Versprechen der absoluten Berechenbarkeit der Welt nicht glauben kann, dann muss man auch die Prophezeiungen eines totalitären Datendeterminismus relativieren, die sich daran anschließen. Dass immer genauere persönliche Profile möglich werden, bedeutet eben nicht, dass man sich den Menschen nur noch als Summe seiner Amazonempfehlungen, Googletreffer und Bookmarks vorstellen muss. Daten aus der Vergangenheit, auch das lehrt Silver, sind ein erbärmlicher Indikator für zukünftige Ereignisse; wieso sollte man sich selbst von seinem eigenen Profil entmündigen lassen?
Die Existenz dominanter Verhaltensmuster ermöglicht nicht nur Dissidenz; sie belohnt sie womöglich sogar. Sein eigenes Handeln unvorhersehbar zu machen, ist nicht nur eine Strategie beim Pokern, sondern eine elementare Eigenschaft des Menschen. Einer der Helden in Silvers Buch ist der Wettmillionär Haralabos "Bob" Voulgaris, von dem man lernen könnte, dass es kein Nachteil sein muss, wenn man eigene Erfahrungen und Intuition gegen die vermeintlich sicheren Prognosen (die sich in seiner Welt als Quoten ausdrücken) setzt.
"Die Zukunft", hat Jacques Derrida einmal gesagt, "gehört den Gespenstern." Sie ist mehr als die Hochrechnung der Vergangenheit. Wem könnte man das besser glauben, als einem Mann, der sie vorhersehen kann.
HARALD STAUN
Nate Silver: "The Signal and The Noise", Penguin Press, 544 Seiten
Alle Rechte vorbehalten. © F.A.Z. GmbH, Frankfurt am Main