Ensemblistische Methoden basieren auf der Idee, die Vorhersagen mehrerer Klassifikatoren zu kombinieren, um eine bessere Verallgemeinerung zu erreichen und mögliche Mängel einzelner Prädiktoren auszugleichen.Man unterscheidet zwei Familien von Methoden: Parallele Methoden (Bagging, Random Forests), bei denen das Prinzip darin besteht, den Mittelwert mehrerer Vorhersagen zu bilden, in der Hoffnung auf ein besseres Ergebnis infolge der Verringerung der Varianz des mittleren Schätzers.Sequentielle Methoden (Boosting), bei denen die Parameter iterativ angepasst werden, um eine bessere Mischung zu erzeugen.In diesem Buch behaupten wir, dass wenn die Mitglieder eines Prädiktors unterschiedliche Fehler begehen, es möglich ist, die schlecht klassifizierten Beispiele im Vergleich zu einem einzelnen Prädiktor zu reduzieren. Die erzielte Leistung wird anhand von Kriterien wie Klassifikationsrate, Sensitivität, Spezifität, Recall usw. verglichen.