Jeden Tag werden in allen Lebensbereichen vieleEntscheidungen getroffen, die sowohl sofortigeals auch langfristige Auswirkungen haben. DieseAuswirkungen sind im Allgemeinen zwar bekannt,unterliegen aber der Unsicherheit und dem Einflussdes Zufalls. Außerdem können die einzelnenEntscheidungen nicht isoliert betrachtet werden, daohne Beachtung des Zusammenhangs zwischen Gegenwartund Zukunft die Gesamtentwicklung ungünstig verlaufenkann. In dieser Arbeit wird die Realität durch eineFolge von Entscheidungen des Entscheidungsträgers zubestimmten Zeitpunkten aus einer gewissen Menge vonEntscheidungsmöglichkeiten modelliert. Dies führt zuzwei unmittelbaren Folgen: Ein Gewinn oderauch Verlust wird sofort realisiert und ein neuerZustand wird mit einer bekannten Wahrscheinlichkeitangenommen. Das beschriebene Modell wird alsMarkovscher Entscheidungsprozess bezeichnet.Das Ziel, sowohl in der Praxis als auch in derTheorie besteht nun darin, eine zulässige Strategiezu finden, die den Gesamterfolg möglichst optimiert.Dieses Buch beschäftigt sich mit der Suche nachoptimalen Strategien in diskreten Zeitmodellen undgeht dabei vorrangig auf einen unendlichenZeithorizont ein.