In der heutigen Zeit ist das Internet aus fast keinem Lebensbereich mehr wegzudenken. Im Privatbereich finden immer mehr internetfähige Mobilgeräte wie Laptops, Mobiltelefone oder Tablets ihren Einsatz. Was vor einem Jahrzehnt noch durch analoges Fernsehen bestimmt wurde, wird heute durch digitale Medien beeinflusst. Neben den Anforderungen des Mobilfunks wachsen gleichermaßen die Anforderungen an die dahinterliegenden optischen Übertragungssysteme. Bei den Überlegungen zur Erhöhung der Übertragungsraten muss sich verstärkt mit den linearen und nichtlinearen Störungen, sowie den Störungen imperfekter Bauteile in optischen Systemen beschäftigt werden. Diese limitierenden Effekte werden in dieser Arbeit mit besonderer Aufmerksamkeit betrachtet. Der Fokus dieser Arbeit richtet sich zum einen auf die Erhöhung der Kanalrate durch moderne digitale Signalverarbeitung und zum anderen auf hochwertige Modulationsformate in unterschiedlichen optischen Übertragungssystemen. Zusätzlich wird in dieser Arbeit die Möglichkeit intensiv diskutiert, bei gegebenen Übertragungsbedingungen in Dual- Polarisations-Netzen mit Wellenlängenmultiplex, die Datenrate adaptiv zu gestalten. Dies ist Voraussetzung, um moderne durch Software bestimmte Konzepte zu unterstützen. Das Ziel der für diese Ausarbeitung zugrundeliegenden Forschungstätigkeit ist es, in kohärenten WDM-Netzen mit dichtem Raster von weniger als 50 GHz, die Datenrate adaptiv gestalten zu können. Das Hauptaugenmerk liegt dabei auf der Untersuchung, Optimierung und experimentellen Umsetzung der hybriden Modulation und deren digitalen Signalverarbeitung im Sender wie Empfänger. Die hybride Modulation bietet neben anderen Konzepten eine zentrale Abstraktionsmöglichkeit, indem die einzelnen Datenströme unabhängig voneinander moduliert werden können. Außerdem zeigt diese Arbeit, dass bereits gängige Konzepte der digitalen Signalverarbeitung auf eine hybride Modulation anwendbar sind.