Les grappes de calcul équipées de processeurs graphiques GPUs sont devenues des outils très attrayants pour le calcul scientifique intensif. Dans ce livre, nous avons conçu des algorithmes itératifs parallèles pour la résolution de systèmes linéaires et non linéaires creux de très grandes tailles. Les expérimentations ont montré que les méthodes itératives sont plus performantes sur les grappes GPU pour la résolution de systèmes d'équations de grandes tailles. De plus, elles ont permis de constaté que les meilleurs solutions développées pour les CPUs ne sont pas nécessairement bien adaptées aux GPUs. Nous avons aussi montré que la puissance de calcul des GPUs permet de réduire le rapport entre le temps d'exécution et celui de communication, ce qui favorise l'utilisation des algorithmes asynchrones sur des grappes GPU. Enfin, nous avons utilisé une méthode de multi-décomposition à deux niveaux pour la résolution de systèmes linéaires sur des grappes GPU géographiquement distantes. Cette méthode utilise des itérations synchrones pour résoudre localement les sous-systèmes linéaires et des itérations asynchrones pour résoudre la globalité du système linéaire.