L'objectif de cette thèse est d'appliquer les méthodes d'approximations stochastiques a l'estimation de la densité et de la régression. Dans le premier chapitre, nous construisons un algorithme stochastique a pas simple qui définit toute une famille d'estimateurs récursifs a noyau d'une densité de probabilité. Nous étudions les différentes propriétés de cet algorithme. En particulier, nous identifions deux classes d'estimateurs ; la première correspond a un choix de pas qui permet d'obtenir un risque minimal, la seconde une variance minimale. Dans le second chapitre, nous nous intéressons a l'estimateur proposé par Révész pour estimer une fonction de régression. Son estimateur, construit à l'aide d'un algorithme stochastique à pas simple, a un gros inconvénient : les hypothèses sur la densité marginale de X nécessaires pour établir la vitesse de convergence sont plus fortes que celles habituellement requises pour étudier le comportement asymptotique. Nous montrons comment l'application du principe de moyennisation des algorithmes stochastiques permet, de construire un estimateur récursif qui possède de bonne propriétés asymptotiques.