Dans le domaine de la reconnaissance gestuelle, les mouvements humains sont observés, reconnus et transformés en primitives fonctionnelles pour contrôler un système ou manipuler un objet. Les chercheurs en Interaction Homme-Machine ont plus particulièrement étudié le suivi des gestes réalisés après le contact avec l'objet à manipuler (geste apparent). Nous montrons dans cet ouvrage qu'interagir et manipuler un objet 3D est un processus plus large qui commence par la vision, incluant le rapprochement, la saisie, la manipulation et qui se termine avec la "consommation des événements" dans les applications cibles. Nous avons collecté et organisé un état de l'art sur l'interaction Homme-machine provenant de différents points de vue (vision, neuropsychologie, de saisie et techniques). Nous avons créé un système qui suit les mouvements des utilisateurs sur une table mais également au dessus de la surface à partir d'un nuage de points 3D. Nous avons spécifié des cas d'activités gestuelles et nous les avons utilisés dans deux applications. Nous avons aussi proposé une nouvelle façon de créer des applications adaptables aux nouvelles interactions en se basant sur un bus logiciel.