Microsoft Research présente, à l’occasion d’une conférence sur la recherche en interaction, un nouveau système de suivi des mains par les caméras évolué comme Kinect et ouvrant ainsi la voie vers de nouveaux usages.

Microsoft handpose 1

Chaque année a lieu, au mois d’avril, la conférence CHI où les chercheurs en interaction homme-machine présentent les avancées dans le secteur. Microsoft Research participe activement aux recherches et on devrait donc découvrir dans les prochains jours les résultats de plusieurs projets qui pourraient arriver dans le futur dans des produits commercialisés par l’entreprise. Aujourd’hui, les équipes de Microsoft Research mettent en avant Handpose, un nouveau système de suivi en temps réel de la main grâce au capteur Kinect.

Microsoft handpose 2

Le suivi des mains n’est pas quelque chose de nouveau, Kinect et des produits conçurent comme le Leap de Leap Motion en sont déjà capables. Il est ici question de la mise en place de nouveaux algorithmes qui rendent le système de suivi plus robuste et précis. Grâce à cela, Microsoft Research annonce que le système est capable de reprendre le suivi après une erreur, la sortie de la main du champ de la caméra par exemple. Le système permet également des placements plus flexibles de la caméra, elle n’a pas plus forcément à être placée en face de l’utilisateur comme c’est le cas aujourd’hui avec Kinect, mais peut au contraire être posée sur l’épaule de l’utilisateur. La caméra n’a d’ailleurs plus à être placée à un point fixe et peut être en mouvement pendant le suivi. L’équipe a publié une vidéo où elle présente cette technologie et la compare à deux concurrents, Leap Motion et 3Gears, et le résultat semble bluffant.

Quelles applications concrètes ?

Microsoft met en avant deux applications pour cette technologie. Premièrement, l’éditeur imagine qu’il pourrait créer un interpréteur du langage des signes et on pourrait imaginer qu’il décide de l’intégrer à Skype Translator, son logiciel de traduction en temps réel. Deuxièmement, l’équipe imagine une utilisation plus ludique, Handpose permettrait de positionner la caméra sur un casque de réalité virtuelle pour permettre des interactions intuitives dans le monde virtuel. On imagine que la société pourrait l’intégrer à l’avenir à ses lunettes Hololens ce qui améliorerait probablement les performances de suivie des mains qui sont, avec la voix, l’une des façons principales d’interagir avec le monde en réalité augmentée de Microsoft.

Microsoft hololens interaction