Capture et reproduction de visage dans Blender | Société des arts technologiques

Capture et reproduction de visage dans Blender


13 Dec 2018


Dans le cadre du projet conjoint avec le CHUM intitulé "de l'ombre à la lumière", lauréat du concours Audace 2017, le Metalab, laboratoire de recherche de la SAT, développe et expérimente des outils dans l'objectif de permettre la projection vidéo sur des corps en mouvement.

C'est ainsi qu'est développé actuellement un addon pour Blender* permettant de capturer le visage de l'utilisateur et de le reproduire en 3D sous la forme d'un maillage et d'une armature de contrôle. La capture est faite par l'intermédiaire de deux caméras (ou une seule, auquel cas l'information de profondeur est perdue), et la détection est faite à l'aide de la librairie OpenPose.

La prochaine étape sera de mettre au point une méthode de calibrage d'un projecteur utilisant le maillage 3D généré par la détection, ce qui permettra alors de projeter sur le visage de l'utilisateur.

*Blender est une suite de création 3D libre et gratuite, profitant d'une forte communauté de contributeurs et d'utilisateurs.