L’entité... Pascal Boucher

Le but de cette résidence est de créer une entité numérique qui habiterait pour un certain temps les locaux de la Société des arts technologiques. Cette entité réagirait aux mouvements des individus…

L’Entité

Par : Pascal Boucher
Collaborateurs : Mike Wozniewski :: Manuel Chantre

Introduction

J’ai terminé récemment une maîtrise en arts médiatiques qui questionnait la problématique du corps générateur de trace picturale. Les mouvements d’un interprète sur une scène venaient influencer ou contrôler des images numériques. Ces dernières devinrent, en fait, des entités numériques primaires avec qui l’interprète pouvait interagir. Ces entités réagissaient à la présence et au comportement d’un individu. Ce projet terminé, je désire maintenant entreprendre une nouvelle exploration de cette thématique mais dans un contexte complètement différent. L’invisible vue la numérisation de la mort fut développée du mois de juin à septembre 2006 au studio 1 du LANTISS de l’Université Laval. Nous étions alors dans un contexte de représentation conventionnelle, c’est-à-dire qu’il existait une coupure physique entre le monde réel, le quotidien et l’expérience artistique. La salle close et sombre de l’univers théâtral ou cinématographique crée nécessairement une rupture entre la fiction, le fantastique et le quotidien. Donc, dans le cadre de cette résidence j’ai le désir d’investir un lieu public, urbain, afin que l’expérience artistique soit vécue dans « le monde réel ».

Objectifs

Le but de cette résidence est de créer une entité numérique qui habiterait pour un certain temps les locaux de la Société des arts technologiques. Cette entité réagirait aux mouvements des individus présents dans les locaux du 1er étage de la SAT et se matérialiserait par la voie de projections vidéos abstraites. L’entité aurait une personnalité propre, qui pourrait toutefois être modifiée et mise à jour durant toute sa durée de vie. Elle aurait ses humeurs, interagissant beaucoup avec les gens ou non, se reposerait. La capture de mouvement serait effectuée par caméra unique qui ne nécessiterait aucun senseur, ce qui permettrait alors de créer une interaction entre tous visiteurs et l’entité.

Technique

Pour effectuer la capture de mouvement nous utilisons Eyesweb, un logiciel gratuit. Ce dernier est développé par l’Université de Gênes en Italie et fonctionne sous l’environnement Windows. Eyesweb vise à développer une communication expressive non-verbale, à saisir les mouvements du corps dans le but de générer des effets multimédias. Le projet soutenant le développement de ce programme a comme objectif d’explorer la notion de gestuelle expressive; cette dernière se voulant une matérialisation des émotions, de la dimension affective contenue dans le mouvement :

« A main research issue in our investigation is the study of the mapping strategies of recognized expressive content onto multimodal outputs, i.e. the exploration about how the expressiveness conveyed by expressive gesture can influence the generation of multimodal (sound, music, lights, movements, visual media) outputs. »

Eyesweb effectue une capture de mouvement en 2 dimensions par l’entremise d’une seule caméra. L’image vidéo devient alors la source d’information qui sera par la suite traitée et analysée par le logiciel. Eyesweb est constitué d’une banque de blocs pouvant être interconnectés entre eux. Les différents blocs sont programmés pour effectuer une opération bien précise, comme, par exemple, convertir une image vidéo couleur en une image vidéo noir et blanc. Les blocs plus complexes font l’analyse du mouvement contenu dans l’image vidéo. Par exemple, déterminer la quantité de mouvements effectués par une personne, identifier la direction d’un mouvement, détecter l’expression corporelle propre à diverses émotions (la peur, la joie, etc). Eyesweb reçoit les informations via la caméra, traite et analyse le contenu de l’image et en fonction des données extraites, par exemple la quantité de mouvements, envoi un signal MIDI ou OSC qui pourra alors être utilisé par un autre logiciel, un autre ordinateur. Pour de plus amples informations sur Eyesweb, consultez le site www.eyesweb.org).

Les données ainsi recueillies sur la présence humaine seront acheminées vers Pure Data (www.puredata.org) afin de générer et gérer la personnalité de l’entité ainsi que ses réactions. L’entité se matérialisera visuellement par des images créées à l’aide de Processing (www.processing.org).

Les images vidéos et la caméra infrarouge auront le même champ. Ceci permet, par exemple, qu’une forme puisse suivre, être sensiblement dans la même position sur l’axe des X que la personne sur laquelle la capture de mouvement est effectuée. Toutefois, ce montage technique entraîne un problème; la capture de mouvement sera inévitablement perturbée par les images vidéos car elles sont dans le champ de la caméra. Les projections vidéos étant assez lumineuses pour devenir un objet aux yeux d’Eyesweb. Donc pour résoudre ce problème nous utilisons un projecteur LCD (Sony XGA VPL-CX76) émettant peu de lumière infrarouge ainsi qu’une caméra noir et blanc (Sony ExwaveHAD) munie d’une lentille infrarouge (HOYA INFRARED [R72]. La caméra ne voit donc pas les projections vidéos présente pourtant dans son champ, mais voit parfaitement une personne ou tout autre objet.

Cheminement de la recherche-création

Le premier mois de la résidence fut consacré à la mise en place du dispositif de capture de mouvement ainsi qu’à la réflexion portant sur la nature de l’entité et le type de réactions quelle allait avoir.

Le dispositif de capture de mouvement comprend la caméra noir et blanc munie d’une lentille infrarouge ainsi que du logiciel Eyesweb. Le défi de cette étape est d’arriver à une capture de mouvement fiable en intervenant le moins possible sur les conditions du lieu de capture. Je voulais intervenir le moins possible car un des buts de ce projet est de pouvoir intégrer facilement le dispositif dans un lieu publique où il serait difficile, voir impossible d’ajouter de l’éclairage, d’assombrir des sections, etc. Donc je travaillais plusieurs jours à mettre au point une patch me permettant d’extraire des données fiables et constantes dans un environnement éclairé par de la lumière naturelle ainsi que quelques néons. Je programmais également cette patch pour extraire des données spécifiques : la position X et Y du centre de la masse (silhouette), sa vitesse, sa largeur ainsi que l’aire occupée, exprimé en pixels, par celle-ci.

Parallèlement à ce travail j’effectuais une réflexion portant sur la nature de l’entité et des contraintes techniques générées par les limites de la capture de mouvement. Il est nécessaire pour ce genre de projet de trouver le point d’équilibre entre le discours que l’on veut développer et la faisabilité technique. Cette portion du travail de recherche-création est cruciale, compliquée. Cela dit, ce travail de recherche d’équilibre se poursuivra jusqu’à la toute fin du projet.

Suite à la mise en place du dispositif de capture de mouvement, je travaillais avec Mike Wozniewski à l’élaboration du dispositif de gestion des données issues de la capture ainsi que du dispositif de génération des images. Les réactions de l’entité allaient être gérées par Pure Data. C’est à ce niveau que la « personnalité » de l’entité est créée. Afin d’accomplir ce travail je devais réaliser une réflexion visant à trouver la concordance, d’effectuer le « mapping » d’un mouvement humain. Je devais trouver la façon d’extraire une information signifiante issue de la capture de mouvement afin de créer un lien discursif entre le mouvement qu’une personne effectue dans le champ de capture et la réaction de l’entité. C’est par l’adjonction des différentes données générées par Eyesweb et leur gestion par Pure Data qu’il devenait possible de créer du sens. Notons que la chose se complique par le fait que je ne limite pas la capture à une personne à la fois et que j’interviens minimalement sur le lieu de capture.

Ces réactions gérées, j’envoyais l’information par port MIDI vers Quartz Composer. Je procédais alors à l’élaboration des images visant à matérialiser l’entité. Je m’inspirais à ce moment du travail que j’avais accompli lors de mon travail de création dans le cadre de ma maîtrise en arts médiatiques. Le traitement effectué dans Quartz Composer visait à utiliser le « mapping » réalisé au niveau de Pure Data. Les différents nombres que ce dernier envoyait vers Quartz Composer ont été utilisés de manière à faire réagir les images, à créer une réaction dans l’image qui serait en lien avec la présence physique, les mouvements des gens présents dans le champ de capture. Un des défis de ce genre de projet est d’arriver à ce que le spectateur comprenne son effet sur les images, qu’ils puissent saisir de façon intuitive le lien entre sa présence et les réactions du système et de ne pas tomber dans une œuvre trop facile où les images ne font que changer de forme ou de couleur sans construire un niveau de discours supplémentaire.

Nous avons donc mis en place un système qui fut retravaillé constamment afin de tenir compte de ce qui fonctionnait le plus visuellement et techniquement. Le système étant installé dans un lieu public (les bureaux de la SAT) j’ai pu à tout moment réévaluer l’efficacité des réactions, ayant un va et vient constant de personnes. Ce qui permis de me rendre compte que les gens voyaient peu leur action sur la forme, malgré le fait que cette dite forme, l’entité, suivait parfaitement les gens, sans délai. Il en résulte un constat; la réaction doit être rapide et facile à lire visuellement.