0

Recherche

Laboratoire de recherche et d'innovation

Axes
PROJETS
Équipe
PUBLICATIONS
Recherche

Immersion collective, téléprésence, mapping vidéo, spatialisation sonore et interactivité

Avec ses expertises en son spatialisé, acoustique, synthèse sonore, mapping vidéo, systèmes embarqués et apprentissage machine, le centre de recherche de la SAT explore l'immersion collective et la téléprésence, en collaboration avec des artistes, des organismes culturels, des entreprises et des laboratoires de recherche universitaires au Québec et à l'international.
Voir les projets

Immersion sonore

Nouvelles méthodes de diffusion avec l'Orchestre symphonique de Montréal

Ce projet de recherche encadre des travaux sur la création d'expériences immersives sonores à haute fidélité. Durant le précédent programme de recherche SAV+R (2019-2022), l'Orchestre symphonique de Montréal (OSM) et la SAT ont élaboré et mis en oeuvre de nouvelles méthodes de captation, de traitement et de diffusion de musique symphonique pré-enregistrée, permettant à l'auditeur·ice de se déplacer dans l'orchestre, changeant ainsi sa perspective d'écoute.
En savoir plus

OpéRA de poche: Installation immersive avec dispositif de son spatialisé

Dans le cadre du projet OpéRA de poche, la Chaire de recherche en création d’opéra de l'Université de Montréal a créé une installation immersive déambulatoire. L’équipe de recherche de la SAT a été consultée pour intégrer une composante de spatialisation sonore dans l’expérience. L’implémentation du dispositif de son spatialisé Audiodice permet au public de se déplacer entre les sources sonores afin d’amplifier l’immersion sensorielle.

Interactivité collective

©
Crédit photo: Créo

Expérience muséale interactive avec Creo

LivePose est une technologie qui utilise l’intelligence artificielle pour la reconnaissance et la détection de poses. Développée par la SAT, cette technologie est la pièce maîtresse d’un projet muséal interactif développé par le studio montréalais Creo. MegaCeta est une expérience immersive pédagogique, qui invite les visiteurs à interagir avec des baleines afin de susciter l’apprentissage par le geste de ces mammifères marins. Par exemple, en entraînant les algorithmes de LivePose sur la détection de certaines actions (sauter, lever le bras, etc.) propre au contexte muséal, les visiteurs peuvent nourrir une baleine, ou encore, l’amener à se rapprocher d’eux.

Immersion fulldôme

Conférence immersive avec l'Université de Montréal

La SAT a collaboré avec la Faculté de Médecine de l’Université de Montréal pour présenter la conférence immersive "La poésie des bactéries". Ce projet est le fruit d'un long travail avec le microbiologiste Yves Brun qui avait à coeur de vulgariser ses recherches. Plusieurs membres de l'équipe SAT l'ont accompagné pour élaborer la scénographie immersive et les visualisations des bactéries projetées dans le dôme. La conférence offre une plongée dans l'infiniment petit tout en faisant découvrir le monde insoupçonné des bactéries. L'événement a connu un grand succès auprès du public et des médias .
En savoir plus

Téléprésence

©
Jean Philippe Sansfacon

BLUFF, la première pièce de théâtre diffusée simultanément en trois lieux.

Un dispositif de téléprésence développé par la Société des arts technologiques permet la rencontre entre les trois protagonistes et entre les trois publics. Les lieux investis sont interdépendants, mais portés par une même trame narrative. Les images captées dans l’un et projetées simultanément dans les autres rendent ce lien palpable.
En savoir plus

Vision Diversité - Ailleurs ensemble: Création musicale à distance

La SAT a accompagné l’équipe de Vision Diversité pour concevoir et diffuser un spectacle musical en 3 lieux simultanément. La téléprésence Scenic a été utilisée pour mettre en place des résidences de création permettant à des artistes à travers le Québec de se rencontrer et de travailler ensemble à distance. Ainsi, de salle en salle, des écrans leur ont permis de se retrouver face à face, offrant une sensation de proximité pour créer des dialogues musicaux. Le fruit de ce travail a ensuite été présenté sur 3 scènes à Montréal, Rimouski et St-Camille, permettant aux artistes de performer chacun depuis leur région, dans une ambiance unique connectant les 3 publics locaux.
En savoir plus

Illumine Baie Saint-Paul - Graffitis numériques: Murale éphémère en téléprésence

L’artiste Louis-Robert Bouchard a développé des canettes de style aérosol, équipées de capteurs qui reproduisent l’effet de l’encre en vidéoprojection pour créer des murales éphémères. L’ajout de la technologie de téléprésence Scenic augmente cette expérience en permettant aux participants de co-créer des murales depuis des lieux distants. Les graffeurs de chaque ville utilisent des palettes de couleur complémentaires et la murale projettée est la superposition de leurs contributions. À cela s’ajoute un écran dédié représentant le participant distant à échelle humaine pour maximiser le sentiment de connexion et faciliter la création collective.

Expériences virtuelles

Dome Fest West - Dôme virtuel personnalisé

Dome Fest West est un festival de films immersifs à Los Angeles. Lors de l’édition 2023, la SAT a été mandatée pour concevoir un dôme virtuel dans lequel présenter sa sélection de films fulldome. La SAT a accompagné le festival dans la conception de cet espace virtuel personnalisé, avec notamment la création d’avatars adaptés au thème de l’événement, ainsi que l'intégration de fonctionnalités audio avancées.

UNION : play the memory game – Expérience web VR

Présentée dans la galerie virtuelle Satellite dans le cadre de MUTEK 2022, cette œuvre de Nancy Lee et Kiran Bhumber est une expérience web VR dans un monde dystopique. Lors de la résidence, la SAT a collaboré avec les artistes pour rendre l'expérience plus ludique et interactive. Elle a développé des fonctionnalités personnalisées, telles que la téléportation entre les scènes, la création de zones audios isolées et l’apparition de textes selon le positionnement des avatars.

Résidences

Les projets présentés sont issus de résidences de recherche création visant à explorer différents cas d'usage artistiques autour des technologies développées par la SAT.

Marie LeBlanc Flanagan

ComeWithMe

Qui ne s’est jamais senti seul ? ComeWithMe est une exploration virtuelle ludique des espaces entre les personnes. L’installation traduit les mouvements physiques des individus du « monde réel » en un étrange monde virtuel de formes sculpturales animées et de mouvements. À l'aide d'une caméra, d'une détection corporelle basée sur l'intelligence artificielle (LivePose), de projecteurs et de sons, ComeWithMe explore la manière dont nous nous rapprochons les uns des autres, nous nous connectons et, parfois, nous échouons à nous connecter avec les personnes qui nous entourent.

Louis-Olivier Desmarais

PAX

PAX est une installation contemplative sur plusieurs haut-parleurs. Une invitation à célébrer l’écoute (dans tous les sens du terme), le recueillement et la contemplation sous forme d'une immersion dans l’esprit et le silence d’une abbaye bénédictine en plein centre-ville de Montréal. Combinant arts visuels, éclairages et musiques spatialisées, elle utilise le système de son Audiodice développé par la SAT, combiné à des haut-parleurs traditionnels.

Samuel Thulin

Sweet Immersion

Une exploration audio immersive créée à partir des données collectées par l'artiste en tant que diabétique de type 1. Ces données dirigent les sonorités et la progression musicale de la pièce à de multiples niveaux, de l’échelle temporelle micro au développement structurel macro. À travers cette « sonification » systématique mais non scientifiquement rationnelle, l'installation se détourne de l’orientation biomédicale usuelle face aux données de santé. Elle tente de transmettre les temporalités entrelacées et non linéaires d'un corps et invite les auditeurs et les auditrices à explorer l'espace sonore métabolique qui en résulte.

Guillaume Coulombe & Nina Parenteau

Podorythmie sensible

Le «Ta ka boum - Ta ka boum» du trad est unique parmi les musiques du monde. Nina Parenteau et Guillaume Coulombe explorent diverses technologies développées par le Metalab de la SAT pour représenter artistiquement la podorythmie en musique traditionnelle québécoise. Leur installation interactive présentera des effets de spatialisation de l’image et du son, sur trois surfaces de projection et avec quatre hauts-parleurs. Ces effets seront animés par leur nouvelle planche de podorythmie multimédia, de même que par une caméra utilisée avec un logiciel de reconnaissance squelettique.

Charlie Leroy & Sébastien Samyn

Perspectives

Perspectives est une installation multimédia interactive qui mêle art et technologie pour nous immerger dans un espace où nous avons, individuellement et collectivement, une influence. En jouant avec les principes de l'anamorphose, la détection de pose AI et les jeux de perspectives, l'installation permet d’adapter le contenu de l'œuvre selon son point de vue. Mais que se passe-t-il lorsque plusieurs personnes sont présentes ? Quelles dynamiques sociales émergent ? À quel point l'installation et, plus largement, la technologie viennent-elles influencer ces comportements ?

Équipe gagnante du Hacklab 2021

Percepto

À partir des Technologies de la fête, une série d’interfaces pour la musique électronique, l’équipe Percepto a tenté de se jouer des technologies médicales telles que des bio-senseurs afin de créer des interfaces physiques permettant à des personnes en situation de handicap de se joindre à la fête en amplifiant avec empathie et écoute des micros-mouvements, intentions et sources sonores captées dans la ville.

Motus Domum

Un spectacle immersif hybride

Motus Domum est un projet en résidence dans le dôme en collaboration avec les équipes de recherche et de création de la SAT. La vidéo documente un prototype de dispositif pour un spectacle immersif hybride de danse et musique combinant interprètes et audience sur place et à distance. Le concept élaboré pendant la résidence va servir aux efforts de développement et de création subséquents pour la production de l'expérience artistique Motus Domum, dont la diffusion est prévue en 2023. Conception, Musique, Technologie: Zack Settel Conception & Danse: Peter Trosztmer Conception & Technologie: Osman Zeki Danse: Alida
En savoir plus

Recherche-création

Développement

L’équipe est composée de développeur·es, de chercheur·es et d’intégrateur·ices, auxquels s’associent des professeur·es, des étudiant·es, des chercheur·es et des contractuel·les de recherche. Nos partenaires comptent notamment des artistes, des laboratoires de recherche universitaires, des écoles, des designers et des industriels.

Équipe de recherche

  • Pía Baltazar – Directrice de la recherche-création
  • Marek Blottière – Chargé de projet
  • Manuel Bolduc – Chercheur-développeur
  • Bruno Colpron – Intégrateur installations immersives
  • Alexandra Marin – Gestionnaire de services en R&D
  • Eduardo Meneses – Chercheur-développeur

Les travaux du Metalab sont examinés par le comité scientifique de la SAT :

  • François Borrelli : Directeur Général TechnoMontréal et Président-fondateur de OblikMind
  • Jacques de Guise : Directeur du Laboratoire de recherche en imagerie et orthopédie (LIO). ÉTS et CR-CHUM
  • Wissem Maazoun : Directeur de l’innovation, partenariat et développement de la pratique d’analytique avancée au Mouvement Desjardins

Dossiers

Immersion sonore et scénophonie : principes, dispositifs et orientations de recherche

L’immersion sonore fait partie des axes prioritaires de recherche de la SAT depuis plusieurs années, et a été l’objet de divers questionnements et investigations selon les chercheur·euses qui ont participé au centre de recherche de la SAT. Depuis quelques mois, celui-ci a été réorganisé en profondeur, aussi bien au niveau de sa structure et de son fonctionnement que de ses membres, mais aussi de ses objectifs, davantage tournés vers l’innovation d’usage et la recherche- création. La recherche sur l’immersion sonore qui va être menée dans ce nouveau contexte se fera bien sûr en continuité avec ce qui s’est fait jusque là, mais elle développera aussi quelques nouvelles orientations, qui sont présentées dans ce dossier.
Voir le dossier complet

Panorama de la création immersive Fulldome

Dans ce dossier, préparé par Mourad Bennacer et Vincent Brault de l’équipe de création de la SAT, on parle de l’évolution des pratiques artistiques en création immersive Fulldome et des possibilités de ce médium hors-normes.
Voir le dossier complet

Arts & IA: les machines vont-elles remplacer les artistes?

L’intelligence artificielle (IA) nous fascine, tout en nous inspirant la crainte d’un futur déshumanisé, où même les artistes seraient remplacé·e·s par des robots. Dans une optique de partage des idées qui circulent entre ses murs, la SAT ouvre le débat avec ce dossier spécial sur les arts et l’IA. Nous avons demandé à des artistes et chercheurs de la SAT d’exprimer leur point de vue sur le sujet et de raconter leur expérience avec l’intelligence artificielle.
Voir le dossier complet

Articles

2022. Taylor & Francis
The Effects of Interactivity on Learners' Experience in a Visually Immersive Display Context.
Salame, Y.; Léger, P.; Charland, P.; Merveilleux Du Vignaux, M.; Durand, E.; Bouillot, N.; Pardoen, M.; Deslandes-Martineau, M.; and Sénécal, S.
2022. Vienna University of Music and Performing Arts
Two datasets of room impulse responses for navigation in 6~degrees of freedom: a symphonic concert hall and a former planetarium.
Piquet, T.; Teyssier, H.; Ouellet-Delorme, É.; Duée, R.; and Bouillot, N. In 25th International Conference on Digital Audio Effects DAFx20, pages pp. 169-176,
2021. Computers in the Schools, Interdisciplinary Journal of Practice, Theory, and Applied Research
Riding through history: The effects of interactivity in learners' experience in a visually immersive display context (submitted).
Salame, Y.; Vignaux, M. M. D.; Charland, P.; Durand, E.; Bouillot, N.; Léger, P.; and Pardoen, M.
2021. 18th Sound and Music Computing Conference
Building Navigable Listening Experiences Based on Spatial Soundfield Capture
Zack Settel, Jean-Yves Munch, Gabriel Downs, Nicolas Bouillot
2021. 18th Sound and Music Computing Conference
Live Ray Tracing and Auralization of 3D Audio Scenes with vaRays
Émile Ouellet-Delorme, Harish Venkatesan, Emmanuel Durand, Nicolas Bouillot
2021. Multimodal Technologies and Interaction
An exploratory study on the impact of collective immersion on learning and learning experience
M. Merveilleux Du Vignaux, P-M.Léger, P. Charland, Y. Salame, E. Durand, N. Bouillot, M. Pardoen, S. Sénécal

L’ensemble des publications du Metalab peut être consultée au format BibTex.

Publications scientifiques

20 ans d'innovation

Le laboratoire de recherche et création de la Société des arts technologiques se consacre à stimuler l’émergence d’expériences immersives innovantes et à rendre leur conception accessible aux artistes.

Programmes de recherche

Téléimmersion hybride, reproductible et durable

Ce programme vise à démocratiser les technologies téléimmersives par la conception et la mise en oeuvre de prototypes d'expériences téléimmersives hybrides, c'est-à-dire permettant la participation à distance et en personne. Il permettra d'explorer également la question de la conservation et de la reproductibilité de ces expériences.

Augmentation multisensorielle d'espaces pour l'immersion sociale

La vocation de ce programme est de faciliter la création d'expériences immersives et collectives activant de multiples sens. L'augmentation multisensorielle des lieux permet de rendre visible et audible des éléments virtuels pouvant interagir avec les personnes participantes. Par la conception et la mise en oeuvre de prototypes d'espaces immersifs, ce programme contribuera à l'amélioration des processus de création pluridisciplinaires.

Un écosystème de logiciels libres

L’écosystème de logiciels libres de la SAT vise à couvrir l’intégralité de la production de contenu immersif distribué. Cet écosystème soutient les travaux de recherche de la SAT ainsi que ses partenariats. Développés dans une perspective de pérennité, ces logiciels évolutifs touchent au mapping vidéo, à la spatialisation sonore, à l’interaction de groupe ainsi qu’à la transmission basse latence en réseau. Tous ces logiciels sont mis à la disposition du grand public, et ce, sous licence libre.

Démonstration de nos outils

Innovation
[DOSSIER] Arts & IA
22 oct. 2024
Innovation
Se réapproprier l’entraînement de modèles de génération d’images avec Autolume
21 oct. 2024
Innovation
L’intelligence artificielle au service de l’interaction collective
21 oct. 2024
Innovation
ARTICLE ArtIA: Vers des communs de l’IA créative
21 oct. 2024

Nous contacter

N'hésitez pas à contacter l'équipe du METALAB pour toute question.

Par téléphone