Organism + Excitable Chaos par Navid Navab. Photo: Miha Godec.

Ce projet, réalisé grâce au soutien du ministère de l’Économie, de l’Innovation et de l’Énergie (MEIE), a permis d’explorer la façon dont les technologies de l’Internet des objets (IoT) peuvent être intégrées aux processus de création artistique afin d’enrichir l’expérience des artistes, mais aussi des spectateur·rice·s. La motivation derrière ce projet est de donner aux artistes les moyens d’agir en leur fournissant une boîte à outils permettant de concevoir des systèmes IoT immersifs, favorisant la création d’expériences interactives et intersensorielles grâce à des logiciels open source, évolutifs et à faible latence.

En développant et testant quatre cas d’usage, nous avons démontré qu’il est possible pour des artistes de venir avec des prototypes de création numérique et de repartir avec des objets connectés, augmentant ainsi leurs possibilités créatives. Ces cas d’usage montrent comment les technologies IoT peuvent s’intégrer dans les projets artistiques pour créer des expériences interactives, immersives et intersensorielles, ce que nous appelons les « 3i ».

Au cœur de ce projet, nous avons établi une salle connectée, pensée comme un laboratoire technologique et créatif, où diverses technologies de l’IoT et de la SAT se croisent pour offrir aux artistes un lieu de prototypage. Cet espace interconnecté met à leur disposition des dispositifs et outils pour favoriser la collaboration et l’innovation, créant ainsi un cadre propice au développement de recherches et de collaborations artistiques et technologiques futures.

Ce dossier a été préparé par: 

• Marek Blottière, chargé de projets de recherche et développement; 
• Edu Meneses, directeur de la recherche; 
• Jean-Michaël Celerier, directeur du développement technologique; 
• Sarah Al Mamoun, développeuse UI/UX multimédia; 
• Guillaume Riou, développeur C++/Python/JS;
• Charles Bicari, intégrateur-développeur;
• Vincent Berthiaume, chercheur-développeur.

Présentation des 4 initiatives artistiques

Encore dans une phase d’expérimentation, cet espace a été développé et éprouvé par quatre projets artistiques ayant eu lieu entre juin 2024 et mars 2025. 

Processus d’accompagnement et de R&D

1. États de l’art et des techniques

Cette phase du projet d’accompagnement et de R&D a été réalisée de manière itérative tout au long du projet. Cet état de l’art a permis d’éclairer et de définir les questions, les enjeux et les opportunités de l’IoT dans les arts. Cette phase a également permis de poser un cadre conceptuel, ainsi que des hypothèses théoriques, technologiques et méthodologiques adaptées à ce type de recherche. 

2. Rencontres de spécification avec les artistes

Quatre rencontres de spécification entre les artistes et les équipes de développement et d’intégration ont été réalisées afin de préciser les objectifs des artistes. Ces ateliers ont été documentés via la plateforme de collaboration Miro, en suivant l’outil de Pré-Mortem. Cet outil est conçu pour s’aligner sur les objectifs, les rôles, le public cible et d’autres détails essentiels d’un projet afin que les équipes puissent travailler de manière efficace et efficiente. 

Cet outil permet d’identifier et de consolider les engagements concernant les éléments suivants: 

• Les participant·e·s et leurs rôles,
• Les objectifs,
• Les indicateurs de succès, 
• Les parties prenantes,
• Les causes potentielles d’échec et leurs solutions,
• Les atouts, 
• Et enfin, les attentes.

3. Valse de la R&D et de la recherche création

La suite du projet a été menée en combinant la méthodologie Agile avec une approche de recherche-création ascendante. Ce duo d’approches méthodologiques s’est avéré être une véritable valse, aussi chaotique que créatrice, entre des développements continus de l’infrastructure technologique, le prototypage et l’accompagnement des artistes. 

Imposant un rythme où les solutions technologiques émergent de questionnements incessants entre les équipes de recherche, de développement et d’intégration ainsi que des artistes, le processus de R&D a connu plusieurs soubresauts. Plusieurs rencontres d’alignement et de résidence ont permis d’atteindre les objectifs fixés, tout en restant flexibles aux attentes et besoins évolutifs des milieux preneurs et des cas d’usage.

4. Finalisation et validation

La dernière phase du projet a consisté à valider les travaux réalisés. Cela s’est fait à travers des démonstrations internes, mais aussi lors de présentations publiques, où des artistes ont présenté leurs créations dans des festivals (comme Ars Elektronica) ou dans des théâtres (comme le Quai des savoirs).

Les résultats: Boîte à outils IoT

Un espace de prototypage pour l’interactivité, l’immersion et l’intersensorialité

La boîte à outils se présente comme un espace de fabrication et d’innovation où l’IoT et l’art fusionnent pour créer des expériences immersives. En interconnectant différents dispositifs et technologies dans un même environnement, la salle permet aux artistes de développer des œuvres contenant une dimension d’interaction physique et matérielle – par exemple avec des moteurs, actuateurs, lumières, et autres formes de contrôle électro-mécaniques. Grâce à l’intégration des dispositifs et des expertises de la SAT, cet espace dispose d’outils supplémentaires qui élargissent les possibilités créatives. 

La boîte à outils développée dans ce cadre projet met en scène trois outils open source interopérables, permettant aux artistes de créer des expressions artistiques personnalisées basées sur l’IoT, adaptables à de multiples types de capteurs et modes d’interaction:

• SAT_OS est un système d’exploitation basé sur Linux, conçu pour les applications dans le domaine des arts médiatiques. Il prend en charge l’accès et le contrôle à distance des installations et est conçu pour assurer la transmission de données à faible latence (audio, vidéo et traitement des messages réseau), ainsi que la convivialité et l’évolutivité. 
• Le framework Puara, développé en partenariat avec IDMIL à l’Université McGill, est une bibliothèque polyvalente conçue pour créer des interfaces de contrôle gestuel. Il comprend une interface web pour faciliter la mise en place d’une connexion WiFi. Il simplifie le déploiement des capteurs en prenant en charge les protocoles OSC et BLE, et comprend une bibliothèque C++ pour les algorithmes de reconnaissance gestuelle, optimisés pour une utilisation sur des systèmes embarqués.
• ossia score est un système de notation open-source pour les arts médiatiques qui prend en charge différents protocoles (OSC, BLE, MQTT, CoAP, GPIO, etc.) utilisés, par exemple, pour cartographier les annonces BLE des capteurs, créer des interactions et des comportements artistiques, et générer du code pour les appareils embarqués. Il utilise libossia pour combiner plusieurs protocoles au sein d’une même API.

Modules génériques pour l’IoT intermédia 

L’espace de prototypage de la SAT a été adapté au projet IoT Intermédia lors des premières phases du projet, dans le but d’établir un système de base capable de connecter et d’interconnecter différents outils et dispositifs dans un environnement informatique distribué. Pour cela, nous avons développé des modules matériels de base, des bibliothèques de support et des outils de contrôle et de création de contenu, conçus pour faciliter l’acquisition de données issues de capteurs, l’actuation de dispositifs physiques existants et l’expérimentation par les utilisateur·rice·s.

Dans le cadre de ce projet, nous avons eu l’opportunité de présenter et de tester ces outils lors de la conférence CIoT 2024 (Cloud and Internet of Things). Nous y avons présenté une démo mettant en avant les applications de ces outils. Notre participation, basée sur la recherche décrite dans l‘article récemment publié, consistait à faire la démonstration de plusieurs appareils connectés en temps réel, y compris un RoboArm contrôlé par un capteur MPU, des modules de capteurs BLE, et d’autres systèmes intégrant SAT_OS, Puara, et ossia score. L’objectif était d’illustrer comment ces outils peuvent interagir dans un environnement distribué, fournissant une solution accessible pour les applications d’arts médiatiques. Notre participation nous a permis d’avoir un aperçu des architectures et des méthodologies utilisées dans la recherche IoT et de l’industrie, et de comparer notre approche aux cadres existants afin que nous puissions identifier les domaines d’amélioration.

Technologies SAT disponibles

• Téléprésence – Scenic: Scenic est une solution de téléprésence pour les événements connectés. Cet outil permet aux artistes et diffuseur·euse·s de collaborer à distance, de créer des performances hybrides en temps réel et de les diffuser simultanément dans plusieurs lieux. Scenic soutient des projets de téléprésence artistique en permettant des expériences immersives partagées, même à distance.
• Immersion sonore – Audiodice: Audiodice, un dispositif de spatialisation sonore 3D composé de cinq enceintes multidirectionnelles avec 60 canaux, offre une expérience d’écoute immersive. En enveloppant le public dans un environnement sonore volumétrique, Audiodice permet aux artistes d’ajouter une couche sonore immersive à leurs installations, offrant au public une nouvelle modalité d’écoute qui complète l’expérience visuelle.
• Interactivité – LivePose: LivePose est un système de détection de mouvements qui capte les poses et actions du public, générant des événements réseau pour chaque mouvement. Cette technologie permet d’intégrer les actions des spectateur·rice·s dans les œuvres, rendant l’interaction en direct possible dans des installations et performances.
• Dispositif haptique – Plancher haptique: Ce dispositif haptique utilise des tuiles triangulaires pour transmettre des vibrations et mouvements ressentis par les spectateur·rice·s. Intégré dans des installations immersives, il permet aux artistes de créer des expériences multisensorielles en engageant le sens du toucher.
• Art numérique – ossia score: ossia score est un logiciel libre permettant l’orchestration de médias numériques. En structurant les événements interactifs et immersifs, ossia est utilisé dans la scénarisation de spectacles et d’installations muséales, favorisant la création de compositions interactives.
• Création intermédias – Puara: Puara est un dispositif modulaire IoT permettant la gestion d’appareils interconnectés. Spécialisé dans la création intermédia, cet outil permet l’orchestration des médias dans des scénographies dynamiques et des performances interactives.

Modules spécifiques pour l’IoT Intermédia

Au-delà des briques génériques mises en place lors des premières étapes (intégration IoT, infrastructures logicielles et matérielles), certains besoins précis ont émergé lors des accompagnements d’artistes. Pour y répondre, nous avons développé des modules spécifiques afin d’enrichir et d’adapter les fonctionnalités existantes à une pluralité de cas d’usage. Ces ajouts incluent notamment un module sonore multicanal, la génération de code, le GPIO (pour capteurs et actionneurs), des stratégies de captation et d’actuation avancées, ainsi que l’intégration de LivePose et de modules audiovisuels génériques. 

Les modules spécifiques développés:

• Interagir avec un plancher haptique et des objets connectés: Nous avons facilité l’intégration de capteurs et actionneurs connectés (IoT) avec le plancher haptique, un dispositif développé à la SAT qui génère des vibrations et des retours tactiles. Grâce à la compatibilité avec des capteurs Bluetooth standards (par exemple, Polar BLE), les artistes peuvent facilement connecter ces éléments et les programmer pour réagir aux mouvements du corps ou aux signaux sonores. Cette approche permet d’imaginer des performances interactives où le·la spectateur·rice ressent physiquement les vibrations d’un son ou le rythme d’une danse à travers le sol.
• Créer des visuels réactifs au son en temps réel: Nous avons développé un système qui transforme le son en images en temps réel. En analysant les variations du volume sonore, le programme génère des visuels dynamiques directement sur une Raspberry Pi, une petite plateforme informatique à faible consommation d’énergie. Grâce à une combinaison d’effets visuels avancés (shaders), identiques à ceux utilisés sur des logiciels professionnels comme VDMX, les artistes peuvent explorer de nouvelles formes de performances audiovisuelles immersives, sans avoir besoin d’un ordinateur puissant.
• Suivre les mouvements du corps pour contrôler des objets physiques: Grâce à un système de reconnaissance de squelette, nous avons permis l’interaction entre le mouvement humain et des machines. Un simple capteur embarqué analyse les positions des bras et des jambes, puis traduit ces informations en commandes, permettant, par exemple, de faire bouger un bras mécanique en synchronisation avec un·e danseur·euse. Ce module fonctionne aussi bien sur de petits ordinateurs embarqués (Raspberry Pi) que sur des machines plus puissantes (Mac ou PC avec GPU), ouvrant la voie à des installations interactives légères et accessibles.
• Piloter des capteurs et actionneurs avec précision: Nous avons intégré un contrôle direct des GPIO, PWM et NeoPixels, des technologies qui permettent d’activer divers composants électroniques, comme des moteurs, des lumières ou des capteurs tactiles. Cela donne aux artistes la possibilité de concevoir des installations interactives où les lumières réagissent au toucher, où des moteurs animent des sculptures, ou encore où des capteurs traduisent les gestes en effets visuels ou sonores.

• Générer du son à partir de code: Nous avons développé un module permettant de créer de la musique et des effets sonores directement à partir de lignes de code, en utilisant une carte électronique compacte appelée Teensy. Cette approche ouvre de nouvelles perspectives en matière de synthèse sonore embarquée, notamment pour la création de petits instruments électroniques autonomes ou pour des installations sonores interactives à faible consommation énergétique.
• Un contrôle avancé des lumières pour des ambiances dynamiques: Nous avons mis au point un système permettant de contrôler finement des LEDs pour générer des effets lumineux complexes et synchronisés avec des sons ou des mouvements. Ce module permet aux artistes d’intégrer facilement des jeux de lumière interactifs dans leurs œuvres, sans nécessiter de connaissances approfondies en programmation ou en électronique.

Perspectives et objectifs futurs

Ce projet de salle connectée, fruit d’une collaboration interdisciplinaire, marque une avancée dans la création d’environnements artistiques interconnectés. Il a permis de tester la faisabilité technique de dispositifs IoT en art, tout en ouvrant de nouvelles voies de recherche sur l’impact de l’interactivité et de l’immersion sur l’expérience du public. Voici quelques-uns des éléments clés issus de ce projet de recherche et développement.

Aspect novateur de l’approche

• Interface graphique permettant de connecter différents systèmes embarqués en temps réel, avec une pipeline audio et vidéo.
• Prototypes allant du microcontrôleur au desktop, basés sur un tronc commun de code permettant une cohérence et une maintenance simplifiée.
• Adaptabilité à de nombreux protocoles IoT, favorisant l’ouverture à divers scénarios d’usage.
• Méthodologie flexible: calculs déployés localement (proche des capteurs) ou centralisés, selon les besoins. Par exemple, l’application « puara-gestures » illustre la possibilité de placer les traitements là où c’est le plus pertinent pour la performance.

Aspect novateur des quatre démos

• Embarqués: utilisation de microcontrôleurs et de systèmes légers.
• Coût réduit: matériel et composants accessibles pour favoriser la diffusion de ces solutions.
• Faible consommation d’énergie: un objectif écologique pour réduire l’empreinte carbone des installations artistiques.
• Adaptabilité: intégration facile à diverses installations, selon l’échelle et la complexité du projet.

Répond à quels besoins identifiés?

• Simplicité pour les artistes: les créateur·rice·s cherchent des outils faciles à configurer, programmer et relier à des systèmes embarqués.
• Approche écologique: en réduisant la taille et la consommation des dispositifs, on limite la dépendance à de grosses machines énergivores.
• Flexibilité pour les diffuseur·rice·s: une Pi peut suffire pour des performances interactives de petite échelle. S’il faut plus de puissance, un ordinateur plus performant peut prendre le relais tout en bénéficiant de la même architecture logicielle.
  • Par exemple, dans le cadre de l’exposition Recapture, une configuration légère a pu rendre l’installation plus mobile et moins coûteuse en énergie.

Les futures recherches se concentreront sur: 

• L’optimisation de la synchronisation entre dispositifs, de l’efficacité énergétique des systèmes IoT dans les arts, et de l’étude des nouvelles interactions entre les spectateur·rice·s et l’œuvre. 
• L’ouverture de l’espace de prototypage afin d’accueillir des résidences artistiques, favorisant le développement de projets expérimentaux. Cet espace pourrait également être ouvert lors de plages horaires spécifiques où un soutien technique serait proposé à la communauté. 
• L’accessibilité de notre boîte à outils à travers le design d’une interface simple et flexible. ​​Celle-ci permettra aux artistes et créateur·rice·s de concevoir et configurer leurs propres installations à l’aide de notre boîte à outils IoT. Au lieu de présenter ces outils comme des systèmes/modules isolés, les utilisateur·rice·s pourront facilement combiner les modules dont iels ont besoin et voir comment ces éléments s’intègrent dans leurs installations.   

Conclusion

En intégrant l’IoT dans la création artistique, nous avons développé une salle connectée qui offre aux artistes un environnement technique pour des projets interactifs, immersifs et intersensoriels. Les quatre cas d’usage et les technologies de la SAT ont prouvé l’efficacité de cet espace, en offrant une flexibilité et une innovation qui enrichissent le potentiel de la création numérique et ouvrent des horizons inédits dans l’art contemporain.