Article rédigé en partenariat avec le Laboratoire Arts & Technologies de Stereolux

Les pratiques artistiques numériques ont révolutionné la manière dont nous interagissons avec une œuvre. À la suite de l’art cinétique, nous pouvons dire que l’intégration du son et du mouvement dans ces formes d’expression hybrides a ouvert de nouvelles perspectives et a conduit à des réflexions profondes sur la façon dont nous percevons, pensons et expérimentons l’art lui-même. L’interaction entre le son et le mouvement dans les arts numériques crée une expérience artistique immersive et dynamique, explorant la synergie entre ces deux éléments.

The Lights Which Can Be Heard de Sébastien Robert – Photo © Sébastien Robert

L’une des caractéristiques les plus fascinantes des arts numériques contemporains est la facilité avec laquelle ils créent une forme de “synesthésie numérique” à partir des outils extrêmement sophistiqués dont bénéficient désormais les artistes. Initialement, la synesthésie désigne la capacité à associer automatiquement sons et couleurs, goûts et sons ou même couleurs et goûts ! Nous parlons donc de synesthésie quand “une information destinée à stimuler un de nos sens en sollicite un autre”. Au cœur des pratiques artistiques numériques, nous trouvons de nombreux travaux où le son et le mouvement sont intimement liés, œuvrant comme principe narratif ou principe moteur de la scénographie, si ce n’est de l’œuvre elle-même. Les artistes peuvent aujourd’hui très facilement manipuler des éléments visuels tout en les synchronisant avec des pistes sonores, offrant ainsi au public une expérience multisensorielle. Une œuvre peut, par exemple, permettre au spectateur de manipuler des éléments visuels en fonction des variations du son, parfois même dans un environnement immersif, comme c’est le cas avec Empty Room, une composition électroacoustique en réalité virtuelle de Christine Webster, musicienne, ingénieure du son et théoricienne des nouveaux environnements sonores. Ce genre d’œuvres de types expérientielles utilise la musique et les mouvements visuels comme les éléments clés, engageant simultanément plusieurs sens. En jouant sur les miroitements des aurores boréales, mélange de mouvements lumineux (et de sons !) Sébastien Robert s’empare également de cette thématique avec The Lights Which Can Be Heard (Le dernier son des aurores). Malgré le déni de la communauté scientifique occidentale sur le fait que ces manifestations météorologiques produisent des sons, Sébastien Robert a capté, sur l’île d’Andøya en Norvège, les résonances des aurores boréales et les a rendues perceptibles dans un corpus d’œuvres permettant au public de percevoir – de façon visuelle et sonore – ces étonnantes propriétés grâce aux capteurs piézoélectriques contenant du quartz.

The Lights Which Can Be Heard de Sébastien Robert – Photo © Biennale Chroniques

Immersion sonore

Que ce soit dans le domaine de la musique, des arts visuels, de la performance ou de l’installation, le son joue un rôle essentiel dans la création d’expériences immersives et interactives. L’usage du son numérique offre une multitude de possibilités créatives et repousse les frontières de l’expression artistique, offrant aux artistes un puissant moyen d’exploration et d’expression. Les artistes peuvent expérimenter, manipuler et transformer le son d’une manière sans précédent, créant ainsi des expériences sensorielles uniques pour le public. Dans le domaine des musiques électroniques et de la production sonore, les technologies numériques permettent aux compositeurs et producteurs d’explorer de nouvelles possibilités sonores et de créer des compositions originales. Des logiciels de production musicale tels que Ableton Live, Logic Pro et FL Studio offrent des outils puissants pour enregistrer, éditer et manipuler le son. Toute une gamme de synthétiseurs virtuels et d’échantillonneurs permettent également de créer une grande variété de sons électroniques, tandis que les logiciels d’effets audio offrent des options de traitement et de transformation sonore infinies. L’un des maîtres incontestés de ce genre de production reste le japonais Ryoji Ikeda, dont le travail aborde d’ailleurs la notion de synesthésie. Depuis plus de vingt ans, Ryoji Ikeda développe un ensemble d’œuvres comprenant, entre autres, des installations audiovisuelles monumentales et des performances. Ses installations audiovisuelles, souvent immersives, matérialisent la profusion de données qui nous entoure continuellement, son flux constant et la façon dont elles modifient notre perception du monde en temps réel. Une esthétique “code barre” reprise par de nombreux artistes dont Hiroaki Umeda qui apporte, avec ses pièces dansées Vibrance et Median, sa vision technocritique d’un monde de plus en plus submergé par les données numériques.

Median d’Hiroaki Umeda – Photo © Pierre Gondard

Sons en action

L’art sonore se concentre sur l’utilisation du son en tant que médium artistique. Ses artistes utilisent des logiciels de création tels que Max/MSP, TouchDesigner ou VDMX pour synchroniser et manipuler sons et images en direct lors de concerts, de spectacles ou d’événements artistiques. Ils explorent des concepts tels que la spatialisation sonore, le son environnemental, les paysages sonores et la composition acousmatique. Ils utilisent souvent des haut-parleurs multiples pour créer une expérience immersive (acousmonium, ou “orchestre” de haut-parleurs) au sein de laquelle le son est sculpté et positionné dans l’espace, permettant ainsi aux sons, comme aux auditeurs, de se déplacer et d’interagir avec un paysage sonore. Les performances audiovisuelles combinent éléments sonores et visuels en temps réel pour créer des expériences immersives en direct, tandis qu’à la frontière de toutes ces activités, les technologies XR⁽¹⁾ – et en particulier la réalité virtuelle – intègrent le son pour créer des expériences immersives et réalistes. La réalité virtuelle audio 3D permet de situer spatialement les sons, en fonction des déplacements du spectateur, offrant ainsi une expérience plus réaliste. Les effets sonores, la musique et les interactions d’avatars contribuent à l’immersion dans un univers virtuel. De son côté, que ce soit à travers des animations, des installations interactives ou des performances, le mouvement est utilisé de différentes manières pour captiver l’audience et donner vie aux œuvres d’art numérique. Il joue un rôle essentiel dans le rapport à l’œuvre tel qu’initié par ces artistes.

Median d’Hiroaki Umeda – Photo © Biennale Chroniques

Interactions humaines

Dans le cas d’installations sonores, les artistes combinent des éléments audio et visuels pour créer un sentiment d’espace et d’environnement. Des capteurs de détection de mouvements et de motion capture peuvent être utilisés pour déclencher des réponses sonores en fonction des actions des visiteurs ou des performeurs. À ce titre, nous ne pouvons qu’être d’accord avec le chorégraphe suisse Gilles Jobin qui déclarait il y a peu dans le magazine Fisheye Immersive à propos de son travail sur Cosmogony : “Le mouvement est en train de vivre sa révolution digitale”. Il n’est plus à démontrer que les arts numériques permettent une interaction accrue entre l’œuvre et le spectateur. L’ajout de sons et de mouvements en interaction permet aux participants de devenir co-créateurs de l’expérience artistique et rompt ainsi avec la tradition de l’art passif dans lequel le spectateur est essentiellement un observateur. Cette dimension renforce l’engagement du public et incite les spectateurs à devenir acteurs de l’œuvre. Il se crée un lien émotionnel fort entre l’œuvre et le spectateur. À l’image de Cargo, une proposition d’Anne De Giafferri (autrice-réalisatrice) et Christian Delécluse (artiste et enseignant/chercheur en architecture et arts numériques) développée avec Radio France. Parcours d’exposition pensé comme une installation sonore et immersive, le public est invité à circuler dans Cargo, au sein de laquelle sont diffusés des récits et des figures plurielles de la mobilité et des identités en Méditerranée. L’installation invite le public à découvrir des récits fictionnels de personnages en situation de migration. “Des récits de traversée, des créations sonores pour aborder sous un angle nouveau la question des circulations et des identités en Méditerranée”, expliquent les artistes sur leur site officiel.⁽²⁾

Cosmogony de Gilles Jobin – Photo © Gilles Jobin

Scénographies immersives

Les performances artistiques utilisent également le mouvement pour créer des expériences uniques où danseurs et performeurs intègrent des éléments numériques tels que projections interactives, costumes équipés de capteurs de motion capture ou effets visuels en temps réel, pour ajouter une dimension physique à leurs mouvements. Ces performances hybrides fusionnent la danse, le théâtre et les arts numériques, repoussant les limites de l’expression artistique. C’est le cas d’Emmanuelle Reynaud avec Pourquoi Moi, une expérience immersive déambulatoire qui rejoue les imaginaires d’une guerre fratricide fictionnelle dans un aller-retour entre réalité virtuelle et spectacle vivant. Pourquoi Moi use de différentes approches dramaturgiques et techniques qui sont utilisées pour aménager les circulations des performeurs et du public : jeu des interprètes au plateau, scénographie visuelle modulaire, bande son jouée en live et réalité virtuelle. Le public y est intégré au même titre que les interprètes, et le spectateur est immergé dans un cheminement que jalonnent des “états de guerre” intimes ou collectifs et leurs effets de transformation sur nous et nos mémoires.

Expérimentations sensorielles

Les arts numériques encouragent l’exploration sensorielle en combinant des éléments sonores et visuels. Que ce soit dans des installations cinétiques ou immersives, où des éléments physiques se déplacent et réagissent aux stimuli numériques, ou dans des performances, les artistes peuvent jouer avec la perception du temps et de l’espace, créant des expériences qui défient la réalité. Dans ce domaine nous l’avons vu, les installations utilisant les technologies XR offrent un terrain d’expérimentation sans précédent en fusionnant le son et le mouvement pour plonger le spectateur dans un univers totalement immersif. Cette expérimentation sensorielle permet d’élargir notre compréhension de la perception, de la cognition et de l’émotion. D’autres formes comme les installations interactives exploitent l’union du son et du mouvement de manière immersive à l’exemple du système Augmenta de Théoriz (AS 230). Les capteurs de mouvements et les dispositifs de suivi permettent aux spectateurs d’interagir physiquement avec l’œuvre d’art, en déclenchant des changements visuels ou sonores en fonction de leurs mouvements. Cela crée une expérience participative et engageante où le public devient acteur de l’œuvre.

The Transfinite de Ryoji Ikeda – Photo © Ryoji Ikeda

Nouvelles formes narratives

Le son et le mouvement dans leurs usages numériques permettent également de repenser les formes narratives. Les artistes peuvent raconter des histoires de manière non linéaire, exploitant la capacité des médias numériques à créer des mondes complexes et interactifs. Dans le domaine de l’animation numérique, le mouvement est au cœur du processus de création. Les artistes utilisent des logiciels spécialisés pour donner vie à des personnages, des objets et des environnements en leur attribuant des mouvements fluides et réalistes. Les techniques d’animation numérique incluent l’utilisation de keyframes (utilisés dans l’animation), d’interpolation et de simulations physiques pour créer des mouvements convaincants. L’auditeur ou le spectateur peut explorer ces mondes à son rythme, créant ainsi sa propre expérience narrative. Cela défie les conventions de la narration traditionnelle et ouvre la porte à de nouvelles formes d’expression artistique.

Conclusion

Les questions de sons et de mouvements dans les arts numériques représentent une évolution passionnante de l’art contemporain. Ils offrent la possibilité de créer des expériences artistiques immersives et interactives uniques, explorant les synergies entre les éléments visuels et sonores. Toutefois, les artistes et les créateurs doivent également réfléchir aux défis posés par la technologie en constante évolution et à leur accessibilité pour s’assurer que ces œuvres soient abordables pour un large public. L’avenir de ces formes passe évidemment par leur diffusion, le défi contemporain tient donc dans la capacité – ou non – des lieux de programmation à accueillir ces formes hybrides qui seront les clés de la création de demain.