Capturer l’instant

La captation du geste au service du spectacle vivant

Que ce soit du point de vue de l’expérience théâtrale, de la pratique instrumentale ou de l’interaction avec les publics, l’utilisation de capteurs transformant gestes et mouvements des interprètes en données, son ou lumière modifie la perception du corps scénique. Tour d’horizon des initiatives en la matière. 

(article publié dans le revue Actualité de la scénographie, mars 2018)

Modélisation et analyse de sons et de gestes, développement de systèmes de captation de mouvements et instruments augmentés… l’équipe du département Interaction, Son, Musique, Mouvement de l’Ircam (L’Institut de recherche et coordination acoustique/musique) pilote de nombreuses recherches et développements autour des nouvelles interfaces pour la musique électronique, mais s’intéresse également aux techniques de synthèse sonore, comme le logiciel libre CataRT basé sur l’utilisation de vastes bases de données. « Toutes ces technologies sont régulièrement utilisées lors de concerts et d’installations dans des productions de l’Ircam ou ailleurs, avec des esthétiques complètement différentes », explique Frederic Bevilacqua, responsable du département.Instruments augmentés, interfaces utilisant des capteurs de mouvement comme les Modular Musical Objects ou encore utilisation de technologies mobiles sur smartphones ou tablettes… Pour le concert participatif Chloé x Ircam à la Gaîté Lyrique (Paris) en 2015, le public était invité à utiliser les dernières technos web audio développées par l’Institut. Lors de ce live interactif entre artiste et public, les spectateurs, connectés à un réseau Wifi local indiquant leur position dans la salle, recevaient des sons envoyés par l’artiste en direct sur leur smartphone afin de lancer des séquences musicales collectives. Les applications et prototypes développés par l’IRCAM foisonnent. « Nous pouvons augmenter un instrument existant acoustique ou électrique par un ajout de capteur, comme par exemple, l’archet augmenté avec un capteur de mouvement », ajoute Frederic Bevilacqua, citant également l’exemple de la jonglerie musciale de Jérôme Thomas et de ses capteurs intégrés aux balles de jonglage.

Pour La Princesse légère, un opéra aux échos de conte musical présenté en création mondiale en décembre 2017 à l’Opéra de Lille et programmé à l’Opéra Comique de Paris en mars 2018, la compositrice colombienne Violeta Cruz a choisi les capteurs R-IoT de l’Ircam, qui transforment les mouvements en signaux musicaux. Dans son spectacle, les mouvements des agrès manipulés sur scène par les danseurs sont traduits en données numériques et intégrés au discours musical, ainsi enrichi par les improvisations des interprètes. Dernièrement, leur prototype Coloop, sorte de « ghetto blaster du XXIème siècle », a même remporté une étoile de l’Observeur du Design 2018, un prix organisé par l’Agence pour la Promotion de la Création Industrielle (APCI). Réalisé en collaboration avec Nodesign, cet objet hybride et nomade piloté par smartphone rassemble les fonctionnalité d’une enceinte, d’un instrument de musique et d’une table de mixage permettant de jouer, mémoriser et exécuter des samples. Expérimentés sur scène, les prototypes et applications développés par l’Ircam sortent aussi de leur labo pour être testés directement auprès des communautés d’utilisateurs.

Lors d’un hackathon au Music Tech Fest de Berlin en 2016 – un festival itinérant dédié aux technologies musicales – l’Ircam présentait son capteur R-IoT. D’ailleurs, l’Institut a intégré le programme européen #Musicbricks, qui propose à des centres de recherche en technologie musicale de développer des prototypes de manière collaborative avec des utilisateurs, optimisant ainsi les phases de développement et le design d’usage. Plus récemment, à Nantes, le Laboratoire Arts & Technologies de Stereolux organisait un atelier-conférence sur le thème « Interaction gestuelle et collective de médias numériques : nouvelles perspectives pour le spectacle vivant » avec Frederic Bevilacqua et la chorégraphe Anne Dubos. L’occasion pour l’Ircam de présenter ses technologies d’interaction gestuelle avec des médias numériques, comme, par exemple des capteurs de mouvement sans fil permettant à des performeurs (musiciens, danseurs, acteurs) de manipuler avec leurs corps des sons et des environnements visuels. Au cours de la gamejam « smartphones et mouvements» organisée au fablab de la Cité des sciences avec le Gamelab du Centre de Recherches interdispiplinaires (CRI) en octobre 2016, des équipes constituées de chercheurs, d’artistes de scène, de designers sonores et de développeurs ont imaginé par équipe des « jeux collectifs poétiques alliant mouvement, son et musique » grâce à toute une palette de logiciels, bibliothèques d’interfaces et applications Soundworks dédiées aux expériences musicales avec smartphones associées aux capteurs de mouvement R-IoT de l’Ircam, à des kits de bio-capteurs ou au contrôleur Movuino développé par le CRI. Parmi les idées ayant émergées de ce week-end de protypage créatif et fun figuraient un orchestre basé sur les rythmes du cœur ou encore un système de réalité virtuelle pour se voir à la troisième personne.

Dans le même esprit bon enfant, les Culture Experience Days de l’Adami – sortes de hackathons organisés par la Société civile pour l’administration des droits des artistes et musiciens interprètes – invitent chaque année artistes de scène et techno-créatifs à produire en équipe des prototypes pour la scène, à customiser des instruments ou à imaginer des accessoires qui sont présentés en démo à l’issue de la session devant des professionnels du spectacle vivant. Lors de la dernière édition organisée à la Gaîté lyrique en novembre 2017 se sont retrouvés pêle-mêle une quarantaine de musiciens, comédiens, danseurs, circassien, vidéastes, metteurs en scène, makers, développeurs, techniciens du spectacle, designers visuels, designers d’interface, et autres sound designers.


«La technologie est à la fois un lieu de création et de pouvoir»

Mais cette mixité des publics ne va pas forcément de soi. Et la relation entre l’artiste de scène et la technologie n’est pas systématiquement vécue comme une idylle. « Psychologiquement, intellectuellement et émotionnellement, c’est difficile, car quand lorsque l’on est sur scène, on est dans son corps et on communique avec tout un tas de niveaux infra que l’ingénieur doit décoder en n’ayant pas forcément la culture du milieu du spectacle », explique la chorégraphe Anne Dubos, qui cumule par ailleurs les casquettes d’anthropologue et d’artiste transmédia. Il y a quatre ans, elle a commencé à s’intéresser à la technologie et aux capteurs pour modéliser le geste de l’acteur dans le cadre de ses recherches doctorales sur les performing arts en Inde. « En travaillant avec des ingénieurs, j’ai appris un mode de pensée très différent, très organisé par catégories, ajoute cette familière de l’Ircam , de l’INRéV (l’équipe de recherche Image numérique et réalité Virtuelle de l’université Paris 8) et du Laboratoire des Usages en Technologies d’Information Numériques (le Lutin, le living lab de Paris 8). Or, en tant qu’anthropologue, j’ai justement tendance à démonter les catégories ou les boîtes. On génère des catégories pour se donner du pouvoir sur les choses et la technologie est bien un lieu à la fois de création et de pouvoir. » 

Passionnée par la philosophie de Bergson ou de Merleau-Ponty, Anne Dubos s’intéresse tout particulièrement à la phénoménologie de la perception, mixant dans son travail approche expérimentale de la technologie et recherche fondamentale sur le corps, le geste et la mémoire. « C’est à nous, artistes de scène, d’être conscients de nos usages corporels et de nos intentions pour être en mesure de les communiquer au bon moment. Le temps de la machine est beaucoup plus lent que le temps physique. Ce ne sont pas les mêmes temps de travail, ni les mêmes temps de création, les prises de décision ne se passent pas au même moment, entre l’artiste sur scène face à son public et la régie. Il faut donc s’aménager des espaces de création parallèles et décalés, et là, il y a forcément des crashs. Sauf que les ingénieurs détestent que le crash fasse partie du jeu ! Ils le prennent pour un échec alors que sur scène, on trouve d’autres solutions et on fait appel au système D grâce à nos capacités d’improvisation ou d’autonomie. »

Anne Dubos, Little Heart Movement

Pour elle, la contrainte technologique a modifié en profondeur son approche de l’écriture chorégraphique : « C’est comme devenir compositeur. Tout à coup, il faut tout écrire, tout maîtriser, tout comprendre, tout savoir de tout le monde et être la seule à la savoir, car le reste du groupe ignore toujours une partie de la composition ou du jeu des autres. » Avec la danseuse Hortense Kack et Frederic Bevilacqua de l’Ircam, Anne Dubos se consacre actuellement à l’écriture d’une nouvelle pièce vidéo. L’interprète collectera des gestes dans la rue, puis les dansera dans un espace neutre de type galerie, restituant l’ambiance et l’univers sonore de l’environnement urbain à partir de ses gestes. «Cette pièce deviendra sans doute une oeuvre performative, précise Anne Dubos. C’est assez compliqué à réaliser, car on aimerait faire un enregistrement en binaural pour pouvoir mettre la vidéo sur YouTube, par exemple, afin de proposer une écoute immersive quand on déplace le téléphone. Mais c’est un gros challenge technique ! »


L’esprit lab

Néamoins, la création de dispositifs d’interaction gestuelle et sonore se prête volontiers à l’expérimentation par le Faire et à l’esprit collaboratif prônés par les makers. D’où l’ouverture progressive des laboratoires instituionnels aux pratiques issues des fablabs, y compris sur l’épineuse question des logiciels et applications passant progressivement de la logique propriétaire vers l’open source et l’open acces. « Nous développons avec plusieurs types de licenses, mais cela dépend du contexte, explique Frederic Bevilacqua. Ca peut être en open source, comme les développements Web pour les dispositifs mobiles ou encore le logiciel pour la reconnaissance de geste XMM par Jules Francoise, disponibles sur des Github (une plateforme de partage de code informatique, ndlr). Ensuite, certains logiciels sont « fermés », c’est à dire qu’il n’y a pas accès à leur code, mais gratuits comme, par exemple MuBu pour l’environnement Max. Enfin, certains logiciels sont fermés et non-gratuits, s’ils sont transférés vers des industriels qui incluent ces développements dans leurs produits, comme MOTU, par exemple. » Côté université, l’idée de l’ouverture à l’open source et au DiY (Do it Yourself) fait également son chemin, souvent portée par des labs associés. C’est le cas de l’Openlab du Centre de Recherches Interdisciplinaires (Cri), qui a développé sous licence ouverte le module Movuino. Aussi bien utilisée par les sportifs que par les artistes de scène, cette carte électronique accessible et low cost basée sur Arduino permet de détecter du mouvement par l’acquisition de données d’accéleration et de gyroscope. Permettant de modifier facilement des sons ou même de la lumière via l’utilisation simple des mouvements du corps, ce capteur multifonctions a été conçu pour « rendre accessible la création musicale à tous, y compris aux handicapés ». Plebiscité par la communauté des musiciens-makers, cet outil fait régulièrement l’objet de présentations ou de worskhops, à l’instar de celui organisé par Stéréolux sur la captation du mouvement en partenariat avec le Cri en mai 2017. 

Antoine Capet, membre du collectif BrutPop. Copyright Carine Claude

Autre exemple de projet libre et replicable en atelier : la BrutBox développée par BrutPop. Fondé par David Lemoîne, chanteur du groupe Cheveu, et le musicothérapeute Antoine Capet, le collectif BrutPop s’intéresse lui aussi aux publics en situation de handicap par le biais du DiY. En association avec plusieurs fablabs, dont le LFO de Marseille et le 8 fablab de Crest dans la Drôme, ils ont créé la BrutBox, un outil de création musicale sur mesure permettant aux personnes souffrant d’un handicap physique ou mental de créer de la musique par la lumière, le toucher, le mouvement et même via leurs ondes cérébrales. Assorti de pédales d’effets, de micros voix et d’instruments de musique bidouillés, le dispositif des boîtiers ne nécessite pas de compétences particulières en électronique ou en musique pour être installé.

Pour pousser plus loin l’expérience, ils ont lancé le Sonic Lab, l’un des rares fablabs français consacré au son. Installé depuis novembre 2017 à la Station de la gare des Mines aux portes de Paris, le projet a été réfléchi avec d’autres collectifs notamment le collectif MU et les membres de Trublion, qui aiment à se défnir comme des « facteurs d’instrument de musique d’aujourd’hui ». Ces derniers sont des makers, des ingénieurs, des chercheurs, des luthiers, des musiciens et des artistes numériques travaillant sur de nouvelles formes de facture instrumentale. Leur terrain de jeu ? Mixer des techniques électronique et informatique à des matériaux de lutherie acoustique pour repenser le jeu musical.

« Je suis très attaché à l’expérience et à la pratique instrumentale », explique le chercheur Emilien Ghomi. Passé par l’Ircam, mais aussi par les hackerspaces Le Loop et la Blackboxe, ce spécialiste des interactions homme-machine en musique a confondé le collectif Trublion en 2007. « Mon premier sujet de recherche portait sur l’instrumentalité des systèmes numériques, c’est à dire comment catégoriser l’expérience instrumentale au délà de la question du son en prenant en compte l’expression, le geste, la pratique, le lien avec l’objet pour concevoir un système numérique capable d’atteindre les même niveaux d’exigences sur les plans cognitifs, pychologiques ou sociologiques que les instruments acoustiques.  » Il poursuit : « Les musiciens et les luthiers avec qui nous travaillons nous font remonter leurs problématiques. Du coup, notre manière d’aborder l’instrument concret ou le petit objet instrumental que l’on va créer avec eux sera forcément marqué par une pratique de jeu live. Par exemple, comment agrémenter un instrument de moyens numérique sans le pervertir et surtout, sans en faire un robot. Car le robot est vraiment l’écueil à éviter, c’est-à-dire le dispositif que tu contrôles, que tu programmes et qui ferait des actions mécaniques tout seul pour produire du son. »

Violon à roue hybride de Léo Maurel.

Pour l’inauguration de la nouvelle Tate Modern à Londres, le performer Tarek Atoui a d’ailleurs joué sur les instruments hybrides créés par le luthier Léo Maurel et le collectif, notamment le violon à roue. Selon Emilien Ghomi, la recherche sur la captation des mouvements reste surtout une démarche de designer : « Il est très difficile d’avoir une approche académique et méthodique, sauf pour les questions de catégorisation des sons et des gestes qui sont quand même assez poussées dans le domaine de la recherche. » Récemment, le collectif a travaillé avec la designeuse Alexandra Radulescu de l’Ensci. A partir d’un objet inerte, ils ont mimé pendant plusieurs mois des gestes en chantant par dessus afin déterminer des actions pour produire ou altérer le son. « Ce qu’il faut éviter, c’est de faire de la captation de mouvement pour faire de la captation de mouvement. Mon crédo est de dire « si tu peux le faire avec un bouton, un potard ou un clavier, ne le fais pas avec du geste », comme, par exemple, déclencher des samples par un mouvement alors qu’on pourrait tout simplement les contrôler avec un bouton. Si tu fais exactement la même chose, quel intérêt ? C’est pareil pour la performance scénique. Si tu n’as pas besoin d’être sur scène pour exprimer ce que tu es en train de faire, tu vas à la régie. De nombreux dispositifs rendent l’existant ludique et esthétique, mais ne racontent rien de poétique. Et je n’ai pas envie de perdre la poésie dans la création artistique. »


Carine Claude

Répondre

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l'aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s