Rembobiner la réalité et la revivre

Avez-vous manqué un moment important? Un groupe de recherche de de l'ETH Zurich a mis au point un système qui permet d'enregistrer et de rejouer ultérieurement en 3D les événements survenus dans une pièce.
Le système cache tout ce qui ne se passe pas dans l'espace de travail immédiat de l'utilisateur. Plus tard, les événements «cachés» peuvent être vécus comme une réalité asynchrone. (Image: ETH Zurich).

«Il faut que j'y aille» est une phrase que l'on entend souvent dans les vidéoconférences. Mais imaginez un avenir dans lequel vous pourriez non seulement vous déconnecter des réunions en ligne, mais aussi quitter le brouhaha du bureau d'un simple clic lorsque vous souhaitez vous concentrer sur une tâche importante. Les événements qui se produisent autour de vous vous seraient invisibles. Au lieu de cela, ils seraient enregistrés et vous pourriez les visionner plus tard à la demande. Les enregistrements seraient en 3D et si réalistes qu'il serait presque impossible de les distinguer de la réalité.

Un groupe de recherche de l'ETH Zurich a réalisé au moins une partie de cette vision. Christian Holz, professeur assistant en systèmes interactifs intelligents, et le postdoc Andreas Rene Fender ont équipé un bureau de caméras de profondeur capables de capturer des objets et des personnes en trois dimensions. Un système informatique enregistre en permanence tout ce qui se passe dans l'espace et détecte les liens de causalité entre les événements. Les chercheurs ont récemment présenté leur concept et le système correspondant lors d'une conférence.

Dans ce «bureau du futur», l'utilisateur ou l'utilisatrice porte un casque de réalité virtuelle (RV) et des écouteurs. Par défaut, le casque restitue l'espace physique du bureau autour de l'utilisatrice ou utilisateur ainsi que les écrans et objets virtuels, en les intégrant à l'environnement physique. Lorsque l'utilisateur ou utilisatrice souhaite se retirer de ce qui se passe autour de lui, elle ou il peut activer le «Mode Focus», qui masque tout ce qui ne se passe pas dans son espace de travail immédiat. Plus tard, il ou elle peut rejouer tous les événements «cachés» et les vivre comme s'ils se produisaient «ici et maintenant» de son point de vue.

Bien plus qu'un simple répondeur

Il est tentant de comparer ce système à un répondeur téléphonique, mais Christian Holz nuance cette idée: «Lorsque quelqu'un laisse un message sur un répondeur, cette personne formule activement un bref message, en réfléchissant à ce qu'elle veut dire. Mais dans la réalité asynchrone, l'appelant ou appelante n'a pas à communiquer activement du tout - il peut simplement faire et dire des choses comme si l'autre personne était présente. Plus tard, lorsqu'il ou elle est prête, le ou la «destinataire» peut réécouter les événements dans le même espace et interagir directement avec les objets pour faire l'expérience de ce qui a été enregistré. L'enregistrement devient alors très réel.» Les deux personnes concernées vivent donc les mêmes événements dans le même espace, mais à des moments différents.

La vidéo explique la réalité asynchrone préservant la causalité (Vidéo: Andreas René Fender / ETH Zurich)

Un système qui préserve les causalités

Christian Holz souligne en quoi le système diffère d'un enregistrement vidéo classique. Dans la réalité asynchrone, l'utilisateur ou utilisatrice peut contrôler de manière sélective la lecture des événements qu'elle ou il a manqués. Le casque immersif affiche tous les objets liés à un événement sous forme de formes brillantes. Dès que l'utilisateur ou utilisatrice s'approche de l'un de ces objets, le système lit l'événement enregistré correspondant.

Cependant, si la lecture était liée à un seul événement à chaque fois, il est possible que le spectateur ou la spectatice ne soit pas consciente des autres événements sans lesquels l'enregistrement n'a aucun sens. Le système s'assure donc que tous les événements antérieurs pertinents sont également lus. Selon Andreas Rene Fender, la capacité du système informatique à reconnaître et à signaler ces causalités est l'une des principales innovations de ce projet. Après avoir quitté le mode Focus, les utilisatrices et utilisateurs peuvent s'approcher d'un objet particulier qui les intéresse. Au lieu que l'objet apparaisse simplement, il voit la chaîne d'événements liés à cet objet et comment il est arrivé là. «La réalité de l'utilisateur ou utilisatrice reste donc toujours cohérente et aucune causalité n'est violée», explique Andreas Rene Fender.

Reconstruire le passé

Cette «sortie» de la réalité n'est qu'un des scénarios d'application. Le système permet également aux utilisateurs et utilisatrices de faire l'expérience de réalités passées dans lesquelles elles et ils n'étaient même pas physiquement présents. Cela signifie, par exemple, que les équipes qui développent des prototypes physiques peuvent travailler en équipe de manière transparente, le système les aidant à comprendre les changements subis par les prototypes en leur absence - jusqu'aux différentes parties du prototype.

Une autre application potentielle est l'enseignement, lorsque des écoliers et écolières ou des étudiantes etbétudiants travaillent sur des modèles ou des expériences. Les enseignants et enseignantes pourraient alors «revivre» la situation à tout moment pour fournir un retour d'information plus précis ou noter le travail terminé en fonction de son évolution.