Introduction à la réalité virtuelle

Un monde interactif, un corps en mouvement, une expérience perceptuelle

Étienne Peillard
IMT Atlantique

Le parcours des huit cours

Comprendre le domaine → expliquer la perception → concevoir → évaluer l’expérience

Le parcours des huit cours

Les huit cours constituent une organisation thématique des ressources, qui peut être adaptée au déroulement d’une formation. Dans la séance enregistrée, l’histoire a déjà été abordée avec Laurent Lescop ; elle sert donc de référence sans être reprise intégralement. Les facteurs humains et l’ergonomie sont également traités dans une intervention dédiée par Isabelle Milleville-Pennel.

La progression présentée à l’oral associe cours et TP : initiation à Unity, première application de RV, puis approfondissements sur la navigation et l’interaction. Les applications et les fondements perceptifs donnent du sens aux choix de conception ; la technologie explique ensuite comment les mettre en œuvre. Un projet permet de mobiliser l’ensemble.

Le parcours en huit thèmes ne correspond donc pas nécessairement à huit séances successives : certains contenus sont assurés par d’autres intervenants et les ressources sont réparties selon les besoins des cours et des TP.

Plan du cours d’introduction

Définitions

1.1

Action et perception

1.2

Quiz : RV, RA ou pas ?

1.3

1.1

Définitions

Réalité virtuelle

Remplacer le monde réel par un monde virtuel grâce aux interfaces de perception et d’action.

Réalité virtuelle

Commencer par la situation avec le monde réel, à gauche. L’utilisateur perçoit le monde grâce aux informations sensorielles et agit sur lui par ses mouvements. Ses actions modifient le monde ou sa position dans celui-ci, ce qui modifie en retour ce qu’il perçoit. C’est la boucle perception–action.

Dans la situation de réalité virtuelle, à droite, on conserve cette boucle en interposant des interfaces techniques entre l’utilisateur et un monde virtuel. Les interfaces de restitution produisent les stimuli qui lui permettent de percevoir ce monde : images, sons et, lorsque le dispositif le permet, retours haptiques. La flèche de perception va donc du monde virtuel vers l’utilisateur, en passant par les interfaces de restitution.

Dans l’autre sens, les systèmes de suivi, les contrôleurs ou d’autres dispositifs d’entrée captent les actions de l’utilisateur et les traduisent en actions dans le monde virtuel. La simulation met à jour l’environnement, puis produit les nouvelles informations sensorielles. La flèche d’action va donc de l’utilisateur vers le monde virtuel, en passant par les interfaces de capture des actions.

L’idée centrale est cette boucle perception–action médiatisée : le monde virtuel prend la place du monde réel dans l’interaction, et les interfaces fournissent les informations sensorielles et les moyens d’agir. La seule présence d’un environnement artificiel ne suffit pas à expliquer cette relation. Cet environnement peut représenter une situation réelle, rendre perceptible un phénomène invisible ou créer un monde imaginaire ; les interfaces assurent le couplage en temps réel.

L’expression « couper du monde réel » décrit ici l’objectif de substitution de l’expérience : les interfaces prennent en charge ce que la personne perçoit et les moyens dont elle dispose pour agir dans le monde virtuel. Elle ne signifie pas que le corps et toutes les contraintes physiques disparaissent ; le continuum revisité permettra de revenir sur cette limite.

Réalité augmentée

Conserver le monde réel

Objets, surfaces et contraintes physiques

Conserver sa spatialité

Positions, distances et repères

Ajouter des éléments virtuels

Objets et informations situés dans la scène

Informations superposées sur l'environnement physique

Le monde réel reste le cadre de l’expérience ; le virtuel vient l’enrichir.

Réalité augmentée

Le point de départ de la réalité augmentée est l’environnement réel. Ses objets, ses surfaces, ses propriétés matérielles et ses contraintes physiques restent présents dans l’expérience. L’utilisateur continue à habiter cet environnement et à agir dans celui-ci.

La RA conserve l’organisation spatiale de cet environnement : la position des objets, les distances, les surfaces et les repères gardent leur sens. Les éléments virtuels viennent s’inscrire dans ce cadre, par exemple un objet posé sur une table réelle, un guidage associé à une machine ou une information attachée à un lieu. Le recalage spatial contribue à la cohérence des ajouts avec la scène réelle.

L’objectif de conception est d’enrichir le réel en conservant sa physicalité et sa spatialité. La transparence optique, la transparence vidéo, les écrans mobiles ou la projection sont différentes façons de poursuivre cet objectif. La définition insiste sur le rapport de l’expérience à l’environnement réel.

Pour distinguer RV et RA, on regarde donc le rôle du monde physique dans l’expérience, plutôt que le nom du matériel utilisé. Un même casque peut proposer une expérience virtuelle ou conserver une vue du réel et y ajouter du contenu.

RV et RA : deux objectifs

Des objectifs différents ; les dispositifs et les mécanismes perception–action peuvent être communs.

RV et RA : deux objectifs

Présenter d’abord la distinction comme une différence d’objectifs. En RV, on cherche à substituer un environnement virtuel à l’environnement réel dans la boucle perception–action de l’utilisateur. En RA, on cherche à conserver cet environnement réel et à l’enrichir d’éléments virtuels.

Lire les deux schémas à partir de la même situation initiale : une pièce réelle avec une table. À gauche, cette pièce est remplacée par un cadre simulé. À droite, la pièce et la table sont conservées, et un objet virtuel est ajouté dans leur cadre spatial. Le gris représente l’environnement physique ; le cyan représente les éléments virtuels.

Ces objectifs ne correspondent pas à une séparation simple entre matériels. Le suivi, l’affichage, le rendu et les techniques d’interaction peuvent être communs, et un même dispositif peut servir plusieurs types d’expériences. Un casque doté d’un retour vidéo peut, par exemple, conserver une vue de la scène réelle et y ajouter des objets virtuels, tout en permettant une expérience virtuelle qui remplace l’environnement visible.

Les deux approches partagent également le cadre perception–action : l’utilisateur perçoit et agit, et le système répond en temps réel. La différence de paradigme mise en avant ici concerne le rôle attribué au monde réel et l’expérience recherchée. Le continuum suivant permet de décrire les différentes combinaisons d’éléments réels et virtuels.

Le continuum historique

Milgram et Kishino · 1994

Une vue peut être virtuelle : qu’est-ce qui reste réel dans l’expérience ?

Le continuum historique

Milgram et Kishino proposent ce cadre en 1994 pour les affichages visuels. Un pôle correspond à un environnement entièrement réel ; l’autre à un environnement entièrement virtuel. Les combinaisons intermédiaires constituent la réalité mixte.

La réalité augmentée ajoute du virtuel dans un cadre principalement réel. La virtualité augmentée introduit du réel dans un cadre principalement virtuel. Dans cette définition historique, les deux pôles purs sont hors de la réalité mixte. Le schéma représente des types de combinaison, plutôt qu’un pourcentage mesuré.

La virtualité augmentée se lit dans l’autre sens que la RA : on part d’un monde principalement virtuel et on y réintroduit du réel. À l’oral, deux exemples permettent de comprendre cette idée : des avatars dont le visage est une vidéo de la personne, ou une table physique que l’on fait apparaître dans l’environnement virtuel à l’approche de l’utilisateur pour éviter qu’il ne la heurte.

La question posée ensuite est la suivante : une expérience vécue avec un casque peut-elle vraiment être entièrement virtuelle ? L’image peut l’être, mais les mouvements et les sensations corporelles invitent à reconsidérer cette classification.

Du réel dans un monde virtuel

Virtualité augmentée · deux exemples

Spatial · une webcam dans la salle VR

Capture de Spatial : le flux vidéo « Bri Scully’s Webcam » apparaît à côté des avatars dans une salle virtuelle.

Le visage filmé d’une participante apparaît dans la salle virtuelle, à côté des avatars.

Spatial · capture publiée par WIRED · 2020 ↗

Quest 2 · Space Sense (Guardian)

Capture dans un Quest 2 : les contours roses des objets réels se superposent à l’environnement virtuel.

Les contours des objets et personnes réels sont révélés dans la zone de jeu, au sein du décor VR.

▶ Démonstration dans le casque · Skarredghost · 2021 (2:33) ↗

Le cadre est virtuel ; des informations visuelles du réel y sont réintroduites.

Du réel dans un monde virtuel

Spatial, dans sa version collaborative présentée en 2020, permettait aux participants sans casque de partager leur webcam dans une salle virtuelle. Dans cette capture fournie par Spatial et publiée par WIRED, le panneau « Bri Scully’s Webcam » montre le flux caméra réel. Les autres personnes sont représentées par des avatars : il faut distinguer ce panneau vidéo des visages texturés des avatars.

La seconde capture provient de l’essai de Space Sense sur Quest 2 réalisé par Antony Vitillo (Skarredghost) en novembre 2021. La vidéo liée commence à 2 min 33 s, au début de la démonstration dans le casque. Space Sense ajoute à la vue VR des contours des objets et personnes réels perçus par les caméras. Ce n’est pas seulement la grille virtuelle délimitant le Guardian, ni une image caméra complète du monde réel.

Space Sense a été introduit comme fonction expérimentale du Guardian Roomscale sur Quest 2 avec la version v34 en 2021. Cette capture documente ce comportement historique ; elle ne décrit pas la disponibilité actuelle sur tous les casques.

Cette slide est un approfondissement vertical du continuum : flèche bas pour y accéder, flèche haut pour revenir au schéma.

Le continuum revisité

Corps, appuis, limites de déplacement · Skarbez, Smith et Whitton, 2021

Le corps réel maintient la réalité virtuelle actuelle dans la réalité mixte.

Le continuum revisité

On considère maintenant l’expérience de l’utilisateur à travers ses différents sens. Même lorsque l’environnement visible est virtuel, l’utilisateur agit avec un corps réel : les appuis au sol, la position corporelle et l’équilibre peuvent continuer à fournir des informations sensorielles réelles.

La révision proposée inclut donc la réalité virtuelle conventionnelle dans la réalité mixte. Une expérience purement réelle est en dehors du mélange. Une expérience entièrement virtuelle supposerait que toutes les informations sensorielles, y compris corporelles, soient simulées ; elle apparaît comme un pôle hypothétique, séparé par une discontinuité.

Les indications 0 % et 100 % marquent des limites conceptuelles, et non une mesure numérique standard de la virtualité. Il s’agit de la proposition théorique des auteurs ; la terminologie reste variable.

La fatigue et les postures inconfortables fournissent des exemples concrets : même lorsque ce que l’on voit est virtuel, c’est bien le corps réel qui agit, tient les contrôleurs et se déplace. Les contraintes de ce corps restent donc présentes dans l’expérience et dans sa conception.

L’image d’un branchement à la Matrix sert à imaginer le pôle entièrement virtuel ; c’est une illustration fictive de la limite conceptuelle, pas la description d’un dispositif existant. L’enjeu pratique de la discussion est de rappeler que concevoir la RV exige de prendre en compte le réel, même lorsque l’on cherche à lui substituer un environnement simulé.

Dans ce cours, XR sert de terme collectif pour parler de ces différentes formes d’expérience. Le vocabulaire varie selon les usages ; pour concevoir une application, on privilégie les objectifs fonctionnels présentés auparavant plutôt que de chercher à lui attribuer une étiquette à tout prix.

Paradigmes d’interaction

Interfaces graphiques

Comment agir sur les objets à l’écran ?

Informatique ubiquitaire

Comment coordonner des systèmes distribués ?

Interfaces immersives

Comment agir dans un monde simulé ?

Interfaces augmentées

Comment lier l’ajout à la scène réelle ?

Quatre scènes illustrées : une interface graphique de bureau, des objets connectés du quotidien, un casque et des contrôleurs RV immersifs, et des lunettes RA superposées à un véritable moteur.

Paradigmes d’interaction

Ces schémas comparent différentes façons d’organiser la relation entre l’utilisateur, les systèmes informatiques et le monde physique. Dans une interface graphique classique, l’utilisateur fait face à un système et utilise des fenêtres, des icônes ou des menus pour agir sur des objets numériques.

Avec l’informatique ubiquitaire, il ne s’agit plus seulement d’un utilisateur face à un ordinateur : le calcul est distribué dans un ensemble d’objets et de systèmes présents dans l’environnement. Les objets connectés et les bornes en donnent des exemples familiers.

Les interfaces immersives et augmentées correspondent aux deux objectifs discutés précédemment : interagir dans un environnement simulé ou enrichir l’environnement physique. L’intérêt de cette classification pour la conception est de montrer que les questions à se poser et les réponses possibles changent selon la relation recherchée entre personne, système et environnement.

Référence du schéma : Rekimoto, J., & Nagao, K. (1995). The World through the Computer: Computer Augmented Interaction with Real World Environments. UIST ’95, pp. 29–36. https://doi.org/10.1145/215585.215639

Archives des Google Glass

À observer : l’information suit-elle la tête ou reste-t-elle liée à la scène ?

Une information dans le champ de vision n’est pas forcément attachée au monde.

Archives des Google Glass

Google Glass illustre l’affichage d’informations à côté de l’environnement physique. La question est de savoir comment ces informations se situent par rapport à la scène et à l’activité de l’utilisateur. Un affichage porté sur la tête ne superpose pas nécessairement des objets virtuels précisément ancrés aux surfaces réelles. Cet exemple historique permet de distinguer l’accès à une information de l’augmentation spatiale de l’environnement.

Le critère mis en avant à l’oral est le lien spatial avec l’environnement : une information qui reste dans un coin du champ de vision suit l’affichage, sans nécessairement rester attachée à un objet de la pièce. C’est pourquoi cet exemple est distingué ici de la RA spatialement recalée. L’enjeu est de caractériser le fonctionnement montré, plutôt que de déduire ses capacités du seul fait que le dispositif est porté comme des lunettes.

Archives HoloLens

À observer : quel mouvement révèle l’ancrage des objets dans la pièce ?

Chercher le lien spatial ; une vidéo promotionnelle ne décrit pas tout le champ de vision.

Démonstration ARKit

À observer : l’objet garde-t-il sa place quand la tablette se déplace ?

Le problème commun : maintenir la correspondance entre réel et virtuel.

Démonstration ARKit

ARKit illustre l’augmentation à travers la caméra d’un dispositif tenu en main. Le système estime les mouvements du dispositif et la relation entre le contenu virtuel et la scène filmée. L’écran combine l’image de la caméra et les objets calculés, tandis que l’espace physique reste directement visible autour. Maintenir le recalage pendant les mouvements est essentiel pour situer l’objet dans la pièce.

À l’oral, cet exemple rappelle surtout une difficulté technique : faire correspondre l’environnement physique observé par le système et les objets calculés. Les outils de développement rendent cette opération accessible sur des appareils mobiles. Il faut retenir le problème du recalage et du maintien de cette correspondance pendant le mouvement.

1.2

Action et perception

Un geste, une boucle : saisir un objet

Que mesure-t-on ? Que change-t-on ? Que restitue-t-on ?

Action : personne → monde. Retour sensoriel : monde → personne.

Un geste, une boucle : saisir un objet

L’utilisateur perçoit le monde virtuel et cherche à agir sur lui. Il faut alors choisir comment réaliser cette action : par un mouvement de tête, un geste, une commande ou une technique d’interaction. Le système capte cette entrée, met à jour l’environnement, puis produit les informations qui permettent à l’utilisateur de percevoir la réponse.

Les connaissances de synthèse d’images aident à comprendre le calcul du monde et de son rendu. Ce qui demande une attention particulière en RV, ce sont les relations avec l’utilisateur : quelles actions sont mesurées, comment elles sont traduites et quels retours sont produits. Ces correspondances seront au cœur des TP d’interaction et de navigation.

Sur le schéma, les informations sensorielles vont du monde vers l’utilisateur ; les actions vont de l’utilisateur vers le monde. Bouger la tête change la vue, saisir un objet peut modifier son état, puis la réponse du système guide l’action suivante. La boucle doit se renouveler en continu.

Exemple fil rouge : la personne tend la main vers un objet. Le système mesure la main et une commande de saisie ; l’application associe l’objet à cette main et met à jour sa position ; le rendu restitue la nouvelle situation. Les flèches de ce schéma suivent bien l’action de gauche à droite en haut et les retours de droite à gauche en bas.

Casques et salles de projection

Choisir pour la tâche : observer seul, partager, collaborer

Casque

Vue individuelle ; partage sur un écran externe

Salle de projection

Observation côte à côte ; perspective liée au suivi

Confort, collaboration et infrastructure : le choix dépend de l’activité.

Casques et salles de projection

La RV ne se limite pas aux casques. Les salles de projection immersives, comme les CAVE, occupent une place importante dans son histoire et restent pertinentes pour certaines tâches. Le choix dépend de l’activité, des personnes qui doivent y participer et de la manière dont elles doivent observer ou collaborer.

Un environnement projectif peut permettre à plusieurs personnes de rester côte à côte et à des observateurs de voir directement ce qui est présenté. Avec un casque, l’entourage n’a pas directement accès à la vue du porteur ; il faut prévoir un retour sur un autre écran pour la partager. Partager une salle de projection ne garantit toutefois pas à chaque personne une perspective suivie individuellement.

À l’oral, la différence d’échelle matérielle est illustrée par le coût et l’installation : un casque est un équipement individuel, tandis qu’un CAVE peut demander une salle, une infrastructure et parfois des travaux de bâtiment importants. L’exemple de systèmes autour desquels le bâtiment a été construit souligne cette contrainte d’intégration. Il faut retenir ce changement d’échelle plutôt qu’un tarif universel.

Le confort, la collaboration et l’efficacité pour la tâche peuvent justifier une salle de projection. Le suivi doit adapter les images à la position de l’observateur ; les différences techniques entre ces dispositifs seront détaillées plus tard.

1.3

RV, RA ou pas ?

Street View

RV, RA ou pas ?

Panorama interactif

On explore des photos à 360°, sans suivi des mouvements du corps.

AirPano · Maldives

RV, RA ou pas ?

Vidéo immersive, interaction limitée

On choisit où regarder ; le vol reste enregistré.

Au volant d’une Toyota

RV, RA ou pas ?

Affichage tête haute, pas de RA spatiale

Les informations restent dans une zone d’affichage ; elles ne sont pas ancrées aux objets de la route.

Benedict Cumberbatch · Smaug

RV, RA ou pas ?

Effets spéciaux

La performance sert à créer le dragon ; le film ne réagit pas au spectateur.

F1 · cinéma 4DX

RV, RA ou pas ?

Cinéma multisensoriel

Les effets suivent le film, pas les actions du spectateur.

Hello, Dot

RV, RA ou pas ?

RA

Le compagnon virtuel occupe le salon réel et réagit aux gestes.

Snapchat · filtre visage

RV, RA ou pas ?

RA

L’effet virtuel suit le visage en temps réel.

Ghost Town

RV, RA ou pas ?

RV

Les mouvements et les gestes permettent d’agir dans le monde simulé.

CAVE · université de Bacău

RV, RA ou pas ?

Le laboratoire de l’université de Bacău utilise un cube de projection et des logiciels de simulation pour des activités interactives.

RV en salle

Un environnement simulé peut entourer la personne sans casque.

À retenir

Agir et percevoir dans un monde simulé

Enrichir le réel avec du virtuel recalé en temps réel

Le casque et la richesse des sensations ne suffisent pas.