Construire un système de RV

Capture des mouvements et restitutions sensorielles

Étienne Peillard
IMT Atlantique

Plan du cours

Capture des mouvements

5.1

Restitutions sensorielles

5.2

5.1

Capture des mouvements

Six degrés de liberté

Translation

Gauche/droite, haut/bas, avant/arrière

Rotation

Lacet, tangage et roulis

Suivi mécanique

Telepresence Mobile Robot (1991)

SPIDAR-8

Suivi électromagnétique

Système Polhemus FASTRAK avec son émetteur et un capteur câblé — Polhemus FASTRAK

Technologies de suivi actuelles

Participante équipée de marqueurs optiques dans une salle de capture OptiTrack pour le projet MuscleRehab — Optique: OptiTrack (MuscleRehab)

Deux personnes portent des combinaisons Xsens Link avec des capteurs sur les segments corporels — Inertiel : combinaison Xsens Link

Technologies de suivi actuelles

Le suivi optique utilise des observations visibles ou infrarouges. Selon le dispositif, il suit des marqueurs connus, des caractéristiques de l’environnement ou des signaux lumineux. Les caméras peuvent être externes ou embarquées. La diapositive suivante distingue les agencements inside-out et outside-in.

Une centrale inertielle (IMU) regroupe typiquement des gyroscopes et des accéléromètres. Les gyroscopes mesurent la vitesse angulaire. Les accéléromètres mesurent la force spécifique, qui inclut l’effet de la gravité selon l’orientation du capteur. Une estimation de déplacement nécessite de traiter cette composante et d’intégrer les mesures. Les biais et les erreurs s’accumulent : une IMU seule ne fournit pas une position absolue sans dérive.

Les mesures inertielles permettent des mises à jour rapides entre les observations optiques. Les observations optiques apportent des contraintes qui limitent la dérive. La fusion de capteurs sera détaillée après les agencements de suivi.

Exemple documenté : Microsoft décrit un suivi de casque qui fusionne les observations des caméras avec les mesures à haute fréquence de l’IMU. https://learn.microsoft.com/en-us/windows/mixed-reality/enthusiast-guide/tracking-system

À gauche, le dispositif MuscleRehab utilise des caméras OptiTrack et des marqueurs portés sur le corps pour la capture optique. Les annotations de l’image identifient les caméras et les marqueurs. La mesure musculaire EIT du projet est un dispositif distinct du suivi optique. À droite, la combinaison Xsens Link illustre le suivi inertiel avec des capteurs portés. Sources des photos : MIT CSAIL, https://hcie.csail.mit.edu/research/musclerehab/musclerehab.html et Xsens, https://www.xsens.com/motion-capture/xsens-link-specifications

Inside-out et outside-in : principe

Deux schémas comparatifs : à gauche, les caméras sont fixées dans la pièce et observent le casque ; à droite, les caméras sont portées par le casque et observent l’environnement. — Outside-in : caméras externes. Inside-out : caméras embarquées.

Suivi inside-out et outside-in

Disposition	Observations	Limite typique
Inside-out	Capteurs portés par l’appareil suivi	Nécessite des observations environnementales utilisables
Outside-in	Des capteurs externes observent les objets suivis	Nécessite une couverture et une ligne de vue

Les quatre caméras embarquées du Quest, entourées en violet — Inside-out : caméras sur le casque (Quest)

Caméra de suivi externe du Rift CV1 sur son pied — Outside-in : caméra dans la pièce (Rift CV1)

Fusion de capteurs

Des changements locaux rapides

Mesures inertielles

Référence externe

Observations optiques ou autres

Estimation combinée

Pose avec dérive réduite

Les images d’une caméra et les mesures d’une centrale inertielle convergent vers un module de fusion qui estime la pose. — Exemple de fusion caméra–IMU

Fusion de capteurs : OKVIS

Qualité du suivi

Précision

Proximité avec la pose de référence

Gigue

Variation rapide autour d’une estimation

Dérive

Accumulation de déplacements au fil du temps

Perte et récupération

Comportement lorsque les observations disparaissent

Les contrôleurs

Half-Life: Alyx

Gros plan d’un contrôleur Valve Index avec ses boutons et sa poignée — Valve Index

Le suivi des mains

Silhouette · Ultraleap

Capteur Leap Motion et représentation des articulations des mains sur un écran — Leap Motion

Le suivi des mains

Le suivi des mains reconstruit un squelette articulé à partir d’observations. L’estimation d’une articulation peut devenir incertaine si elle est masquée par un autre doigt, l’autre main ou un objet. Les mains doivent rester dans la zone observable par les caméras.

Le geste de pince est un exemple de commande : rapprocher le pouce et l’index peut déclencher une sélection ou une saisie. Il faut distinguer la pose estimée de la main, la reconnaissance du geste et l’action que l’application lui associe.

L’illustration montre un capteur Leap Motion et les articulations estimées à l’écran. La vidéo Silhouette montre une interaction par les mains et leurs ombres, présentée dans la documentation Ultraleap. Le suivi optique seul ne fournit pas de résistance mécanique.

Illustration : https://documentation.ls-group.fr/interact/LeapMotion/ Démonstration : https://docs.ultraleap.com/ultralab/vr-gaming-controllers-and-hands.html

Le suivi oculaire

Tobii VR Integration Demo

Capteurs de suivi oculaire intégrés autour des lentilles d’un casque de RV — Tobii

Le suivi oculaire

Le pointage par la tête (head-gaze) utilise l’orientation du casque. Il constitue une approximation de la direction regardée : les yeux peuvent se déplacer sans que la tête bouge. Le suivi oculaire (eye tracking) utilise des capteurs dédiés pour estimer la direction du regard.

Le suivi oculaire peut nécessiter une calibration propre à l’utilisateur. La précision et la disponibilité des mesures dépendent du dispositif et des conditions d’utilisation. Une direction de regard ne constitue ni une preuve d’attention ni une intention explicite de sélection.

Le modèle gaze-and-commit distingue le ciblage de la confirmation. Un bouton, un geste de pince ou une durée de fixation peuvent confirmer une action. Une validation séparée permet d’explorer visuellement la scène sans déclencher une action à chaque regard.

Références : Microsoft Learn, Eye tracking overview, https://learn.microsoft.com/en-us/windows/mixed-reality/design/eye-tracking et Eye-gaze-based interaction, https://learn.microsoft.com/en-us/windows/mixed-reality/design/eye-gaze-interaction

Illustration : https://www.tobii.com/resource-center/learn-articles/how-do-eye-trackers-work Démonstration : https://video.tobii.com/tobii-vr-integration-demo

Le suivi du corps

Rokoko · Smartsuit Pro II

Le suivi du corps

Le suivi corporel peut utiliser des caméras, des marqueurs optiques ou des capteurs portés. Le nombre et l’emplacement des observations déterminent quels segments sont renseignés. Tous les segments visibles sur l’avatar ne sont pas nécessairement mesurés.

La cinématique inverse permet de déduire une posture compatible avec des points suivis et un modèle de squelette. Si seules la tête et les mains sont suivies, plusieurs configurations des coudes ou du reste du corps peuvent correspondre aux mêmes observations. La reconstruction utilise donc des contraintes et des hypothèses.

Un décalage entre les mouvements réels et ceux de l’avatar peut perturber la coordination et l’expérience corporelle. Il faut distinguer les mesures disponibles des segments reconstruits et adapter le niveau de détail de l’avatar à la qualité du suivi. Le cours revient sur cette correspondance dans la partie sur l’animation des avatars.

Illustration et vidéo : Rokoko Smartsuit Pro II. La démonstration compare la personne filmée, le squelette dans Rokoko Studio et le personnage dans Unreal Engine. Source : https://www.rokoko.com/products/smartsuit-pro

5.2

Restitutions sensorielles

Stimulation visuelle

Faire percevoir une scène, sa profondeur et ses changements de point de vue

Les familles d’affichage visuel

Visiocasques

Un affichage porté devant les yeux

Projection et écrans

Une surface physique partagée ou entourant l’utilisateur

Réalité augmentée

Le monde réel reste visible avec du contenu ajouté

Visiocasque : FlyVIZ

Projection immersive : une CAVE

Les systèmes de projection nécessitent une géométrie calibrée et un rendu dépendant du point de vue. Plusieurs personnes peuvent occuper la pièce, mais une paire d'images stéréo partagées n'est géométriquement correcte que pour le point de vue suivi prévu. Les systèmes multi-vues peuvent résoudre certaines contraintes avec une complexité supplémentaire. Le corps physique visible et l’accès aux accessoires peuvent être utiles.

La RV ne se limite pas aux casques. Les salles de projection immersives, comme les CAVE, occupent une place importante dans son histoire et restent pertinentes pour certaines tâches. Le choix dépend de l’activité, des personnes qui doivent y participer et de la manière dont elles doivent observer ou collaborer.

Un environnement projectif peut permettre à plusieurs personnes de rester côte à côte et à des observateurs de voir directement ce qui est présenté. Avec un casque, l’entourage n’a pas directement accès à la vue du porteur ; il faut prévoir un retour sur un autre écran pour la partager. Partager une salle de projection ne garantit toutefois pas à chaque personne une perspective suivie individuellement.

À l’oral, la différence d’échelle matérielle est illustrée par le coût et l’installation : un casque est un équipement individuel, tandis qu’un CAVE peut demander une salle, une infrastructure et parfois des travaux de bâtiment importants. L’exemple de systèmes autour desquels le bâtiment a été construit souligne cette contrainte d’intégration. Il faut retenir ce changement d’échelle plutôt qu’un tarif universel.

Le confort, la collaboration et l’efficacité pour la tâche peuvent justifier une salle de projection. Le suivi doit adapter les images à la position de l’observateur ; les différences techniques entre ces dispositifs seront détaillées plus tard.

Un rendu stéréo correct nécessite plus que le décalage de deux images. L'emplacement des yeux et la géométrie de l'affichage déterminent les projections. Un affichage CAVE ou de bureau nécessite un rendu hors axe lorsque l'observateur se déplace. Les deux vues oculaires doivent rester cohérentes avec l’échelle mondiale et la distance interoculaire calibrée du participant.

La collaboration à distance dépend des informations rendues disponibles sur les autres. Les avatars simplifiés de Fleury et ses collègues communiquent la position et l’action dans un environnement partagé. La téléprésence de groupe de Beck et ses collègues utilise des représentations associées à la vidéo tridimensionnelle et des outils collaboratifs. Ces agencements rendent visibles des aspects différents de la posture, de l’expression et de l’activité ; apparence et coordination constituent des questions liées mais distinctes.

Stéréo active : lunettes à obturateurs

Lunettes à obturateur actif — Alternance des vues gauche et droite, synchronisée avec les lunettes

Stéréo passive : polarisation

Séparation basée sur la polarisation — Deux polarisations, une vue pour chaque œil

Stéréo par anaglyphes

Séparation anaglyphe — Séparation des vues par filtres colorés

Affichage autostéréoscopique

Un exemple autostéréoscopique — Des vues dirigées vers chaque œil, sans lunettes

Projection multi-utilisateurs : C1x6

Techniques de réalité augmentée

Optical see-through

Vision optique directe

La lumière du monde réel traverse une optique transparente jusqu’à l’œil ; un projecteur ajoute une image virtuelle sur le trajet optique.

Lumière du réel + contenu virtuel ajouté optiquement

Video see-through

Vision par retour vidéo

Une caméra filme la scène réelle ; un traitement y ajoute les éléments virtuels avant de présenter le résultat sur un écran opaque.

Caméra → composition → écran → œil

Handheld display

Téléphone ou tablette

Une tablette tenue à la main filme le cadre réel et affiche un objet virtuel ajouté à la scène ; le monde physique reste visible autour de l’appareil.

L’écran devient une fenêtre sur la scène augmentée

Techniques de réalité augmentée

Lire les schémas de la scène physique vers l’œil. Le gris représente la scène réelle ; le cyan représente le contenu virtuel et son trajet d’affichage. Chaque illustration montre une disposition de visualisation différente.

Optical see-through : la lumière de l’environnement réel traverse une optique transparente jusqu’à l’œil. Un système de projection ajoute les images virtuelles à ce trajet optique. Le monde physique reste directement visible à travers l’optique.

Video see-through : des caméras filment la scène physique. Leurs images sont combinées au contenu généré par ordinateur, puis le résultat est présenté sur un écran. L’œil voit l’image vidéo affichée au lieu de regarder à travers un trajet optique transparent.

Handheld display : un téléphone ou une tablette filme la scène avec sa caméra et affiche le résultat augmenté sur son écran. L’utilisateur regarde cet écran tout en gardant le monde physique visible autour de l’appareil. Il s’agit d’un format de dispositif, généralement fondé sur le retour vidéo, plutôt que d’un troisième principe optique indépendant. Les affichages portés sur la tête peuvent utiliser la vision optique directe ou le retour vidéo.

Réalité augmentée : exemples

Vision optique directe : HoloLens

Téléphone : ARKit

Réalité augmentée : exemples

HoloLens illustre l’augmentation par transparence optique : la scène physique reste visible à travers les optiques et une image virtuelle s’y ajoute. La question est de savoir comment ce contenu est positionné et actualisé par rapport aux surfaces et à l’observateur en mouvement. L’alignement, la visibilité et la correspondance entre geste et réponse déterminent son usage dans l’activité.

Le contraste avec l’exemple précédent porte sur la cohérence spatiale : les éléments virtuels sont placés en relation avec ce que la personne voit dans le monde réel, et cette relation permet des interactions situées. La vidéo est promotionnelle ; son cadrage ne suffit pas à décrire le champ de vision effectivement offert dans le dispositif.

ARKit illustre l’augmentation à travers la caméra d’un dispositif tenu en main. Le système estime les mouvements du dispositif et la relation entre le contenu virtuel et la scène filmée. L’écran combine l’image de la caméra et les objets calculés, tandis que l’espace physique reste directement visible autour. Maintenir le recalage pendant les mouvements est essentiel pour situer l’objet dans la pièce.

À l’oral, cet exemple rappelle surtout une difficulté technique : faire correspondre l’environnement physique observé par le système et les objets calculés. Les outils de développement rendent cette opération accessible sur des appareils mobiles. Il faut retenir le problème du recalage et du maintien de cette correspondance pendant le mouvement.

Stimulation auditive

Faire entendre des événements et localiser leurs sources dans l’espace

Les familles de restitution sonore

Casque audio

Rendu binaural destiné aux deux oreilles

Haut-parleurs

Sources physiques et réseaux de restitution spatiale

Son 3D : démonstration

À écouter au casque · activer le son

Stimulation haptique

Faire sentir les contacts, les vibrations et la résistance des objets

Les familles de restitution haptique

Retour cutané

Vibrations, pression et stimulation de la peau

Retour kinesthésique

Forces et résistance appliquées au mouvement

Les familles de restitution haptique

Les interfaces tactiles stimulent les sensations liées à la peau. Les exemples comprennent des vibrations, une stimulation distribuée et une démonstration aérienne. Ces exemples diffèrent par ce qu'ils peuvent reproduire. Une brève vibration peut signaler un contact sans contraindre physiquement le mouvement. La relation temporelle et spatiale à l’événement visible compte toujours.

Une interface de retour de force peut à la fois mesurer le mouvement et appliquer des forces. Les dispositifs comprennent des bras articulés, des systèmes de câbles et des exosquelettes. L'espace de travail, la plage de force, la rétroconduite et le contrôle stable limitent l'interaction. Le retour de force nécessite un mécanisme physique ; elle diffère d'une impression pseudo-haptique produite par une manipulation visuelle.

Retour cutané avec contact

Manette vibrante : Joy-Con

Gilet vibrant : bHaptics

Retour cutané sans contact

Jets d’air : AIREAL

Ultrasons : Touchable Holography

Bras à retour d’effort

Stylet : PHANTOM Premium 1.5

Bras : Haption Virtuose 6D

Retour d’effort : exemples

Câbles : SPIDAR-8

Gants : SenseGlove Nova 2

Assistance à l’effort selon l’activité musculaire

Stimulation proprioceptive

Faire ressentir la position et le mouvement de son propre corps

Les familles d’interfaces de mouvement

Marche active

Tapis, surfaces mobiles et dispositifs sphériques

Mouvement accompagné

Appuis et mécanismes qui guident le corps

Surface de marche mobile

Interface de locomotion sphérique

Surface d'appui mobile

Stimulation vestibulaire

Susciter une sensation d’accélération ou de bascule

Les familles de stimulation vestibulaire

Mouvement physique

Plateformes qui accélèrent ou inclinent le participant

Stimulation galvanique

Interfaces électriques étudiées en recherche

Plateforme de mouvement : simulateur de vol

Exemples de recherche sur les plateformes de mouvement et la stimulation vestibulaire

Plateformes de mouvement : siège et hexapode

Siège : Motion Platform V3

Hexapode : PS-6TL-250

Plateforme robotisée : simulateur du DLR

Stimulation vestibulaire galvanique

Stimulation olfactive

Faire percevoir une odeur associée à un objet ou à un environnement

Les familles d’interfaces olfactives

Diffusion dans l’espace

Une odeur est libérée dans l’environnement

Diffusion de proximité

Un dispositif porté ou approché du nez

Restitution olfactive : aBio

Stimulation gustative

Faire percevoir des saveurs ou modifier la flaveur d’un aliment

Les familles d’interfaces gustatives

Substances sapides

Solutions ou gels mis en contact avec la langue

Modulation électrique

Électrodes ou contrôle du transport des substances

Approches multisensorielles

Modifier la flaveur perçue par la vision et l’odorat

Construire un système de RV

Plan du cours

Capture des mouvements

Six degrés de liberté

Suivi mécanique

Telepresence Mobile Robot (1991)

SPIDAR-8

Suivi électromagnétique

Technologies de suivi actuelles

Inside-out et outside-in : principe

Suivi inside-out et outside-in

Fusion de capteurs

Fusion de capteurs : OKVIS

Qualité du suivi

Les contrôleurs

Le suivi des mains

Le suivi oculaire

Le suivi du corps

Restitutions sensorielles

Stimulation visuelle

Les familles d’affichage visuel

Visiocasque : FlyVIZ

Projection immersive : une CAVE

Stéréo active : lunettes à obturateurs

Stéréo passive : polarisation

Stéréo par anaglyphes

Affichage autostéréoscopique

Projection multi-utilisateurs : C1x6

Techniques de réalité augmentée

Optical see-through

Video see-through

Handheld display

Réalité augmentée : exemples

Vision optique directe : HoloLens

Téléphone : ARKit

Stimulation auditive

Les familles de restitution sonore

Son 3D : démonstration

Stimulation haptique

Les familles de restitution haptique

Retour cutané avec contact

Manette vibrante : Joy-Con

Gilet vibrant : bHaptics

Retour cutané sans contact

Jets d’air : AIREAL

Ultrasons : Touchable Holography

Bras à retour d’effort

Stylet : PHANTOM Premium 1.5

Bras : Haption Virtuose 6D

Retour d’effort : exemples

Câbles : SPIDAR-8

Gants : SenseGlove Nova 2

Assistance à l’effort selon l’activité musculaire

Stimulation proprioceptive

Les familles d’interfaces de mouvement

Surface de marche mobile

Interface de locomotion sphérique

Surface d'appui mobile

Stimulation vestibulaire

Les familles de stimulation vestibulaire

Plateforme de mouvement : simulateur de vol

Plateformes de mouvement : siège et hexapode

Siège : Motion Platform V3

Hexapode : PS-6TL-250

Plateforme robotisée : simulateur du DLR

Stimulation vestibulaire galvanique

Stimulation olfactive

Les familles d’interfaces olfactives

Restitution olfactive : aBio

Stimulation gustative

Les familles d’interfaces gustatives

Restitution gustative : Norimaki Synthesizer

Meta Cookie : vision, odorat et goût