4 / Perception et fondements théoriques4.1 Définitions et modèles

4

Perception et fondements théoriques

Les mécanismes derrière l’expérience immersive

Étienne Peillard
IMT Atlantique

4 / Perception et fondements théoriques4.1 Définitions et modèles

Plan du cours

Définitions et modèles

4.1

Perception de l’espace

4.2

Perception multisensorielle

4.3

Couplage sensorimoteur

4.4

Illusions perceptives

4.5

4 / Perception et fondements théoriquesPartie 1 sur 5

4.1

Définitions et modèles

4 / Perception et fondements théoriques4.1 Définitions et modèles

« Virtual reality » : que disent les mots ?

Une expression anglaise, plusieurs lectures en français

Virtual · anglais

De fait · presque · qui en a les effets

Virtuel · philosophie

En puissance, par opposition à actuel — aussi en français

Un oxymore apparent

Si « virtuel » est compris comme « irréel », « réalité virtuelle » semble contradictoire

Pour la RV : un environnement simulé qui fait fonction de réalité pour percevoir et agir.

4 / Perception et fondements théoriques4.1 Définitions et modèles

Un nom qui n’allait pas de soi

Plusieurs termes ont coexisté ; chacun met l’accent ailleurs.

Réalité artificielle

L’accent sur un environnement construit

Réalité vicariante

L’accent sur la substitution : ce qui fait fonction de réalité

Réalité de synthèse

L’accent sur la création numérique — FranceTerme, 2007

L’usage a consacré « réalité virtuelle » — malgré les réserves terminologiques.

4 / Perception et fondements théoriques4.1 Définitions et modèles

Plusieurs définitions, plusieurs points de vue

Finalité

L’activité humaine à soutenir

Fonction

Changer de temps, de lieu ou d’interaction

Technique

Simulation et interfaces comportementales

Interface

La relation entre la personne et le monde

Rapport au réel

Ce que la simulation fait remarquer

Perception

L’interprétation de l’expérience

4 / Perception et fondements théoriques4.1 Définitions et modèles

Définir par la finalité

La finalité de la RV est de permettre à une personne (ou à plusieurs) une activité sensori-motrice et cognitive dans un monde artificiel, créé numériquement, qui peut être imaginaire, symbolique ou une simulation de certains aspects du monde réel.

Burkhardt et Fuchs · 2006

Point de vueL’activité humaine

4 / Perception et fondements théoriques4.1 Définitions et modèles

Une définition fonctionnelle

La RV va permettre à l’individu de s’extraire de la réalité physique pour changer virtuellement de temps, de lieu et(ou) de type d’interaction: interaction avec un environnement simulant la réalité ou interaction avec un monde imaginaire ou symbolique.

Burkhardt et Fuchs · 2006

Point de vueChanger le cadre des possibles

4 / Perception et fondements théoriques4.1 Définitions et modèles

Une définition technique

La RV est un domaine scientifique et technique exploitant l’informatique et des interfaces comportementales en vue de simuler dans un monde virtuel le comportement d’entités 3D, qui sont en interaction en temps réel entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle par l’intermédiaire de canaux sensorimoteurs.

Burkhardt et Fuchs · 2006

Point de vueSimulation, interfaces et temps réel

4 / Perception et fondements théoriques4.1 Définitions et modèles

Définir la relation d’interface

La substitution de l’interface entre une personne et l’environnement physique par une interface avec un environnement simulé.

Jaron Lanier

Point de vueMédiatiser la relation personne–monde

4 / Perception et fondements théoriques4.1 Définitions et modèles

Définir un rapport au réel

Une réalité simulée, plus grossière, favorise, par comparaison, l’appréciation de la profondeur de la réalité physique. À mesure que la RV progressera, la perception humaine s’en nourrira et apprendra à trouver toujours davantage de profondeur dans la réalité physique.

Jaron Lanier

Point de vueInterroger l’expérience du réel

4 / Perception et fondements théoriques4.1 Définitions et modèles

Définir le rôle de la perception

Une technologie qui mobilise le cerveau pour combler les manques et masquer les erreurs d’un simulateur, afin qu’une réalité simulée paraisse meilleure qu’elle ne devrait l’être.

Jaron Lanier

Point de vueL’utilisateur participe à l’expérience

4 / Perception et fondements théoriques4.1 Définitions et modèles

Réalité virtuelle et LSD : un monde partagé

… les utilisateurs de RV peuvent partager objectivement un monde, même fantastique, alors que les utilisateurs de LSD ne le peuvent pas.

Jaron Lanier · Dawn of the New Everything (2017)

Point de vueL’expérience d’un monde commun

4 / Perception et fondements théoriques4.1 Définitions et modèles

Les I² : immersion et interaction

I² désigne le couple immersion–interaction

Immersion : percevoir le monde virtuel

Le dispositif sollicite les sens et permet à l’utilisateur de s’approprier un nouvel espace de perception. Exemple : tourner la tête pour explorer la scène.

Interaction : agir dans le monde virtuel

L’utilisateur agit et perçoit les conséquences de ses actions en temps réel. Exemple : saisir une pièce et la voir suivre le mouvement de la main.

Dans 3I², ce couple se décline à trois niveaux : sensorimoteur, cognitif et fonctionnel.

4 / Perception et fondements théoriques4.1 Définitions et modèles

Le modèle de référence 3I²

3 niveaux × (Immersion + Interaction)

UTILISATEURMONDE VIRTUEL / SYSTÈMEFonctionnelQuelle activité ?Activités à accomplir dans le monde virtuelObserver · Se déplacer · Agir sur les objets · CommuniquerCognitifQuelle logique d’action ?Schèmes d’action acquisou métaphores apprisesComportements simuléset aides logicielles comportementalesSensSensorimoteurAvec quelles interfaces ?Sens et réponses motricesCouplage perception–actionInterfaces sensorielles et motricesLogiciel temps réelActionsRetours

Partir de l’activité ; vérifier la cohérence entre les trois niveaux.

4 / Perception et fondements théoriques4.1 Définitions et modèles

3I² en pratique : saisir une pièce

Une tâche d’assemblage, trois questions de conception liées

UTILISATEURMONDE VIRTUEL / SYSTÈMEFonctionnelQuelle activité ?S’entraîner à assembler des piècesObserver la cible · Saisir · Positionner la pièceCognitifQuelle logique d’action ?Schème de préhension« Je saisis et je place la pièce »Règles de saisie et de placementAide : accrochage près de la cibleSensSensorimoteurAvec quelles interfaces ?Mouvement de la main + pinceVoir la pièce suivre la mainSuivi des mains + casqueMise à jour à faible latenceActionsRetours

Trop de latence → saisie difficile → tâche d’assemblage compromise.

4 / Perception et fondements théoriques4.1 Définitions et modèles

La fidélité dépend de la tâche

Fidélité physique

Comment la stimulation correspond à la situation cible

Fidélité fonctionnelle

Si les actions pertinentes sont possibles

Fidélité psychologique

Si les réponses pertinentes se produisent

4 / Perception et fondements théoriquesPartie 2 sur 5

4.2

Perception de l’espace

4 / Perception et fondements théoriques4.2 Perception de l’espace

Perception de l’espace : le fil conducteur

Quelles informations permettent de percevoir profondeur, distance et échelle ?

1. Indices monoculaires de l’image

Occlusion · perspective · texture · taille et hauteur · ombres

2. Disparité binoculaire

Différences entre les images reçues par les deux yeux

3. Parallaxe de mouvement

Déplacements relatifs dans l’image quand le point de vue se déplace

4. Vergence et accommodation

Alignement des yeux et mise au point optique

5. Distance et échelle perçues

Mise en contexte : hauteur du point de vue, taille familière et champ de vision

4 / Perception et fondements théoriques4.2 Perception de l’espace

Indices de profondeur monoculaires

Occlusion

Quelle surface en cache une autre ?

Perspective et texture

Variation des motifs avec la profondeur

Taille et hauteur

Objets relatifs à des références familières

Ombres

Indices de contact et de position

Point de vue
Point de vue
Dégradé de texture
Dégradé de texture
Un exemple de profondeur picturale
Un exemple de profondeur picturale
Un exemple de profondeur picturale
Un exemple de profondeur picturale
4 / Perception et fondements théoriques4.2 Perception de l’espace

Disparité binoculaire

Deux points de vue

Les yeux occupent différentes positions

Deux projections

Un même point se projette différemment sur les rétines

Interprétation en profondeur

La disparité contribue à la distance perçue

Œil gaucheŒil droitObjet virtuelPlan d'affichageDisparité
4 / Perception et fondements théoriques4.2 Perception de l’espace

Parallaxe de mouvement

Deux objets fixes · déplacement de la tête sans rotation

Scène fixe · vue de dessusCe que voit l’observateurObjet lointainObjet procheTête : position 1Tête : position 2Déplacement vers la droiteDepuis 1Depuis 2Décalage apparentProchePlus grandLointainPlus petit

En RV, le rendu doit suivre la position de la tête pour reproduire cet indice de profondeur.

4 / Perception et fondements théoriques4.2 Perception de l’espace

Le point de vue suit les mouvements de la tête

Johnny Lee · 21 décembre 2007

4 / Perception et fondements théoriques4.2 Perception de l’espace

Vergence et accommodation

Vergence

Aligner les deux yeux sur une cible

Accommodation

Focaliser l’optique de l’œil

Écrans stéréo conventionnels

Ces demandes peuvent différer

Géométrie de vergence et d'accommodation
Géométrie de vergence et d'accommodation
4 / Perception et fondements théoriques4.2 Perception de l’espace

Distance et échelle perçues

Hauteur du point de vue

Une référence pour la scène

Taille familière

Un indice sur les dimensions des objets

Champ de vision disponible

Modifie le contexte spatial visible

4 / Perception et fondements théoriquesPartie 3 sur 5

4.3

Perception multisensorielle

4 / Perception et fondements théoriques4.3 Perception multisensorielle

Canaux sensoriels et informations

Extéroception

Signaux sur le monde environnant

Proprioception

Position et mouvement du corps

Intéroception

Signaux provenant de l’intérieur du corps

Informations vestibulaires

Mouvement de la tête et orientation par rapport à la gravité

4 / Perception et fondements théoriques4.3 Perception multisensorielle

Audition spatiale

Localisation

Indices de direction et de distance

Matériau et événement

Que s’est-il passé et sur quel matériau ?

Attention

Un signal en dehors de la vue actuelle

Localisation spatiale du son
Localisation spatiale du son
4 / Perception et fondements théoriques4.3 Perception multisensorielle

Toucher et exploration active

Informations cutanées

Pression, vibration et texture

Informations kinesthésiques

Mouvement, forces et résistance

Exploration active

Le toucher combiné au mouvement

Contact avec une surface virtuelle activement explorée
Contact avec une surface virtuelle activement explorée
4 / Perception et fondements théoriques4.3 Perception multisensorielle

Retour corporel : surface de marche mobile

4 / Perception et fondements théoriques4.3 Perception multisensorielle

Retour corporel : Virtusphere

4 / Perception et fondements théoriques4.3 Perception multisensorielle

Retour corporel : surface d’appui mobile

4 / Perception et fondements théoriques4.3 Perception multisensorielle

Le système vestibulaire

Canaux semi-circulaires

Accélération angulaire

Organes otolithiques

Accélération linéaire et gravité

Estimation intégrée

Mouvement et équilibre

Accélération angulaireCanaux semi-circulairesAccélération linéaireOrganes otolithiquesÉgalement sensible à la gravité
4 / Perception et fondements théoriques4.3 Perception multisensorielle

Odorat et goût

Odorat

Identité, mémoire et contexte

Goût

Expérience chimiosensorielle et multisensorielle

Contrainte pratique

Diffusion et persistance

Une démonstration gustative multisensorielle
Une démonstration gustative multisensorielle
Contexte visuel et perception des aliments
Contexte visuel et perception des aliments
4 / Perception et fondements théoriques4.3 Perception multisensorielle

Démonstration gustative multisensorielle

4 / Perception et fondements théoriques4.3 Perception multisensorielle

Intégration multisensorielle

Redondance

Plusieurs indices indiquent le même événement

Complémentarité

Différents signaux ajoutent des informations différentes

Congruence

Le timing et l’alignement spatial soutiennent une cause commune

4 / Perception et fondements théoriquesPartie 4 sur 5

4.4

Couplage sensorimoteur

4 / Perception et fondements théoriques4.4 Couplage sensorimoteur

Contingences sensorimotrices

Une action

La tête tourne ou la main se déplace

Un changement attendu

La vue ou la main doit être mise à jour

Un résultat perçu

Le retour confirme ou contredit les attentes

PerceptionActionUtilisateurMonde virtuelInterfacesCouplage en temps réel
4 / Perception et fondements théoriques4.4 Couplage sensorimoteur

Cohérence spatiale et temporelle

Espace

Les entrées et les sorties partagent un alignement

Temps

Les retours suivent l'action avec un délai limité

Modalités

Les événements s’accordent sur tous les canaux sensoriels

RetardTempsPosition et orientation de la têtePose affichée
4 / Perception et fondements théoriques4.4 Couplage sensorimoteur

Environnement physique et virtuel

Support physique

Les accessoires ou l'équipement servent la tâche

Fond neutre

Certains indices réels restent hors de propos

Interférence

Les indices réels contredisent la situation virtuelle

4 / Perception et fondements théoriquesPartie 5 sur 5

4.5

Illusions perceptives

4 / Perception et fondements théoriques4.5 Illusions perceptives

Retour pseudo-haptique

Entrée physique

Un mouvement ou une force

Manipulation visuelle

Modifier le déplacement ou la déformation

Interprétation haptique

Une résistance apparente ou une propriété matérielle

Manipulation visuelle du frottement apparent
Manipulation visuelle du frottement apparent
Un exemple de rigidité pseudo-haptique
Un exemple de rigidité pseudo-haptique
4 / Perception et fondements théoriques4.5 Illusions perceptives

Palpation : modifier la déformation visible

4 / Perception et fondements théoriques4.5 Illusions perceptives

Gain entre action et affichage

Gain = virtual displacement / physical displacement
Déplacement physique

Le mouvement effectué par la personne

Déplacement virtuel

Le mouvement montré par le système

Gain

La relation entre les deux

4 / Perception et fondements théoriques4.5 Illusions perceptives

La pseudo-haptique en mouvement

Résistance apparente

Modifier le mouvement affiché pour suggérer résistance ou relief.

Impact apparent

Arrêter ou ralentir brièvement la raquette virtuelle au contact.

4 / Perception et fondements théoriques4.5 Illusions perceptives

Flexibilité perceptive

Matériau apparent

Contact pseudo-haptique

Chemin apparent

Marche redirigée

Corps apparent

Illusions d’appartenance corporelle

4 / Perception et fondements théoriques4.5 Illusions perceptives

Expliquer une illusion

Quel signal change ?
Quels signaux restent cohérents ?
Qu’en déduit le participant ?
Quand l’effet pourrait-il échouer ?
4 / Perception et fondements théoriques4.5 Illusions perceptives

Sources et lectures complémentaires

Ressources pédagogiques

Cours d’origine et crédits des illustrations

Références de recherche

Références propres à chaque étude

Table de correspondance des sources

Références conservées au point d'utilisation