Réalité Virtuelle

Azzeddine Benabbou

Université de Toulouse III - IUT A (Castres) http://azed.in/

azzeddine.benabbou@iut-tlse3.fr

Simulation

“Représentation du comportement d’un processus physique, industriel, biologique, économique ou militaire au moyen d’un modèle matériel dont les paramètres et les variables sont les images de ceux du processus étudié. (Les modèles de simulation prennent le plus souvent la forme de programmes d’ordinateurs auxquels sont parfois associés des éléments de calcul analogique.)”

–Larousse

Simulation en médecine

(Chiniara, 2007)

Mannequin : Simulation non organique synthétique

Simulateur VR : Simulation non organique électronique (immersive)

Réalité et virtualité

Quelques termes

  • Virtual Reality
  • Augmented Reality
  • Mixed Reality
  • Extended Reality

  • Digital Reality
  • Assisted Reality

Réalité et virtualité (2)

Continuum de Milgram et al. (1994) (source : Flavian et al, 2019)

Ce point de vue ne fait pas l’objet d’un consensus

Entrainement en situation réelle

Réalité augmentée

https://www.youtube.com/watch?v=6oa6LDSgUKc

Virtualité augmentée

https://www.youtube.com/watch?v=ZkBQbDQiRUg

Réalité Virtuelle

Le projet de recherche NIKITA vise à produire un Environnement Virtuel pour la formation des monteurs-assembleurs du secteur de l’aéronautique

Définition de la RV

  • Approches de définitions (Fush el al. 2003 et 2006) :
    • Finalité,
    • Ses applications,
    • Ses fonctions,
    • Techniques sur lesquelles elle repose

Finalité de la RV

La finalité de la réalité virtuelle est de permettre à une personne (ou plusieurs) une activité sensori-motrice et cognitive dans un monde artificiel, créé numériquement, qui peut être imaginaire, symbolique ou une simulation de certains aspects du monde réel.

(Fuchs et al., 2003)

Finalité de la RV (2)

  • La personne agit physiquement dans un environnement dans lequel elle est immergée par certains de ces sens.
  • L’activité cognitif découle de l’activité sensorimotrice qui est un moyen pour atteindre l’objectif voulu de l’application.

Trois types de monde

  • Imaginaire : monde irréel sorti de l’imagination de ses auteurs. Monde ayant par exemple une géométrie irréaliste et permettant des comportements non réalistes (ex. voler, se téléporter)
  • Symbolique : monde où sont représentés des phénomènes (ex. structure de molécules) ou qui présente des concepts symbolique permettant de à l’utilisateur de mieux se représenter son environnement (ex. informations schématiques, visualisation de données)
  • Simulation de certains aspects du monde réel

Définition technique de la RV

La réalité virtuelle est un domaine scientifique et technique exploitant l’informatique et des interfaces comportementales en vue de simuler dans un monde virtuel le comportement d’entités 3D, qui sont en interaction en temps réel entre elles et avec une personne en immersion pseudo-naturelle.

– Arnaldi B. et Fushs P.

  • Interfaces comportementales
    • Interfaces sensorielles (ex. Ecran, casque audio) : informent l’utilisateur par ses sens de l’évolution du monde
    • Interfaces motrices (ex. manettes, gants de données) : informent le système des actions motrices de l’utilisateur
    • Interfaces sensori-motrices : informent dans les deux sens.
  • Interaction temps réel
    • Lorsque l’utilisateur réalise une action (activité motrice), la réponse de l’environnement perçue via les interfaces sensorielles doit se faire sans latence.
  • Immersion pseudo-naturelle
    • L’interaction ne peut être à 100% naturelle car il existe quelques différences sensorimotrices et cognitives par rapport au monde réel.

Immersion

  • L’immersion proprioceptive est « une immersion corporelle impactant le corps via ses récepteurs proprioceptifs ».
  • L’immersion extéroceptive est une « immersion distante qui fait uniquement appel à ses sens extéroceptifs artificiellement »

Autres définitions

(Burdea et al. 1993)

Immersion, Interaction et Imagination

(Ellis, 1994)

VR is an advanced human-computer interface that simulates a realistic environment and allows participants to interact with it

(Tisseau, 2001)

un univers de modèles au sein duquel tout se passe comme si les modèles étaient réels parce qu’ils proposent simultanément la triple médiation des sens, de l’action et de l’esprit.

Pertinence de la simulation et la RV

  1. Mettre en situation lorsque la realité ne le permet pas
    • Inaccessibilité
    • Dangerosité et gravité
    • Manque de ressources financières et humaines
  2. Simuler des situations rares et aléatoires
    • Tremblement de terre
    • Explosion dans un chantier
    • Fusillade
  1. Contrôler les paramètres de la situation
    • Changer les conditions météorologiques
    • Augmenter la densité de la circulation
  2. Répéter les situations
    • Entrainement
    • Observer les conséquences d’un autre choix
  3. Augmenter la capacité des sens (i.e Acquérir des “superpouvoir”)
    • Se téléporter
    • Ralentir le temps
    • Voir au travers des objets

Les premiers systèmes RV

Sensorama

Le Sensorama ressemblait à une cabine d’arcade dans laquelle l’utilisateur plaçait sa tête pour vivre une expérience immersive. Il ne s’agissait pas d’un casque portable, mais d’un dispositif stationnaire.

Projection film avec profondeur, haut-parleurs stéréo, siège vibrant et diffuseur de parfums.

Epée de Damoclès

L’Épée de Damoclès est souvent considérée comme le premier système de réalité virtuelle, conçu en 1968 par Ivan Sutherland. Il utilisait un casque de vision tête haute relié à un ordinateur, offrant une première expérience d’immersion dans un environnement 3D

Darth Vader

Dans les années 1980, Furness a conçu le Super Cockpit, un simulateur de vol en réalité augmentée pour l’armée de l’air américaine, qui permettait aux pilotes de visualiser des informations complexes en temps réel, comme si ces données étaient “superposées” dans leur champ de vision.

Les visiocasques récents

Google Cardboard - 2014

Google Cardboard

  • Boite en carton avec deux lentilles en plastique et un emplacement pour smartphone
  • Utilise les capteurs du téléphone
  • Dépendant des performances du smartphones

Samsumg Gear VR - 2014

Samsumg Gear VR

  • Crée par Samsung en partenariat avec Oculus
  • Même principe que le Cardboard mais avec des optiques de meilleure qualité, un meilleur confort des capteurs en plus de ceux du smartphone

Oculus Rift DK1 & DK2 - 2013

Oculus Rift DK1 & DK2

  • Relié à un PC
  • Faible latence et grand champ de vision
  • Sans controlleurs (Mais pouvait être couplé avec des manettes Razer Hydra)

HTC Vive - 2016

HTC Vive - 2016

  • Principal concurrent de l’Oculus à l’époque (amélioration à tous les niveaux)
  • Deux controlleurs
  • Deux caméras externes pour le suivi

HTC Focus - 2021

HTC Focus - 2021

  • Sans PC
  • Suivi des mains

Meta Quest - 2023

Meta Quest - 2023

  • Sans PC
  • Caméras extérieures sur le casque pour réalité mixte
  • Suivi des yeux (Meta Quest Pro)

Autres équipements

Les gants haptiques

Les gants haptiques

  • Capture du mouvement
  • Retour de force

HaptX Gloves G1

HaptX Gloves G1 Launch Video from HaptX on Vimeo.

Veste haptique

Tapis roulant omni-directionnel

Tapis roulant omni-directionnel

Moteurs de jeu

Moteur de jeu et DCC

DCC : Digital Content Creation

Exemple de moteur de jeu

Moteur de jeu Langage Column 3
Unity C#, Visual scripting Client lourd
Unreal Engine C++, Blueprints Client lourd
GoDot GDScript, C# Client lourd
BabylonJS JS, Typescript Client web