- Les applications actuelles et futures de la VR
- Historique
- Le matériel VR
- Immersion
- Déplacements
- Performances graphiques
- Audio, haptique et autres fioritures
- Quelques statistiques
- La VR dans la fiction
- Sources
La VR est de plus en plus utilisée en marketing. Elle plonge l'utilisateur (et potentiel client) dans une expérience immersive, personnalisée et engageante vis-à-vis du produit vendu.
- Boursin: The Sensorium: Voyage dans un frigo
- Toms Shoes: Voyage en Colombie
- Volvo Reality: Drive test en VR
Article: Marketing VR - Comment la réalité virtuelle transforme la publicité?
La VR permet de faire partie intégrante de l'univers du jeu, ce qui apporte une grande immersion. Des jeux aux univers très développés, principalement à la première personne, cherchant une grande immersion du joueur bénéficient grandement de la VR. Un bon exemple est le jeu Sykrim, adapté à la VR en 2018. Un autre est le futur Half-Life: Alyx.
La VR semble aussi adéquate pour les MMORPG, bien que pour le moment peu de tentative sont faites (à cause, entre autre, des problèmes de complexité, de coût et de gestion des déplacements). La VR s'applique aussi très bien au jeu de simulation. Elle va aussi créer de nouveaux genres. Voir Steam VR
Les musées ont commencé à utiliser la VR, en l'adaptant à chaque besoin. Elle permet de rendre les expositions interactives, personnalisées, de les compléter avec des éléments contextuels, parfois de déplacer l'expérience de la visite, ...
- Au Louvre (Paris): Mona Lisa: Beyond the Glass
- Au musée national de Finlande (Helsinki): Entrez dans une peinture de 1863
Article: Virtual Reality is a big trend in museums, but what are the best examples of museums using VR?
Dans différents domaines, les prototypes en 3D peuvent être testés et développés en VR ce qui permet un gain de temps (et d'argent!) souvent considérable (par exemple en architecture). Dans l'industrie automobile c'est devenu particulièrement intéressant.
Article: BMW Uses Virtual Reality to Build Prototypes
Article: La réalité virtuelle va révolutionner de nombreux secteurs de l’industrie automobile
La VR permet notamment la simulation de situations réelles pour l'entraînement (méditatiton, prise de parole en public, interventions médicales, ...). Elle permet aussi d'engager, de stimuler les utilisateurs pour un meilleur apprentissage et mémorisation. Histoire, biologie, médecine, il existe aujourd'hui de nombreuses expériences pédagogiques.
- Unimersiv: une app réunissant des expériences VR pédagogiques (Histoire, espace, anatomie,...)
- InMind VR: une app pour découvrir le cerveau humain
- Discovery VR: propose des sortes de documentaires immersifs, pour découvrir le monde
Article: Virtual Reality in Education
Article: How VR In Education Will Change How We Learn And Teach
Pour le cinéma, la VR permet de s'immerger quasiment totalement dans l'univers et les aventures visionnées. La 3D est déjà bien implantée dans les salles aujourd'hui, mais l'immersion VR va plus loin encore. Elle est aussi utilisée par les artistes 3D, qui peuvent créer directement en VR (et s'occuper de l'animation avec des outils comme PoseVR), ou tout simplement visionner leurs créations via ce média. La VR crée aussi de nouvelle possibilité pour les autres arts, comme par exemple le dessin ou la sculpture en VR (ex: https://time.com/vr-is-for-artists/).
Article: Cinéma VR – Comment la réalité virtuelle transforme le cinéma
Article: Films VR : top des meilleurs films sur Oculus Rift, HTC Vive, PSVR et Gear VR
Article: On a testé… la salle de cinéma en réalité virtuelle
Les systèmes utilisant l'intelligence artificielle (comme entre autre la robotique) doivent tout d'abord être entraîné avant d'être opérationnel. Souvent, le robot est construit, entraîné et testé, mais il est possible de faire quelques essais en amont grâce à la VR. Il est par exemple possible de tester les interactions d'un robot (virtuel) avec un environnement (virtuel) avant de passer à l'étape de construction. Ou encore d’entraîner le robot directement en VR.
Article: AI Meets VR When Nvidia Trains Isaac On Holodeck
Article: Elon Musk’s OpenAI Is Training Robots In VR
La VR peut être utilisée dans une pléthore d'autres domaines. Par exemple, elle pourrait améliorer le télétravail (article: VR could help transform remote work). Elle est aussi utilisée en médecine, par exemple pour combattre les phobies. Les applications semblent infinies, puisque ce média semble être capable d'englober tous les autres.
XIXe s. - Peintures panoramiques
XIXe s. - Stéréoscopes
1929 - Link Trainer
1939 - View-Master
1960 - Telesphere Mask, premier head-mounted display (HMD), Morton Heilig
1961 - Headsight, premier HMD avec motion tracking, par Comeau et Bryan
1962 - Sensorama, Morton Heilig
1968 - The Sword of Damocles, premier dispositif VR, par Ivan Sutherland
1978 - ASPEN MOVIE MAP, propotype de cartes interactives, par le MIT
1990 - NASA-VIEW (Virtual Interface Environment Workstation), casque, gants et combinaison connectés
1992 - SEGA VR/R360
1995 - Virtual Boy
2012 - Oculus Rift
2014 - Google Cardboard
2016-2017 - Lancement des The Oculus Rift CV1 et HTC Vive
2018 - Standalone VR Headsets (Oculus Go et Quest)
Un des points importants à penser lors de la conception d'une expérience VR, est la façon dont le joueur va pouvoir se déplacer et interagir avec le monde autour de lui. Pour ce qui est du point de vue matériel, on parle de degrés de liberté (Degree of Freedom). Il existe aujourd'hui 2 possibilités pour le nombre de degré de liberté. La première est le 3DOF pour "Three Degrees Of Freedom", qui indique que le matériel peut suivre les mouvements de rotation effectués par le joueur (ces trois axes sont yaw, pitch et roll). La deuxième est le 6DOF pour "Six Degrees Of Freedom" qui, en plus de pouvoir suivre les mouvements de rotation, le matériel peut également suivre les mouvements de position (forward/back, up/down, left/right).
En général, le nombre de degrés de liberté du casque correspond à celui du contrôleur (quand il y en a un).
Le suivi de position est possible aujourd'hui avec les 2 techniques ci-dessous:
- Outside-in (Oculus camera ir, Valve lighthouse, ...)
- Inside-out tracking (simultaneous localization and mapping SLAM)
La première est externe au casque et la seconde est intégrée au casque.
Pour aller plus loin sur leurs fonctionnements: How VR Positional Tracking System Work
La VR se démocratisant, les systèmes permettant d'interagir avec aussi. Voici quelqu'un des systèmes et/ou contrôleurs possibles aujourd'hui:
Pour les casques les moins chers (Google Cardboard), un système d’interaction par rapport au regard peut être mis en place simplement, un bouton ou un minuteur permettant de cliquer sur des objets par rapport à la position du regard (un curseur).
Une autre façon d'interaction peu coûteuse est l'utilisation d'un contrôleur 3DOF (Occulus Go, Google Daydream, Samsung GearVR). Comme celui-ci ne peut suivre que les mouvements de rotation, son usage en VR se limite à pouvoir pointer des objets comme une télécommande, mais également à servir aux déplacements. Toutefois, certains contrôleurs peuvent approximer leurs positions et de ce fait permettent de tenir un objet (Documentation Unity).
Les contrôleurs 6DOF quant à eux permettent de suivre avec précision leurs positions (que celle-ci soit dans la main du joueur ou ailleurs). Cela permet d'avoir une immersion quasiment parfaite, notamment quand un objet est présent dans la main du joueur (épée, pistolet, sabre laser, etc...).
Enfin, sur certains casques, ou à l'aide de senseurs supplémentaires (comme le Leap Motion), il est possible de suivre la position des mains et des doigts du joueur.
Il existe bien sur d'autres types de contrôleurs plus exotique, mais ceux-ci reprennent la plupart du temps l'un des principes ci-dessus pour fonctionner.
Le tableau ci-dessous présente quelques'un des casques VR les plus récents ainsi que leurs différentes fonctionnalités.
| Casques | Platforme | 6DOF | Contrôleurs | Contrôleurs 6DOF | Hand Tracking |
|---|---|---|---|---|---|
| HTC Vive Cosmos | PC | ✔️ | ✔️ | ✔️ | ✔️ |
| Oculus Rift S | PC | ✔️ | ✔️ | ✔️ | ⚠ |
| Oculus Quest | Standalone | ✔️ | ✔️ | ✔️ | ✔️ |
| Oculus Go | Standalone | ❌ | ✔️ | ❌ | ❌ |
| Google Cardboard | Android | ❌ | ❌ | ❌ | ❌ |
| Sony Playstation VR | Playstation | ✔️ | ✔️ | ✔️ | ❌ |
| Windows Mixed Reality* | PC | ✔️ | ✔️ | ✔️ | ✔️ |
- ⚠ = En beta / pas officiellement supporté
- ✔️ = Officiellement supporté
- ❌ = Non supporté
[*] - Windows Mixed Reality n'est pas un casque en soi, mais une plateforme avec des standards, elle regroupe par exemple les casques Acer Windows MR, HP Reverb, Lenovo Explorer, Samsung Odyssey.
La réalité virtuelle actuelle, bien que meilleure que les essais passés (voir historique) possède encore de nombreux freins envers une immersion idéale. Voilà quelques points importants :
Le Field of view (FOV) n'est pas optimal sur les casques actuels. Il est en moyenne entre 90° et 110° alors que le FOV humain est entre 200° et 220°. On a donc une impression de "masque de plongée". Les futurs casques se devront d'atteindre le FOV humain pour une immersion adéquate.
Le casque lui même pose certains problèmes. Principalement, celui du confort. Bien que s'améliorant grandement à chaque génération, le poids est encore conséquent et provoque un inconfort lors des séances prolongées.
Les casque sont parfois mal adaptés aux porteurs de lunettes. Toutefois, les lentilles peuvent être échangées avec des lentilles de correction, mais cela engendre un surcoût.
Un autre problème important est le câble des casques reliés. Les casques autonomes n'ont bien sûr pas ce problème, mais leurs performances graphiques sont encore faibles. Toutefois, des solutions de "streaming" haute définition entre l'ordinateur et le casque existent déjà sous la forme de module externe et vont progressivement être intégrées directement aux casques.
Les écrans (où l'écran) utilisés par les casques posent aussi quelques problèmes d'immersion. Ces problèmes ne sont pas uniquement liés à la VR. Mais comme les écrans sont très proches des yeux, ils sont beaucoup plus visibles. Voici les plus importants:
- Screen Door Effect (SDE): on voit la "grille" de pixels. solutions: des écrans avec de plus haute résolution ( avec un bon agencement des sous-pixels) (Screen Door Effect).
- Mura Effect: les à-plats de couleurs ne sont pas homogènes à cause de la composition des écrans qui empêche une luminosité tout à fait régulière (Mura Effect).
- Aliasing: les arrondis sont saccadés. Puisque les écrans utilisent des pixels, les courbes ne sont pas possibles. Cela rend les textes peu lisibles en VR. Il faut utiliser de bonnes techniques d'anti-aliasing (anticrénelage) ou utiliser des écrans à très forte densité de pixels. (Aliasing)
Les lentilles déforment (le ou) les écrans à l'intérieur du casque afin d'avoir une mise au point adéquate (qui serait sinon impossible avec un écran si proche des yeux). Mais elles engendrent aussi quelques problématiques d'immersion :
-
Centre optique (sweet spot) : afin d'avoir une vision claire (avec un bon focus), il faut que la lentille soit correctement placée face à l’œil. Les casques VR actuels sont plus ou moins permissif sur ce sujet. De plus, la distance pupillaire est différente d'un individus à l'autre. Ainsi, les casques se munissent la plupart du temps d'un système de réglage de la distance séparant les deux lentilles, permettant d'obtenir un bon "sweet spot" plus facilement.
-
Glare et "God rays": En cas de scène à fort contraste, les couleurs claires (le blanc principalement) "bavent". On voit des rayons lumineux (God Rays). La cause: les lentilles Fresnel utilisées dans le casque. Pour le moment, il faut donc limiter les forts contrastes dans les scènes VR et attendre que les lentilles fassent mieux sur ce point.
- Lentille à focale variable : les lentilles utilisées dans les casques actuels ne sont pas à focale variable, ainsi il n'est pas possible de recréer exactement le même ressenti qu'en réalité. Les futurs lentilles (comme par exemple celles du prototype Half Dome, le seront. Ce système allié à celui du suivit de l’œil (eye tracking) permettra de se rapprocher de l'idéal.
-
Le mal des transports ( cinétose ): qui se produit la plupart du temps lorsque le déplacement visualisé est décalé de celui de l'utilisateur.
-
L'espace réel est souvent restreint à une petite partie d'une pièce, souvent entre 1 et 3 [m^2] alors que l'espace virtuel est d'une taille quelconque.
-
L'espace réel peut contenir des obstacles qui seront invisibles en VR. Et inversement, une chaise dans la réalité virtuelle ne sera (peut-être) pas physiquement présente dans la réalité. Pour le moment, quasi tous les systèmes VR utilisent un système de chaperon qui permet de faire apparaître des murs virtuels dans l'espace VR lorsque l'utilisateur s'approche d'un obstacle dans le monde réel. Toutefois très peu de ces systèmes sont capables de détecter en temps réel des obstacles mobiles comme une autre personne ou un chat ! Ce sont simplement des espaces statiques prédéfinis avant l'entrée en VR.
Une des principales règles pour éviter ce problème et de ne jamais prendre le contrôle de la caméra (et donc de la laisser être contrôlée par le système de positionnement du casque VR).
Si l'on veut tout de même déplacer l'avatar de l'utilisateur (et donc sa caméra) dans la VR sans que celui-ci se déplace dans la réalité, il va falloir trouver des astuces pour le faire de la manière la plus confortable possible. Le critère de confort se retrouve d'ailleurs dans la plupart des magasins d'applications VR (par ex. dans l'oculus store). Voilà quelques exemples de solutions :
Elle ne provoque généralement pas d’inconfort, mais elle peut casser l’immersion si elle n'est pas scénarisée dans l'application. C'est la solution la plus utilisée dans les applications VR d'aujourd'hui. On la retrouve sous différentes variantes dont voici quelques exemples concrets:
-
Téléportation simple : l'avatar est simplement téléporté vers la destination. Elle est souvent soit libre: l'utilisateur choisit sa destination pour la téléportation dans l'espace VR visible (et accessible), soit limitée: par une série de marqueurs de téléportation disposés dans l'espace VR. La téléportation limitée est souvent utilisée lors de l'utilisation de la photogrammétrie. L'application Welcome to Light Fields en est un bon exemple. En effet puisque l'espace VR n'est pas pleinement explorable (ce sont des photos), l'utilisateur se téléporte alors d'un point de vue à un autre, où les points de téléportation sont les endroits ou les photos ont été prises.
-
Portails de téléportation : au lieu de téléporter l'utilisateur, on le fait passer à travers des portails reliant deux zones VR distantes. Ces portails peuvent être soit fixés par les créateurs de l'application, soit par l'utilisateur lui-même (à la manière du jeu Portal). Un bon exemple d'utilisation de ce système est le jeu Budget Cut.
- Autres systèmes de téléportation : On peut imaginer d'autres systèmes de téléportation que ceux précités. Par exemple, le système de téléportation du jeu The Gallery, offre au joueur la possibilité d'orienter sa téléportation dans une direction bien précise en faisant apparaître au sol l'espace réel du joueur durant la sélection de la zone de téléportation (système blink).
Si les déplacements sont fait via un simulateur de véhicule (voitures, avions, vaisseaux spatiaux, etc..), les risques de cinétose sont fortement réduits. En effet, le mal du voyage atteint rarement celui qui est maître du véhicule, mais plutôt ses passagers. Un exemple est le jeu Elite Dangerous, ou le joueur reste toujours assis dans son siège (même lors des phases d'exploration de la surface d'une planète, puisque celle-ci se fait aussi dans un véhicule terrestre). L'immersion est encore plus forte si l’utilisateur utilise des contrôleurs adaptés à la simulation (comme un HOTAS pour Elite Dangerous). De plus, les simulateurs bénéficient aussi d'une grande possibilité d'immersion (la chaise existant dans le monde physique) et de confort (une séance de jeu prolongée est généralement plus appréciée en position assise :).
Si toutefois on opte pour des déplacements libres de la caméra via un contrôleur quelconque (clavier, croix directionnelle, stick analogique, ... ), il faut éviter de faire simplement bouger la caméra sans autre forme d'artifice sous peine de provoquer un inconfort certain pour beaucoup de personnes. Le jeu Raw Data utilise un système de sprint (ou dash) très rapide et très proche de la téléportation. L'effet est quasi identique mais brise moins l'immersion. Toutefois, pour que cela ne provoque pas trop la cinétose la vision doit être floutée autour de la zone fovéale. Dans Google Earth VR, la même méthode de flou fovéale est utilisée lors de l'utilisation du mode de déplacement "vol" (flight mode).
Si l'espace VR est de taille identique (ou plus petit que l'espace réel), la solution est simple. Il suffit à l'utilisateur de se déplacer dans la réalité pour être déplacé dans la VR de manière identique en utilisant simplement le système de positionnement du casque. Bien sûr, pour que cela soit praticable, il faut que l'application aie connaissance de la taille réelle de l'espace disponible par le joueur. Dans l'expérience immersive theBlu, la zone d'exploration sous-marine est générée au début de l’expérience pour que sa taille soit identique à la zone réelle de l'utilisateur. L'immersion est alors fortement accrue, encore plus du fait que le casque VR ressemble à un casque de plongée sous-marine (poids, FOV réduit, ...).
Même si l'espace VR est plus grand que l'espace réel, il existe quelques méthodes (astuces) pour éviter de devoir déplacer la caméra de l'utilisateur ou d'utiliser des mécanismes de téléportation. En voici quelques-une:
-
Marche redirigée: il s'agit de fausser la perception de l'esprit avec un décalage mouvements réels/virtuels (Redirect walking).
-
Suites de mouvements adaptées à l'univers, pensés pour que l'utilisateur revienne sur ses pas, et reste dans un espace restreint (identique à son espace réelle). Ce peut être fait avec l'utilisation d'ascenseurs, des techniques de chevauchement d'espaces (voir image), ou autres astuces (désorientations, distances faussées, etc...). L’expérience Unseen Diplomacy reprend quelques-unes de ces idées.
- Drag and drop : Dans l'application Google Earth VR, au lieu de téléporter l'utilisateur vers sa destination, on effectue un "drag" de la destination jusqu'à sa position désirée, ainsi l'utilisateur ne bouge pas mais c'est la terre qui bouge sous ses pieds (Chuck Norris facts !).
Bien sûr, les techniques décrites précédemment peuvent être combinées.
Ce type de tapis permet le déplacement infini. Pour le moment ce sont des solutions coûteuses, encombrantes, et peu sûrs (il faut souvent y associer un système de harnais). Mais ces solutions sont prometteuses. L'infinadeck est un exemple parmi d'autres.
Une autre nécessité pour ne pas provoquer de cinétose (ou briser l'immersion) est de maintenir un taux de rafraîchissement élevé des images. Les écrans des casques actuels possèdent des fréquences variées allant de 60 [Hz] (Cardboard) à 144 [Hz] (Valve Index). Toutefois les valeurs en dessous de 90 [Hz] peuvent déjà poser problème à certains utilisateurs. Comme vu dans le chapitre des écrans, il faut aussi que ceux-ci aient une grande résolution. De plus, n’oublions pas que les calculs graphiques doivent être fait pour chaque œil (donc deux fois si vous êtes un humain avec toute ces facultés visuelles actives). Tout ceci est très gourmand en ressources graphiques. Il semble d'ailleurs difficile d'obtenir de bonnes performances avec des cartes graphiques aux coûts abordables. Il existe heureusement quelques techniques permettant de pallier en partie à ces problèmes, comme par exemple :
-
Le foveated rendering: seul le centre de l'image est calculé en haute définition. La résolution diminue ensuite de plus en plus en périphérie. Si cette technique est combinée avec du eye-tracking afin d'utiliser la zone où se trouve le focus de la vision de l'utilisateur plutôt que le centre de l'écran, elle peut même être indiscernable.
-
Asynchronous interleaved reprojection: des images dernièrement rendues sont adaptées avec les informations de mouvements et de positionnement du casque afin d'obtenir des frame de "secours" en cas de perte de framerate.
Bien sûr, pour obtenir de bonnes performances sur les cartes graphiques actuelles, il faut aussi que l'application VR soit bien optimisée.
Le son en VR se doit d'être positionnel VR positional Audio.
Si la vision et le son ont été prévus, réfléchis et les devices existent pour tromper les sens de la vue et de l'ouïe. qu'en est-il des 3 autres?
Pour le toucher, des entreprises développent des technologies haptiques (gants et combinaisons).
Qu'en est-il des deux autres sens ? (odorat et goût) Article: Can we put all 5 senses in VR simulation?
-
Les casques VR sur Steam font leurs plus grandes hausses à ce jour
-
35 Virtual Reality Statistics That Will Rock the Market in 2020
- Ubik, 1969 (Philip K. Dick)
- Neuromancien, 1984 (William Gibson)
- Snow Crash, 1992 (Neal Stephenson)
- La Cité des permutants, 1994 (Greg Egan)
- Sword Art Online, 2009 (Reki Kawahara)
- Ready Player One, 2011 (Ernest Cline)
- Tron, 1982 (Steven Lisberger)
- The Lawnmower Man, 1992 (Brett Leonard)
- Strange Days, 1995 (Kathryn Bigelow)
- Ghost in the shell, 1995 (Oshii Mamoru)
- La trilogie Matrix, 1998 (The Wachowskis)
- eXistenZ, 1999 (David Cronenberg)
- Avalon, 2001 (Oshii Mamoru)
- Ready Player One, 2018 (Steven Spielberg)
- Audrey Huguenin
- Arthur Verdon
- Nicolas Chabloz