VR: Hand Tracking et retour Haptique

par | 3 Nov 2017

Interagir avec le monde virtuel renforce le réalisme dans le cadre des jeux vidéo ou des simulations d’immersion. Mais coté application, c’est aussi le moyen de manipuler des objets et de réaliser un certain nombre d’opérations. Certes, nous disposons de « controllers » pour les casques les plus courants, de petits appareils qu’on tient dans la main et dont la position et l’orientation est « trackée » et réutilisée en VR. Mais cela reste limité à certaines utilisation. Le plus intéressant, dans certains cas, serait de pouvoir « capturer » le mouvement et la position des mains et des doigts. Pour cela, il existe 2 solutions: la première consiste à utiliser des gants – avec l’avantage de pouvoir ajouter un coté haptique type « retour de force » ou de sensations. La seconde consiste à filmer les mains et à déduire « mathématiquement » (ou via Deep Learning) la pose exacte du squelette des mains. Examinons de plus près quelques solutions trouvées ci et là.

Gloveone

Gloveone par NeuroDigital Technologies: je lis « Cet accessoire offre un retour haptique, un tracking de doigts, et un contrôleur intelligent permettant d’activer des commandes spécifiques en effectuant des gestes. Ce gant permet de ressentir le poids et la texture des objets dans la VR, mais aussi d’interagir avec des éléménts comme des boutons. Le retour haptique permet aussi de ressentir les vibrations, par exemple en utilisant une arme dans la réalité virtuelle. » Le poid ??? Je ne vois pas comment, et la texture ? Ces gants sont compatibles avec les casques Oculus Rift, HTC VIVE, Samsung Gear VR et OSVR, mais ne fonctionnent qu’avec un nombre limité d’applications. Il se connectent en Bluetooth ou en USB. L’orientation précise de la main est détectée grâce à une Inertial Mesurement Unit à 9 axes. La sensation de toucher est simulée grâce à 10 actionneurs haptiques dissimulés dans chaque phalange, et les flexions des doigts sont prises en compte grâce à des capteurs supplémentaires. 299$/Gant.

Hi5 VR Glove

Hi5 VR Glove de Noitom: possède une série de MEMS (Micro-Electro-Mechanical Systems) permettant de détecter la position et les flexions des doigts, mais utilise aussi avec le Vive Tracker, le petit accessoire de HTC qui permet de tracker dans l’espace n’importequel objet avec la précision de la technologie Lighthouse.  Pas encore en vente, mais devrait très bientôt être disponibles. Ils embarquent une IMU à 9 axes, fonctionnent grâce à un système de tracking optique, et sont alimentés par une pile AA. Le SDK est compatible avec Unity, UE4 et C++. Grâce au VIVE Tracker, qui peut être vissé au poignet, cet accessoire offre un tracking de position et de rotation très précis.

Manus VR

Manus VR: Dispo T2 2017. Pour les infos techniques, c’est ici. Ces gants VR se connectent sans fil avec une latence inférieure à 5 ms, offrent une autonomie de 3 à 6 heures. Dispose d’un SDK Unity et UE4. On peut les commander pour 1000€ (SDK complet avec 2 gants, chargeurs, etc.) sur leur site.

Dexmo

Dexmo, les gants VR exosquelettiques de Dextra Robotics: Non pas un gant, mais un exosquelette de main en réalité. Cela permet un retour de force, et même la sensation de textures grâce à un moteur de contrôle très précis. Sans fil, avec une latence comprise entre 25 et 50 millisecondes, et sa batterie 2400 mAh offre une autonomie comprise entre 1 et 4 heures. SDK, LibDexmo, pouvant fonctionner dans n’importe quel environnement 3D. Il est compatible avec Oculus, HTC VIVE, PSVR, HoloLens, et n’importe quelle autre solution AR/VR/MR. Ces gants VR exosquelettiques sont disponibles dans le monde entier en version Development Kit pour 250$.


 

Leap Motion

Et bien entendu le Leap Motion monté en VR dont on n’a déjà pas mal parlé sur ce blog. Je me suis équipé, c’est vachement bien foutu ! Ety en plus ça fonctionne nickel sous UE4 et Unity. Prix: 49€.

Vrgluv

Vrgluv: Compatible avec Oculus Rift et HTC VIVE, ce gant VR se présente comme le premier gant à retour de force. Pour plus d’infos, consultez la campagne kickstarter (100K$ levés en 56H). Prix: à partir de 369$.

Cyberglove

Cyberglove: Grâce à ses capteurs de flexions et sa communication sans fil WiFi, ce gant peut être utilisé dans un périmètre de 100 mètres autour du signal. L’option CyberTouch, un système permettant le retour d’informations tactiles sur le gant. Les stimulateurs vibrotactiles disséminés dans chaque doigt et sur la paume peuvent être programmés individuellement pour nuancer la force de la sensation de contact. https://www.youtube.com/watch?v=SmTvLrPr8zA

Du coté de Facebook, Mark Zuckerberg a teasé en février dernier une solution type gants VR pour l’Oculus Rift: « We’re working on new ways to bring your hands in virtual and augmented reality. Wearing these gloves, you can draw, type on a virtual keyboard, and even shoot webs like Spider Man. That’s what I’m doing here. » Selon lui, ces gants permettraient de « dessiner, taper sur un clavier virtuel ou encore de se prendre pour Spider Man en lançant des toiles d’araignées « .

Découvrez nos derniers numéros !

0 commentaires

Laisser un commentaire

Ces articles pourraient aussi vous intéresser …

Participez à partir de 1€ à notre campagne sur Ulule
pour obtenir le magazine sous forme papier

cliquez pour aller sur la campagne

Ceci fermera dans 21 secondes