Bienvenue dans la 3e dimension
Billet rédigé par Hugo GIRET-BUTZ et Dorian SEILLIER.
Aujourd’hui, l’interaction homme-machine repose encore largement sur les interfaces graphiques (les GUIs : graphical user interfaces) qui utilisent la souris et le clavier pour exécuter des tâches. Mais les progrès techniques et la volonté de rendre l’expérience utilisateur plus ergonomique, plus naturelle et plus ludique, tendent à affranchir cette interaction de dispositifs médiateurs. C’est la base des interfaces dites “naturelles” (les NUIs : natural user interfaces) qui regroupent à la fois les interactions tactiles et les interactions 3D. Le point commun entre celles-ci : elles placent au centre de leur système le corps de l’utilisateur. Mais les interfaces 3D vont plus loin que les interfaces tactiles car elles ne se limitent pas aux seuls doigts de l’utilisateur ; la totalité du corps et des mouvements possibles sont pris en compte. La souris est-elle par conséquent amenée à disparaître ? Sans doute pas tout de suite, mais dans un monde où les frontières entre physique et numérique s’effacent de plus en plus, les interfaces 3D semblent promises à un bel avenir.
« La manette, c’est vous ! »
Ne changez pas vos habitudes, restez naturel. Les dispositifs de motion-capture reprennent à l’identique les mouvements de votre corps. Ce que vous voyez est une transposition de la réalité. L’environnement s’adapte à votre silhouette, les capteurs et senseurs jouent le rôle de relais.
Les conventions gestuelles sont respectées et s’inspirent de l’interaction mobile. Un dispositif de pointage repère les doigts en interaction avec une surface plane. Cependant, dans le cas des interfaces 3D, le système diffère : la main n’est pas un référent stable. L’évolution dans une dimension 3D change le ratio de la précision. Le comportement des utilisateurs change également. Il faut apprendre à utiliser la main en profondeur, pas seulement latéralement. L’utilisateur a le choix entre effectuer un drag pour glisser sur une page ou spread (écartement) pour zoomer sur un document. Certains dispositifs proposent aussi une interaction vocale.
Ces nouvelles interactions ont une dimension magique. Vous vous économisez en mouvement. Vos actions sont simplifiées. Les mouvements conventionnels sont brisés. Manipulez la matière comme si vous manipuleriez un objet ! Imitez les ailes d’un avion avec vos deux mains pour le faire voler ! Les seules limites existantes sont celles de l’imagination et des capacités du designer.
Le video-gaming : fer de lance de l’interaction 3D
Le développement de l’interaction 3D doit beaucoup à l’industrie vidéoludique. Les trois géants du jeu vidéo que constituent Microsoft, Sony et Nintendo, disposent chacun de leur dispositif 3D : Kinect pour la Xbox, Playstation Move pour la Playstation, et Wii Remote pour la Wii. Depuis 2006 et la première sortie d’une console basée sur le motion–gaming, l’interaction 3D a gagné en résonance auprès du public. C’est véritablement le jeu vidéo qui a mis les interfaces 3D sur le devant de la scène, utilisées dans le but de proposer une nouvelle expérience de jeu aux utilisateurs, à la fois plus réaliste, plus ludique, et plus immersive. Imiter le swing d’un golfeur professionnel à Wii Sports est plus intuitif qu’exécuter une série de commandes sur sa manette ; incarner un chevalier Jedi combattant au sabre laser avec son propre corps à Kinect Star Wars est plus réaliste que d’utiliser d’un joystick.
Principes et applications de l’interaction 3D
Le “spatial tracking“
C’est grâce aux nouvelles technologies capables de détecter et de capturer le mouvement que le motion-gaming a pu voir le jour. Différents senseurs (accéléromètres, gyroscopes) sont intégrés aux dispositifs, que ce soit une console de jeu ou un smartphone, afin que les mouvements générés soient captés de la manière la plus précise possible. Les “six-degrees-of-freedom” (6-DOF) réfèrent à la totalité des mouvements qu’un corps rigide est capable de faire dans l’espace : les translations (en haut/en bas, à gauche/à droite, devant/derrière) et les rotations (“pitch, yaw and roll“). L’appareil capable de prendre en compte ces six “degrés” est en mesure de détecter la position absolue d’un objet. C’est une donnée nécessaire quand il s’agit de réalité virtuelle (VR), car le degré de précision des senseurs influe sur l’environnement virtuel reproduit. L’Oculus Rift, qui détecte les rotations de la tête, est un dispositif 3-DOF : il ne permet pas de capturer les translations de l’utilisateur, ni par conséquent sa position absolue.
Entre autres capteurs de mouvements, le Myo se distingue par une fixation au bras. Sa principale caractéristique est de contrôler des périphériques. Connecté par bluetooth, le Myo capte votre activité musculaire, c’est-à-dire du bras jusqu’à vos doigts.
La boîte à outils du gamer du futur
Le Leap Motion représente la nouvelle génération de capteurs de mouvements 3D. Un simple boitier connecté à votre ordinateur reproduit les mouvements de votre main. Il reconnait la forme de vos mains et les dix doigts indépendamment. Parmi ses fonctionnalités, le Leap Motion permet de dessiner un monde en trois dimensions. N’ayez pas recours au manuel : soyez intuitif ! Les gestes à effectuer sont les mêmes que sur un écran tactile. Vous faites un mouvement : l’écran le reproduit aussitôt. Ce système crée un écran fictif que vous allez effleurer avec vos doigts. Précision, rapidité, le Leap Motion surprend par sa simplicité. En passe d’être utilisé en médecine, il a déjà conquis les adeptes des jeux vidéos sur des FPS ou World of Warcraft.
La réalité augmentée
La réalité augmentée est un dérivé des interfaces 3D. Elle est basée sur l’environnement réel, auquel viennent s’ajouter des éléments virtuels, le plus souvent des informations utiles à l’utilisateur, via une interface. Automatiquement lié aux nouvelles interactions, ce procédé immerge l’utilisateur dans une réalité hypertrophiée. En conjuguant capteurs, 3D et visions, une expérience radicalement nouvelle est proposée. Le projet Google Glass s’inscrit dans cette mouvance. Mais force est de constater que les attentes générées, les fantasmes suscités par cette forme nouvelle d’interaction n’a pas encore totalement convaincu le public, ce qui symbolise le décalage parfois important qui persiste entre d’un côté l’ouverture des possibles par la technique, et de l’autre les besoins réels des utilisateurs.
Il n’en demeure pas moins que les interactions 3D constituent une évolution majeure qui transforme en profondeur notre rapport au monde et aux choses. Quelques capteurs, une gestuelle innovante, voilà le futur de demain. Les interactions homme-machine se rapprochent de la réalité. La limite entre réalité et monde virtuel, entre physique et numérique, s’estompe de plus en plus. Oubliez votre manette, votre fauteuil : aujourd’hui, vous jouez pour de vrai.
Pour aller plus loin
- Monleap.fr
- Introduction to Motion Control
- 3D User Interfaces par Doug A. Bowman
OpenEdition vous propose de citer ce billet de la manière suivante :
Dorian Seillier (9 décembre 2014). Bienvenue dans la 3e dimension. Introduction à l'architecture de l'information. Consulté le 20 février 2025 à l’adresse https://doi.org/10.58079/be64
Les joueurs de jeux vidéos sont une population friande de nouvelles expériences utilisateur toujours plus immersives. Ils sont donc un public cible pour les développeurs de nouvelles technologies mais aussi un public test. Il n’est pas rare de voir des technologies développées pour le jeu vidéo être réutilisées dans d’autres domaines, que ce soit dans la vie quotidienne ou dans des secteurs spécialisés comme la médecine.
Prenons un seul exemple : KINECT l’outil de détection de mouvements initialement développé par Microsoft pour le jeu vidéo. KINECT est utilisé en médecine mais aussi dans le secteur bancaire ou à la SNCF (Voir : http://www.lefigaro.fr/societes/2012/03/12/20005-20120312ARTFIG00737-kinect-pourrait-revolutionner-le-monde-professionnel.php)
A lire également “Le Kinect 2 peut-il changer l’e-médecine ?” (http://www.usine-digitale.fr/article/le-kinect-2-peut-il-changer-l-e-medecine.N197599).
Je trouve intéressante la manière dont vous décrivez les NUIs, avec la définition du tactile et des interactions 3D qui y sont associées. Selon moi les NUI vont même plus loin dans leur conception. Il s’agit de reproduire au plus proche les interactions “naturelles”, habituelles d’outils non numériques et de les transposer au numérique. Je pense par exemple aux tablettes graphiques. Certes rudimentaires par rapport aux exemples que vous citez, elles sont quand même la transposition “naturelle” de l’utilisation d’un pinceau sur une toile à une œuvre numérique. On retrouve selon moi dans les NUI la notion très importante de métaphore informatique : hier bureau, corbeille et dossier ; aujourd’hui pinceau, sport et combat.
Je partage votre avis quand vous décrivez l’évolution dans une dimension 3D comme un changement du ratio de la précision. La Kinect par exemple n’est pas tout à fait fiable lorsqu’elle capte le corps de son utilisateur. Certains systèmes de reconnaissance 3D du visage et du corps ne vont pas être capables de reconnaître leurs utilisateurs après un passage chez le coiffeur. De même, je ne sais pas si vous avez essayé d’utiliser la Kinect pour choisir un item dans un menu, mais si c’est votre première fois je vous souhaite bien du courage… c’est une expérience que je ne retenterai pas ! D’ailleurs, Microsoft abandonne petit à petit la Kinect, qui n’est pas suffisamment fiable et déçoit quelques utilisateurs.
A l’inverse, je rejoins votre avis sur l’expérience inédite que présentent ces différentes interfaces. C’est vrai que tenir soi-même à bout de bras ce qui servira d’épée est une nouvelle manière de jouer qui est très enrichissante.
Mycestro est une bonne illustration de l’avancée des NUI. C’est une souris à mi-chemin entre l’interface naturelle et la souris “classique”. Elle est décrite comme une “baguette magique sur notre index”. Je pense qu’elle rejoint totalement ce que les industries vidéoludiques ont créé dans le sens où elle est un compromis entre l’utilisation classique du pointeur et la mise en place d’une interface 3D dépendant du mouvement du doigt de l’utilisateur.
Je ne pense cependant pas que la 3D modifie en profondeur notre rapport à la technologie. Selon moi, c’est plutôt une intégration de la machine au quotidien en tant qu’outil. Aujourd’hui notre utilisation en est limitée, et tout nous paraît magique, mais demain elles seront peut-être intégrées à notre quotidien. Comme les escalators ou les portes automatiques.