Projet Hervé
Projet d'étudiant de 2ème année de cycle ingénieur orienté sur la thématique de l'intégration de la réalité virtuelle sur un système existant, un quadricoptère. Utilisation des périphériques Leap Motion et Oculus Rift pour une immersion totale du pilote.
Description
D’un côté, les quadricoptères (aussi appelés quadri-rotor ou "quadcopter" en anglais) qui sont aujourd’hui sous le feu des projecteurs. Permettent - aussi bien pour les passionnés que les novices en modélisme - une aisance d’utilisation ainsi que des performances surpassant la plupart des autres engins volants (avions, hélicoptères standards, etc…). De l’autre, les technologies nouvelles de la réalité virtuelle qui émergent et se voient améliorées de jour en jour : interfaces vidéo, dispositifs d’acquisition de la gestuelle de l’utilisateur, etc…
Offrent des possibilités de développement variées, ces technologies peuvent venir se greffer sur de nombreux projets, soit pour augmenter l’immersion de l’utilisateur, soit pour créer un système d’interaction différents des standards (clavier/souris, radiocommande, manette de jeu, etc…). La finalité du projet est de concevoir un quadricoptère de taille conséquente (environ 50-60cm de diagonale de châssis + 2x10cm pour les hélices) qui peut embarquer une caméra (type fish-eye) montée sur un système de stabilisation à position d’asservissement variable.
De cette façon, l’utilisateur reçoit sur l’Oculus Rift ce que filme la caméra (en passant par un flux en temps réel) et peut commander le changement d’orientation de cette-dernière grâce aux mouvements de tête captés par le casque. Dans un même temps, le but est de remplacer le pilotage du quadricoptère (initialement effectué à l’aide d’une radiocommande) par un Leap Motion pour simplifier la lourdeur de l'apprentissage et des techniques à maîtriser lors du pilotage "classique" d'engins radiocommandés.
Travail réalisé
Hervé Motion - Commande du quadricoptère
L’application Hervé Motion a pour but d’acquérir les données issues du Leap Motion pour ensuite les traiter et les envoyer à un microcontrôleur (Arduino UNO). Cette application est le cœur du système de contrôle du Quadricoptère, elle formate les données avec le même principe qu’une télécommande, sous forme de voix ; moteur, direction, orientation… et permet de faire des réglages ; sensibilités, courbes, zones mortes…
Le langage retenu pour faire cette application est le C#, il permet de développer une interface graphique simple, claire et rapide. Ce langage étant relativement rependu, il est facile de trouver de l’aide ou des librairies sur le net (notamment celle pour Arduino).
Dans l'optique d'un moyen de contrôle innovant, intuitif et facile à prendre en main pour une personne sans expérience, nous avons orienté notre choix vers le Leap Motion. Le Leap Motion est une interface homme machine nouvelle génération sans contact. Au moyen de 3 capteurs infrarouge, le Leap Motion scanne la zone au-dessus de lui dans un rayon de 61cm, ie 0,227m^3 et retourne la position des doigts et des mains avec une précision de l'ordre du centième de millimètre. Grâce à sa haute résolution (200Hz), le Leap Motion offre un lissage des données important et permet tout type de contrôle sans à-coup.
Dans notre cas, nous utilisons le Leap Motion afin de contrôler le quadricoptère sur ses 4 axes i.e. Gaz, Lacet, Roulis, Tangage. Pour ce faire, nous utilisons les 4 degrés de liberté de la main qui sont associés aux 4 axes de contrôles.La translation de la main selon l'axe vertical commande les gaz du quadricoptère, plus la main est haute (dans la limite des 61cm du capteur) et plus le drone accélère. Une main à 3 cm correspond à un arrêt des moteurs pour l'atterrissage. La rotation de la main de gauche à droite permet de contrôler le roulis de l'appareil, le tout étant encadré par des valeurs minimale et maximale interdisant le retournement de ce dernier par mesure de sécurité mais autorisant néanmoins un contrôle avancé en cas de collision en vol ou de perturbation. La rotation de la main d'avant en arrière contrôle le tangage de l'aéronef, ce tangage étant lui aussi encadré par des valeurs de sécurité afin d'éviter que l'appareil n'atteigne une vitesse trop élevé, le rendant potentiellement dangereux. Dans le cas présent, la vitesse linéaire de l'appareil n'est pas le but recherché c'est pourquoi nous avons choisi de mettre le point sur la sécurité de vol.
Hervé Visual - Immersion visuelle
L’application Hervé Visual a pour rôle de gérer toute la partie concernant l’immersion de l’utilisateur (c’est à dire la gestion de l’Oculus Rift). Elle est en charge de l’affichage du flux vidéo récupéré par Hervé Capture et de la prise en compte des mouvements de tête de l’utilisateur acquis par le casque Oculus Rift. Celle-ci a été conçue au travers du moteur/éditeur de jeux vidéo qu’est Unity3D notamment en raison de sa compatibilité avec le SDK de l’Oculus Rift mais également pour son aspect multiplateforme qui pourrait s’avérer utile pour des perspectives de développement Web ou mobile.
L’idée était donc d’utiliser le flux vidéo de la GoPro transmis par radiofréquence pour simuler une immersion de l’utilisateur et ce en insistant particulièrement sur deux points :
l’utilisateur devait avoir la possibilité d’orienter sa vision l’application devait utiliser au maximum l’effet de stéréoscopie simulée La première étape a donc été de générer cet effet de stéréoscopie en dévelloppant un environnement utilisateur (on parlera dorénavant de GUI pour Graphical User Interface) tel que l’image de gauche soit décalé de -X et +Y et celle de droite de +X et -Y. La phase suivante a été la conception d’un menu de calibration pour cet effet car d’un utilisateur à un autre, l’écartement des yeux varie et donc le paramétrage est à ajuster.
La seconde partie consistait en l’exploitation de l’orientation de la tête de l’utilisateur à l’aide des outils fournis par OculusVR (la société commercialisant l’Oculus Rift). L’idée initiale était d’asservir les positions des servomoteurs de la nacelle en fonction du vecteur direction de l’Oculus Rift. Cependant cette méthode a été rapidement abandonnée car elle incorporait une trop grande instabilitée (due à l’asservissement en position) des servomoteurs qui se répercutait sur l’image perçue par l’utilisateur. Ainsi, une solution différente a du être dévelloppée : le choix s’est porté sur l’utilisation de l’objectif grand-angle de la GoPro.
Le postulat de base a été que le champ de vision d’un être humain bien qu’étant d’approximativement de 120°, la partie utile de ce champ (observation de paysage, lecture, etc…) n’est elle que d’environ 60°. Or, la GoPro possède un angle de prise de vue de 170° : cela signifie donc qu’en “bridant” le champ de vision de l’utilisateur à 60° dans l’application, on conserve une amplitude de presque trois fois le champ de vision utilisé. De plus, cette méthode a également permis un “zoom” vers l’endroit regardé par l’utilisateur : en effet, à dimensions égales de rendu, un champ de vision plus étroit donnera un effet de zoom plus important.
Hervé Connect - Communication avec le quadricoptère
L’application Hervé Connect a pour but d’acquérir les données issues de l’application Hervé Motion et de l’ordinateur pour ensuite les traiter et les envoyer à la radiocommande du quadricoptère. Cette application a été faite dans le but d’être le plus efficace et le plus rapide possible. Il est important qu’aucun bug ne survienne au cours du pilotage du drone. Nous allons voir au cours du fonctionnement de l’application notre choix d’utiliser une Arduino UNO.
Le quadricoptère utilise un système de contrôle classique de modélisme, une radiofréquence de 2.4GHz dans laquelle les valeurs des différentes voies sont fournis à la suite à une fréquence de 50Hz. Chaque voix est représenté par un signal créneau variant de 1 à 2 ms (valeur minimale et maximale) et elles se succèdent sur une période de 20 ms, ce signal est appelé PPM (Pulse Position Modulation). Dans notre cas, nous utilisons un système émetteur récepteur à 8 voies, donc notre signal utile sera contenu dans les 16 premières millisecondes d'émission et le reste sera composé de blanc. Notre télécommande de contrôle principal est équipé d'un mode de vol d'écolage, lequel permettant à un utilisateur avec une autre télécommande de faire transiter le signal dans cette dernière, qui se charge de l’émission.
L'intérêt de ce mode, est qu'en cas d'erreur de vol de commande par l'élève, la télécommande maitre peut reprendre la main et donc corriger et sécuriser le vol. Dans notre application, notre système de contrôle intuitif a le rôle de l'élève et la télécommande physique est le maitre, ce qui d'une part permet de reprendre la main en cas de problème de pilotage de l'utilisateur et d'autre part, de respecter la loi. Cette dernière impose la présence d'une télécommande maitre "classique" permettant à tout moment de reprendre la main sur un moyen de contrôle non conventionnel.
Nous devons donc émuler une télécommande afin de s'en servir de télécommande élève. Les signaux PPM nécessaire au contrôle de la télécommande sont de 5V, nous avons donc cherché un moyen de générer ses signaux. Nous avons orienté notre choix vers un microcontrôleur très rependu et facile à prendre en main : l'Arduino. Cette carte de prototypage offre d'une part un microcontrôleur véloce et robuste et d'autre part intégré un port USB permettant d'obtenir une liaison série avec l'ordinateur.
Les 16MHz du microcontrôleur sont largement suffisant à notre application, la majeure partie des traitements étant effectuée dans le logiciel de traitement. Le microcontrôleur a donc pour objectif ici de recevoir les données, les interpréter et de générer sur une de ses broche de sortie le PPM désiré. Ce PPM sera ensuite envoyée à la télécommande au moyen du câble jack d'écolage.
Voyons plus en détail son fonctionnement :
Les données du programme de traitement et d'acquisition du Leap Motion sont envoyés dans l'Arduino via le port série à très haute débit (115200 bits par seconde) afin de pouvoir assurer le transfert de la quantité importante d'information nécessaire au vol. Pour gérer la liaison entre ces deux entités, nous avons choisi la librairie Firmata.
L'Arduino se charge ici de récupérer les données de l'ordinateur et de les interpréter. De ces données sont définies les largeurs d’impulsion nécessaires sur chacune des voix. Elle génère le PPM grâce à l'alternance du niveau de sa broche de sortie cadencé afin de respecter la période de 20ms.Notre signal est constitué de 8 voix, l'Arduino émet donc chacune des valeurs et se met en attente le temps que les 20 millisecondes soient atteintes (par exemple, si les 8 signaux sont à l'état le plus bas, c'est à dire une durée de 1ms, leur génération nécessite 8ms, impliquant donc une pause de 12ms à la fin).
La broche de sortie est branchée au câble d'écolage et envoyé directement dans la télécommande maitre. Du point de vue de cette dernière, le signal est strictement identique à celui qu'une autre télécommande aurait généré, ce qui ne cause aucun problème de communication.
