La réalité augmentée, un avantage compétitif dans l’entrepôt

Marcus Hudritsch, enseignant de traitement de l’image et d’infographie, responsable du Laboratoire de perception informatique et de réalité virtuelle, BFH

Daniel Fricker, chef de l’ingénierie, Gilgen Logistics AG

La société Gilgen Logistics est une entreprise générale active dans l’automatisation des stocks et la logistique. Elle développe des solutions complètes sur mesure avec des produits spécifiques pour les différents secteurs d’activité. Elle couvre en cela l’ensemble de la chaine de création de valeur, du conseil au service de suivi des systèmes de manutention internes à l’exploitation, en passant par la planification et la réalisation.

Chez les clients, la mise à l’arrêt des installations de logistique engendre des surcouts et des pertes de chiffre d’affaires. Souvent, le savoir-faire d’un spécialiste est nécessaire parce que le problème ne peut pas être résolu par les personnes sur place. Dans bien des cas, toutefois, ce spécialiste prend plusieurs heures pour arriver dans l’exploitation et un temps précieux est perdu. La question se posait donc de savoir comment les techniciens de maintenance pouvaient soutenir rapidement et de manière compétente un opérateur sur place avec leur savoir-faire sans avoir à perdre du temps en trajet.

Il allait de soi qu’il fallait recourir à une solution de communication fondée sur Internet et permettant de relier les deux parties par le son et l’image. Il manquait toutefois au technicien de maintenance la possibilité de diriger visuellement l’opérateur sur place. On cherchait donc une manière de faire apparaitre le champ de vision de l’opérateur. Or c’est précisément ce que l’on peut réaliser à l’aide de la réalité augmentée. C’est ainsi qu’est née l’idée du projet pilote réalisé avec la société Gilgen Logistics, qui devait relier entre elles ces diverses technologies. Une phase d’évaluation a rapidement montré que seule une paire de lunettes spécifique pouvait répondre à toutes les exigences: les solutions utilisant un autre appareil mobile ne permettaient pas à l’opérateur de garder les mains libres, ce qui le restreignait dans son travail. Le choix s’est ainsi porté sur les lunettes HoloLens de Microsoft, qui proposent toutes les fonctionnalités de base.

Un concept a été établi en coopération avec l’Institut d’informatique de gestion de la Haute école spécialisée du nord-ouest de la Suisse. Le Laboratoire de perception informatique et de réalité virtuelle (HuCE) de l’Institute for Human Centered Engineering de la Haute école spécialisée bernoise a été chargé de la réalisation. L’Agence suisse pour l’encouragement de l’innovation Innosuisse a financé le projet.

Au cours de la phase de conception, on a tout d’abord formulé un scénario: l’opérateur se trouve sur place et rencontre un problème avec son installation qu’il ne peut pas résoudre sans l’appui d’un spécialiste. Il met ses lunettes HoloLens. Grâce au microphone et à un système de voix sur IP (VoIP), il est relié à un responsable du support, qui peut voir en direct sur son écran l’image transmise par les lunettes de réalité augmentée. Au moyen d’un marqueur spécifique, la paire de lunettes reconnait de quelle machine il s’agit et télécharge les données correspondantes à partir du serveur de Gilgen Logistics. L’élément est ensuite «augmenté», ce qui veut dire que le modèle virtuel en 3D s’affiche par-dessus l’élément réel. L’employé du support dispose du même modèle 3D sur son ordinateur et peut ainsi signaler ou afficher/masquer certains éléments défectueux pour l’opérateur et lui donner des instructions pour mettre fin à la panne.

La mise en relation de plusieurs technologies informatiques relativement nouvelles a figuré au cœur de ce projet pilote:

Échange de données par l’intermédiaire d’un serveur réseau: Afin que les partenaires impliqués (l’employé de support de Gilgen Logistics et l’opérateur) puissent entrer en contact, ils doivent être reliés à Internet. Pour cela, il nous faut deux serveurs:

• Serveur Dark Rift: c’est par lui que passe la prise de contact initiale ainsi que le flux continu de données pour la synchronisation 3D des lunettes HoloLens.
• Nœud DSS: Il s’agit d’un simple serveur de signalisation pour la prise de contact de la communication vidéo, qui permet de relier les deux clients de la liaison WebRTC (les lunettes HoloLens et le navigateur de l’employé du support).

Peer-to-Peer WebRTC: WebRTC («Web Real-Time Communication») constitue une norme ouverte qui définit des protocoles et des interfaces de programmation pour la communication en temps réel d’ordinateur à ordinateur. Cette norme permet aux navigateurs Internet et à d’autres clients (dans notre cas, les lunettes HoloLens) d’échanger directement des flux audios et vidéos, sans passer par un serveur.

Lunettes Hololens de Microsoft et réalité augmentée:

• Estimation de pose: Les lunettes HoloLens sont des lunettes de réalité augmentée (AR) qui ajoutent des objets 3D dans le champ de vision de la personne qui les porte, en temps réel (au moins trente fois par seconde) et en stéréoscopie. La personne concernée peut ainsi faire apparaitre dans un espace un objet qui n’y existe pas en réalité. Un aspect essentiel de la réalité augmentée est que les lunettes peuvent estimer très rapidement et précisément la position et l’orientation de la personne qui les porte. Grâce à cette «estimation de pose», l’ordinateur peut générer deux images correctes du point de vue de la perspective et les afficher dans les verres de lunettes spéciaux.
• Détection d’un marqueur: Afin de pouvoir identifier précisément la machine Gilgen Logistics à l’aide des lunettes HoloLens, nous utilisons un code QR que nous extrayons du flux vidéo. Nous l’employons aussi pour préciser la position initiale de la machine.

Visualisation du modèle 3D dans le navigateur: Les objets en trois dimensions que nous affichons dans les lunettes HoloLens apparaissent également dans le navigateur de l’employé de support. Le point crucial dans ce projet consiste maintenant à permettre à cette personne de choisir un élément problématique dans la représentation en 3D de la machine et de le mettre en évidence. Ce choix est ensuite transmis aux lunettes par l’intermédiaire du réseau et ainsi également signalé en 3D à l’opérateur. L’employé de Gilgen Logistics peut ainsi lui donner des instructions précises comme s’il était à côté de lui. Une vidéo disponible sur YouTube permet de mieux comprendre l’ensemble de la procédure:

Le projet pilote réalisé nous a montré que la réalité augmentée constituait un élément important d’une communication à distance optimale. Un système de communication complété de la sorte offre un grand potentiel d’efficacité pour la maintenance des installations.

Informations

• Gilgen Logistics AG
• Institute for Human Centered Engineering HuCE