Augmented Reality im Lager als Wettbewerbsfaktor

22. Oktober 2020
Oktober 2020

Schnelle Reaktionszeiten und dadurch kurze Anlagenstillstand-Zeiten sind ein wichtiger Erfolgsfaktor in der Logistik. Mit dem realisierten Pilotprojekt «GilgenAR» konnten die Gilgen Logistics einen weiteren Schritt in diese Richtung machen. Kunden und Servicetechniker können nun unabhängig vom Standort mit modernsten Hilfsmitteln visuell angewiesen und unterstützt werden.

Marcus Hudritsch, Professor für Image Processing & Computer Graphics, Leiter des Computer Perception & Virtual Reality Lab, BFH
Daniel Fricker, Leiter Engineering, Gilgen Logistics AG
Die Gilgen Logistics sind ein Generalunternehmer für die Automatisierung von Lager und Logistik und entwickeln massgeschneiderte Komplettlösungen mit Eigenprodukten für die unterschiedlichsten Branchen. Hierbei deckt die Firma die gesamte Wertschöpfungskette von der Beratung über die Planung und die Realisierung bis zur Nachbetreuung der Intralogistiksysteme ab. Ein Stillstand von Logistikanlagen beim Kunden führt zu Umsatzverlust und Mehrkosten. Vielfach ist das Know-how eines Spezialisten notwendig, wenn das Problem vor Ort nicht gelöst werden kann. In vielen Fällen ist der Spezialist jedoch mehrere Reisestunden entfernt, und es geht wertvolle Zeit verloren. Es stellte sich daher die Frage, wie Servicetechniker einen Operator vor Ort schnell und kompetent mit ihrem Know-how unterstützen können, ohne dass Reisezeiten anfallen. Der Einsatz einer internetbasierten Kommunikationslösung, bei der beide Seiten mit Ton und Bild miteinander verbunden sind, lag auf der Hand. Was dabei noch fehlte, war die Möglichkeit, dass der Servicetechniker den Operator vor Ort visuell anleitet. Eine Art Einblendung vom Sichtfeld des Operators war gefragt. Genau das kann mit Augmented Reality realisiert werden. So war die Idee für ein Pilotprojekt mit der Firma Gilgen Logistics geboren, in dem alle diese Technologien verknüpft werden sollten. In einer Evaluationsphase kristallisierte sich relativ schnell heraus, dass nur eine Brille alle Anforderungen erfüllen kann, da der Operator bei allen Lösungen mit Mobilgeräten nicht beide Hände frei hat und deshalb eingeschränkt ist. Man entschied sich für die Hololens-Brille von Microsoft, weil sie alle Grundfunktionalitäten beherrscht.
Abbildungen 1 und 2: Der Gilgen-Logistics-Support-Mitarbeiter (links) ist über das Internet mit Video, Ton und Augmented Reality mit dem Operator einer Logistikanlage (rechts) verbunden.

Die Partner

Zusammen mit dem Institut für Wirtschaftsinformatik an der Fachhochschule Nordwestschweiz wurde ein Konzept entwickelt. Für die Realisierung wählte man das Computer Perception & Virtual Reality Lab des Institute for Human Centered Engineering HuCE der Berner Fachhochschule aus. Finanziert wurde das Projekt von der schweizerischen Agentur für Innovationsförderung Innosuisse.

Das Konzept

In der Konzeptphase wurde ein Szenario formuliert: Der Operator ist vor Ort und hat ein Problem an der Anlage, das er ohne Unterstützung eines Spezialisten nicht lösen kann. Er setzt seine Hololens-Brille auf. Über das Mikrofon und Voice-over-IP ist der Operator nun mit einem Supporter verbunden. Der Supporter sieht das Livekamerabild der Augmented-Reality-Brille auf seinem Monitor. Über einen Marker erkennt die Hololens-Brille, um welche Maschine es sich handelt, und lädt die entsprechenden 3-D-Daten vom Datenserver der Gilgen Logistics herunter. Anschliessend wird das Element augmentiert, d.h., das virtuelle 3-D-Modell wird über dem realen Element eingeblendet. Der Supporter hat das gleiche 3-D-Modell auf seinem PC und kann nun für den Operator einzelne defekte Bauteile markieren oder ein- und ausblenden und ihn bei der Störungsbehebung anleiten.

Technische Umsetzung

Im Kern dieses Pilotprojekts stand die Verknüpfung mehrerer relativ neuer IT-Technologien:
Datenaustausch über einen Netzwerkserver: Damit die involvierten Partner, der Gilgen-Logistics-Supporter und der Operator, in Kontakt treten können, müssen sie mit dem Internet verbunden sein. Dazu brauchen wir zwei Server:
  • Dark-Rift-Server: Über diesen läuft die initiale Kontaktaufnahme sowie der kontinuierliche Datenfluss für die 3-D-Synchronisierung der Hololens.
  • Node-DSS: Dies ist ein einfacher Signalisierungsserver für die Kontaktaufnahme der Videokommunikation, um die beiden Clients der WebRTC-Verbindung (die Hololens und die Browser-App des Supporters) zu verknüpfen.
Peer-to-Peer WebRTC: WebRTC steht für Web Real-Time Communication und ist ein offener Standard, der Protokolle und Programmierschnittstellen für die Echtzeitkommunikation von Rechner-zu-Rechner-Verbindungen definiert. Damit können Webbrowser und andere Clients, wie bei uns die Hololens, direkt, ohne über einen Server zu gehen, Video- und Audio-Streams austauschen.
Augmented Reality mit der Microsoft Hololens:
  • Pose Estimation: Die Hololens-Brille ist ein AR-Brille, die dem Träger 3-D-Objekte in die Brillengläser einblendet. Dies geschieht stereoskopisch und in Echtzeit (d.h. mind. 30× pro Sek.). Dem Brillenträger kann so ein Objekt in den Raum eingeblendet werden, das real gar nicht da ist. Der wichtigste Aspekt bei AR ist, dass die Brille die Position und Orientierung ihres Trägers sehr schnell und präzise bestimmen kann. Mit dieser Pose Estimation kann der Computer zwei perspektivisch korrekte Bilder generieren und in die speziellen Brillengläser einblenden.
  • Marker Detection: Um die Gilgen-Logistics-Maschine mit der Hololens genau zu identifizieren, setzen wir einen QR-Code ein, den wir aus dem Video-Stream erkennen. Zusätzlich verwenden wir diesen Marker, um die initiale Position der Maschine zu präzisieren.
3-D-Modell-Visualisierung im Browser: Die 3-D-Objekte, die wir in der Hololens einblenden, werden auch im Browser des Supporters angezeigt. Der wichtigste Punkt in diesem Projekt ist nun, dass der Supporter in seiner 3-D-Darstellung der Maschine ein problematisches Teil auswählen und hervorheben kann. Diese Auswahl wird dann über das Netzwerk an die Hololens übertragen und somit dem Operator ebenfalls in 3-D in der Brille angezeigt. Der Supporter kann dem Operator so präzise Instruktionen geben, wie wenn er neben dem Operator stünde. Der gesamte Ablauf des Supports wird in einem YouTube-Video am besten verständlich:

Ausblick

Das realisierte Pilotprojekt hat uns gezeigt, dass Augmented Reality ein wichtiger Bestandteil für eine optimale Fernkommunikation ist und ein damit ergänztes Kommunikationssystem ein grosses Effizienzpotenzial im Anlagenservice darstellt.
Abbildung 3: die Struktur der Pilotanwendung mit Hololens (unten links) und die der Webapplikation des Supporters (oben rechts). Die WebRTC-Videoverbindung läuft direkt von der Hololens über das WLAN und das Internet zum Browser des Supporters. Die initiale Verbindung sowie die Synchronisation für die AR-Darstellung laufen über einen Netzwerkserver.