Augmented Reality im Lager als Wettbewerbsfaktor

Marcus Hudritsch, Professor für Image Processing & Computer Graphics, Leiter des Computer Perception & Virtual Reality Lab, BFH

Daniel Fricker, Leiter Engineering, Gilgen Logistics AG

Die Gilgen Logistics sind ein Generalunternehmer für die Automatisierung von Lager und Logistik und entwickeln massgeschneiderte Komplettlösungen mit Eigenprodukten für die unterschiedlichsten Branchen. Hierbei deckt die Firma die gesamte Wertschöpfungskette von der Beratung über die Planung und die Realisierung bis zur Nachbetreuung der Intralogistiksysteme ab.

Ein Stillstand von Logistikanlagen beim Kunden führt zu Umsatzverlust und Mehrkosten. Vielfach ist das Know-how eines Spezialisten notwendig, wenn das Problem vor Ort nicht gelöst werden kann. In vielen Fällen ist der Spezialist jedoch mehrere Reisestunden entfernt, und es geht wertvolle Zeit verloren. Es stellte sich daher die Frage, wie Servicetechniker einen Operator vor Ort schnell und kompetent mit ihrem Know-how unterstützen können, ohne dass Reisezeiten anfallen.

Der Einsatz einer internetbasierten Kommunikationslösung, bei der beide Seiten mit Ton und Bild miteinander verbunden sind, lag auf der Hand. Was dabei noch fehlte, war die Möglichkeit, dass der Servicetechniker den Operator vor Ort visuell anleitet. Eine Art Einblendung vom Sichtfeld des Operators war gefragt. Genau das kann mit Augmented Reality realisiert werden. So war die Idee für ein Pilotprojekt mit der Firma Gilgen Logistics geboren, in dem alle diese Technologien verknüpft werden sollten. In einer Evaluationsphase kristallisierte sich relativ schnell heraus, dass nur eine Brille alle Anforderungen erfüllen kann, da der Operator bei allen Lösungen mit Mobilgeräten nicht beide Hände frei hat und deshalb eingeschränkt ist. Man entschied sich für die Hololens-Brille von Microsoft, weil sie alle Grundfunktionalitäten beherrscht.

Zusammen mit dem Institut für Wirtschaftsinformatik an der Fachhochschule Nordwestschweiz wurde ein Konzept entwickelt. Für die Realisierung wählte man das Computer Perception & Virtual Reality Lab des Institute for Human Centered Engineering HuCE der Berner Fachhochschule aus. Finanziert wurde das Projekt von der schweizerischen Agentur für Innovationsförderung Innosuisse.

In der Konzeptphase wurde ein Szenario formuliert: Der Operator ist vor Ort und hat ein Problem an der Anlage, das er ohne Unterstützung eines Spezialisten nicht lösen kann. Er setzt seine Hololens-Brille auf. Über das Mikrofon und Voice-over-IP ist der Operator nun mit einem Supporter verbunden. Der Supporter sieht das Livekamerabild der Augmented-Reality-Brille auf seinem Monitor. Über einen Marker erkennt die Hololens-Brille, um welche Maschine es sich handelt, und lädt die entsprechenden 3-D-Daten vom Datenserver der Gilgen Logistics herunter. Anschliessend wird das Element augmentiert, d.h., das virtuelle 3-D-Modell wird über dem realen Element eingeblendet. Der Supporter hat das gleiche 3-D-Modell auf seinem PC und kann nun für den Operator einzelne defekte Bauteile markieren oder ein- und ausblenden und ihn bei der Störungsbehebung anleiten.

Im Kern dieses Pilotprojekts stand die Verknüpfung mehrerer relativ neuer IT-Technologien:

Datenaustausch über einen Netzwerkserver: Damit die involvierten Partner, der Gilgen-Logistics-Supporter und der Operator, in Kontakt treten können, müssen sie mit dem Internet verbunden sein. Dazu brauchen wir zwei Server:

• Dark-Rift-Server: Über diesen läuft die initiale Kontaktaufnahme sowie der kontinuierliche Datenfluss für die 3-D-Synchronisierung der Hololens.
• Node-DSS: Dies ist ein einfacher Signalisierungsserver für die Kontaktaufnahme der Videokommunikation, um die beiden Clients der WebRTC-Verbindung (die Hololens und die Browser-App des Supporters) zu verknüpfen.

Peer-to-Peer WebRTC: WebRTC steht für Web Real-Time Communication und ist ein offener Standard, der Protokolle und Programmierschnittstellen für die Echtzeitkommunikation von Rechner-zu-Rechner-Verbindungen definiert. Damit können Webbrowser und andere Clients, wie bei uns die Hololens, direkt, ohne über einen Server zu gehen, Video- und Audio-Streams austauschen.

Augmented Reality mit der Microsoft Hololens:

• Pose Estimation: Die Hololens-Brille ist ein AR-Brille, die dem Träger 3-D-Objekte in die Brillengläser einblendet. Dies geschieht stereoskopisch und in Echtzeit (d.h. mind. 30× pro Sek.). Dem Brillenträger kann so ein Objekt in den Raum eingeblendet werden, das real gar nicht da ist. Der wichtigste Aspekt bei AR ist, dass die Brille die Position und Orientierung ihres Trägers sehr schnell und präzise bestimmen kann. Mit dieser Pose Estimation kann der Computer zwei perspektivisch korrekte Bilder generieren und in die speziellen Brillengläser einblenden.
• Marker Detection: Um die Gilgen-Logistics-Maschine mit der Hololens genau zu identifizieren, setzen wir einen QR-Code ein, den wir aus dem Video-Stream erkennen. Zusätzlich verwenden wir diesen Marker, um die initiale Position der Maschine zu präzisieren.

3-D-Modell-Visualisierung im Browser: Die 3-D-Objekte, die wir in der Hololens einblenden, werden auch im Browser des Supporters angezeigt. Der wichtigste Punkt in diesem Projekt ist nun, dass der Supporter in seiner 3-D-Darstellung der Maschine ein problematisches Teil auswählen und hervorheben kann. Diese Auswahl wird dann über das Netzwerk an die Hololens übertragen und somit dem Operator ebenfalls in 3-D in der Brille angezeigt. Der Supporter kann dem Operator so präzise Instruktionen geben, wie wenn er neben dem Operator stünde. Der gesamte Ablauf des Supports wird in einem YouTube-Video am besten verständlich:

Das realisierte Pilotprojekt hat uns gezeigt, dass Augmented Reality ein wichtiger Bestandteil für eine optimale Fernkommunikation ist und ein damit ergänztes Kommunikationssystem ein grosses Effizienzpotenzial im Anlagenservice darstellt.

Infos

• Gilgen Logistics AG
• Institute for Human Centered Engineering HuCE