Projekt «Erleb-AR» – Verschwundenes wieder auferstehen lassen

Das Projekt «Erleb-AR» hat eine lange Geschichte. Sie beginnt 2015. Damals trat der Berner Bauingenieur Urs Emch mit einem Wunsch an die Bildverarbeitungs- und Computergrafikgruppe des Instituts für Human Centred Engineering HuCE der BFH heran. Er fragte, ob man nicht den vor 150 Jahren abgerissenen Christoffelturm auf dem Berner Bahnhofplatz mit Augmented Reality (AR) wieder auferstehen lassen könne. Die Gruppe war von der Zielvorgabe überzeugt und nahm die Herausforderung an: Wer wünscht sich beim Besuch von historischen Ausgrabungsstätten wie Pompeji, Augusta Raurica oder Avenches nicht, die Gebäude aus früheren Zeiten präzise und stabil über die Videofunktion des Smartphones oder Tablets sehen zu können?

Leider gelang es zu Beginn aber nicht, die KTI, die Vorgängerorganisation der heutigen Innosuisse, von der Innovation und der Relevanz des Projekts zu überzeugen. Von der Hasler Stiftung zur Förderung der Informations- und Kommunikationstechnologie erhielt die BFH-Projektgruppe dann 50 000 Franken für eine Machbarkeitsstudie. Damit konnte sie zeigen, dass ihr Lösungsansatz funktionieren könnte. Diese Studie überzeugte 2018 auch die Juror*innen des Wettbewerbs «Kulturerbe für alle» des Bundesamts für Kultur (BAK): Sie sprach schliesslich 238 000 Franken für die Umsetzung des Projekts. Im Gegenzug verpflichteten sich die Initiant*innen, eine App für iOS und Android zu entwickeln, die es ermöglicht, vier Objekte an vier Standorten wieder auferstehen zu lassen. In Zusammenarbeit mit Historiker*innen und Archäolog*innen wurden daraus schliesslich sechs Objekte an drei Standorten: der Christoffelturm in Bern sowie die römischen Tempel und Theater von Augst (BL) und Avenches (VD).

Viele Leute sind der Ansicht, AR sei inzwischen in allen Bereichen problemlos einsetzbar. Dies stimmt jedoch nur im Falle einer gleichbleibenden Beleuchtung, die meist nur in Innenräumen gegeben ist. Im Grunde ist AR eine Navigationstechnologie, bei der man versucht, aus dem Video heraus kontinuierlich die genaue Position und Orientierung des Mobilgeräts herauszufinden. Die mathematischen Grundlagen dieser Technologie wurden früher Fotogrammetrie genannt. Neu an AR ist nur, dass man diese Lokalisierung heute auf einem Mobilgerät 30-mal pro Sekunde machen kann. Man unterscheidet dabei folgende Anwendungsbereiche:

Ad-hoc-AR: In den Bildern eines Videos erkennt man kontrastreiche Eckpunkte, anhand derer vor der Kamera 3-D-Punkte gebildet werden können. Diese Punktewolke erlaubt es, die Lokalisierung des Mobilgeräts zu bestimmen und mit derselben Projektion der Videokamera eine 3-D-Grafik über das Video einzublenden. Bewegt man sich dabei oder schwenkt die Kamera, sieht es so aus, als bliebe das eingeblendete Objekt tatsächlich im Raum vor der Kamera stehen. So lassen sich beispielweise mit der AR-App von IKEA im Wohnzimmer Möbel massstabsgetreu anzeigen.

Persistent-AR: Wer das gewünschte Möbel am nächsten Tag nochmals an genau derselben Stelle anschauen möchte, muss die 3-D-Punktewolke, die bei der ersten Betrachtung entstanden ist, abspeichern. Genau das war im BFH-Projekt das Ziel für den Aussenraum: Die nicht mehr vorhandenen historischen Gebäude sollten immer an ihrem richtigen Platz dargestellt werden können. Der Lösungsansatz der Projektgruppe bestand darin, aus mehreren Videos eines Orts (zum Beispiel des Berner Bahnhofplatzes) eine grosse Punktewolke zusammenzubauen und auf einem Server abzulegen. Die App lädt diese dann herunter und kann sich anhand dieser Wolke genau relokalisieren. Weil dazu eine sehr grosse Punktewolke nötig ist, mussten an jedem Standort viele Videos aus verschiedensten Blickwinkeln aufgenommen und die Daten anschliessend komprimiert werden.

Ein anderes Problem war die initiale Relokalisierung, die manchmal funktionierte und manchmal nicht. Der Grund lag darin, dass die Videos zum Erstellen der Punktewolken zu anderen Tageszeiten und Sonnenständen aufgenommen wurden als die anschliessenden Tests. Das Team versuchte in der Folge, die Punktewolke nur noch aus Merkmalen (kontrastreichen Eckpunkten) zu bilden, die in allen Videos aus einer Blickrichtung vorkamen. Erschwerend kam dazu, dass die beiden Standorte Augst und Avenches heute von Natur umgeben sind. Von Bäumen und Wiesen eine Punktewolke zu erstellen, ergibt keinen Sinn: Denn die Technologie funktioniert nicht mehr, wenn die Bäume die Blätter verloren haben oder die Wiese geschnitten wurde. Dieses Problem löste das Projektteam, indem an bestimmten Infotafeln eine kleine Punktewolke als initialer Marker für die Relokalisierung erstellt wurde.

Mit der beleuchtungsinvarianten Punktewolke und den Start-Markern waren am Ende der regulären Projektzeit rund 75 Prozent aller Tests erfolgreich. Ein klassisches Projekt der angewandten Forschung und Entwicklung hätte hier mit einem etwas schönfärberischen Bericht und einer guten Demo vielleicht abgeschlossen werden können. Die Initianten des Projekts «Erleb-AR» hatten dem BAK aber eine öffentlich zugängliche App in den App-Stores von Apple und Google versprochen. Diese sollte auch den Namen der BFH und der Initianten tragen. So innovativ die entwickelte Lösung für die funktionierenden 75 Prozent gewesen wäre, so inakzeptabel war ihr Versagen für die anderen 25 Prozent. Dem oder der Anwender*in ist es nämlich völlig egal, wie das Verfahren im Hintergrund funktioniert. Aus diesem Grund beschloss die Projektgruppe, die initiale Lokalisierung komplett zu ersetzen. Dazu wurde eine zweistufige Notlösung entwickelt: Sobald der oder die Benutzer*in die eigene Position bestätigt hat, setzt die Augmentierung (Überblendung des 3-D-Gebäudes) ein. Ab hier kann sich der oder die Benutzer*in wieder frei bewegen, und das Tracking wird durch die ad-hoc gebildete Punktewolke gemacht.

Das alles zeigt: Ein Prototyp ist noch lange kein Produkt. Viele Ingenieur*innen sind der Ansicht, dass ihre Prototypen im Wesentlichen nur noch schön verpackt werden müssen. In Projektanträgen neigt man zu sehr optimistischen Prophezeiungen über den Impact eines Projekts. Wenn einem in Innosuisse-Projekten ein*e Industriepartner*in zur Seite steht, verteilt sich die Verantwortung auf mehrere Schultern. Ist man aber auf sich selbst gestellt, spürt man den Lieferzwang, der einen in der Nacht länger wachhält, als einem lieb ist.

Zudem wird es immer komplizierter, mit einem Produkt in die App-Stores aufgenommen zu werden: Insbesondere Apple verfügt inzwischen über einen strengen und unberechenbaren Bewilligungsprozess. Im vorliegenden Projekt dauerte die Aufnahme nicht wie erwartet zwei Wochen, sondern zwei Monate. Um aufgenommen zu werden, mussten insgesamt drei spezielle Videos erstellt werden, welche die Funktionsweise an den Standorten dokumentieren und beweisen. Schliesslich ist auch die Kommunikation rund um das Produkt wichtig: Neben den normalen Milestone- und Abschlussberichten sowie den Demovideos kamen in diesem Projekt eine Website, Logos, Flyer, Poster und Roll-ups in verschiedenen Grössen und jeweils in drei Sprachen hinzu.

Etliche Interviews mit Tageszeitungen und mehrere ganztägige Launch-Events komplettierten die Kommunikationsarbeit. Hätte man diese Aufwände alle ins ursprüngliche Budget integriert, wäre das Projekt kaum je bewilligt worden – oder die Projektgruppe wäre heute noch auf Geldsuche. Es waren letztlich die Überzeugung der Initianten und Unterstützenden, dass das Produkt Sinn ergibt, und die zusätzlichen finanziellen Ausschüttungen aus dem Forschungsfonds, die dieses komplexe und innovative Projekt am Leben hielten – und einen erfolgreichen Abschluss ermöglichten.