Verborgenes sichtbar machen: AR in der Oberflächentechnik

Augmented Reality – Definition und Bedeutung für die Industrie

Abb. 1: AR-Datentafel auf einem Smartphone zeigt Anlagendaten direkt über der AnlageAn Produktionsanlagen in einer Galvanik fließen stetig neue Informationen: welcher Auftrag wird gerade bearbeitet? Was ist der aktuelle Badstrom? Wie hoch ist die Temperatur? Um diese Informationen Mitarbeitern zu kommunizieren, werden sie ausgedruckt oder auf einem Monitor an der Anlage gezeigt. Ein neuer Ansatz, diese Informationen in Echtzeit sichtbar zu machen, ist Augmented Reality (AR). Mitarbeiter nehmen dazu ihr Handy, starten eine App und sehen dann im Kamerabild direkt bei der Anlage alle für sie wichtigen Informationen, ganz ohne zusätzlichen Bildschirm, immer aktuell (Abb. 1).

Dass neue Medien das Potenzial haben, die Arbeitswelt zu verändern, ist nicht erst seit der vierten industriellen Revolution, der Digitalisierung, ein Fakt. Ob Telegraf, Telefon oder Computer, wenn neue Medien in der Arbeitswelt Einzug halten, verändern sich Prozesse. Auch AR bildet dabei keine Ausnahme. Augmented Reality oder zu Deutsch „Erweiterte Realität“ kann auf unterschiedliche Weise definiert werden, eine praxisnahe Definition liefern Goh et al. (hier ins Deutsche übersetzt):

„Augmented Reality 1) kombiniert reales und virtuelles Bildmaterial; 2) ist interaktiv in Echtzeit und 3) zeigt das virtuelle Bildmaterial in der realen Umgebung [1].“

Viele dürften die ersten Kontakte mit AR nicht im industriellen Umfeld, sondern vielmehr bei Freizeitaktivitäten gemacht haben. Eines der prominentesten Beispiele für den Einsatz von AR ist „Pokemon Go“, eine Spiele-App, in der die Nutzer in Parks oder in der Stadt eine Vielzahl virtueller Kreaturen finden und diese per Kamera in der realen Umgebung fotografieren können [2]. Weitere Anwendungsfälle sind Tourismus-Apps mit Informationen zu kulturellen Sehenswürdigkeiten [3] oder Museen, die ihre Besucher mit Tablets auf Erkundungstour schicken [4].

Diese Beispiele demonstrieren den großen Vorteil von AR: Visualisierung von digitalen Informationen in einem realen Umfeld. Wie so oft können im Rahmen der Digitalisierung Prozesse mit innovativen Technologien neu gedacht werden. Daher liegt der Schluss nahe, dass auch für AR die Übertragbarkeit für den Einsatz in der Industrie gegeben ist, beispielsweise in der Inhouse-Logistik [5] und für Wartungsaufgaben [6]. Grundlegend stellt sich die Frage: wo im Betrieb gibt es Informationen, die bisher nicht oder nur unzureichend sichtbar sind?

AR in der Oberflächentechnik – vorausschauende Wartung, gesteigerte Prozesssicherheit Forschungsprojekt SmARtPlaS

Erster Ansatzpunkt war es, in der Produktion Anlagen- und Wartungsdaten vor Ort zu visualisieren, um eine vorausschauende Wartung zu ermöglichen. Das war eines der erklärten Ziele im Forschungsprojekt SmARtPlaS (Smart Augmented Reality Plating Services, Abb. 2).

Abb. 2: Logo des SmARtPlaS-Projekts – in dem noch die Datenbrille im Fokus steht; im Projekt zeigten sich Smartphones als bessere Alternative

Im Kontext von SmARtPlaS ging es zunächst darum, geeignete Kriterien festzulegen, wie AR Vorteile für die Oberflächentechnik bringen könnte. In Kooperation mit Partnerunternehmen aus Forschung und Industrie wurde ein Gesamtkonzept erstellt, das Anwenderfeedback berücksichtigt, wie auch Kriterien für die Anbindung von Anlagensteuerungen und zu Abluftanlagen [7].

Mit Hilfe des auf dieser Basis entwickelten AR-App-Prototyps können virtuelle Datentafeln im Raum platziert werden und über Schnittstellen zu Anlagen lassen sich Live-Informationen darstellen. Eine Herausforderung war die Bedienbarkeit des App-eigenen Editors, die mit Hilfe der Ergebnisse aus einer Nutzerstudie optimiert wurde [8].

Bereits früh im Projekt fiel die Entscheidung, den Prototypen für Smartphones und nicht für Datenbrillen zu entwickeln. Die allgegenwärtige Verfügbarkeit von Smartphones sowie die Erfahrung der künftigen Nutzer mit der Smartphone-Bedienung sind zwei der wichtigsten Aspekte für diese Entscheidung. Ein detaillierter Vergleich zwischen Smartphones und Datenbrillen folgt im Kapitel Hardware.

Anwendungsmöglichkeiten

Nach den ersten Erfahrungen mit AR im SmARtPlaS-Projekt zeichnete sich schnell ab, wie flexibel die App angewendet werden kann. Zusätzlich zum Einsatz für Wartungsaufgaben und der Anzeige von technischen Informationen gibt es diverse Anwendungsmöglichkeiten, für die sich AR ebenfalls eignet.

Schulung/Anleitung für Mitarbeiter: Ähnlich wie bei einer AR-Anwendung im Museum oder im Tourismus, können Datentafeln auch Textinformationen und Bilder an den Nutzer vermitteln. Dieser Umstand kann bspw. für Schulungszwecke genutzt werden. Informationen zu einem Arbeitsschritt können an der passenden Stelle verankert sein, wodurch Mitarbeiter die Anweisungen auf den virtuellen Tafeln als Assistenzsystem einsetzen können. Denkbar sind bspw. Bildergeschichten für die Verpackung, Sicherheitshinweise bei der Bedienung von Anlagen und vieles mehr. Anleitungen auf den Datentafeln könnten sogar mit kleinen Videoclips versehen werden, die den Arbeitsschritt zeigen. Damit haben Mitarbeiter auf ihrem Smartphone immer eine Hilfestellung, bei der sie nicht den richtigen Hinweis heraussuchen müssen. Hinweise und Anleitungen können überall dort platziert sein, wo sie benötigt werden.

Schaltzentrale für weitere Apps: Wenn Anlagendaten überprüft wurden und ein Eingriff notwendig ist, kann eine AR-App auch als direktes Sprungbrett in andere Apps, beispielsweise zur Anlagensteuerung, dienen. Ist eine solche Kopplung vorhanden, können Mitarbeiter Anpassungen direkt an der Anlage vornehmen, dann zurück auf die AR-Ansicht wechseln und sofort überprüfen, ob die gewünschte Änderung durchgeführt wurde. Diese direkte Rückmeldung spart Zeit und erhöht die Prozesssicherheit. Eine weitere mögliche Anbindung ist eine (Betriebsdatenerfassung) BDE-App zur Fortschrittsmeldung.

Retrofitting von Anlagen: Wenn Anlagen modernisiert werden, bleibt oft wenig Platz für neue Technik oder das Anbringen von Monitoren. Gerade zum Retrofitting eignet sich AR daher besonders, um durch eine modernisierte Steuerung neu gewonnene Informationen an wichtigen Stellen zu visualisieren, ohne neuen Platz in der Produktion schaffen zu müssen.

Virtuelle Produktpräsentationen: Um Produkte wie Bauteile einem Kunden zu präsentieren, können informative Datentafeln eingesetzt werden, um Produktbeschreibungen und technische Daten anzuzeigen. Darüber hinaus wäre es vorstellbar, dass mit AR auch 3D-Modellierungen von Bauteilen komplett virtuell präsentiert werden, um beispielsweise in Vertriebsgesprächen das fertige Bauteil zu zeigen, lange bevor es gefertigt wird.

Weitere Anwendungen: Kurz zusammengefasst verfügt AR über ein breites Anwendungsspektrum in der Industrie, das sich in vielen Umfeldern und Arbeitsprozessen integrieren lässt. In welchem Umfang AR in einem Unternehmen zum Einsatz kommt, ist daher flexibel und graduell anpassbar. Insgesamt ist eine Anwendung überall dort möglich, wo Informationen sichtbar gemacht werden sollen, ohne auf Papier oder fest verbaute Monitore zurückgreifen zu müssen.

Mehrwerte mit AR generieren

Um den Einsatz einer neuen Technologie zu rechtfertigen, muss sie für einen Betrieb Mehrwerte erzeugen, wirtschaftlich sein und einen messbaren Nutzen haben. Im Fall von AR gibt es mehrere Vorteile, die sich teils auch nach Anwendungsgebiet unterscheiden. Im Folgenden einige Faktoren:

Höhere Prozesssicherheit: Wenn Anlagendaten jederzeit vor Ort in der Produktion überwacht werden, kann schneller auf Abweichungen reagiert werden und somit eine gleichbleibend hohe Prozess- und damit auch Produktqualität gewährleistet werden. Wenn AR als Assistenzsystem für Mitarbeiter zum Einsatz kommt, unterstützt dies Mitarbeiter bei der korrekten Durchführung einzelner Arbeitsschritte, wodurch die Prozesssicherheit steigt.

Informationen schneller erfassen: Die Visualisierung von Daten oder Informationen mit Hilfe von AR sorgt in erster Linie dafür, dass relevante Informationen überhaupt sichtbar sind – und das an der passenden Stelle. Dadurch können diese Informationen schneller erfasst werden, ein langes Suchen nach den richtigen Werten entfällt. Die Relation der Informationen zum Ort ist deshalb besonders praktisch, weil eine App damit nicht auf eine Zielgruppe beschränkt ist. Sie kann gleichermaßen von einem Anlagenführer, Werker oder vom Wartungsteam eingesetzt werden.

Reduzieren von Hardware-Kosten: Insbesondere in der rauen Industrieumgebung der Oberflächentechnik, in der galvanische Bäder und weitere Chemikalien in der Produktion eingesetzt werden, ist die Haltbarkeit von Monitoren und Terminals beschränkt. Monitore müssen daher nicht nur angeschafft, sondern auch regelmäßig gewartet und ausgetauscht werden. Durch den Einsatz virtueller „Monitore“ über AR kann die Anzahl benötigter Monitore und Anzeigetafeln reduziert werden. Informationen stehen stattdessen über die virtuellen Datentafeln zur Verfügung.

Nachhaltigkeit: Die Einsparung von Hardware beziehungsweise die Nutzung vorhandener Hardware ist auch unter Gesichtspunkten der Nachhaltigkeit von Vorteil. Auch der Wechsel von dauerhaft angeschalteten Monitoren zu Smartphone-Displays spart Energie. Das Smartphone-Display muss nicht ständig aktiv sein, sondern nur dann, wenn es benötigt wird. Informationen werden nicht ständig angezeigt, sondern sind als „Information on Demand“ verfügbar.

Innovationsbranding: Ein weicher Faktor, der sich im SmARtPlaS-Projekt in Anwendergesprächen herauskristallisiert hat, ist die Außendarstellung als besonders innovatives Unternehmen. Werden neue innovative Technologien verwendet und dieser Umstand nach außen kommuniziert, kann das ein Faktor sein, der sich positiv auf die Mitarbeitergewinnung auswirkt.

Effizienzsteigerung: Durch die Verfügbarkeit von Echtzeitdaten direkt am Arbeitsort werden Laufwege eingespart und Informationen für Mitarbeiter sind nie veraltet. Das steigert die Effizienz bei einzelnen Arbeitsschritten.

Erhöhte Sicherheit: Zusätzlich zu einer gesteigerten Effizienz wird auch die Sicherheit für Mitarbeiter erhöht. Der Betriebszustand von Maschinen kann einfach – aus sicherer Entfernung für alle Anlagen – per Smartphone abgelesen werden; das Risiko für Verletzungen und Unfälle wird minimiert.

Vereinfachte Wartung: Wenn Wartungsinformationen vor Ort eingeblendet werden, kann diese schneller und einfacher durchgeführt werden. Daten müssen dafür nicht mehr von Terminals abgelesen oder von Kollegen erfragt werden.

Flexibilität: Augmented Reality lässt sich bei unterschiedlichsten Maschinen einsetzen, ganz unabhängig von Hersteller und Modell. Moderne Anlagen verfügen teilweise zwar über eigene Apps, dabei handelt es sich jedoch um Insellösungen für einzelne Anlagen. Mit AR wird eine umfassende Übersicht über den gesamten Maschinenpark möglich.

Technische Voraussetzungen für den Einsatz von AR

Welche Technik ist notwendig, um eine AR-Applikation einzusetzen und wie läuft die Erstellung von Datentafeln und eines räumlichen Modells ab?

Hardware

Die Hardware-Anforderungen unterteilen sich in zwei Bereiche: Zum einen wird ein Gerät benötigt, auf der die AR-Applikation läuft und zum anderen ein Server, der die Daten für die Anzeige der Informationen liefert. Für das SmARtPlaS-Projekt wurde eine Smartphone-App entwickelt. Alternativ können Datenbrillen eingesetzt werden, die allerdings zumindest heute noch einige gravierende Schwächen mit sich bringen und damit nicht mit den Smartphones konkurrieren können.

Datenbrillen, wie die Microsoft HoloLens, blenden die Informationen dauerhaft im Sichtfeld des Nutzers ein und lassen sich über Gesten- beziehungsweise Sprachsteuerung bedienen. Als Schwächen sind zu nennen, dass Datenbrillen deutliche Mehrkosten gegenüber Smartphones verursachen und bisher eher fragil sind, was den Einsatz in der Industrieumgebung zusätzlich erschwert. Kurze Akkulaufzeiten und die ungewohnte Bedienung der Brillen waren weitere Gründe für die Entscheidung, Smartphones zu nutzen.

Wofür sich Datenbrillen jedoch bereits heute gut eignen, sind Fernwartungsaufgaben, bei denen der Support per Videocall zugeschaltet wird und direkt die Perspektive des Technikers vor Ort sieht [9].

Smartphones sind Allrounder, die wir bereits aus dem Alltag kennen. Sie weisen einige Eigenschaften auf, die ihre hohe Eignung für die Verwendung von AR deutlich machen. Wichtige Aspekte sind Verfügbarkeit und Nutzerfreundlichkeit. Da Smartphones ohnehin oft zum Einsatz kommen, müssen nicht unbedingt neue Geräte angeschafft werden, wodurch Hardwarekosten geringgehalten werden. Im Umgang mit diesen Smartphones sind Mitarbeiter bereits vertraut, da sich auch industrielle Apps ähnlich bedienen lassen wie bekannte Apps im Alltag. Daher kann die Bedienung der AR-App in kürzester Zeit erklärt werden. Ein weiterer Faktor ist die Flexibilität des Smartphones. Wird es nicht benötigt, steckt es in der Tasche und stört nicht. Datenbrillen hingegen können als störend empfunden werden, sind unhandlich zu transportieren und liefern stets das Bild im Sichtfeld des Nutzers.

Zusätzlich zur Anzeige der AR-App auf einem Endgerät muss die Übertragung der gewünschten Daten erfolgen, die später in der App sichtbar sein sollen. Das erfordert in erster Linie, dass zum Beispiel Sensoren oder Maschinensteuerungen die Daten vor Ort erfassen. Diese werden über eine Schnittstelle an einen Server versendet, der die Daten zur AR-App weiterleitet. Dafür kann ein sogenannter Message Queuing Telemetry Transport (MQTT)-Server gemietet oder eigenständig gehosted werden.

Software

Damit eine fertige Datentafel in der App zu sehen ist, müssen nur wenige Schritte durchlaufen werden:

1. Die Daten werden von einer oder mehreren Anlagen übertragen.
2. Die Daten werden für die Anzeige auf der Datentafel aufbereitet.
3. Die Daten müssen im Kamerabild an der passenden Stelle eingeblendet werden.

Im Folgenden werden die einzelnen Schritte detailliert beschrieben.

Datenübertragung mit einem MQTT-Broker

Abb. 3: Formatierte Demodaten in der AR-App mit eingebundenen Toleranzgrenzen. All diese Konfigurationen finden in einem Smart Factory Interface statt, das zur Beschreibung interaktiver Displays eingesetzt wird. Diese müssen sich nicht auf AR beziehen, beispielsweise können sie auch als Grundlage für einen Leitstand dienen Der Datenaustausch zwischen Anlagen, Steuerungen, Enterprise Resource Planning (ERP)-Systemen, Kontroll- und Warnsystemen und vielem mehr erfolgt über Schnittstellen, die es ermöglichen, Daten von einem System ins andere zu übertragen. Noch vor wenigen Jahren war dieser Austausch aufgrund vieler unterschiedlicher Formate komplex und keineswegs selbstverständlich.

Damit nicht für jede Schnittstelle individuelle Entwicklungen erfolgen müssen, gibt es Standardprotokolle zur Nachrichtenübermittlung. Heute ist Hardware bereits oft damit ausgestattet und die Protokolle kommen in vielen Steuerungen zum Einsatz. Kurzgesagt, es gibt einen Prozess fortschreitender Standardisierung. Auch die AR-App verwendet einen solchen Standard: MQTT.

MQTT steht für „Message Queuing Telemetry Transport“ und ist ein offenes Nachrichtenprotokoll für die Maschine-zu-Maschine Kommunikation. Ursprünglich entwickelte IBM das Protokoll zur Überwachung einer ÖlPipeline, wo spezielle Anforderungen an das Übertragungsprotokoll notwendig waren [10].

Im Mittelpunkt einer MQTT-Infrastruktur steht ein Server, genannt MQTT-Broker. Dort werden die eingegangenen Daten verwaltet und weitergeleitet, in etwa wie bei einer Poststelle. Wie bei einem Brief gibt es auch hier Sender und Empfänger, in diesem Fall genannt „Publisher“ und „Subscriber“.

Publisher sind in unserem Beispiel Anlagen, die Daten aktiv über eine MQTT-Schnittstelle an den Broker übermitteln, die dann wiederum von beliebig vielen Empfängern abgerufen werden können. Subscriber abonnieren genau die Informationspakete, die für sie relevant sind; der Broker schickt nur die gewünschten Informationen weiter. Sender und Empfänger sind daher klar getrennt und kommunizieren nicht direkt miteinander, sondern nutzen dafür den Broker.

Das MQTT-Protokoll ist derart aufgebaut, dass gesendete Werte immer an sogenannte „Topics“ gekoppelt sind, die einen Kontext liefern. Denn um den Austausch der Daten zu vereinfachen, werden keine Einheiten oder ähnliche Referenzen mit einem Wert gesendet. Wird beispielsweise das Topic „Temperatur“ referenziert und ein Wert „45“ geschickt, wissen Empfänger nur über den Kontext, dass es sich um 45 °C handeln muss.

Ein weiterer Vorteil des MQTT-Protokolls ist, dass immer nur der aktuellste Datenwert auf dem Server gespeichert ist. Dadurch sind Daten auf dem Server nicht persistent, alte Werte werden schlicht überschrieben. Das erhöht die Datensicherheit. Außerdem reduzieren sich die Anforderungen an die Hardware und der Aufwand für die Administration.

Mit einer MQTT-Schnittstelle senden Anlagen, Geräte oder Sensoren also Werte an einen Server, der sie an die AR-App weiterschickt. Dort werden die Daten ausgelesen und können zur Anzeige weiterverarbeitet werden. Ein Problem bei Maschine-zu-Maschine Kommunikation ist, dass Daten oft für den Menschen nur noch schlecht lesbar beziehungsweise – durch fehlende Kontextinformationen wie Einheiten – schlicht unübersichtlich sind. Deshalb müssen die Daten im nächsten Schritt aufbereitet werden.

Smart Factory Interface – Daten übersichtlich anzeigen

Damit aus den übermittelten Daten einzelne Datentafeln entstehen, muss für jede Datentafel festgelegt sein, welche Werte wie angezeigt werden sollen. Hierbei wurde besonders viel Wert daraufgelegt, dass sich die Datentafeln in kurzer Zeit implementieren lassen, weshalb ein möglichst einfaches Interface als Schnittstelle entwickelt wurde. Die Erstellung neuer Datentafeln in ein Interface auszulagern, bietet zudem den Vorteil, dass die App selbst nicht angepasst werden muss – wodurch die Aufwände reduziert werden.

Wenn eine neue Datentafel angelegt werden soll, geht es um Formatierung und Struktur, zum Beispiel mit Überschriften, Texten, Bildern, geeigneten Farben, Buttons oder Schaltflächen. Bei der Konfiguration der Tafeln können für einzelne Werte, wie die Temperatur einer Anlage, Toleranzgrenzen gesetzt werden, die der Wert nicht unter- bzw. überschreiten soll. Diese lassen sich beispielsweise farbkodieren, indem der Wert von Grün auf Orange oder Rot wechselt (Abb. 3).

Mit diesen Spezifikationen lässt sich eine Datentafel individuell einrichten, sodass genau die Werte zu sehen sind, die relevant sind. Zudem sind die Datentafeln schnell anpassbar, wenn weitere Werte eingeblendet werden sollen.

Damit ist der Inhalt der Datentafeln fertig. Jetzt müssen sie nur noch an der passenden Stelle platziert werden. Dieser Schritt wird in der App selbst vorgenommen.

AR-App Editor – Datentafeln im Raum platzieren

Abb. 4: Im Editor wird eine Wand ins Modell übertragen. Dieses Übereinanderlegen der virtuellen und realen Welt – sogenanntes „Mapping“ – erzeugt für den Betrachter einen natürlichen Eindruck. Die digitale Einblendung wird zur Erweiterung der RealitätDie AR-App ist aufgeteilt in einen Editor- und einen Viewermodus. Das dient der Nutzerfreundlichkeit. Endnutzer müssen den Editor nicht bedienen, sondern nutzen die App nur, um sich die Datentafeln anzusehen. Daher werden die Funktionen zum Platzieren von Datentafeln nicht benötigt. Die Platzierung findet ausschließlich im Editor-Modus statt. Für eine möglichst einfache Bedienung des Editors wurde eine Nutzerstudie durchgeführt [7].

Um Datentafeln räumlich verorten zu können, benötigt die App einen Nullpunkt, der sich nicht bewegt. Dies geschieht in Form eines Markerbilds, meist eines QR-Codes, das an einer passenden Stelle im Raum aufgeklebt ist. Im ersten Schritt muss dieser Marker gescannt werden, um ein Modell zu erstellen. Danach können Datentafeln frei platziert werden, die in Relation zu diesem Punkt stehen. Das bedeutet jedoch auch, dass sich bei einer Bewegung des Markers das gesamte Modell verschiebt; Datentafeln hängen nicht mehr dort, wo sie sein sollen.

Um eine Datentafel zu platzieren, benötigt sie einen Ankerpunkt im Modell, der als kleine Kugel dargestellt wird. In der realen Welt ist dies vergleichbar mit der Tätigkeit, Bilder in einem Zimmer aufzuhängen. Mit Hammer und Nagel wird die Stelle ausgewählt, an der das Bild aufgehängt werden soll. Bei den virtuellen Datentafeln wird mit der App ein Punkt im Raum festgelegt, der die Funktion des Nagels übernimmt. An diesem Punkt wird die Datentafel fixiert. Diese Grundfunktionalität ermöglicht es, den Editor sehr einfach zu bedienen und schnell einzelne Datentafeln zu platzieren. Gleichzeitig gibt es über komplexere Funktionen die Möglichkeit, die Umgebung zu modellieren, um ein noch realitätsnäheres Erlebnis für den Nutzer zu bieten.

In der realen Welt können wir Bilder nur dann sehen, wenn sie nicht durch eine Wand oder ein Hindernis verdeckt werden. Noch realistischer wirkt die AR-Welt, wenn sie diesen Effekt replizieren kann. Das heißt, dass Datentafeln erst dann erscheinen, wenn der Betrachter auch tatsächlich um eine Wand herumgegangen ist oder einen Raum durch eine Tür betritt.

Dazu können im AR-App Editor auch Objekte wie Wände, Einrichtungsgegenstände oder Maschinen, die je nach Standort des Betrachters die Sicht beschränken, in das Modell aufgenommen werden. Dazu werden einfache geometrische Primitive (ein- oder mehrdimensionale Formen) im Raum platziert, die genauso den Blick versperren wie reale Körper (Abb. 4).

AR-App Viewer

Ist das Modell einmal erstellt, müssen Anwender nur die App starten und den QR-Code-Marker scannen. Diese Aktion löst aus, dass die Datentafeln geladen und an der richtigen Stelle angezeigt werden. Somit sind die Informationen direkt im Kamerabild verfügbar und das Smartphone kann von Anlage zu Anlage geschwenkt werden, um die verschiedenen Werte zu betrachten.

Gerade bei Anlagenkomplexen, bei denen längere Distanzen überbrückt werden, können mehrere QR-Code-Marker nützlich sein, um weitere Einstiegspunkte für die AR-App zu bilden. So kann beispielsweise an jeder Anlage ein QR-Code zur Verfügung stehen, mit dessen Hilfe die App gestartet werden kann. Das bietet Mitarbeitern die Flexibilität, die App überall ohne Laufwege aufzurufen. Genauso können die Marker dazu genutzt werden, um die App neu zu kalibrieren, falls Daten nicht richtig geladen werden. Mit dem AR-App Viewer können Anwender nicht nur die Daten betrachten, sondern über Buttons auf Datentafeln auch damit interagieren. Buttons können Links zu weiteren Apps enthalten, beispielsweise zur Betriebsdatenerfassung oder zur Anlagensteuerung, um Abweichungen direkt zu korrigieren.

An einem Beispiel lassen sich die Vorteile dieses Zusammenspiels verdeutlichen: In der AR-App ist für eine Anlage eine Datentafel eingerichtet, auf der unter anderem die Betriebstemperatur der Anlage angezeigt wird. Über Toleranzgrenzen sind Werte bestimmt, ab denen die Temperatur von der Farbe Grün auf Orange wechselt, um anzuzeigen, dass die Toleranzgrenze überschritten wurde. Ein Mitarbeiter mit der AR-App bemerkt die zu niedrige Temperatur der Anlage im Vorübergehen. Über einen Button auf der Datentafel ruft er eine Wartungs-App auf, in der er die Temperatur wieder auf den gewünschten Wert erhöht. Zurück in der AR-App prüft der Mitarbeiter erneut die Temperatur, die Anzeige auf der Datentafel aktualisiert sich dynamisch. Eine Kontrolle der durchgeführten Änderung ist somit umgehend möglich.

Denkbar sind auch einfache „Schalter“ direkt in der AR-App, mit denen beispielsweise Heizelemente an Anlagen aktiviert, beziehungsweise ausgeschaltet werden können. Um diesen Fall abzudecken, müssen Informationen über den MQTT-Server allerdings in beide Richtungen ausgetauscht werden. Die Anlage muss geänderte Werte empfangen, die von der AR-App gesendet werden. Alternativ besteht die Möglichkeit, diese Funktionalität über eine sogenannte Representational State Transfer (REST)-Schnittstelle zu lösen, die in der AR-App aufgerufen wird.

Hintergründe zur AR-Technologie

Aus Sicht der Mathematik ist die Anwendung anspruchsvoll. Objekte müssen nicht nur im Raum platziert, es muss auch die Rotation um alle drei Achsen erfasst werden. Man stößt dabei auf Probleme, mit der auch Navigationssysteme in Luft- und Raumfahrt oder in U-Booten zu kämpfen haben. Es gibt Zustände, wie zum Beispiel den Gimbal Lock, die sich mit einfacher Vektorrechnung aus der analytischen Geometrie nicht ohne Weiteres lösen lassen. Diese Komplikationen lassen sich mit Quaternionen-Algebra umgehen. Quaternionen erlauben in vielen Fällen eine rechnerisch elegante Beschreibung des dreidimensionalen euklidischen Raums, insbesondere im Kontext von Drehungen.

Am 16. Oktober 1843 kam der Mathematiker Sir William Rowan Hamilton auf der Suche nach einer Verallgemeinerung von imaginären Zahlen bei einem Spaziergang die Erleuchtung. Um seine Gedanken an Ort und Stelle festzuhalten, ritzte er spontan die Multiplikationsregeln für die Quaternionen in den Sandstein der Broom Bridge in Dublin, wo bis heute eine Gedenktafel an das Ereignis erinnert [11].

Diese hochkomplexe Mathematik steht im Kontrast zum Ergebnis: der Darstellung in der AR-App, die sich natürlich verhält, wie wir es nach physikalischen Gesetzen erwarten würden. Das Medium kann so als Erweiterung der Realität begriffen werden, die wir einsetzen können, um Informationen sichtbar zu machen, die uns sonst verborgen bleiben würden.

Neue Medien als Erweiterung unserer Wahrnehmung, unserer Realität zu begreifen, ist ein Konzept, dass es nicht erst seit der Augmented Reality als digitaler Anwendung gibt. Auch analoge Beispiele zeigen, wie schnell das menschliche Gehirn Erweiterungen adaptiert und als selbstverständlichen Teil der Sinneswahrnehmung erfasst.

Dies setzt einen universellen Medienbegriff voraus, der nicht nur technische Medien einschließt. Eine universale Definition von Medien stammt von Marshall McLuhan, der Medien als „extensions of man“, als Erweiterungen des Menschen betrachtet. Medien ermöglichen in diesem Sinne eine Ausdehnung des Einflussbereichs beziehungsweise eine Erweiterung der Wahrnehmung oder der Kommunikationsmöglichkeiten [12]. Werkzeuge wie ein Taktstock oder ein Fernglas sind dann ebenfalls als Medien zu beschreiben. Auch Kleidungsstücke können diese Funktion ausüben, beispielsweise das Tutu im Ballett. Darüber wird die Abstandswahrnehmung zu anderen Tanzenden geprägt, der Rock wird zum Medium [13]. Werkzeuge bleiben demnach nicht nur Werkzeuge, sondern ändern unser Handeln und unsere Sinneswahrnehmung.

Potenzial von AR in der Oberflächentechnik

Zusammenfassend lässt sich sagen, Augmented Reality ist keine Zukunftsmusik mehr. Die technischen Grundlagen sind vorhanden, die Einsatzmöglichkeiten vielfältig. Gerade in der Oberflächentechnik zeigen sich viele Anwendungsgebiete im Produktionsumfeld. Bisherige Hardware-Lösungen werden entweder in Schaltschränken eingeschlossen und sind nicht direkt zugänglich oder Geräte müssen IP-Klassifizierungen aufweisen, die die Kosten für Hardware weiter in die Höhe treiben. In dieser rauen, aggressiven Industrieumgebung, wo hohe Temperaturen, Feuchtigkeit und Chemikalien auf Hardware und Elektronik einwirken, ist es daher eine geschickte Lösung, insgesamt weniger Hardware einzusetzen. Mit AR kommen Smartphones zum Einsatz, die sich insbesondere deshalb als geeignete Hardware erweisen, da sie nicht permanent der Umgebung ausgesetzt sind, sondern nur dann, wenn sie benötigt werden. Dadurch werden Monitore nicht nur ersetzt, Kosten für den Austausch kaputter Hardware reduzieren sich drastisch.

Ein weiterer Faktor ist die Skalierbarkeit: ein einzelner Monitor kann immer nur an einer Position hängen und Werte dort anzeigen. Sollen alle Anlagen mit Anzeigetafeln ausgestattet werden, benötigt jede weitere Anlage einen zusätzlichen Monitor. AR hingegen skaliert: die App kann beliebig Datentafeln platzieren, die alle mit demselben Gerät eingeblendet werden können, genau dort wo sie gebraucht werden. Im Rahmen des SmARtPlaS-Projekts konnten diese und weitere Einsatzmöglichkeiten herausgearbeitet und mit einem App-Prototypen getestet werden. Zum jetzigen Zeitpunkt (Stand: März 2023) sind aus SmARtPlaS mehrere Projekte entstanden, in denen die AR-App in verschiedenen Kontexten in der Praxis eingesetzt wird, beispielsweise für Abluft-, Galvanik-, Abwasser-, Beschichtungs- und Trocknungsanlagen. Damit nicht nur Anlagendaten, sondern auch Daten aus dem ERP für die Anzeige in der AR-App verfügbar sind, arbeitet die Softec AG aus Karlsruhe zudem daran, ihre ERP-Lösung Omnitec „AR ready“ zu gestalten. So können z. B. BDE-Meldungen und Auftragsdaten ebenfalls auf Datentafeln visualisiert werden.

Literatur

[1] Rauschnabel, P.; Rossmann, A.; Dieck, C.: An adoption framework for mobile augmented reality games: The case of Pokémon Go, Computers in Human Behavior, 76 (2017), S. 276–286
[2] Han, D.; Jung, T.; Gibson, A.: Dublin AR: Implementing Augmented Reality in Tourism, Information and Communication Technologies in Tourism 2014, S. 511–523
[3] Jung, T.; Dieck, C.; Lee, H.; Chung, N.: Effects of Virtual Reality and Augmented Reality on Visitor Experiences in Museum. Information and Communication Technologies in Tourism, 2016, S. 621–635
[4] Wang, W.; Wang, F.; Song, W.; Su, S.: Application of Augmented Reality (AR) Technologies in inhouse Logistics, E3S Web of Conferences, 2020, 145. 02018. 10.1051/e3sconf/202014502018.
[5] Palmarini, R.; Erkoyuncu, J.A.; Roy, R.: An Innovative Process to Select Augmented Reality Technology for Maintenance, Procedia CIRP, 59 (2017), S. 23–28
[6] Von Galvanik 4.1 zum intelligenten, dienstbasierten Galvanikbetrieb, In: WOMag, (2022) 5
[7] Hellmuth, C.; Bachinski, M.; Müller, J.: Interaction Techniques for 3D-positioning Objects in Mobile Augmented Reality. In Proceedings of the 2021 International Conference on Multimodal Interaction (ICMI '21), Association for Computing Machinery, New York, NY, USA, 2021, S. 604–6102
[8] Introducing Dynamics 365 Remote Assist for HoloLens 2 and mobile devices, abgerufen am 29.07.2022, https://www.youtube.com/watch?v=d3YT8j0yYl0
[9] Transcript of IBM Podcast. November 2011, abgerufen am 29.07.2022, https://www.ibm.com/podcasts/software/websphere/connectivity/piper_diaz_nipper_mq_tt_11182011.pdf
[10] Altmann, S.: Hamilton, Rodrigues, and the Quaternion Scandal, Mathematics Magazine, Dec. 1989, 62 (1989) 5, S. 291–308
[11] McLuhan, M.: Understanding Media: The Extensions of Man, McGraw-Hill Book Company, 1964
[12] Ommeln, M.: Der Cyborg, augmented reality, Google Glass und ihre Umschriftung als Leinwand: Technikphilosophie auf der Grundlage einer Philosophie des Tanzes, Techne, Poiesis, Aisthesis: Technik und Techniken in Kunst und ästhetischer Praxis, IX. Kongress der Deutschen Gesellschaft für Ästhetik, Februar 2015
[13] Goh, E.S.; Sunar M.S.; Ismail A.W.: 3D object manipulation techniques in handheld mobile augmented reality interface: a review, IEEE Access 7, 2019, S. 40581–40601