Interaktion in Erweiterter Realität mit photorealistischer Beleuchtung
Zusammenfassung der Projektergebnisse
Im IPAR Projekt wurde ein System zur photorealistischen und interaktiven Augmentierung für die Kamerabilder mobiler Geräte entwickelt. Eingefügte virtuelle Objekte passen sich dabei an die reale Beleuchtung an und wirken somit wie reale Objekte. Ermöglicht wird dies durch eine permanente Messung des realen Umgebungslichts mit mehreren High-Dynamic-Range-Weitwinkelkameras, was eine sofortige Reaktion auf Änderungen in der Beleuchtung ermöglicht. Für die gemessene Leuchtdichteverteilung auf der realen Szene wurde eine komprimierte Darstellung für eine schnelle Beleuchtungssimulation entwickelt. Diese Lichtsimulation wird dann für die eingefügten virtuellen Objekte durchgeführt, und die konsistent beleuchteten virtuellen Objekte und ihre Schatten konnen schließlich mit einer differenziellen Renderingtechnik in das reale Kamerabild integriert werden. Da ein mobiles Gerät zu leistungsschwach für eine solche Berechnung ist, wurde eine verteilte Beleuchtungstechnik für einen stationären PC und mehrere mobile Geräte entwickelt. Hierbei werden sowohl die Stärken beider Gerätetypen ausgenutzt als auch die Größe der Datenübertragung gering gehalten. Somit werden Latenzen minimiert und eine verzögerungsfreie, direkte Interaktion mit den virtuellen Objekten ermöglicht, wie das Drehen und Verschieben von Objekten durch einfache Touch-Gesten auf einem mobilen Gerät. Im Projekt wurden drei verschiedene Klassen von Interaktion untersucht: Zum einen wurden natürliche Remote-Interaktionstechniken auf Mobilgeräten zur entfernten Interaktion mit Augmented Reality betrachtet. Weiterhin wurde die lokale Interaktion direkt an der Augmentierung im Rahmen von Contact Augmented Reality untersucht. Dies geschieht mit Hilfe transparenter Mobilgeräte, die auf das zu augmentierende Objekt gelegt werden. Schließlich kamen auch projektive Lösungen für räumliche Interaktion zum Einsatz. Neben den grundlegenden, kanonischen Interaktionstechniken wurden auch komplexere Interaktionen für Anwendungsfälle wie Wartungsarbeiten, Navigation und Produktdesign eingehend untersucht. Die Qualität und Wichtigkeit dieser Forschung werden durch den Best Paper Award auf der größten Augmented Reality Konferenz ISMAR’14 sowie durch einen Honorable Mention Award auf der DIS ’14 belegt.
Projektbezogene Publikationen (Auswahl)
- Towards Interaction with Transparent and Flexible Displays. CHI 2013 Workshop on Displays Take New Shape: An Agenda for Future Interactive Surfaces, CHI 2013, 2013
Wolfgang Büschel, André Viergutz und Raimund Dachselt
- cAR: Contact Augmented Reality with Transparent-Display Mobile Devices. Proc. ACM Int. Symposium on Pervasive Displays, S. 80-85, 201
Juan David Hincapié-Ramos, Sophie Roscher, Wolfgang Büschel, Ulrike Kister, Raimund Dachselt und Pourang Irani
(Siehe online unter https://doi.org/10.1145/2611009.2611014) - Interactive Near-field Illumination for Photorealistic Augmented Reality on Mobile Devices. Proc. IEEE Int. Symposium on Mixed and Augmented Reality, S. 29-38, 2014, ausgezeichnet mit Best Paper Award
Kai Rohmer, Wolfgang Büschel, Raimund Dachselt und Thorsten Grosch
(Siehe online unter https://doi.org/10.1109/ISMAR.2014.6948406) - SleeD: Using a Sleeve Display to Interact with Touch-sensitive Display Walls. Proc. ACM Int. Conference on Interactive Tabletops and Surfaces, S. 129-138, 2014
Ulrich von Zadow, Wolfgang Büschel, Ricardo Langner und Raimund Dachselt
(Siehe online unter https://doi.org/10.1145/2669485.2669507) - T4 - Transparent and Translucent Tangibles on Tabletops. Proc. ACM Int. Working Conference on Advanced Visual Interfaces, S. 81-88, 2014
Wolfgang Büschel, Ulrike Kister, Mathias Frisch und Raimund Dachselt
(Siehe online unter https://doi.org/10.1145/2598153.2598179) - Tangible displays for the masses: spatial interaction with handheld displays by using consumer depth cameras. Personal and Ubiquitous Computing Vol. 18, Nr. 5, S. 1213-1225, 2014
Martin Spindler, Wolfgang Büschel, Charlotte Winkler und Raimund Dachselt
(Siehe online unter https://doi.org/10.1007/s00779-013-0730-7) - tPad: designing transparent-display mobile interactions. Proc. ACM Conference on Designing Interactive Systems, S. 161-170, 2014, ausgezeichnet mit Honorable Mention Award
Juan David Hincapié-Ramos, Sophie Roscher, Wolfgang Büschel, Ulrike Kister, Raimund Dachselt und Pourang Irani
(Siehe online unter https://doi.org/10.1145/2598510.2598578) - Interactive Near-Field Illumination for Photorealistic Augmented Reality with Varying Materials on Mobile Devices. IEEE Transactions on Visualization and Computer Graphics Vol. 21, No. 12, S. 1349-1362, 2015
Kai Rohmer, Wolfgang Büschel, Raimund Dachselt und Thorsten Grosch
(Siehe online unter https://doi.org/10.1109/TVCG.2015.2450717) - Tiled Frustum Culling for Differential Rendering on Mobile Devices. Proc. IEEE Int. Symposium on Mixed and Augmented Reality, S. 37-42, 2015
Kai Rohmer und Thorsten Grosch
(Siehe online unter https://doi.org/10.1109/ISMAR.2015.13) - Smart Ubiquitous Projection: Discovering Surfaces for the Projection of Adaptive Content. ACM CHI Extended Abstracts on Human Factors in Computing Systems, 2016
Fabrice Matulic, Wolfgang Büschel, Michael Ying Yang, Stephan Ihrke, Anmol Ramraika, Carsten Rother und Raimund Dachselt
(Siehe online unter https://doi.org/10.1145/2851581.2892545) - Stylized Caustics: Progressive Rendering of Animated Caustics. Computer Graphics Forum (Proc. Eurographics) Vol. 35, No. 2, May 2016, Pages 243-252
Tobias Günther, Kai Rohmer, Christian Rössl, Thorsten Grosch und Holger Theisel
(Siehe online unter https://doi.org/10.1111/cgf.12827)
