Bodyscanner
Systems Engineering
Final Report Abstract
Das Großgerät wurde u.a. für die folgenden Aufgaben eingesetzt: 1) Im Rahmen der InnoProfile-Transfer-Initiative “localizeIT” besteht die Notwendigkeit, in einem Foto die Orientierung von Personen relativ zur Kamera zu bestimmen, wozu auf Deep-Learning-Verfahren zurückgegriffen wurde. Lernverfahren mit neuronalen Netzen erfordern eine sehr große Zahl gelabelter Trainingsdatensätze, in diesem Fall Bilder von Menschen aus möglichst vielen verschiedenen, genau bekannten Kamera-Perspektiven. Der 3D-Scanner konnte erfolgreich für die Generierung solcher Trainingsdaten eingesetzt werden. Der Workflow zur Erstellung von Image-Testbeds für Kopfposen wurde im Rahmen der INFORMATIK 2017 vorgestellt. 2) Im Rahmen der ESF-Nachwuchsforschergruppe: „Sozial agierende, kognitive Systeme zur Feststellung von Hilfsbedürftigkeit“ wird erforscht, wie aus dem Verhalten eines Nutzers eines Verkaufsautomaten abgeleitet werden kann, ob dieser Unterstützung bei der Nutzung benötigt. Bereits Position und Orientierung des Kopfes haben eine enorme Aussagekraft über die Hilfsbedürftigkeit. Bspw. suchen Nutzer in der Nähe des Automaten nach Nutzungshinweisen oder weiteren Bedienelementen oder drehen sich zu anderen anstehenden Nutzern um mit dem Ziel nachzufragen. Im Rahmen dieses Projektes wurden mit dem Großgerät weitere Referenzdaten für die Detektion von Kopfposen erzeugt. 3) KaraKter ist ein von Athleten positiv evaluierter virtueller Karate-Kumite Charakter für das VR- basierte Training. Dabei wird für die Echtzeit-Interaktion ein menschlicher Athlet in einer virtuellen Umgebung verfolgt. KaraKter bewegt sich karatespezifisch, nähert sich dem Athleten und realisiert je nach Verhalten des Menschen angemessene Angriffe. Der Scanner wurde für Experimente mit personalisierten Avataren eingesetzt. 4) Die Animation von Menschmodellen erfordert ein Skelett, das in Größe und Ausgangspose dem Menschmodell entspricht. Dieses Skelett kann durch den Einsatz markerloser Verfahren zur Erkennung von 2D Skeletten in Farbbildern automatisiert erzeugt werden. Dafür dienen die Kamerabilder des Bodyscanners als Ausgangspunkt. Pro Kamerabild werden die Gelenke aller im Bild befindlichen Körperteile im Bildraum durch den Einsatz neuronaler Faltungsnetze markiert. Die bei der Photogrammetrie verwendeten Informationen über Position und Orientierung der Kameras zueinander ermöglichen im Anschluss die Rekonstruktion eines dreidimensionalen Skeletts, welches für die Animation verwendet werden kann. 5) Zur automatisierten Erzeugung von Sprachanimationen wurde eine Proof-of-Concept Software entwickelt, wobei ein animierbares Menschmodell eine Textsequenz nachsprechen kann. Dazu wurde mit dem Scanner eine Testperson erfasst, die nacheinander 50 Phoneme des ARPAbet mit ihrem Mund formte. Aus den resultierenden Dreiecksnetzen wurde das Menschmodell erstellt. Die Software wurde auf dem Forum Sachsen Digital 2018 im Rahmen der Themenwelt ausgestellt. 6) Digitale Menschmodelle werden zur Simulation und Bewertung industrieller Arbeitsvorgänge entwickelt und evaluiert. In diesem Rahmen ist eine virtuelle Simulationsumgebung entstanden. Der Schwerpunkt ist nicht nur die adäquate Abbildung und Animation von anthropomorphen, virtuellen Arbeitern, sondern auch eine präzise Berechnung von ergonomischen Schlüsselfaktoren auf der Grundlage von anerkannten Bewertungssystemen wie RULA oder EAWS. Mit dem Scanner werden texturierte Meshes für personalisierte Avatare erfasst. 7) Tangible User Interfaces bieten neue Möglichkeiten der Interaktion mit virtuellen Objekten, deren Potential für räumliches Lernen am Beispiel eines bewegungsverfolgten Kunststoffmodells des virtuellen Herzens untersucht wurde. In einer Studie lernten in einem 2 × 2 Faktorial-Design die Teilnehmer (n = 96) die Anatomie des Herzen anhand eines 3D-Modells, das entweder mit einer Maus oder einem greifbaren Proxyobjekt gesteuert wurde, welches mit dem Scanner erzeugt worden ist. 8) Eine vollständig hierarchische Datenbank für die Handhaltung bietet die Möglichkeit, eine große Anzahl von Handposen zu berücksichtigen, während die Konstruktion eine geringe Zeit-Raum-Komplexität erfordert. Tests anhand zweier typischer Algorithmen (Zufallsentscheidungswald und umfassende Suche) zeigen, dass durch die Verwendung einer solchen Datenbank eine bessere Leistung bei den Trainings- und Suchstrategien der Klassifikatoren (zwei Hauptkategorien der Algorithmen im Bereich des maschinellen Lernens) im Vergleich zu herkömmlichen (All-in-One-Layer-) Datenbanken erreicht wird. Der Scanner wurde zum Erfassen von Handposen verwendet. 9) Die Verbesserung der Scanqualität und die Automatisierung der Scans sowie der Verarbeitung der Meshes sind zentrale Aspekte der Forschung mit dem Großgerät. In diesem Rahmen wurde u.a. die zentrale Ansteuerung aller Kameras des 360° Full Body Scanners durch eine dezentrale Lösung ersetzt, bei der jeweils 10-15 DSLR von günstigen Einplatinenrechnern (Raspberry Pi) angesteuert werden. Im Ergebnis können Aufnahmen in sehr kurzen Abständen erfolgen, so dass es nunmehr möglich ist, auch kurze Bewegungssequenzen aufzunehmen. Außerdem ist es möglich, die Beleuchtungssituation zwischen den einzelnen Aufnahmen zu variieren (Blitzgruppen / Projektion). Darauf basierend wird aktuell daran geforscht, die Rekonstruktion durch Projektion zusätzlicher Muster zu unterstützen, ohne dabei die rekonstruierte Farbtextur zu verfälschen.
Publications
- (2016). Combining inverse blending and Jacobian-based inverse kinematics to improve accuracy in human motion generation. Computer Animation and Virtual Worlds, 27. 3-13.
Zhang, Liang & Brunnett, Guido
(See online at https://doi.org/10.1002/cav.1615) - (2016). The Smart Virtual Worker – Digitales Menschmodell für die Simulation industrieller Arbeitsvorgänge
Spitzhirn, Michael & Kronfeld, Thomas & Müller, Nicholas & Truschzinski, Martina & Brunnett, Guido & Hamker, Fred & Dinkelbach, Helge & Ohler, Peter & Protzel, Peter & Rosenthal, Paul & Bullinger-Hoffmann, Angelika
(See online at https://doi.org/10.1007/978-3-662-50459-8_24) - (2016). Von Realen Menschen zu Virtuellen Charakteren: Modellierung und Animation des digitalen Menschmodells „Eva“
Brunnett, Guido & Zhang, Liang & Kronfeld, Thomas
(See online at https://doi.org/10.1007/978-3-662-50459-8_10) - Embodied learning using a tangible user interface: The effects of haptic perception and selective pointing on a spatial learning task, Computers & Education, Volumes 92-93, pp. 64-75 (2016)
Skulmowski, A.; Pradel, S.; Kühnert, T.; Brunnett, G.; Rey, G.D.
(See online at https://doi.org/10.1016/j.compedu.2015.10.011) - (2017). Assisted Motion Control in Therapy Environments Using Smart Sensor Technology: Challenges and Opportunities
Richter, Julia & Wiede, Christian & Apitzsch, André & Nitzsche, Nico & Lösch, Christiane & Weigert, Martin & Kronfeld, Thomas & Weisleder, Stefan & Hirtz, Gangolf
(See online at https://doi.org/10.1007/978-3-319-52322-4_8) - (2017). Fast and accurate creation of annotated head pose image test beds as prerequisite for training neural networks. GI Edition Proceedings Band 275 Informatik 2017, S. 2221-2229
Kowerko, Danny & Manthey, Robert & Heinz, Marcel & Kronfeld, Thomas & Brunnett, Guido
(See online at https://doi.org/10.18420/in2017_221) - Markerlose Skeletterstellung für virtuelle Menschmodelle mit Hilfe eines Bodyscanners. In: Dörner, R. et al. (Hrsg.): Virtuelle und Erweiterte Realität: 14. Workshop der GI-Fachgruppe VR/AR (Berichte aus der Informatik), S. 103-112, Tübingen. Shaker-Verlag 2017 ISBN: 978-3-8440-5606-8
Reber, M.; Brunnett, G.
- (2018). Semi-Automatic Task Planning of Virtual Humans in Digital Factory Settings. Computer-Aided Design and Applications. 16
Winter, Martin & Kronfeld, Thomas & Brunnett, Guido
(See online at https://doi.org/10.14733/cadaps.2019.688-702) - KaraKter - an autonomously interacting Karate kumite character for VR-based training and research. In: Computers & Graphics – Vol 72, 2018 pp. 59-69
Zhang, L.; Brunnett, G.; Petri, K.; Danneberg, M.; Masik, St.; Bandow, N.; Witte, K.
(See online at https://doi.org/10.1016/j.cag.2018.01.008) - Multi-Forest Classification and Layered Exhaustive Search Using a Fully Hierarchical Hand Posture/Gesture Database. In Proceedings of the 13th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, ISBN 978-989-758-290-5, pages 121-128, 2018
Dadgar, A.; Brunnett, G.
(See online at https://doi.org/10.5220/0006591601210128)
