Geometrie-Repräsentation für die Deep Learning basierte Analyse, Modellierung und Rekonstruktion von Objekten

• Antragsteller: Professor Dr. Leif Kobbelt
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 449823330

Digitale 3D-Modelle sind in einem breiten Spektrum verschiedener Anwendungen unverzichtbar, die von Industriedesign, digitalen Medien und Entertainment bis hin zu virtueller Realität und 3D-Druck reichen. Für die traditionelle 3D-Modellerstellung müssen die Benutzer viel Zeit in professionelle CAD-Software investieren und/oder teure Geräte wie Laserscanner anschaffen. Mit der zunehmenden Verfügbarkeit großer 3D-Modelldatenbanken im Internet in den letzten Jahren wird ein Paradigmenwechsel vom klassischen geometrischen Design hin zu datengesteuerten Ansätzen möglich, bei denen ein intelligentes Modellierungs-System den Benutzer unterstützt, indem es (statistisches) Wissen nutzt, das aus bereits vorhandenen Entwürfen abgeleitet wurde. Jüngste Fortschritte im Bereich des Deep Learnings sind sehr vielversprechend und nähren die Hoffnung, dass ähnliche Durchbrüche für geometrische Aufgaben erwartet werden können. Allerdings unterscheiden sich 3D-Modelle in einer Reihe von Aspekten stark von 2D-Bildern oder Videos. 3D-Modelle (volumetrisch oder B-rep) können eine komplexe Topologie und Struktur, Details und Merkmale über mehrere Größenordnungen hinweg und Hilfsattribute wie z.B. Texturen aufweisen. Etablierte Geometriedarstellungen für Deep Learning Anwendungen unterstützen nicht alle diese Aspekte gleichzeitig. Daher beabsichtigen ICT-CAS und RWTH, dieses Thema in einer internationalen Zusammenarbeit gründlich zu behandeln.(1) Wir werden eine neuartige Repräsentation von 3D-Geometrie untersuchen, die hierarchische Zusammensetzung (Struktur) mit Geometrieverformung (Form) und Attributabbildung (Aussehen) kombiniert. Die Darstellung wird sich für eine effiziente und effektive Verarbeitung mit tiefen neuronalen Netzen eignen.(2) Mit dieser Darstellung werden wir eine Reihe grundlegender Low-Level-Operationen wie Segmentierung und Klassifikation, Formabstraktion und Matching sowie Symmetrieanalyse entwickeln.(3) Diese grundlegenden Operationen werden es uns ermöglichen, anspruchsvolle Aufgaben auf höherer Ebene zu lösen, wie z.B. die 3D Rekonstruktion aus Einzelansichten und anspruchsvolle (interaktive) datengetriebene 3D-Modellierungswerkzeuge, die den Benutzer unterstützen, indem sie die Intention des Benutzers interpretieren und plausible 3D-Modelle datengetrieben auf der Grundlage von (statistischem) Wissen aus großen Datenbanken von Objekten erstellen.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: China
• Partnerorganisation: National Natural Science Foundation of China
• Kooperationspartner: Professor Lin Gao, Ph.D.