Situated Vision to Perceive Object Shape an Affordances

• Applicants: Professorin Dr. Simone Frintrop; Professor Dr. Bastian Leibe
• Co-Applicants: Professorin Barbara Caputo, Ph.D.; Professor Dr. Markus Vincze
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2011 to 2016
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 173793293

Ziel dieses Projekts ist es, Modelle und Methoden zu erarbeiten, um die dreidimensionale Form und Affordanzen von alltäglichen Objekten zu erfassen und zu kategorisieren. Zur Lösung entwickeln wir das Paradigma des ”situierten Sehens” - die 3D Wahrnehmung der Umgebung aus der Sicht des Roboters. Dieser Ansatz verwendet neue Erkenntnisse der Kognitions- und Neurowissenschaften: durch die Fusion von Bildmerkmalen wird es möglich, 3D-Formelemente zu extrahieren, zu gruppieren und in Relation zu Affordanzkategorien zu stellen. Visuelle Aufmerksamkeit und aufgabenorientierte Suche konzentrieren die Verarbeitung auf relevante Szenenbereiche. Die Analyse der Formelemente wird verwendet, um semantische 3D-Konzepte wahrzunehmen, z.B. “stellbare Fläche”, und zu lernen, welche Elemente Affordanzkategorien bilden. Wir zeigen die Allgemeingültigkeit des Ansatzes anhand einer Evaluierung in drei Wohnungen mit variierender Komplexität. Vier renommierte Gruppen mit Expertisen in verschiedenen Bereichen haben sich zusammengeschlossen, um dieses Vorhaben zu realisieren: visuelle Aufmerksamkeit, Kategorisierung, Formwahrnehmung und Lernen sind notwendig um dieses neue Paradigma der Wahrnehmung für kognitive Systeme eingehend zu erforschen.

• DFG Programme: Research Grants
• International Connection: Austria, Switzerland
• Partner Organisation: Fonds zur Förderung der wissenschaftlichen Forschung (FWF); Schweizerischer Nationalfonds (SNF)