Auf Menschen fokussiertes visuelles Erkennen und Verstehen von Szenen

• Antragsteller: Professor Dr. Jürgen Gall
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2013 bis 2017
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 229087185

Damit eine Beobachtung interpretiert werden kann, müssen verschiedene Aspekte analysiert werden: Ähnlichkeit der Objekte, Kategorisierung der Objekte, Funktionalität der Objekte und Handlungen von Personen. Während visuelle Daten wie Bilder und Videos von Menschen effizient interpretiert werden können, haben Computer immer noch große Probleme damit. Dies zeigt, dass existierende Lernalgorithmen und Objektrepräsentationen unzureichend für das Verstehen von Szenen sind. Zum Beispiel wird eine Methode zum Erkennen einer bestimmten Objektkategorie auf tausenden Bildern trainiert, die Abbildungen von Objekten derselben Kategorie beinhalten. Obwohl eine derartige Methode vielleicht sogar mehr Beispiele verarbeitet als ein Mensch sieht, ist sie nicht in der Lage die intrinsische Ähnlichkeit der Objektkategorie zu lernen. Somit fehlt die Voraussetzung Objekte zuverlässig zu kategorisieren. Objektkategorien können jedoch – analog zur menschlichen Lernweise – nicht nur von Bildern gelernt werden, sondern auch von kontinuierlichen Datenströmen. Insbesondere die Interaktion zwischen Mensch und Objekt enthält wichtige Hinweisreize wie Handbewegungen oder Veränderungen des Objektes während der Benutzung. Den förderlichen Effekt dieser Hinweisreize für das Verstehen von Szenen beabsichtigen wir in diesem Projekt zu untersuchen. Das Hauptaugenmerk liegt dabei auf dem Verstehen und Erlernen intrinsischer Ähnlichkeiten visueller Kategorien unter Berücksichtigung von diesen zusätzlichen Hinweisreizen. Letztendlich soll ein System entwickelt werden, das visuelle Datenströme automatisch verarbeitet, um daraus menschliche Bewegungen und Objekte, mit denen Menschen interagieren, zu extrahieren. Des weiteren soll das System die Ähnlichkeit der Objekte und deren Funktionalität erlernen.

• DFG-Verfahren: Emmy Noether-Nachwuchsgruppen