Architekturen für nicht-bildgebende L2S Computer-Vision Systeme

• Antragsteller: Professor Dr. Volker Blanz
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 459284860

Das Hauptziel der Learning-to-Sense (L2S) Forschungsgruppe ist es, Verfahren zu entwickeln, mit denenKombinationen aus anwendungsspezifischen Sensoren und neuronalen Netzwerken in Bezug auf ihr Design und ihre Systemparameter gemeinsam optimiert werden können.In diesem Teilprojekt untersuchen und implementieren wir L2S Architekturen und Algorithmen des maschinellen Lernens (ML) für eine Reihe von neuartigen Sensortypen, die wir gemeinsam mit den Projektpartnern entwickeln. Die Sensoren sind für sichtbares Licht und für mm-Wellen und THz Synthetic Aperture Radar (SAR).Das gemeinsame Merkmal der vorgeschlagenen Sensoren ist, dass sie (a) nicht bildgebend sind, was sie von Kameras und vielen konventionellen Sensoren unterscheidet, und (b) dass sie differentielle, kontrast-basierte Messgrößen verwenden. Die Sensoren für sichtbares Licht sind zum Teil motiviert durch die Eigenschaften des menschlichen visuellen Systems, und sie versprechen verbesserte Ergebnisse in Umgebungen mit hohem Dynamikumfang (HDR). Wir planen, Sensoren zu konstruieren, deren rezeptive Felder eine center-surround Charakteristik sowie eine Gegenfarb-Kodierung aufweisen wie retinale Ganglienzellen, und die räumliche und zeitliche Ableitungen analog auf dem Chip berechnen. In der Forschungsgruppe entwickeln wir auch foveale Sensoren, und der Fokus dieses Teilprojektes liegt auf differentiellen Sensordaten aus dem peripheren Blickfeld bei geringer räumlicher Abtastung. Für mm-Wellen und THz-SAR entfernt der vorgeschlagene differentielle Sensor einen beträchtlichen Teil des Hintergrundsignals, das sich aus direkten Reflektionen und Mehrfachpfad-Streuung zusammensetzt. Diese Sensordaten vereinfachen die inversen Probleme, die sich beim maschinellen Sehen stellen.Im Unterschied zu konventionellen Kameras und vielen Sensoren, die auf Grundlage der erzielten Bildqualität optimiert werden können, kommt für die nicht-bildgebenden Sensorsysteme nur ein Ende-zu-Ende Training mit konkreten ML-Aufgaben zur Optimierung und zum Training in Frage. Wir erforschen solche Problemstellungen im Zusammenhang mit Gesichts- und Fußgängerdetektion, Optischem Fluss, peripherem Sehen und der Lokalisierung von Strukturen in mm-Wellen und THz-SAR. Die Resultate dieses Projektes tragen zur allgemeinen Entwicklung des L2S Paradigmas bei und liefern mehrere neuartige experimentelle Ansätze im Bereich des maschinellen Sehens.

• DFG-Verfahren: Forschungsgruppen
• Teilprojekt zu: FOR 5336: KI-FOR Lernen optimaler Bilddatensensorik