FOR 5336:  KI-FOR Lernen optimaler Bilddatensensorik

• Fachliche Zuordnung: Informatik, System- und Elektrotechnik
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 459284860

Das vergangene Jahrzehnt hat gezeigt, dass eine große Mehrheit von Visual Computing Problemen eine signifikant bessere Lösung zulassen, wenn die vollständige visuelle Datenanalyse in einem Schritt gelernt wird: Die Ära des Deep Learnings hat so vorherige sequentielle Datenverarbeitungsansätze, in denen geeignete Merkmale per Hand modelliert und in einem zweiten Schritt ein Lernverfahren für die Analyse bzw. Klassifikation verwendet wird, nahezu vollständig abgelöst. Dieses sogenannte end-to-end Lernen betrachtet jedoch die von einem Sensorsystem gelieferten Bilddaten als Anfang der Prozesskette. Diese Betrachtung vernachlässigt, dass die Bilddaten selbst das Resultat eines vorgelagerten Prozesses mit vielen Designentscheidungen und adaptiven Kontrollmöglichkeiten im zugrundeliegenden Sensorsystem sind. Entsprechend stellen auch heutige end-to-end Lernverfahren im Wesentlichen noch sequentielle Verfahren dar, in denen zunächst ein Sensorsystem entworfen und, in einem zweiten separaten Schritt, die damit aufgenommenen Daten anschließend analysiert werden. Das Ziel der "Learning to Sense" (L2S) Forschungsgruppe ist es, die Designparameter des Sensorsystems gemeinsam mit dem für die Analyse zuständigen Netzwerk für konkrete Aufgaben zu optimieren. Hierzu wird eine durchgängige end-to-end Methodik für das maschinelle Lernen von Sensorsystemen entstehen, die für spezifischen Nutzungsanwendungen optimiert sind. Entsprechend wird das L2S Projekt Grundlagenforschung in beiden Bereichen, der Sensorsystementwicklung und dem maschinellen Lernen, durchführen: Sensorsysteme müssen adaptiv gestaltet werden, um vielversprechende Freiheitsgrade für die Optimierung zu generieren, und Methoden des Maschinellen Lernens müssen so entwickelt werden, dass Parameter eines neuronalen Netzwerkes gemeinsam mit adaptiven Sensorsystemparametern optimiert werden können. Langfristig entsteht so eine neue Methodik für die gemeinsame Entwicklung von Sensorsystemen und datenanalysierenden Netzwerken mit optimalen Charakteristiken für konkrete Aufgaben. Die resultierenden Systeme werden eine substantiell effizientere und präzisere Szenenanalyse erlauben und manuelle Eingriffe in Designentscheidungen des Sensorsystems minimieren.

• DFG-Verfahren: Forschungsgruppen
• Internationaler Bezug: Frankreich

Projekte

• 3D L2S-Mikroskopie für ungefärbte Zellhaufen (Antragsteller Ihrke, Ivo )
• Architekturen für nicht-bildgebende L2S Computer-Vision Systeme (Antragsteller Blanz, Volker )
• Interpretierbare und Robuste L2S-Optimierung (Antragstellerin Keuper, Margret )
• Kohärente L2S THz Bildgebungssysteme (Antragsteller Haring Bolívar, Peter )
• Koordinationsfonds (Antragsteller Möller, Michael )
• L2S für CMOS-Bildsensor-Design und Überbrückung der Lücke (Antragsteller Choubey, Bhaskar )
• L2S-Training mit stetig veränderbaren Sensorsystemparametern und irregulären Daten (Antragsteller Möller, Michael )
• Vorwärts- und differenzierbare Simulation von L2S Sensordaten (Antragsteller Kolb, Andreas )

• Sprecher: Professor Dr. Michael Möller