Holistic Scene Understanding
Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
Final Report Abstract
Als wesentliche wissenschaftliche Fortschritte möchte die methodischen Entwicklungen im Bereich deep learning hervorheben. Insbesondere die Entwicklungen im Bereich der Szenengraphengenerierung und die Kombination von semantischen Labels (aus Text oder Sprachkorpora) für die Extraktion von Relationen zwischen Bilddetektionen ist für mich ein neues Feld, was wir in Zukunft verstärkt bearbeiten werden. Eine Hauptmotivation dabei ist der sogenannte visual Turing test, wo graphbasierte Bildrepräsentationen helfen können um relationale Fragen an ein Bild resp. Computer semantisch angemessen beantworten zu können. Während in früheren Arbeiten Relationen u.a. über gemischt-ganzzahlige lineare Programme gelöst wurden, haben wir in dieser Arbeit eine Formulierung als gewöhnliche Differentialgleichung (ODE) vorgeschlagen. Die von uns aufgebaute Architektur führt eine Szenengraphen-Inferenz durch, indem sie eine neuronale Variante einer gewöhnlichen Differentialgleichung durch eine End-to-End-Framework löst. Wir erreichen damit State-of-the-Art-Ergebnisse bei den typischem Szenen-Graphen Benchmark-Aufgaben, der Generierung von Szenengraphen (SGGen), der Klassifizierung (SGCls) und Erkennung von visuellen Beziehungen (PredCls), u.a. beim Visual Genome-Benchmark.
Publications
- Descriptor evaluation and feature regression for multimodal image analysis. Machine Vision and Applications, 2015
Xuanzi Yong, Michael Ying Yang, Yanpeng Cao, and Bodo Rosenhahn
(See online at https://doi.org/10.1007/s00138-015-0714-x) - Temporally object-based video co-segmentation. In International Symposium on Visual Computing (ISVC), 2015
Michael Ying Yang, Matthias Reso, Jun Tang, Wentong Liao, and Bodo Rosenhahn
(See online at https://doi.org/10.1007/978-3-319-27857-5_18) - Can Ground Truth Label Propagation from Video help Semantic Segmentation? In ECCV Workshop on Video Segmentation, 2016
Siva Mustikovela, Michael Ying Yang, and Carsten Rother
(See online at https://doi.org/10.1007/978-3-319-49409-8_66) - Efficient Semantic Segmentation of Man-Made Scenes Using Fully-Connected Conditional Random Field. In International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences; ISPRS Congress, 2016
Weihao Li and Michael Ying Yang
(See online at https://doi.org/10.5194/isprs-archives-XLI-B3-633-2016) - Real-time RGB-D based template matching pedestrian detection. In International Conference on Robotics and Automation (ICRA), 2016
Omid Hosseini and Michael Ying Yang
(See online at https://doi.org/10.1109/ICRA.2016.7487767) - Superpixel Cut for Figure-Ground Image Segmentation. In ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences; ISPRS Congress, 2016
Michael Ying Yang and Bodo Rosenhahn
(See online at https://doi.org/10.5194/isprsannals-III-3-387-2016) - Unsupervised Deep Domain Adaptation for Pedestrian Detection. In ECCV Workshop on Crowd Understanding, 2016
Lihang Liu, Weiyao Lin, Lisheng Wu, Yong Yu, and Michael Ying Yang
(See online at https://doi.org/10.1007/978-3-319-48881-3_48) - Analyzing Modular CNN Architectures for Joint Depth Prediction and Semantic Segmentation. In International Conference on Robotics and Automation (ICRA), 2017
Omid Hosseini, Oliver Groth, Alexander Kirillov, Michael Ying Yang, and Carsten Rother
(See online at https://doi.org/10.1109/ICRA.2017.7989537) - On Support Relations and Semantic Scene Graphs. ISPRS Journal of Photogrammetry and Remote Sensing, Elsevier, 131: 15-25, 2017
Michael Ying Yang, Wentong Liao, Hanno Ackermann, and Bodo Rosenhahn
(See online at https://doi.org/10.1016/j.isprsjprs.2017.07.010) - Security event recognition for visual surveillance. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, ISA17, 2017
Wentong Liao, Chun Yang, Michael Ying Yang, and Bodo Rosenhahn
(See online at https://doi.org/10.5194/isprs-annals-IV-1-W1-19-2017) - Triplet-based Deep Similarity Learning for Person Re-Identification. In ICCV Workshop on Multi- Sensor Fusion for Dynamic Scene Understanding, 2017
Wentong Liao, Michael Ying Yang, Ni Zhan, Bodo Rosenhahn
(See online at https://doi.org/10.1109/ICCVW.2017.52) - Video event recognition and anomaly detection by combining gaussian process and hierarchical dirichlet process models. Photogrammetric Engineering & Remote Sensing, 2018
Michael Ying Yang, Wentong Liao, Yanpeng Cao, and Bodo Rosenhahn
(See online at https://doi.org/10.14358/PERS.84.4.203) - Multimodal fusion architectures for pedestrian detection. Multimodal Scene Understanding: Algorithms, Applications and Deep Learning, 2019
Dayan Guan, Jiangxin Yang, Yanlong Cao, Michael Ying Yang, and Yanpeng Cao
(See online at https://doi.org/10.1016/B978-0-12-817358-9.00011-1) - Natural Language Guided Visual Relationship Detection. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2019
Wentong Liao, Bodo Rosenhahn, Lin Shuai, and Michael Ying Yang
(See online at https://doi.org/10.1109/cvprw.2019.00058) - Unsupervised domain adaptation for multispectral pedestrian detection. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2019
Dayan Guan, Xing Luo, Yanpeng Cao, Jiangxin Yang, Yanlong Cao, George Vosselman, and Michael Ying Yang
(See online at https://doi.org/10.1109/CVPRW.2019.00057) - Vehicle Detection in Aerial Images. Photogrammetric Engineering & Remote Sensing, 2019
Michael Ying Yang, Wentong Liao, Xinbo Li, Yanpeng Cao, and Bodo Rosenhahn
(See online at https://doi.org/10.14358/PERS.85.4.297)
