Echtzeitbildverarbeitung und -bewegungsplanung für einen ballfangenden humanoiden Roboter
Zusammenfassung der Projektergebnisse
Dieses Projekt hatte als praktisches Ziel einem humanoiden Roboter mit Rädern das gleichzeitige Fangen zweier zugeworfener Bälle beizubringen. Dabei wurden zwei Fragestellungen untersucht, die von allgemeiner Bedeutung auch jenseits der konkreten Demonstration sind: Zum einen: Wie kann aus den Bildern einer bewegten Kamera ein Objekt, hier ein Ball, erkannt und in Echtzeit in seiner Bewegung vorhergesagt werden und wie kann das Wissen über die Bewegungsgesetze des Balles genutzt werden, um die Erkennung zu verbessern. Dies ist möglich, indem man die Bewegung der Kamera mit einem Inertialsensor misst und die Erkennung und das Verfolgen als eine gemeinsame Optimierung statt zweier getrennter Schritte formuliert. Echtzeit erreicht man, indem man die mathematischen Eigenschaften dieses Optimierungsproblemes geschickt ausnutzt. Zum anderen: Wie kann in Echtzeit eine zielgerichtete Bewegung eines komplexen Roboters mit zahlreichen Freiheitsgraden geplant werden, insbesondere wenn das Ziel nicht einfach eine vorgegebene Position ist, sondern wie das Fangen eines Balles Freiheiten lässt. Dies ist möglich durch eine Formulierung der Bewegung als Optimierungsproblem, mit den Nebenbedingungen, dass a) die Hand im Fangzeitpunkt am Ort des Balles in der richtigen Ausrichtung ist, b) die Grenzen des Roboters bzgl. Geschwindigkeit und Beschleunigung eingehalten werden und c) die Bewegung zu keiner Kollision führt. Echtzeit ermöglichte die Parallelisierung auf einem Rechnercluster. Die Arbeiten in diesem Projekt haben eine ausgesprochen positive öffentliche Resonanz gefunden. Im wissenschaftlichen Bereich war das Gesamtsystem "Best Video Award - Finalist" auf der ICRA 2011, der Kollisionstest war "Best Student Paper Award - Finalist" auf der IROS 2011 und die Selbstkalibrierung war "Best Computer Vision Paper Award - Finalist" auf der ICRA 2011, den führenden Robotikkonferenzen. Das System wurde zu verschiedensten Gelegenheiten Besuchern demonstriert. In allen Fällen hat das sportliche Verhalten des Roboters große Begeisterung hervorgerufen und zu Diskussionen angeregt. Dazu passend wurde das Video über 350000 mal auf Youtube angesehen und die Demonstration in verschiedenen Fernsehsendungen und Webblogs auch international gezeigt. Dieser Erfolg bestätigt nach unserer Meinung, was schon im Antrag die Motivation für Ballfangen als Benchmarkanwendung zusätzlich zur wissenschaftlich-methodischen Herausforderung war: "Einmal ist eine derartige Vorführung ungemein faszinierend, besonders für das fachfremde Publikum. Menschen sind Meister sportlicher Betätigung, von daher können selbst Laien unmittelbar und zutreffend beurteilen, wie gut ein Roboter bei der Ausübung eines Sports ist oder vielmehr, wie weit er noch vom menschlichen Vorbild entfernt ist. Wir sehen darin einen durchaus wichtigen Beitrag für die Robotik und sogar einen kulturellen Beitrag insgesamt, weil so in einer sachlichen Art die Auseinandersetzung über das Verhältnis zwischen Mensch und Maschine gefördert wird."
Projektbezogene Publikationen (Auswahl)
- Kinematically Optimal Catching a Flying Ball with a Hand-Arm-System. In: Proceedings of the lEEE/RSJ International Conference on Intelligent Robots and Systems, Seiten 2592-2599, Taipei, Taiwan, 2010
Bäuml, Berthold, Thomas Wimböck, Gerd Hirzinger
- Catching Flying Balls and Preparing Coffee: Mobile Humanoid Rollin' Justin Perfoms Dynamic and Sensitive Tasks. In: Proceedings of the IEEE International Conference on Robotics and Automation, Seiten 3443-3444, Shanghai, China, 2011. Best Video Award - Finalist
Bäuml, Berthold, Florian Schmidt, Thomas Wimböck, Oliver Birbach, Alexander Dietrich, Matthias Fuchs, Werner Friedl, Udo Frese, Christoph Borst, Markus Grebenstein, Oliver Eiberger, Gerd Hirzinger
- Catching Flying Balls with a Mobile Humanoid: System Overview and Design Considerations. In: Proceedings of the lEEE-RAS International Conference on Humanoid Robots, Seiten 513-520, Bled, Slovenia, 2011
Bäuml, Berthold, Oliver Birbagh, Thomas Wimböck, Udo Frese, Alexander Dietrich, Gerd Hirzinger
- Rapid Development of Manifold-Based Graph Optimization Systems for Multi-Sensor Calibration and SLAM. In: Proceedings of the lEEE/RSJ International Conference on Intelligent Robots and Systems, Seiten 3305-3312, San Francisco. USA, 2011
Wagner, René, Oliver Birbach, Udo Frese
- Real-time swept volume and distance computation for self collision detection. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Seiten 1585-1592, San Francisco, USA, 2011. Best Student Paper Award - Finalist
Täubig, Holger, Berthold Bäuml, Udo Frese
- Realtime Perception for Catching a Flying Ball with a Mobile Humanoid. In: Proceedings of the IEEE International Conference on Robotics and Automation, Seiten 5955-5962, Shanghai, China, 2011
Birbach, Oliver, Udo Frese, Berthold Bäuml
- Automatic and Self-Contained Calibration of a Multi-Sensorial Humanoid's Upper Body. In: Proceedings of the IEEE International Conference on Robotics and Automation, Seiten 3103-3108, Saint Paul, USA, 2012. Best Computer Vision Paper Award - Finalist
Birbach, Oliver, Berthold Bäuml, Udo Frese
- Real-time Continuous Collision Detection for Mobile Manipulators - A General Approach. In: Proceedings of the IEEE-RAS International Conference on Humanoid Robots, Seiten 461-468, Osaka, Japan, 2012
Täubig, Holger, Berthold Bäuml, Udo Frese
- A Precise Tracking Algorithm Based on Raw Detector Responses and a Physical Motion Model. In: Proceedings of the IEEE International Conference on Robotics and Automation, Karlsruhe, Germany, 2013
Birbach, Oliver, Udo Frese
