RoboFish: Mixed Shoals of Live Fish and Interactive Robots for the Analysis of Collective Behavior in Fish

• Applicant: Professor Dr. Tim Landgraf
• Subject Area: Automation, Mechatronics, Control Systems, Intelligent Technical Systems, Robotics ; Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing ; Bioinformatics and Theoretical Biology
• Term: from 2017 to 2022
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 384108678

• Final Report Year: 2022

Final Report Abstract

Kollektives Verhalten entsteht aus einfachen interindividuellen Regeln. Fisch- oder Vogelschwärme können mit einfachen Regeln modelliert werden: Wenn dein nächster Nachbar weit weg ist: nähere dich ihm - und werde abgestoßen, wenn er zu nahe ist. In der Natur können jedoch viele Faktoren diese allgemeinen Regeln beeinflussen, und es bleibt weitgehend unklar, wie. Tiere unterscheiden sich (epi-)genetisch, physiologisch, und in ihren Erfahrungen - kein Wunder, dass sie sich in ihrem Sozialverhalten unterscheiden. Wie können wir diese komplexeren Regeln modellieren, und wie können wir diese Modelle validieren? Im Projekt RoboFish haben wir uns zum Ziel gesetzt, Hardware und Software zu entwickeln, um diese Fragen zu untersuchen. Ein oder mehrere Roboterfische ersetzen die Sozialpartner von lebenden Fischen und agieren als Artgenossen. So können wir alte und neue Modelle der interindividuellen Regeln in der realen Welt testen und die Rückkopplungsschleifen zwischen den Sozialpartnern entkoppeln oder kontrollieren. Wir haben zunächst einige fehlende Funktionen des bereits vorhandenen Prototyps implementiert. Wir bauten ein stabiles Gestell, einen Wassertank, viele zweirädrige Roboter, Lichter, Kameras, Pumpen und Heizelemente. Die Roboter sind über Magnete mit 3D-gedruckten Guppys gekoppelt und fahren kabellos unter dem Tank. Im Inneren des Tanks können die künstlichen Fische mit ihren lebenden Gegenstücken interagieren. Die Kameras liefern Informationen darüber, wo sich jeder Fisch befindet, so dass die Roboter in einem geschlossenen Regelkreis gesteuert werden können. Wir haben das erste adaptive Echtzeitverhalten für Roboterfische implementiert. Die Aufgabe des Roboters war es, den Fisch so lange wie möglich anzuführen. Wir messen in Echtzeit, wie stark der lebende Fisch ausweicht, wenn sich der Roboter nähert. Der Roboter reagiert darauf, indem er sich vorsichtiger nähert. Wir haben diesen "sozial kompetenten" Roboter mit zwei nicht kompetenten Kontrollen verglichen und festgestellt, dass der adaptive Roboter ein besserer Anführer ist, weniger Ausweichverhalten verursacht, Fische länger rekrutiert und effektiver ist (mit weniger Versuchen erfolgreich). Aufgrund der Pandemie war die meiste Arbeit im Labor unmöglich. Wir konzentrierten uns auf die Analyse von Daten und die Modellierung von Verhalten mit einer Vielzahl von klassischen und Deep-Learning-Ansätzen. Wir haben erfolgreich eine Reinforcement Learning-Umgebung entwickelt, in der Roboter für die Interaktion mit den von uns entwickelten Fischmodellen trainiert werden können. In Zukunft wollen wir untersuchen, wie sich RL-Maßnahmen auf die reale Welt übertragen lassen und welche Strategien sie zur Lösung ihrer Aufgaben einsetzen. Ein entscheidender Teil dieser Analyse ist die Verwendung von interpretierbaren/erklärbaren ML-Modellen. Auf diese Weise können wir besser verstehen, was Fischmodelle und Roboterstrategien aus den empirischen Daten gelernt haben. Dies wird schließlich zu neuen Hypothesen bezüglich der Regeln innerhalb von Fischschwärmen führen. Das RoboFish-System kann für eine Vielzahl von Forschungsfragen eingesetzt werden. Es dient als methodische Grundlage für Kooperationen mit Biologen in Berlin und Bonn sowie Robotikern in Belgien und den Niederlanden. RoboFish wurde in mehreren populären Artikeln im Internet und im Fernsehen vorgestellt (siehe SI 2) und ist ein ständiges Exponat im Humboldt Forum in Berlin.

Publications

• (2018). BioTracker: An Open-Source Computer Vision Framework for Visual Animal Tracking
  Mönck, H. J. et al.
  
• (2020). Group-level patterns emerge from individual speed as revealed by an extremely social robotic fish. Biology Letters, 16(9), 20200436
  Jolles, J. W. et al.
  
• (2020). Guppies Prefer to Follow Large (Robot) Leaders Irrespective of Own Size. Frontiers in Bioengineering and Biotechnology, 8
  Bierbach, D. et al.
  
• (2020). Robofish as Social Partner for Live Guppies. Biomimetic and Biohybrid Systems (pp. 270–274). Springer International
  Musiolek, L. et al.
  
• (2020). Socially competent robots: adaptation improves leadership performance in groups of live fish
  Landgraf, T. et al.
  
• (2021). Animal-in-the-Loop: Using Interactive Robotic Conspecifics to Study Social Behavior in Animal Groups. Annual Review of Control, Robotics, and Autonomous Systems, 4(1), 487–507
  Landgraf, T. et al.
  
• (2021). Biomimetic robots promote the 3Rs Principle in animal testing. ALIFE 2021: The 2021 Conference on Artificial Life, MIT Press
  Bierbach, D. et al.
  
• (2021). Impact of Variable Speed on Collective Movement of Animal Groups. Frontiers in Physics, 9
  Klamser, P. P. et al.
  
• (2022). Live fish learn to anticipate the movement of a fish-like robot. Bioinspiration & Biomimetics, 17(6), 065007
  Bierbach, D. et al.