Teleoperation über 5G Kommunikationsnetze: Erweiterung mobiler audiovisueller Kommunikation durch haptische Interaktion
Zusammenfassung der Projektergebnisse
Teleoperationssysteme mit haptischer Rückkopplung ermöglichen das Eintauchen eines menschlichen Benutzers in eine entfernte oder schwer zugängliche Umgebung, um komplexe Interaktion spürbar zu machen. Haptische Kommunikation hat das Potenzial, die Mensch-Mensch- bzw. Mensch-Maschine-Interaktion zu revolutionieren. In letzter Zeit haben regelungsorientierte Kommunikationslösungen über 5G-Mobilfunknetze, auch als Tactile Internet (TI) bezeichnet, erhebliche Aufmerksamkeit in der Forschung gewonnen. Die Kommunikation mit geringer Latenz, hoher Abdeckung und Zuverlässigkeit sowie verbessertem Durchsatz machen das TI sehr geeignet für Teleoperationsanwendungen mit haptischem Feedback. Aus Anwendungssicht wird die Qualität der Teleoperation stark von den verwendeten haptischen Kommunikationslösungen und der Dienstgüte (QoS) des zugrundeliegenden 5G-Netzes beeinflusst. Bisher gibt es weder eine systematische Untersuchung der bevorzugten haptischen Kommunikationsansätze für unterschiedliche QoS-Bedingungen noch verallgemeinerbare Ergebnisse über die erforderliche QoS, um eine bestimmte Teleoperationsqualität zu erreichen. In diesem Projekt wurden eine Reihe von Lösungen für die zeitverzögerte Teleoperation über Kommunikationsnetze entwickelt, die wahrnehmungsmodellbasierte Ansätze zur haptischen Datenreduktion mit stabilitätssichernden Regelungsverfahren kombinieren. Wir haben untersucht, wie sich diese Kombinationen auf die Teleoperationsleistung für verschiedene QoS- und Aufgabenanforderungen auswirken. Darüber hinaus wurde die subjektiv bestmögliche Teleoperationsqualität als Funktion verschiedener Stabilisierungsmechanismen und der QoS Unterstützung im Netz bestimmt. Gemäß der vorgeschlagenen Qualitätsbewertung haben wir ein Ressourcenzuweisungsschema entwickelt, um die bestmögliche Quality-of-Experience (QoE) für Teleoperationssitzungen zu erreichen, die sich ein Kommunikationsnetz teilen. Ausgewählte Projektergebnisse sind in die IEEE Standardisierung P1918.1.1 (Haptic Codecs for the Tactile Internet) eingeflossen. Bei der Durchführung dieses Projekts waren mehrere Herausforderungen zu bewältigen. Bei der Kombination verschiedener Regelungsansätze mit kinästhetischen Datenreduktionsverfahren, wurde beobachtet, dass die verwendete Datenreduktion zu einem unnötig konservativen passiven Betriebspunkt und deutlich wahrnehmbaren Qualitätsverlusten führt. Der Effekt ist noch stärker ausgeprägt, wenn sich die Paketverlustrate oder Kommunikationsverzögerung erhöht. Unter Kenntnis der Netzparameter kann diese Verzerrung durch die Einführung von Energiekompensationsverfahren abgeschwächt, aber nicht vollständig eliminiert werden. Bei der Implementierung der vorgeschlagenen Ansätze in realen Teleoperationssystemen wurde darüber hinaus festgestellt, dass die Verfahren an unterschiedliche Geräte angepasst werden müssen. Wir sehen zwei wichtige zukünftige Anwendungen für die Projektergebnisse. Erstens erwarten wir für die Zukunft eine zunehmende Nutzung von Teleoperation für Fertigkeitstraining, telemedizinische Anwendungen, teleoperiertes Fahren, und Teleassistenzsysteme. Die vorgeschlagenen haptischen Regelungs- und Kommunikationslösungen können hierbei eingesetzt werden, um die Kernherausforderungen beim Betrieb von Teleoperationssystemen über öffentliche Netze zu bewältigen. Zweitens bieten der maßgeblich mitgestaltete Standard für die haptische Codierung sowie die entwickelte Referenzsoftware eine „Plug-and-Play-Teleoperationssystem“-Lösung und ein Testbed auf das zukünftige Arbeiten aufbauen können. Dies ist insbesondere für Forscher interessant, die auf Erweiterungen und Verbesserungen modernster Teleoperationstechnologien abzielen.
Projektbezogene Publikationen (Auswahl)
- “QoE-Driven Uplink Scheduling for Haptic Communications over 5G Enabled Tactile Internet,” IEEE International Symposium on Haptic Audio-Visual Environments and Games, Dalian, China, September 2018
Liu, Siwen; Li,Molin; Xu, Xiao; Liu, Qian; Steinbach, Eckehard
(Siehe online unter https://doi.org/10.1109/HAVE.2018.8547503) - “Toward Haptic Communications Over the 5G Tactile Internet,” IEEE Communications Surveys & Tutorials 20 (4), 2018, 3034-3059
Antonakoglou, Konstantinos; Xu, Xiao; Steinbach, Eckehard; Mahmoodi, Toktam; Dohler, Mischa
(Siehe online unter https://doi.org/10.1109/COMST.2018.2851452) - “Elimination of Cross-dimensional Artifacts in the Multi-Dof Time Domain Passivity Approach for Time-delayed Teleoperation with Haptic Feedback,” IEEE World Haptics Conference, Tokyo, Japan, July 2019 [best paper award]
Xiao Xu, E. Steinbach
(Siehe online unter https://doi.org/10.1109/WHC.2019.8816074) - “Haptic Codecs for the Tactile Internet,” Proceedings of the IEEE 107 (2), 2019, 447-470
Steinbach, Eckehard; Strese, Matti; Eid, Mohamad; Liu, Xun; Bhardwaj, Amit; Liu, Qian; Al-Ja'Afreh, Mohammad; Mahmoodi, Toktam; Hassen, Rania; El Saddik, Abdulmotaleb; Holland, Oliver
(Siehe online unter https://doi.org/10.1109/JPROC.2018.2867835) - “Haptic Data Reduction for Timedelayed Teleoperation Using the Input-to-State Stability Approach,” IEEE World Haptics Conference, Tokyo, Japan, July 2019
Xu, Xiao; Liu, Qian; Steinbach, Eckehard
(Siehe online unter https://doi.org/10.1109/WHC.2019.8816106) - “Adaptive Packet Rate Control for the Mitigation of Bursty Haptic Traffic in Teleoperation Systems,” IEEE Haptics Symposium, Washington, DC, March 2020
Gui, Ming; Xu, Xiao; Steinbach, Eckehard
(Siehe online unter https://doi.org/10.1109/HAPTICS45997.2020.ras.HAP20.18.6a51e1e1) - “Integrating Haptic Data Reduction with Energy Reflection Based Passivity Control for Time-delayed Teleoperation,” IEEE Haptics Symposium, Washington, DC, March 2020
Xu, Xiao; Panzirsch, Michael; Liu, Qian; Steinbach, Eckehard
(Siehe online unter https://doi.org/10.1109/HAPTICS45997.2020.ras.HAP20.2.4ff61dc8) - “On the Quality-of-Learning for Haptic Teleoperation-based Skill Transfer over the Tactile Internet,” IEEE GLOBECOM, Taipei, Taiwan, December 2020
Gülecyüz, Basak; Xu, Xiao; Noll, Andreas; Steinbach, Eckehard
(Siehe online unter https://doi.org/10.1109/GLOBECOM42002.2020.9322290) - A Novel Energy Compensation Scheme for Quality Enhancement in Time-delayed Teleoperation with Multi-DoF Haptic Data Reduction and Communication,” IEEE Transactions on Haptics
X. Xu, H. Singh, Q. Liu, M. Panzirsch, T. Hulin, and E. Steinbach
(Siehe online unter https://doi.org/10.1109/TOH.2021.3103379)
