Eine empirische Studie zur auditiven und taktilen Bedeutungsbildung
Final Report Abstract
Die virtuelle Objekterkennung mit haptischen Geräten wird für unterschiedlichste Anwendungen zukünftig von großer Bedeutung sein, u. a. für das Training und die Teleoperation im Bereich der Medizintechnik, für das Gebiet des E-Commerce oder im Bereich der Lernhilfsmittel. Entscheidende Voraussetzung für die Objekterkennung ist, dass beim Betasten eines virtuellen Objekts Informationen über dessen geometrischen Eigenschaften gesammelt werden können. Hierfür wird ein haptisches Gerät benötigt, das als bidirektionale Schnittstelle zwischen der virtuellen Umgebung und dem Nutzer dient. Dem Stand der Technik entsprechende haptische Geräte, die das Abtasten gemäß der Strategie der Konturenverfolgung ermöglichen, werden als Kraftwiedergabegeräte bezeichnet und stellen lediglich einfaches kinästhetisches Feedback zur Verfügung. Wegen der großen technischen Komplexität ist es nicht möglich, den Finger bzw. die Hand vom Nutzer mit der Vielfalt an Reizen anzuregen, die beim Abtasten eines realen Objekts wahrgenommen wird. Im Projekt wurde nun zunächst experimentell untersucht, ob sich die geometrischen Eigenschaften virtueller Objekte vom Nutzer eines Kraftwiedergabegeräts auch trotz der genannten Einschränkung erkennen lassen. Durch die Untersuchung wurde deutlich, dass das bereitgestellte kinästhetische Feedback zu wenige Informationen übermittelt, d. h., es sich hierbei um von der Realität zu stark abstrahiertes Feedback handelt. So zeigten die Probanden u. a. Schwierigkeiten bei der Unterscheidung ähnlicher Krümmungen, beim Erkennen von Objektkanten, aber auch bei der Orientierung in der virtuellen Szene. Um die genannten und im Rahmen der Arbeit quantitativ spezifizierten Schwierigkeiten überwinden zu können, müssen dem Nutzer zusätzliche Informationen übermittelt werden. Diesbezüglich lag der Fokus auf Beyond Being There-Ansätzen. Ziel dieser Ansätze ist es, während eines Explorationsvorgangs Feedback bereitzustellen, das anders ist und sogar besser sein kann als jenes, das während eines realen haptischen Abtastvorgangs genutzt wird. So wurde ein Verfahren entwickelt, durch welches die Krümmung einer virtuellen Oberfläche entlang der aktuellen Abtastrichtung berechnet und auralisiert werden kann. Des Weiteren wurde das eingesetzte Kraftwiedergabegerät erweitert, sodass die mittels geeigneter Algorithmen identifizierten Kanten eines virtuellen Objekts während der Exploration durch am Zeigefinger positionierte Unwuchtmotoren signalisiert werden können. Alternativ wird auch eine akustische Signalisierung ermöglicht. Außerdem sei auf eine im Projekt entwickelte Technik verwiesen, durch die sich für den Nutzer als Orientierungshilfe in der virtuellen Szene nutzbare räumliche Lokalisationsinformationen über eine Lautsprecheranordnung, unter Verwendung von Vector Base Amplitude Panning, oder über Kopfhörer, unter Verwendung von kopfbezogenen Übertragungsfunktionen, wiedergeben lassen. Die entwickelten Verfahren zur taktilen und auditiven Erweiterung des kinästhetischen Feedbacks wurden durch zahlreiche Evaluationsexperimente erforscht, sodass deren vielversprechende Leistungsfähigkeit demonstriert und somit die Chancen der multimodalen Wiedergabe für diesen Forschungsbereich aufgezeigt werden können.
Publications
- Identification accuracy and efficiency of haptic virtual objects using force-feedback. In: Proceedings of the International Workshop on Perceptual Quality of Systems. Bautzen, Deutschland, 2010
Stamm, M.; Altinsoy, M. E.; Merchel, S.
- Evaluating kinesthetic feedback and its audio-tactile extension for virtual shape and object identification. In: Proceedings of the Open Seminar on Acoustics. Jurata, Polen, 2011
Stamm, M.; Altinsoy, M. E.; Merchel, S.; Rosenkranz, R.
- Influence of the auditory localization direction on the haptic estimation of virtual length. In: Cooper, E. (Hrsg.); Brewster, S. (Hrsg.); Ogawa, H. (Hrsg.); Kryssanov, V. K. (Hrsg.): Proceedings of the International Workshop on Haptic and Audio Interaction Design. Kusatsu, Japan, 2011
Stamm, M.; Altinsoy, M. E.; Merchel, S
- Lokalisation in virtuellen Arbeitsbereichen. In: Proceedings of the German Annual Conference on Acoustics. Darmstadt, Deutschland, 2012
Stamm, M.; Altinsoy, M. E.; Merchel, S.; Rosenkranz, R.
- Assessment of binaural–proprioceptive interaction in human-machine interfaces. In: Blauert, J. (Hrsg.): The Technology of Binaural Listening. Series: Modern Acoustics and Signal Processing. Springer, 2013, Kapitel 17
Stamm, M.; Altinsoy, M. E.
