Unsupervised audio-visual geometry calibration of distributed microphone arrays
Final Report Abstract
In immer mehr Situationen kommen intelligente Geräte wie Laptops, Smartphones und auch Hörgeräte zusammen, welche mit einem oder mehreren Mikrofonen und Funkverbindungen ausgestattet sind. Um mit diesen Sprachverarbeitung in Form von Sprecherverfolgung oder Sprachverbesserung zu betreiben, ist es wichtig, die geometrische Anordnung der verteilten Mikrofonfelder zu kennen. Da manuelle Messungen zur Geometriekalibrierung de facto nicht praxistauglich sind, war es das Ziel dieses Projekts hierfür automatische Verfahren zu entwickeln. Die im Rahmen des Projekts entstandenen Methoden zur automatischen Geometriekalibrierung von ad hoc Konfigurationen verteilter Mikrofone und von Konfigurationen verteilter Mikrofongruppen basieren rein auf der Auswertung akustischer Signale, die von den Sensoren erfasst werden. Sie machen nicht die häufig in der Literatur zu findenden einschränkenden Annahmen, dass kein oder nur geringer Raumhall vorhanden sein darf, dass eine Taktsynchronisation zwischen den Sensorknoten vorhanden ist oder dass spezielle Kalibrierungssignale verwendet werden müssen. Vielmehr erfolgt die Kalibrierung mit dem Sprachsignal eines sich im Raum frei bewegenden Sprechers. Mit Hilfe dieser neuartigen Verfahren ist eine schnelle und zuverlässige akustische Geometriekalibrierung möglich, deren praktische Anwendbarkeit bei der ebenfalls entwickelten Methode zur Sprecherverfolgung unter Beweis gestellt wurde. Durch Einbettung in ein audiovisuelles Sensornetzwerk ließen sich die Ergebnisse der rein akustischen Kalibrierung bei bekannten Kamerapositionen auch auf Realweltkoordinaten übertragen. Neben der Veröffentlichung der entwickelten Verfahren auf Fachkonferenzen entstand aus der gemeinsamen Arbeit der Kooperationspartner auch ein Übersichtsartikel für das IEEE Signal Processing Magazine. In diesem Artikel werden selbst entwickelte und aus der Literatur bekannte Methoden zur automatischen Geometriekalibrierung von Mikrofonfeldern gegenübergestellt und in einem einheitlichen experimentellen Rahmen evaluiert.
Publications
- Unsupervised Geometry Calibration of Acoustic Sensor Networks using Source Correspondences. 12th Annual Conference of the International Speech Communication Association (INTERSPEECH 2011) Florence, Italy, Vol. 1. 2011, pp. 604-607.
J. Schmalenstroer, F. Jacob, R. Haeb-Umbach, M. H. Hennecke, G. A. Fink
- Reverberation-Robust Online Multi-Speaker Tracking by using a Microphone Array and CASA Processing. Acoustic Signal Enhancement; Proceedings of IWAENC 2012; International Workshop on 4-6 Sept. 2012, Aachen, Germany, ISBN: 978-3-8007-3451-1, pp. 1 - 4.
A. Plinge, M. H. Hennecke, G. A. Fink
- DoA-Based Microphone Array Position Self-Calibration Using Circular Statistics. Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on 26-31 May 2013, Vancouver, pp. 116 - 120.
F. Jacob, J. Schmalenstroeer, R. Haeb-Umbach
(See online at https://dx.doi.org/10.1109/ICASSP.2013.6637620) - Coordinate Mapping Between an Acoustic and Visual Sensor Network in the Shape Domain for a Joint Self-Calibrating Speaker Tracking.
ITG-Fachberichte, 252: Speech Communication, 11. ITG-Fachtagung Sprachkommunikation 24. – 26. September 2014 in Erlangen,ISBN 978-3-8007-3640-9, 4 Seiten.
F. Jacob, R. Haeb-Umbach
- Geometry Calibration of Distributed Microphone Arrays Exploiting
Audio-Visual Correspondences. Proceedings of the 22nd European Signal Processing Conference (EUSIPCO), Lisbon, Portugal, 2014, pp. 116 - 120.
A. Plinge, G. A. Fink
- Geometry Calibration of Multiple Microphone Arrays in Highly
Reverberant Environments. Acoustic Signal Enhancement (IWAENC), 2014 14th International Workshop on 8-11 Sept. 2014, Antibes – Juan les Pins, France, pp. 243 - 247.
A. Plinge, G. A. Fink
(See online at https://dx.doi.org/10.1109/IWAENC.2014.6954295) - Multi-Speaker Tracking using Multiple Distributed Microphone
Arrays. Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on 4-9 May 2014, Proceedings, pp. 614 - 618.
A. Plinge, G. A. Fink
(See online at https://dx.doi.org/10.1109/ICASSP.2014.6853669)
