Discriminative Statistical Models for Multi-Modal Behavioral Assessment and Measurement in Social Interactions
Final Report Abstract
Im Projekt „Discriminative Statistical Models for Multi-Modal Behavioral Assessment and Measurement in Social Interactions" wurden neuartige Techniken zur Aktivitätserkennung untersucht. Der Anwendungsfokus lag dabei im Bereich der Verhaltensanalyse im Rahmen der computerunterstützten Autismusforschung. Konkret wurde untersucht, inwiefern computerbasierte Aktivitätserkennung bei der Früherkennung von Autismuserkrankungen bei Kleinkindern eingesetzt werden kann. Bedingt durch den massiven Anstieg an Autismuserkrankungen und den damit bedingten gesellschaftlichen und finanziellen Schwierigkeiten für die Unterstützung sowohl der unmittelbar betroffenen Individuen als auch deren sozialen Umfelds, ist eine möglichst flächendeckende Untersuchung von Kleinkindern wünschenswert. Je eher eine potenzielle Autismuserkrankung erkannt werden kann, desto besser können individualisierte Therapien und Unterstützungsprogramme auf die jeweiligen Bedürfnisse angepasst werden. Verfahren der automatischen Verhaltensanalyse sollen dabei einen wichtigen Beitrag bei der Erkennung von Indikatoren für Autismuserkrankungen liefern. Im Projekt wurden automatisierte Verfahren entwickelt, die, ausgehend von spielerischen, jedoch strukturierten Interaktionen zwischen einem Kleinkind und einem Erwachsenen, helfen abzuschätzen, wie schwierig es ist, das jeweilige Kind in die sozialen Interaktionen einzubeziehen. Letzteres dient Psychologen als Indikator für eine mögliche Autismuserkrankung. Derartige Sitzungen wurden multi-modal erfasst (mittels Mikrofonen, Videokameras, und an den Extremitäten getragenen Beschleunigungssensoren) und die resultierenden Sensordatenströme wurden automatisch im o.g. Sinne analysiert. Die technische Innovation des Projektes lag in der Erweiterung computerunterstützter Aktivitätserkennung auf multiple Modalitäten sowie in der Verwendung sog. diskriminativer Modellierungsansätze. Letztere modellieren den Unterschied zwischen Musterklassen (hier Aktivitäten), an Stelle der üblichen Modellierung der eigentlichen Musterklassen, wie es das Ziel deskriptiver Techniken ist. Der Vorteil derartiger Verfahren liegt im geringeren individuellen Trainingsdatenbedarf, was für die Analyse von hochgradig idiosynkrati-schen Verhaltensphänomenen wie im Bereich der Autismusforschung von Vorteil ist. Darüber hinaus wurden automatische Techniken zur objektiven und quantitativen Analyse problematischen Verhaltens in Individuen mit bestehender Autismusdiagnose entwickelt. Dafür wurden ein tragbares Messsystem und automatische Klassifikationstechniken entwickelt, die zum Einen Episoden problematischen Verhaltens detektieren und zum Anderen den Typ (Aggression gegen andere Personen, Störungen mit Aggressionen gegen Dinge, Selbstverletzungen, repetitives Verhalten) und - bis zu einem gewissen Grad - die Schwere des Problemverhaltens bestimmen. Ein solches System findet derzeit Anwendung im klinischen Alltag, in dem verhaltensauffällige Individuen behandelt werden. Darüber hinaus bietet das System das Potential für nicht-invasive Verhaltensanalyse in alltäglichen Situationen (z.B. Schule) was Therapeuten weitreichendere und objektivere Einblicke in das Verhalten eines Individuums mit Autismusdiagnose bietet. Die Ergebnisse des Projektes stellen substantielle Fortschritte im Bereich der computerunterstützten Aktivitätserkennung mit Beiträgen im Bereich des angewandten Maschinellen Lernens dar. Diese Ergebnisse können von Psychologen innerhalb der Autismusforschung direkt verwendet werden.
Publications
- "Automatic Assessment of Problem Behavior in Individuals with Developmental Disabilities" in Proc. Int. Conf. Ubiquitous Computing (UbiComp), 2012
T. Plötz, N. Y. Hammerla, A. Rozga, A. Reavis, N. Call, and G. D. Abowd
- "Automatic Synchronization of Wearable Sensors and Video-Cameras for Ground Truth Annotation - A Practical Approach, " in Proc. IEEE Int. Symp. on Wearable Computers (ISWC), 2012
T. Plötz, C. Chen, N. Hammerla, and G. D. Abowd
