Entwicklung eines Sensors zur Extraktion und Analyse ungerichteter Beschwerden aus Online-Foren
Zusammenfassung der Projektergebnisse
Kundenbeschwerden in Social Media spielen eine zunehmend große Rolle für Unternehmen. Diese Form des Kommunikationskanals zur Beschwerdeäußerung wird besonders von den sog. Millenials bevorzugt. Die auf diesem Weg geäußerten Beschwerden erreichen schnell Millionen von potentiellen Kunden, die unter Umständen vom Kauf des Produktes oder von der Inanspruchnahme der Dienstleistung absehen. Um eine unkontrollierte Verbreitung zu vermeiden, aber auch um möglichst schnell auf die Beschwerden reagieren zu können, ist es für Unternehmen zukünftig unabdingbar, diese ungerichteten Beschwerden systematisch zu analysieren und die daraus gewonnenen Informationen im Beschwerde- und Fehlermanagement zu nutzen. Ziel des Forschungsprojekts war demnach die Entwicklung eines Sensors zur automatisierten Extraktion von ungerichteten Beschwerden aus Social Media. Zur Zielerreichung wurden Forschungsmethoden aus dem Fachbereich der Linguistik mit dem Bereich Computer Science verknüpft. Eine Annotationsstudie erzeugte einen gelabelten Datensatz bestehend aus Kundenkommentaren zu insgesamt sechs verschiedenen Produkten und Dienstleistungen. Der Datensatz enthielt nach dem Annotationsprozess Informationen zum eigentlichen Produkt/ der jeweiligen Dienstleistung, dem zu bewertenden Bezugswort und dem Sentiment (positive, negative oder neutrale Äußerung). Zusätzlich wurden die Kommentare mit schon bestehenden Methoden der Textanalyse verarbeitet, sodass auch Meta-Informationen, wie Wortart und Kasus verfügbar waren. Der gelabelte Datensatz wurde genutzt, um ein auf Lineare Regression basierendes Modell zur Extraktion relevanter Informationen aus Kundenäußerungen in unterschiedlichen Social Media Kanälen (Diskussionsforen, Ratingseiten und Onlineshops mit Bewertungsfunktion) zu entwickeln. Ein weiterer Algorithmus klassifiziert die aus Wortpaaren bestehenden extrahierten Informationen anhand der Sentimentwerte schließlich als Beschwerde, Nicht-Beschwerde oder neutrale Aussage. Durch die Aufteilung des Datensatzes in einen Trainings- und Testdatensatz wurde das Modell trainiert und auf dem Testdatensatz evaluiert. Die Genauigkeitswerte waren in einem vielversprechenden Bereich, sodass das Ziel des Forschungsprojekts erreicht werden konnte. Als Neuerung des aktuellen Stands der Technik adressiert das Modell domain-unabhängige Produkte und Dienstleistungen. Ebenfalls sind bislang keine Arbeiten bekannt, in denen Beschwerdeinformationen sowohl von Ratingseiten oder Onlineshops als auch aus Forenbeiträgen extrahiert werden. Darüber hinaus wurde ein verhältnismäßig großer gelabelter Datensatz erzeugt, der eine automatisierte Evaluation der Wortpaarextraktion sowie der Sentimentdetermination des entwickelten Modells erlaubt.
Projektbezogene Publikationen (Auswahl)
- 2017. “Use of Negation Markers in German Customer Reviews”. In: SEMAPRO 2017: The Eleventh International Conference on Advances in Semantic Processing, November 12-16, Barcelona, Spanien, Curran Associates Inc/ IARIA XPS Press, S. 37-41
Metzmacher, A.I., Heinrichs, V., Falk, B. und Schmitt, R.H.
- 2017. „Customer Language Processing“. In: 12th International Workshop on Semantic and Social Media Adaptation and Personalization: SMAP 2017: Juli 9-10, 2017, Bratislava, Slovakei, Institute of Electrical and Electronic Engineers IEEE, S. 32-33
Metzmacher, A.I., Heinrichs, V., Falk, B. und Schmitt, R.H.
(Siehe online unter https://doi.org/10.1109/SMAP.2017.8022663) - 2017. „Qualitätsdatenschätze heben – Potentiale moderner Data Analytics Tools selbst erleben.“ In: Data Analytics für das digitale Qualitätsmanagement - 21. Business Forum Qualität: 28. und 29. September 2017, Aachen, Apprimus Verlag, S. 114-117
Metzmacher, A.I. und Schmitt, R.H.
- 2018. „Everything Was Good! The Influence of Sentiment and Product Category on Aspect Choice in German Customer Reviews.” In: eKNOW 2018: The Tenth International Conference on Information, Process, and Knowledge Management, März 25.-29., Rom, Italien. Curran Associates Inc/ IARIA XPS Press, S. 32-35
Metzmacher, A.I., Heinrichs, V., Falk, B. und Schmitt, R.H.
