Sprachbegleitende Gesten, KI und Virtuelle Realität
Multimodale Kommunikationsforschung im Schnittfeld von Linguistik und Computerwissenschaft
Alltagskommunikation ist üblicherweise multimodal (d.h., nutzt mehr als einen Informationskanal). Gesprochene Sprache wird beispielsweise von manuellen Gesten begleitet. Diese Gesten wiederum können über die linguistische Bedeutung hinausgehende Information beitragen. Sie sind also semantisch interessant.
Der Vortrag skizziert eine räumliche Gestensemantik und führt in KI-gestützte Gestenklassifikation ein. Um multimodale Verhaltensdaten zu erfassen und auszuwerten, werden zunehmend Methoden der Virtuellen Realität (VR) eingesetzt. Das Frankfurter Va.Si.Li-Lab kombiniert KI und VR für Multimodalitätsforschung. Auf diese Weise lassen sich z.B. mutlimodal, avatarbasierte VR-Interaktionen untersuchen und mit Face-to-face-Interaktionen vergleichen. Der Vortrag stellt erste Ergebnisse vor.
Redner
-
Alexander MehlerAlexander Mehler ist Professor für Computational Humanities / Texttechnologie an der Goethe-Universität Frankfurt, wo er das Text Technology Lab (TTLab) leitet. Seine Forschungsinteressen umfassen die quantitative Analyse, simulative Synthese und formale Modellierung von Texteinheiten in der mündlichen und schriftlichen Kommunikation. Zu diesem Zweck untersucht er sprachliche Netzwerke auf der Grundlage zeitgenössischer und historischer Sprachen (unter Verwendung von Modellen der Sprachentwicklung). Ein aktuelles Forschungsinteresse von Alexander Mehler gilt 4D-Texttechnologien auf Basis von Virtual Reality (VR), Augmented Reality (AR) und Augmented Virtuality (AV).