Sprachbegleitende Gesten, KI und Virtuelle Realität
Multimodale Kommunikationsforschung im Schnittfeld von Linguistik und Computerwissenschaft
Alltagskommunikation ist üblicherweise multimodal (d.h., nutzt mehr als einen Informationskanal). Gesprochene Sprache wird beispielsweise von manuellen Gesten begleitet. Diese Gesten wiederum können über die linguistische Bedeutung hinausgehende Information beitragen. Sie sind also semantisch interessant.
Der Vortrag skizziert eine räumliche Gestensemantik und führt in KI-gestützte Gestenklassifikation ein. Um multimodale Verhaltensdaten zu erfassen und auszuwerten, werden zunehmend Methoden der Virtuellen Realität (VR) eingesetzt. Das Frankfurter Va.Si.Li-Lab kombiniert KI und VR für Multimodalitätsforschung. Auf diese Weise lassen sich z.B. mutlimodal, avatarbasierte VR-Interaktionen untersuchen und mit Face-to-face-Interaktionen vergleichen. Der Vortrag stellt erste Ergebnisse vor.
Zur Anmeldung: https://pretix.eu/dafwebkon/dwk26/
Redner
-
Andy LückingAndy Lücking ist Privatdozent am Text Technology Lab der Goethe-Universität Frankfurt. Seine Arbeit konzentriert sich auf eine linguistische Theorie der menschlichen Kommunikation, d. h. auf die direkte Interaktion innerhalb und außerhalb einzelner Sätze, mit besonderem Augenmerk auf verschiedene Arten von Gesten und kognitiver Modellierung. Dies umfasst die Anpassung dynamischer Dialogsemantik, die Entwicklung multimodaler Grammatikerweiterungen, gelegentlich die Überarbeitung traditioneller linguistischer Theorien (z. B. Quantifizierung oder Zeigen), die Nutzung von Korpora und computergestützten Methoden/Textverarbeitung sowie die Einbeziehung einer übergreifenden kognitiven Perspektive, wie z. B. die Verankerung des sprachlichen Kontexts in Gedächtniszuständen.
-
Alexander MehlerAlexander Mehler ist Professor für Computational Humanities / Texttechnologie an der Goethe-Universität Frankfurt, wo er das Text Technology Lab (TTLab) leitet. Seine Forschungsinteressen umfassen die quantitative Analyse, simulative Synthese und formale Modellierung von Texteinheiten in der mündlichen und schriftlichen Kommunikation. Zu diesem Zweck untersucht er sprachliche Netzwerke auf der Grundlage zeitgenössischer und historischer Sprachen (unter Verwendung von Modellen der Sprachentwicklung). Ein aktuelles Forschungsinteresse von Alexander Mehler gilt 4D-Texttechnologien auf Basis von Virtual Reality (VR), Augmented Reality (AR) und Augmented Virtuality (AV).