Projekt

Ziele

Der Beitrag von EmpaT ist ein intuitiv benutzbares interaktives Trainingssystem für soziale und emotionale Faktoren zu erforschen und zu entwickeln. Das System soll typische, interaktive Bewerbungsinterviews in virtuellen 3D-Umgebungen bereitstellen, die weit über die Erfahrung beim Ausfüllen eines Fragebogens oder die Verwendung von derzeit üblichem Trainingsmaterial herausgehen. Ein weiteres Ziel ist die Unterstützung verschiedener Rollen und Handlungskontexten (z.B. für Bewerber/Umschüler oder Schulungspersonal). Prinzipiell stellt die Erfahrung einen zu Print- und Webmedien komplementären Mehrwert dar.

Hintergrund

Eine Voraussetzung dieses Vorhabens ist die Analyse von sozialen und emotionalen Signalen, die für eine Einfühlung und Anpassung an den jeweiligen Benutzer und seine soziale Situation notwendig sind. Dazu werden auf der Eingabeseite erweiterte Hardwaresensoren eingesetzt und bei der Verarbeitung aktuelle Modelle und Erkenntnisse aus der Psychologie, den Kognitionswissenschaften und der Künstlichen Intelligenz genutzt.

Während der Interaktion werden soziale Signale des Benutzers interpretiert, wahrscheinlichste emotionale Zustände ermittelt und das Interaktionsverhalten des Systems adaptiert. Kamerabasierte Systeme erfassen Blickverhalten, Mimik und Gestik; die Microsoft Kinect II ermöglicht die Erfassung von Durchblutung und Pulsschlag, und eine Sprachanalyse analysiert Benutzerantworten mit emotionalen Konnotationen. Diese Werte werden dazu benutzt, um die soziale und emotionale Situation von Benutzern genauer einzuschätzen. Dies wird durch den Einsatz einer kognitiven Emotionssimulation erreicht, die gleichzeitig mehrere mögliche Einschätzungen des emotional-sozialen Zustands eines Benutzers vorschlägt. Dazu kommen Modelle von sozialen Rollen und Handlungskontexten zum Einsatz. KI-Methoden der Echtzeit-Sensorwertanalyse werden genutzt, um die Einschätzungen zu validieren. Daraus errechnet das EmpaT-System automatisch ein persönliches Benutzermodel, welches nur dem Benutzer zugänglich ist (auf dem privaten Smartphone/Tablett). Das so mögliche Einfühlungsvermögen ist eine Schlüsselfähigkeit für die nächste Generation von computerbasierten Lernsystemen, die in diesem Verbundprojekt weiter erforscht wird und in einer Trainingsumgebung erstmals zur Anwendung kommt.

Die Ausgabeseite muss derart erweitert sein, dass sie wesentliche menschliche soziale und emotionale Kommunikationsaspekte beherrscht. In EmpaT werden wir virtuelle Figuren einsetzen, die dem Nutzer als Dialogpartner mit emotionalen und sozialen Fähigkeiten entgegentreten. Durch ihre Körperlichkeit können sie menschliche Kommunikationsaspekte nachahmen, in dem sie automatisch Gesichtsausdrücke, Kopfbewegungen, Gesten, Sprache synchronisieren, um untereinander oder mit menschlichen Interaktionspartnern zu kommunizieren.

Die Weiterentwicklung von derartigen Trainingssystemen in diesem Verbundprojekt wird auch durch eine Kopplung von Wissen über den Handlungskontext, Rollenwissen, Berufswissen mit kontextbasiertem Dialog- und sozial-emotionalem Verhaltenswissen erreicht. In diesem Kontext ist es gleichermaßen wichtig, Expertenwissen aus den Gebieten Arbeits- und Organisationspsychologie und 3D-Lernumgebungen direkt einzubinden und potentielle Benutzer schon in der Designphase an der Erforschung und Entwicklung teilhaben zu lassen. Durch konsequente Evaluationen und Akzeptanzstudien von aufeinander aufbauenden Systemprototypen werden Designschwächen identifiziert und Lösungen können direkt in die Entwicklung einfließen.