Va.Si.Li-Lab

Ein VR-Labor für das Simulation-based Learning


Zielsetzung

Va.Si.Li-Lab ist eine Umgebung zur Analyse von multimodalen Interaktionsdaten, die im Rahmen von simulationsbasierten Lernprozessen erhoben werden. Es handelt sich um eine auf Unity basierende VR-Anwendung, die ein AR-Interface integriert und zusätzlich einen konventionellen Desktop-basierten Zugang ermöglicht. Dabei werden den Nutzern (über VR-Brille, PC, Smartphone, etc.) Lernszenarien in sozialen Umgebungen angeboten, in denen sie in Rollenspiele einsteigen können. Die Nutzer von Va.Si.Li-Lab verfügen über ein akustisches und gestisches Interface und können sowohl schreiben als auch zeichnen, um mit und durch virtualisierte Artefakte zu interagieren. Ihre Interaktions- und Bewegungsdaten werden aufgezeichnet und können anschließend über die multimodale Datenbank von Va.Si.Li-Lab analysiert werden. Va.Si.Li-Lab konvertiert Sprachinteraktionen mit Hilfe von Speech2Text-Technologien, um sie mit Natural Language Processing (NLP)-Technologien weiter zu analysieren; dies soll durch den Einsatz von Gesture2Text-Technologien erweitert werden, um auch gestische und andere Bewegungsdaten abzubilden. Auf diese Weise bietet Va.Si.Li-Lab eine breite Schnittstelle für multimodales Lernen im Kontext von Multi-Agenten-Interaktionssystemen: Es ermöglicht Gruppen von Agenten in einer oder mehreren Untergruppen miteinander zu interagieren und dabei auf ein breites multimodales Verhaltensrepertoire zurückzugreifen, während die dabei hinterlassenen Datenspuren einer wissenschaftlichen Analyse zugänglich gemacht werden. 


Va.Si.Li-Lab wurde als Mehrbenutzersystem zwecks Ermöglichung von Rollendifferenzierung basierend auf erziehungswissenschaftlichen Szenarien (siehe das Projekt SiMo von Juliane Engel) entwickelt. Es implementiert ein breites Spektrum multimodaler Interaktionsmöglichkeiten, so dass die Teilnehmenden über Sprache, Gesten, durch Schreiben oder Zeichnen sowie durch die Interaktion mit Objekten miteinander interagieren können.

Rahmendaten
Learning Design:Vertiefung, Selbststudium
Sozialform:Gruppenarbeit, Individualarbeit, Kleingruppen, Selbststudium, Simulation-based Learning
Zeitlicher Rahmen:Kontinuierlich

Voraussetzungen

Va.Si.Li-Lab ist nachnutzbar via GitHub: https://github.com/texttechnologylab/Va.Si.Li-Lab


Evaluationsergebnisse aus der Pilotphase (Publikationen)

A. Mehler, M. Bagci, A. Henlein, G. Abrami, C. Spiekermann, P. Schrottenbacher, M. Konca, A. Lücking, J. Engel, M. Quintino, J. Schreiber, K. Saukel, and O. Zlatkin-Troitschanskaia (2023). "A Multimodal Data Model for Simulation-Based Learning with Va.Si.Li-Lab". In: Duffy, V.G. (eds) Digital Human Modeling and Applications in Health, Safety, Ergonomics and Risk Management. HCII 2023. Lecture Notes in Computer Science, vol 14028. Springer, Cham. https://doi.org/10.1007/978-3-031-35741-1_39.

Mehler A, Bagci M, Henlein A, Abrami G, Spiekermann C, Schrottenbacher P, Konca M, Lücking A, Engel J, Quintino M, Schreiber J, Saukel K, Zlatkin-Troitschanskaia O. (2023): Va.Si.Li-Lab: a VR-based System for Simulation-based Learning. Talk at the Annual Meeting of the American Educational Research Association (AREA) 2023, in the context of the Workshop Performance Assessment for University Students' and Young Professionals' Critical Dealing With (Online) Information in Different Domains, 2023-04-14, Chicago.


Bagci M, Mehler A, Abrami G, Schrottenbacher P, Spiekermann C, Schreiber J, Saukel K, Quintino M, Engel J, et al. "Va.Si.Li-Lab: a VR-based System for Simulation-based Learning." 2023.  Eingereicht.


G. Abrami, A. Mehler, M. Bagci, P. Schrottenbacher, A. Henlein, C. Spiekermann, J. Engel, and J. Schreiber, “Va.Si.Li-Lab as a collaborative multi-user annotation tool in virtual reality and its potential fields of application," in Proceedings of 34th ACM Hypertext Conference (HT 23), 2023. Accpeted.

DigiTeLL Querschnittsthemen

Diversity

Va.Si.Li-Lab implementiert Diversity entlang zweier orthogonaler Schnittstellen: zum einen durch alternative Nutzung unterschiedlicher Avatar-Technologien und zum anderen durch die Wahlmöglichkeit und Komponierbarkeit von Avataren in Bezug auf deren Aussehen. 

Die entwickelten Szenarien berücksichtigen und fördern auf zwei Ebenen Aspekte der Barrierefreiheit und Diversity: Auf einer allgemeinen Ebene flossen in die Entwicklung der Spielnarrative maßgeblich diversitäts- und heterogenitätstheoretische Überlegungen auf Grundlage aktueller erziehungswissenschaftlicher und sozialtheoretischer Theoriediskussionen und Erkenntnisse ein. 

Darüber hinaus wurden auf einer zweiten Ebene diversitäts- und heterogenitätstheoretische Überlegungen als Leitplanken für die Thematisierung pädagogischer Strukturprobleme genutzt. Diese wurden genutzt, um Diversität und Heterogenität nicht nur reflexiv verstehbar zu machen, sondern darüber hinaus mit Hilfe der zur Verfügung stehender VR- Technologien körperlich und affektiv erlebbar zu machen. Hier wurde etwa die Szenariengestaltung so ausgerichtet, dass Teilnehmer*innen den mit einer körperlichen Einschränkung verbundenen Barrieren im Rahmen der VR-Simulationen erfahrbar gemacht wird. Die damit verbundenen Erfahrungen - u.a. auch als Bestandteil in der Auseinandersetzung mit pädagogisch professionellem Handelm bei den Interaktionen in den VR-Simulationen - wurden auf der hochschuldidaktischen Ebene vertieft und reflektiert. 

Barrierefreiheit

Durch den Einsatz visueller Medien ist die Nutzbarkeit z.B. für Sehbehinderte eingeschränkt. Mit den Mitteln des Projekts kann dies dadurch abgemildert werden, dass neben VR auch Desktops als Interfaces nutzbar sind, die Vergrößerungsfunktionen über das jeweilige Betriebssystem bereitstellen. Auch die Nutzbarkeit für Hörgeschädigte kann nicht generell gewährleistet werden; Abhilfe kann jedoch die integrierte Lautstärkeregelung sowie die Verwendung von Speech2Text-Technologien schaffen, die Va.Si.Li-Lab ebenfalls zur Verfügung stellt.

Das erstellte Learning-Design wurde so gestaltet, dass eine barrierefreie Nutzung möglich ist. So wurden die zur Bewältigung der Szenarien erforderlichen Informationen multimodal zugänglich gemacht und die VR-Anwendung so entwickelt dass sie ortsunabhängig an verschiedenen Endgeräten genutzt werden konnte.  

Die Verwendung von Untertiteln, Audiospuren, einfacher Sprache, sowie die Vermeidung von Information Overload ist integraler Bestandteil des Learning Designs. Zudem bestehen Möglichkeiten der Remote-Teilnahme, sofern ein internetfähiges Endgerät zur Verfügung steht.

Kompetenzorientiertes Prüfen

Va.Si.Li-Lab ist für simulationsbasiertes Lernen konzipiert; die Möglichkeit von Prüfungen ist nicht vorgesehen. Siehe auch SiMo.

Vernetzung, Kooperation Transfer

Die Vernetzung von Va.Si.Li-Lab ist ein kontinuierlicher Prozess:
  • Austausch mit den Fachwissenschaften (Bildungs- und Erziehungswissenschaften, Psychologie, Soziologie etc.);
  • Vorstellung und Diskussionen auf Konferenzen und Workshops (bislang: American Educational Research Association (AREA), ACM Hypertext), HCI International)

Diversity

Va.Si.Li-Lab implementiert Diversity entlang zweier orthogonaler Schnittstellen: zum einen durch alternative Nutzung unterschiedlicher Avatar-Technologien und zum anderen durch die Wahlmöglichkeit und Komponierbarkeit von Avataren in Bezug auf deren Aussehen. 

Die entwickelten Szenarien berücksichtigen und fördern auf zwei Ebenen Aspekte der Barrierefreiheit und Diversity: Auf einer allgemeinen Ebene flossen in die Entwicklung der Spielnarrative maßgeblich diversitäts- und heterogenitätstheoretische Überlegungen auf Grundlage aktueller erziehungswissenschaftlicher und sozialtheoretischer Theoriediskussionen und Erkenntnisse ein. 

Darüber hinaus wurden auf einer zweiten Ebene diversitäts- und heterogenitätstheoretische Überlegungen als Leitplanken für die Thematisierung pädagogischer Strukturprobleme genutzt. Diese wurden genutzt, um Diversität und Heterogenität nicht nur reflexiv verstehbar zu machen, sondern darüber hinaus mit Hilfe der zur Verfügung stehender VR- Technologien körperlich und affektiv erlebbar zu machen. Hier wurde etwa die Szenariengestaltung so ausgerichtet, dass Teilnehmer*innen den mit einer körperlichen Einschränkung verbundenen Barrieren im Rahmen der VR-Simulationen erfahrbar gemacht wird. Die damit verbundenen Erfahrungen - u.a. auch als Bestandteil in der Auseinandersetzung mit pädagogisch professionellem Handelm bei den Interaktionen in den VR-Simulationen - wurden auf der hochschuldidaktischen Ebene vertieft und reflektiert. 

Barrierefreiheit

Durch den Einsatz visueller Medien ist die Nutzbarkeit z.B. für Sehbehinderte eingeschränkt. Mit den Mitteln des Projekts kann dies dadurch abgemildert werden, dass neben VR auch Desktops als Interfaces nutzbar sind, die Vergrößerungsfunktionen über das jeweilige Betriebssystem bereitstellen. Auch die Nutzbarkeit für Hörgeschädigte kann nicht generell gewährleistet werden; Abhilfe kann jedoch die integrierte Lautstärkeregelung sowie die Verwendung von Speech2Text-Technologien schaffen, die Va.Si.Li-Lab ebenfalls zur Verfügung stellt.

Das erstellte Learning-Design wurde so gestaltet, dass eine barrierefreie Nutzung möglich ist. So wurden die zur Bewältigung der Szenarien erforderlichen Informationen multimodal zugänglich gemacht und die VR-Anwendung so entwickelt dass sie ortsunabhängig an verschiedenen Endgeräten genutzt werden konnte.  

Die Verwendung von Untertiteln, Audiospuren, einfacher Sprache, sowie die Vermeidung von Information Overload ist integraler Bestandteil des Learning Designs. Zudem bestehen Möglichkeiten der Remote-Teilnahme, sofern ein internetfähiges Endgerät zur Verfügung steht.

Kompetenzorientiertes Prüfen

Va.Si.Li-Lab ist für simulationsbasiertes Lernen konzipiert; die Möglichkeit von Prüfungen ist nicht vorgesehen. Siehe auch SiMo.

Vernetzung, Kooperation Transfer

Die Vernetzung von Va.Si.Li-Lab ist ein kontinuierlicher Prozess:
  • Austausch mit den Fachwissenschaften (Bildungs- und Erziehungswissenschaften, Psychologie, Soziologie etc.);
  • Vorstellung und Diskussionen auf Konferenzen und Workshops (bislang: American Educational Research Association (AREA), ACM Hypertext), HCI International)

Neuigkeiten

Weitere Informationen folgen demnächst.

Team

Prof. Dr. Alexander Mehler

Projektleitung

FB 12 Informatik und Mathematik | Institut für Informatik  | Text-Technology / Computational Humanities


Telefon: +49 (0)69 798 28921

E-Mail: mehler@em.uni-frankfurt.de

Webhttp://www.texttechnologylab.org/


Giuseppe Abrami

Projektmitarbeiter

FB 12 Informatik und Mathematik | Institut für Informatik  | Text-Technology / Computational Humanities


Telefon: +49 (0)69 798 28926

E-Mail: abrami@em.uni-frankfurt.de


Weitere Beteiligte:

  • Christian Spiekermann
  • Patrick Schrottenbacher
Mevlüt Bagci
Projektmitarbeiter

FB 12 Informatik und Mathematik | Institut für Informatik  | Text-Technology / Computational Humanities


Telefon: +49 (0)69 798 24664
E-Mail: bagci@em.uni-frankfurt.de


Dr. Alexander Henlein

Projektmitarbeiter

FB 12 Informatik und Mathematik | Institut für Informatik  | Text-Technology / Computational Humanities


Telefon: +49 (0)69 798 24663

E-Mail: henlein@em.uni-frankfurt.de