AKGU 

Adaptive Klausuren für die Goethe-Universität


Zielsetzung

Zentrales Ziel im Projekt AKGU war es kompetenzorientierte, adaptive E-Klausuren für die GU zu erschließen. Diese bilden nicht nur den formalen Abschluss eines Moduls, sondern werden im Sinne des Constructive Alignments als zusätzliche Lerngelegenheit implementiert und dabei konsequent auf die intendierten Lernziele des Moduls bezogen. Hierzu werden E-Klausuren auf Basis des im BMBF-Projekts KAT-HS  (www.kat-hs.uni-frankfurt.de) entwickelten Klausurkonzepts verwendet. Das Konzept orientiert sich an etablierten Standards der Kompetenzdiagnostik und ermöglicht so eine systematische und präzise Erfassung individueller Kompetenzstände unter Einsatz psychometrischer Modelle. Kern ist die Konstruktion von Klausuren als computerisierte adaptive Tests. Bei diesen passt sich die Aufgabenauswahl im Verlauf der Klausur an das gezeigte Antwortverhalten der Studierenden an, um so den Studierenden nur Aufgaben mit adäquatem Schwierigkeitsniveau zur Bearbeitung vorzulegen und diese somit nicht wiederholt viel zu leichte oder viel zu schwere Aufgaben bearbeiten müssen. Im Gegensatz zu klassischen Klausuren kann die Präzision der Klausurergebnisse und der daraus abgeleiteten Noten so über das gesamte Fähigkeitsspektrum angeglichen werden. 

Obwohl sie zahlreiche Vorteile bieten und sowohl technisch als auch psychometrisch umsetzbar sind, werden adaptive Klausuren in der deutschen Hochschullandschaft bislang nicht eingesetzt, ein Umstand dem dieses Projekt begegnet. Mit herkömmlicher Klausurensoftware sind solche Klausuren allerdings nicht umsetzbar. Daher erfolgt die Klausurdurchführung mit der am FB05 entwickelten KAT-HS-App. Mit dieser können adaptive und nicht-adaptive Kompetenztests erstellt, vorgegeben sowie analysiert werden. Um das volle Potential der KAT-HS-App in der Breite an der GU nutzbar zu machen, wurde im Rahmen des Partnership-Projektes der Funktionsumfang der App erweitert. 



Ziel war es, dass nach Abschluss des Projektes für Lehrende an der GU die Möglichkeit existiert, kompetenzorientierte, adaptive E-Klausuren gemäß aktuellen wissenschaftlichen Standards in der universitären Lehre einzusetzen.

Rahmendaten

Learning Design:E-Prüfungen
Sozialform:Individualarbeit
Zeitlicher Rahmen:Kontinuierlich

Voraussetzungen

Als Voraussetzung für die Nutzung der kompetenzorientierten E-Klausuren über die KAT-HS-App gilt hauptsächlich, dass die Lehrzielerreichung der Studierenden in der jeweiligen Lehrveranstaltung mit einer Abschlussklausur geprüft wird. Prinzipiell sind solche Klausuren daher fächerübergreifend einsetzbar. Da es für eine adaptive Aufgabenauswahl allerdings notwendig ist, dass Aufgaben automatisch in Echtzeit ausgewertet werden, ist das Klausurenkonzept insbesondere auf Klausuren mit einem automatisch auswertbarem Antwortformat ausgerichtet. 

Zur Verortung der Personen auf einer gemeinsamen Bewertungsskala und zur Qualitätssicherung werden Modelle der Item Response Theory (IRT) genutzt. Zur Schätzung solcher Modelle sollte die Anzahl an Studierenden pro Klausurdurchlauf nicht niedriger als 50 sein. 

Evaluationsergebnisse aus der Pilotphase

Die Evaluation wurde als Studierendenbefragung nach der BW-A-Klausur über den zur Veranstaltung gehörenden Moodle-Kurs durchgeführt. Von N = 694 Personen die an der Klausur teilgenommen haben, haben N = 350 die Evaluation ausgefüllt. Erfragt wurden Einschätzungen der Studierenden zum Aufgabenformat, zum Klausurformat, der Benutzeroberfläche und Bedienbarkeit der Klausursoftware. Jede Evaluationsfrage wurde auf einer 4-stufigen Antwortskala beantwortet (1= trifft gar nicht zu, 2 = trifft eher nicht zu, 3 = trifft eher zu, 4 = trifft völlig zu).

Insgesamt konnten hier zufriedenstellende Ergebnisse erzielt werden. Die Mehrheit der Studierenden schätzte die Übersichtlichkeit (M = 2,99) und Benutzerfreundlichkeit (M = 3,43) der Software als hoch ein. Auch die Form der Klausur als computerbasierte Klausur anstatt papierbasierte Klausur, wurde positiv wahrgenommen (M = 3,23). 

Zudem wurde die Wahrnehmung der Studierenden bezüglich der geprüften Kompetenzbereiche erfragt. Konkret sollte so geprüft werden, ob die mit der Vorlesung anvisierten kognitiven Anforderungsniveaus (Wissen, Verständnis, Anwendung) sowie die verschiedenen Inhaltsbereiche der Vorlesung in angemessenem Umfang geprüft wurden. Auch diese Ergebnisse sind zufriedenstellend. Die Mehrheit der Studierenden ist der Meinung, dass die mit der Vorlesung anvisierten kognitiven Anforderungsniveaus und Inhalte auch in der Klausur geprüft wurden (Wissen: M = 3,1; Verständnis: M = 2,98; Anwendung: M = 2,87). Zudem hatten die Studierenden auch den Eindruck, dass alle Themenblöcke in vergleichbaren Anteilen in der Klausur repräsentiert waren (M = 3,2).

DigiTeLL Querschnittsthemen

Diversity

Individuell zugeschnittene, adaptive E-Klausuren bieten die Möglichkeit, der stärkeren Ausdifferenzierung und Individualisierung der Studierenden Rechnung zu tragen und dabei gleichzeitig auch die Anforderungen kompetenzorientierter Lehre sowie Vergleichbarkeit und Fairness von Prüfungen zu erfüllen. Zudem wurde auf eine diverse Auswahl an Bildern und ähnlichem bei der Erstellung der Klausuraufgaben geachtet.

Barrierefreiheit

Die Nutzung des Computers kann die Barrierefreiheit von Klausuren durch die Integration passgenauer Maßnahmen zum Ausgleich individueller Nachteile (z. B. Möglichkeit zur Änderung der Darstellung bei Sehbehinderungen, Bereitstellung von Hilfsanwendungen [z.B. Screenreader]) erhöhen. Es zeigte sich in der Klausurdurchführung, dass mit allen vom Prüfungsamt erteilten Nachteilsausgleichen ohne Probleme umgegangen werden konnte (z.B. Konstruktion als Take-Home-Exam für Studierende, die aus gesundheitlichen Gründen nicht vor Ort schreiben konnten; Schreibzeitverlängerungen, Ablegen der Prüfung in einem gesonderten Raum vor Ort). 

Kompetenzorientiertes Prüfen

Das Learning Design stellt kompetenzorientierte, adaptive E-Klausuren dar, die nicht nur den formalen Abschluss eines Moduls bilden, sondern im Sinne des Constructive Alignments als zusätzliche Lerngelegenheit implementiert und dabei konsequent auf die intendierten Lernziele des Moduls bezogen werden. Hierfür wird das KAT-HS Klausurenkonzept genutzt. Somit ist das Querschnittsthema kompetenzorientiertes Prüfen inhärenter Bestandteil des Learning Designs. Der Messgegenstand der Klausur wird als Matrix aus Inhaltsbereichen der Lehrveranstaltung sowie den kognitiven Anforderungsniveaus abgebildet. Die Zellen der Matrix werden über Klausuraufgaben operationalisiert. Bei der Aufgabenkonstruktion wird sich an etablierten Standards aus der Kompetenzdiagnostik orientiert.

Vernetzung, Kooperation Transfer

Im Aufbau des Servers sowie der Verfügbarmachung der KAT-HS-App in den PC-Pools wurde eng mit studiumdigitale und dem HRZ kooperiert. Zudem wurde eng mit dem HIKOF-DL-Projekt (DIPF und GU) kooperiert. Zudem wurden mögliche Kooperationen mit Partnerships der zweiten Förderrunde bereits angebahnt.

Diversity

Individuell zugeschnittene, adaptive E-Klausuren bieten die Möglichkeit, der stärkeren Ausdifferenzierung und Individualisierung der Studierenden Rechnung zu tragen und dabei gleichzeitig auch die Anforderungen kompetenzorientierter Lehre sowie Vergleichbarkeit und Fairness von Prüfungen zu erfüllen. Zudem wurde auf eine diverse Auswahl an Bildern und ähnlichem bei der Erstellung der Klausuraufgaben geachtet.

Barrierefreiheit

Die Nutzung des Computers kann die Barrierefreiheit von Klausuren durch die Integration passgenauer Maßnahmen zum Ausgleich individueller Nachteile (z. B. Möglichkeit zur Änderung der Darstellung bei Sehbehinderungen, Bereitstellung von Hilfsanwendungen [z.B. Screenreader]) erhöhen. Es zeigte sich in der Klausurdurchführung, dass mit allen vom Prüfungsamt erteilten Nachteilsausgleichen ohne Probleme umgegangen werden konnte (z.B. Konstruktion als Take-Home-Exam für Studierende, die aus gesundheitlichen Gründen nicht vor Ort schreiben konnten; Schreibzeitverlängerungen, Ablegen der Prüfung in einem gesonderten Raum vor Ort). 

Kompetenzorientiertes Prüfen

Das Learning Design stellt kompetenzorientierte, adaptive E-Klausuren dar, die nicht nur den formalen Abschluss eines Moduls bilden, sondern im Sinne des Constructive Alignments als zusätzliche Lerngelegenheit implementiert und dabei konsequent auf die intendierten Lernziele des Moduls bezogen werden. Hierfür wird das KAT-HS Klausurenkonzept genutzt. Somit ist das Querschnittsthema kompetenzorientiertes Prüfen inhärenter Bestandteil des Learning Designs. Der Messgegenstand der Klausur wird als Matrix aus Inhaltsbereichen der Lehrveranstaltung sowie den kognitiven Anforderungsniveaus abgebildet. Die Zellen der Matrix werden über Klausuraufgaben operationalisiert. Bei der Aufgabenkonstruktion wird sich an etablierten Standards aus der Kompetenzdiagnostik orientiert.

Vernetzung, Kooperation Transfer

Im Aufbau des Servers sowie der Verfügbarmachung der KAT-HS-App in den PC-Pools wurde eng mit studiumdigitale und dem HRZ kooperiert. Zudem wurde eng mit dem HIKOF-DL-Projekt (DIPF und GU) kooperiert. Zudem wurden mögliche Kooperationen mit Partnerships der zweiten Förderrunde bereits angebahnt.

Neuigkeiten

Weitere Infos zum KAT-HS-Konzept sowie zur KAT-HS-Software stehen über die Website https://kat-hs.uni-frankfurt.de zur Verfügung. Darüber können zudem die Software, zugehörige Publikationen und ein Workshop zur Konstruktion psychometrisch fundierter Klausuren abgerufen werden.


Team

Dr. Aron Fink
Projektleitung

FB 05 Psychologie und Sportwissenschaft | 

Institut für Psychologie |

Arbeitseinheit Pädagogische Psychologie mit Schwerpunkt Beratung, Diagnostik & Evaluation


Telefon: +49 (0)69 798 35311

E-Mail: a.fink@psych.uni-frankfurt.de 

Lara Weiß, M.Sc.

Projektmitarbeiterin

FB 05 Psychologie und Sportwissenschaft |

Institut für Psychologie


Telefon: +49 (0)69-798-35377
E-Mail: l.weiss@psych.uni-frankfurt.de