Prüfungsdesign & Generative Künstliche Intelligenz

Ein Ignorieren oder Verbieten von KI-Technologien sind zwar theoretisch denkbare Szenarien, praktisch ist es aber nicht sinnvoll, diesen Zugang zu wählen. Ein Ignorieren ebnet Studierenden geradezu den Weg, generative Künstliche Intelligenz zum Lösen von Lern- und Prüfungsaufgaben zu nutzen. Ein generelles, unreflektiertes Verbieten wird einer zeitgemäßen Prüfungskultur nicht gerecht. Künstliche Intelligenz ist Teil unserer aller Lebensrealitäten und Fakt ist, dass Studierende KI-Werkzeuge für ihre Lern- und Arbeitsprozesse nutzen. Lehrpersonen sollten sich daher konstruktive Strategien zum Umgang mit KI-Technologien in der Lehre zurechtlegen und nicht die Augen davor verschließen.

Das bewusste Aussparen von KI bei Prüfungen bedeutet, dass die Prüfungsinhalte und/oder -modalitäten so gestaltet sind, dass die Verwendung von KI-Werkzeugen nicht nötig oder nicht möglich ist. KI wird beim Konzipieren zwar berücksichtigt, die Prüfung wird aber quasi „um die KI herum“ designt.

Beim Kontrollieren geht es darum, sicherzustellen, dass der mögliche Einsatz von KI-Werkzeugen erst gar nicht oder nur eingeschränkt passiert, indem etwa bei digitalen Prüfungen keine oder nur bestimmte KI-Systeme zugänglich gemacht werden.

Beim Integrieren ist der Einsatz von KI-Systemen bei der Prüfung erlaubt oder sogar nötig, um gewisse Aufgabenstellungen zu lösen. Der Grad der KI-Nutzung kann dabei unterschiedliche Formen annehmen.

Der Zugang des Adaptierens bezieht sich auf ein Neudenken von Prüfungen, Prüfungsformaten und Leistungsbeurteilungskonzepten angesichts KI. Während die oben beschriebenen Zugänge davon ausgehen, dass die althergebrachten Prüfungsmodalitäten bestehen bleiben und KI entweder integriert oder in unterschiedlichen Formen umgangen wird, umfasst das Konzept des Adaptierens eine innovative Komponente, die echte Veränderungen beim Prüfen (sowohl für die Lehrperson als auch für die Studierenden) mit sich bringt. Dies passiert in der Regel über die Entscheidung für alternative Prüfungsformate, die in einem Fachgebiet/in einer Lehrveranstaltung bisher noch nicht zum Einsatz gekommen sind. Künstliche Intelligenz kann integriert oder ausgespart werden, je nachdem, was didaktisch sinnvoll ist.

Die Begleitung von Arbeits- und Lernprozessen (die mehr oder weniger stark durch KI-Werkzeuge unterstützt werden können) statt des Abnehmens einer punktuellen summativen Prüfungsleistung am Ende des Semesters erscheint angesichts generativer KI-Tools immer sinnvoller. Lehrende erhalten auf diese Art einen besseren Einblick in den Wissens- und Kompetenzzuwachs (bezüglich der Lehr-Lern-Inhalte, aber auch bzgl. des Einsatzes von KI) der Studierenden. Missverständnisse, Defizite und falsche Annahmen können rechtzeitig erkannt und geklärt werden. Studierende erhalten wertvolles Feed-Up und Feed-Forward, um ihren Lernprozess entsprechend zu steuern, sodass Leistungsüberprüfungen dem Lernen dienlich sind (Assessment for Learning). Lehrende können ihre Lehre ebenfalls an die Bedürfnisse der Lernenden anpassen (vgl. Chan & Strasser, 2023).

Wiggins (1990) prägte den Begriff des authentischen Assessment, der Prüfungen beschreibt, die Lernende dazu veranlassen, ihr erworbenes Wissen effektiv anzuwenden. Dazu werden für die Arbeitswelt typische und exemplarische Problemstellungen an die Studierenden herangetragen. Diese sind so umfangreich, dass Studierende mehrere Teilaufgaben bearbeiten und dementsprechend mehrere Kompetenzen einsetzen müssen. In weiterer Folge sind Prüflinge dazu angehalten, ihr Handeln zu planen, zu begründen, zu reflektieren und wenn nötig anzupassen.

Authentische Prüfungsdesigns begünstigen einerseits tiefgreifende Beschäftigung mit Inhalten (deep learning) und erfordern andererseits die (Weiter-)Entwicklung übergeordneter Kompetenzen, über die KI-Werkzeuge nicht verfügen. Daher kann KI bei authentischen Prüfungsaufgaben nur eine eingeschränkte Rolle spielen.

Kompetenzorientierte Prüfungen verfolgen im Groben ein ähnliches Ziel wie authentische Assessments, wenn davon ausgegangen wird, dass „Kompetenz“ alle Handlungsdimensionen (Wissen, Einstellungen und Fertigkeiten) umfasst, die eine konkrete Handlungssituation erfordert. Problem- und Handlungsorientierung sind ebenfalls grundlegend für kompetenzorientierte Prüfungen, in denen unterschiedliche Kompetenzbereiche (z.B. Sachkompetenzen, Sozialkompetenzen, Selbstkompetenzen) zum Gegenstand gemacht werden können.

Kompetenzorientierte und authentische Prüfungen schließen den Einsatz von generativer KI keinesfalls aus, wenn die Anwendung von KI jene Kompetenz ist, die für die Lösung der Aufgabe oder des Problems nötig ist bzw. der Einsatz von KI dem Status quo der beruflichen Praxis entspricht. Die Aufgaben- und Problemstellungen sind aber so gestaltet, dass die Prüflinge immer mehrere Kompetenzen darbieten müssen, um diese erfolgreich bearbeiten zu können.

Zu den oben bereits erwähnten übergreifenden Kompetenzen zählen unter anderem Kreativität & Problemlösen, Kollaboration, kritisches Denken und auch Kommunikation. Diese vier Kompetenzen werden häufig unter dem Begriff „21st Century Skills“ oder „Future Skills/Zukunftskompetenzen“ zusammengefasst. Die Förderung dieser Kompetenzen in der Hochschullehre und im Kontext von Prüfungen macht in zweierlei Hinsicht Sinn: Einerseits verfügen KI-Werkzeuge nicht über diese Kompetenzen. Insbesondere zwischenmenschliche Kollaboration und Kommunikation sind für KI nicht umsetzbar. Wenn Prüfungsaufgaben diese Kompetenzen erfordern, minimieren sich automatisch die Einsatzmöglichkeiten von KI-Tools. Andererseits sind es genau diese Kompetenzen, die die Lernenden brauchen, um einen kritisch-informierten und verantwortungsbewussten Umgang mit Künstlicher Intelligenz zu entwickeln.

Peer-Learning, auch unter den Begriffen Peer-Feedback oder Peer-Assessment bekannt, bezieht sich auf Lernprozesse, die sich daraus ergeben, dass Lernende auf ähnlichem Wissens- und Kompetenzstand sich gegenseitig quantitatives und qualitatives Feedback auf ihre Leistungen und Arbeiten geben (vgl. Di Fuccia & Keenan, 2010; Saini et al., 2024; Zapata et al., 2024). Peer Learning hat erwiesenermaßen einen positiven Einfluss auf akademische Leistungen und fördert das Engagement und die Motivation im Lernprozess. Studierende erhalten die Möglichkeit, voneinander zu lernen, indem sie Ideen und Wissen austauschen. Darüber hinaus trägt Peer Learning dazu bei, dass Lernende überfachliche Kompetenzen entwickeln, wie z. B. Feedback zu geben und zu nehmen, kritisches und analytisches Denken, Inhalte zu evaluieren und zu präsentieren. Wie bereits oben ausgeführt, ist es ein zentrales Bildungsanliegen, Studierenden solche Selbst- und Sozialkompetenzen zu vermitteln. Die persönliche und zwischenmenschliche Komponente von Peer-Feedback wird von Studierenden gegenüber KI-generiertem Feedback vorgezogen, wenngleich KI-generiertes Feedback auf studentische Arbeiten eine sinnvolle Ergänzung darstellen kann (vgl. Zapata et al., 2024).

Es liegt auf der Hand, dass KI-Technologien in praktischen Situationen und Kontexten des echten Lebens nur wenig Relevanz haben, da sie – im Unterschied zu Lernenden – vorhandenes Wissen nicht in die Praxis umsetzen können. Der Wert von erworbenen Kompetenzen und Erkenntnissen ist (menschlichen) Lernenden vorbehalten. Aus diesen Gründen ist es laut Montagnino (2023) empfehlenswert,

• praktische Anwendungen in die Lehre und die Prüfung zu integrieren,
• Praktiker:innen in die Lehre und evtl. Prüfungsleistung miteinzubinden und
• die Studierenden Praktika absolvieren zu lassen.

Es ist ganz zentral, dass die Lehrenden von Beginn an klar kommunizieren, ob und wie Künstliche Intelligenz im Rahmen einer Lehrveranstaltung verwendet werden darf und wie nicht. Täuschungsversuche passieren nämlich nicht immer bewusst und aus böser Absicht, sondern können auch aus Unwissenheit resultieren. 

Darüber hinaus ist es sinnvoll, die Überlegungen zum Leistungsbeurteilungskonzept an die Studierenden zu kommunizieren (z. B. mittels Syllabus und dessen Besprechung). Dadurch können die Studierenden den Sinn von Lernaktivitäten und Prüfungsleistungen erkennen und verstehen, warum es wichtig ist, im Rahmen einer akademischen Ausbildung Leistungen eigenständig zu erbringen und Aufgabenstellungen nicht von generativen KI-Werkzeugen lösen zu lassen. Weitere Anregungen, wie Sie als Studierende für die Notwendigkeit von intellektueller Eigenleistung beim akademischen Schreiben sensibilisieren können, finden Sie in dieser Handreichung.