Wie man den Lernerfolg eines KI-Tutors über die bloße Zufriedenheit der Lernenden hinaus misst

Lernende nutzen den Tutor bereitwillig, erhalten schnell Erklärungen und bewerten die Interaktionen positiv. Für die Kursautoren ist dies ein Indiz für eine gelungene Interaktion. Doch um den Lernerfolg zu beurteilen, muss eine andere Frage gestellt werden: Was können die Teilnehmenden nach dieser Unterstützung tatsächlich leisten? Wenn korrekte Antworten nur dann zustande kommen, wenn das System jeden Schritt vorgibt, spiegelt dies lediglich eine „unterstützte Leistung“ wider. Um den tatsächlichen Kompetenzaufbau zu belegen, muss die Leistung unter neuen, geeigneten Bedingungen geprüft werden.

Zufriedenheit, Benutzerfreundlichkeit und Vertrauen sind wichtig – schließlich werden umständliche oder unangenehme Werkzeuge oft gar nicht erst genutzt. Dennoch sollten diese Aspekte nicht mit Kriterien wie Genauigkeit, Eigenständigkeit oder langfristigem Kompetenzerhalt vermischt werden. Ein fundierter Evaluierungsplan trennt diese Faktoren voneinander und definiert, welche Entscheidungen jeweils auf ihrer Grundlage getroffen werden können. So kann das Team gezielt die Benutzeroberfläche, das Lernszenario oder das Programm optimieren – anstatt voreilige allgemeine Schlüsse aus einer einzigen positiven Umfrage nach der ersten Begegnung mit der Technologie zu ziehen.

Definieren Sie ein konkretes Lernergebnis für eine bestimmte Kompetenz

Anstatt vage zu formulieren, dass „der Tutor beim Lernen hilft“, sollten Sie eine konkrete Handlung benennen: Die Lernenden können beispielsweise zwei Konzepte voneinander abgrenzen, einen Rechenfehler identifizieren oder die Wahl einer bestimmten Methode begründen. Ergänzen Sie dies um den Schwierigkeitsgrad und die Art der verfügbaren Unterstützung. Ist das Ziel zu breit gefasst, könnte jedes positive Ergebnis fälschlicherweise als Bestätigung interpretiert werden. Eine präzise Fragestellung ermöglicht es hingegen, gezielte Aufgaben zu entwickeln und zu prüfen, ob die Lernmechanismen tatsächlich greifen – etwa durch das Klären von Missverständnissen, das Geben passender Hinweise, gezieltes Üben sowie Feedback, das zu einer besseren Leistung bei künftigen Aufgaben führt.

Legen Sie das Ziel fest, bevor Sie die Ergebnisse auswerten. Wer nach einer Pilotphase aus einer Vielzahl von Kennzahlen einfach die günstigste herauspickt und diese als Hauptergebnis deklariert, verzerrt den tatsächlichen Erfolg. Explorative Evaluierungen können zwar verschiedene Indikatoren untersuchen, doch deren jeweiliger Stellenwert sollte stets klar definiert bleiben. Leitfaden der CDC zur Evaluierungsplanung empfiehlt, Fragestellungen direkt mit den entsprechenden Daten und der späteren Nutzung der Ergebnisse zu verknüpfen. Im Rahmen eines Kurses hilft dies dabei, unmittelbar festzulegen, welche Informationen für die nächste grundlegende Entscheidung gesammelt werden sollten.

Drei Beobachtungszeitpunkte unterscheiden

Überprüfen Sie während der Übungsphase, ob die Lernenden angemessene Unterstützung erhalten und weiterarbeiten können. Prüfen Sie unmittelbar danach, ob sie ein neues Beispiel unter den vereinbarten Bedingungen erfolgreich bearbeiten. Überprüfen Sie zu einem späteren Zeitpunkt, ob der geforderte Lösungsansatz beibehalten wurde – sofern dies für das Programm von Bedeutung ist. Diese Zeitpunkte dienen der Beantwortung unterschiedlicher Fragen. Eine zügige Bearbeitung von Aufgaben mithilfe aktiver Hinweise kann zwar hilfreich sein, ersetzt jedoch weder die Leistungsüberprüfung nach Abschluss der Interaktion mit dem Tutor, noch gibt sie Aufschluss darüber, wie nachhaltig ein Lernergebnis ist.

Setzen Sie nicht für jedes Thema ohne entsprechende Begründung denselben zeitlichen Abstand an. Der Zeitrahmen hängt von der jeweiligen Aufgabe, der zu treffenden Entscheidung und dem zugrunde liegenden Prozess ab. Legen Sie diesen Rahmen fest und interpretieren Sie eine kurzfristige Beobachtung nicht als langfristige Beherrschung des Stoffs. Auch andere Lernaktivitäten oder Übungen, die zwischen den verschiedenen Zeitpunkten der Leistungsüberprüfung stattfinden, sind Teil des Kontexts. Dokumentieren Sie bekannte Veränderungen, um zu vermeiden, dass eine spätere Entwicklung allein dem Tutor zugeschrieben wird – obwohl sie möglicherweise auf verschiedene Unterstützungsquellen oder praktische Erfahrungen bei der Anwendung des Lernstoffs zurückzuführen ist.

Forschungsergebnisse im Kontext des Tool-Designs betrachten

Die randomisierte Studie von Kestin und Kollegen aus dem Jahr 2025 verglich einen speziell entwickelten KI-Tutor mit aktivem Präsenzunterricht in einem universitären Umfeld. Die Autoren berichteten von einem besseren Ergebnis für das untersuchte Format. Dies ist ein Beleg für eine spezifische Implementierung unter bestimmten Rahmenbedingungen – und keine allgemeingültige Eigenschaft eines jeden Chatbots. Bevor Sie die Schlussfolgerungen auf andere Kontexte übertragen, sollten Sie die Inhalte, die Art der Unterstützung, die Form der Leistungsüberprüfung sowie die Zielgruppe genau betrachten, anstatt sich lediglich auf eine plakative Aussage im Titel der Studie zu stützen.

Unterdessen haben Bastani und Kollegen Es wurden schulmathematische Lernprozesse untersucht, wobei die Ergebnisse von Übungen mit KI-Unterstützung mit den Ergebnissen einer Prüfung ohne KI verglichen wurden. Eine konventionellere Form der Unterstützung kann zwar die Leistung während der Übungsphase verbessern, sich jedoch negativ auf spätere, eigenständig erbrachte Leistungen auswirken – es sei denn, es wurden spezifische pädagogische Schutzmaßnahmen getroffen. Solche Studien sollten nicht auf einen einfachen Widerspruch reduziert werden. Es empfiehlt sich, das spezifische Lerndesign zu testen und separat zu erfassen, was nach Wegfall der Unterstützung tatsächlich an Wissen oder Können verbleibt – und zwar unter Bedingungen, die den Lernzielen des jeweiligen Kurses entsprechen.

Wählen Sie eine aussagekräftige Alternative

Als Vergleichsbasis können die bisherige Unterrichtspraxis, strukturierte Hinweise, ein Leitfaden oder die Unterstützung durch Lehrende dienen. Die Wahl hängt von der jeweiligen Fragestellung ab. Wenn eine Bildungseinrichtung entscheidet, ob sie ihr bisheriges Format ersetzen soll, ist dieses Format die relevante Vergleichsgröße. Ein Vergleich mit einer Situation ohne jegliche Unterstützung beantwortet hingegen eine ganz andere Frage. Schwächen Sie die Kontrollgruppe nicht bewusst ab: Die Ergebnisse sollten dabei helfen, fundierte Entscheidungen zwischen realen Optionen zu treffen – und nicht darauf abzielen, ein vorab festgelegtes, positives Ergebnis für ein neues (KI-)Werkzeug zu liefern.

Berücksichtigen Sie die Lerninhalte, die verfügbare Zeit und zusätzliche Unterstützungsangebote. Wenn die KI-Gruppe mehr Zeit zur Verfügung hat oder intensiver übt, darf der Leistungsunterschied nicht allein der KI-Unterstützung zugeschrieben werden. Manchmal wird das gesamte Lernformat als Ganzes getestet – was legitim ist, sofern dies auch entsprechend beschrieben wird. Eine präzise Fragestellung erfordert ein entsprechendes Forschungsdesign. Der bloße Vergleich zweier unterschiedlicher Lernkonzepte lässt nicht erkennen, welchen Beitrag die einzelnen Elemente jeweils leisten – selbst dann nicht, wenn die Endergebnisse sorgfältig anhand eines einheitlichen Bewertungsschemas gemessen werden.

Berücksichtigen Sie die Vorkenntnisse

Voraussetzungen (Vorkenntnisse) können den Nutzen von Hilfestellungen maßgeblich beeinflussen. Lernende mit fundiertem Vorwissen können fehlerhafte Erklärungen eher erkennen, während Lernende ohne Vorkenntnisse möglicherweise gar nicht wissen, welche Art von Unterstützung sie benötigen. Nutzen Sie eine kurze, relevante Einstufungs- oder Ausgangsdiagnostik. Diese sollte dazu dienen, die Zusammensetzung der Gruppen zu klären – nicht dazu, eine weitere umfangreiche Prüfung darzustellen. Dokumentieren Sie, wer eingeladen wurde, wer zugestimmt hat und wer die Evaluation tatsächlich abgeschlossen hat. Die Schlussfolgerungen hängen stark von diesem Gesamtbild ab – insbesondere dann, wenn die Teilnahme freiwillig ist und engagiertere Personen eher dazu neigen, die Evaluation auch abzuschließen.

Kausale Schlussfolgerungen erfordern ein geeignetes Forschungsdesign; idealerweise sollte hierbei eine Fachperson einbezogen werden. Eine zufällige Zuweisung (Randomisierung) kann den Vergleich erleichtern, löst jedoch nicht automatisch alle Probleme, die bei der Umsetzung oder Analyse auftreten können. Wenn die Schule lediglich einen operativen Pilotversuch durchführt, sollte ein entsprechend bescheidenes Ziel verfolgt werden: Hindernisse identifizieren, Ressourcen abschätzen und prüfen, ob das Verfahren praktikabel ist. Dies ist sinnvoll, sofern es nicht als allgemeingültiger Nachweis der Wirksamkeit für alle Lernenden und für zukünftige Versionen des Instruments dargestellt wird.

Neue Aufgaben zur Leistungsbeurteilung erstellen

Die abschließenden Aufgabenbeispiele sollten nicht einfach Inhalte wiederholen, die die Lehrkraft bereits erläutert hat. Behalten Sie das zugrunde liegende Prinzip bei, variieren Sie jedoch die konkreten Daten oder den Kontext. Die Lernenden sollen den Lösungsansatz wiedererkennen, anstatt lediglich eine bereits bekannte Antwort abzurufen. Vermeiden Sie es gleichzeitig, willkürlich neue Schwierigkeitsgrade einzuführen, die nicht zum Lernziel gehören – andernfalls würde die Prüfung andere Kompetenzen messen als beabsichtigt. Ein gut konzipierter Aufgabensatz macht den Transfer des angestrebten Prinzips sichtbar und verdeutlicht, was unter den festgelegten Bedingungen als korrekte Lösung gilt.

Verlangen Sie bei Schlussfolgerungen die entscheidende Begründung. Ein Endergebnis könnte schließlich erraten oder auf anderem Wege zustande gekommen sein. Fordern Sie keine unnötig langen Texte, wenn einige wenige, aussagekräftige Schritte ausreichen. Für die Bewertung sind Kriterien, Beispiele sowie ein Verfahren für unklare Fälle erforderlich. Die Carnegie Mellon University legt den Schwerpunkt auf gezieltes Üben und Feedback.; bei der Evaluation trägt dies dazu bei, den Zusammenhang zwischen den vermittelten Inhalten und den nach Abschluss der Übungsphase erhobenen Daten zu wahren.

Bedingungen für eigenständige Leistungen festlegen

Selbstständigkeit bedeutet nicht zwangsläufig den Verzicht auf Hilfsmittel. Bei manchen Aufgaben ist die Nutzung von Referenzmaterialien ein üblicher, professioneller Arbeitsansatz; bei anderen Aufgaben ist es gerade das Ziel, Wissen aus dem Gedächtnis abzurufen. Legen Sie fest, welche Hilfsmittel erlaubt sind, und wenden Sie diese Regel konsequent an. Wenn eine Lernleistung ohne den Tutor bewertet wird, darf dessen Unterstützung beim abschließenden Versuch nicht weiterhin im Hintergrund zur Verfügung stehen. Die Lernenden müssen im Vorfeld den Unterschied zwischen Übungsphasen und bewerteten Phasen verstehen, damit sich die Erwartungen nicht erst im Nachhinein – nach Vorliegen der Ergebnisse – ändern.

Überprüfen Sie die Zugänglichkeit des Formats sowie notwendige Anpassungsoptionen (Barrierefreiheit). Technische Hürden in der Benutzeroberfläche sollten nicht den Blick auf das fachliche Wissen verstellen. Wenn eine Einreichung aufgrund eines technischen Fehlers nicht möglich ist, unterscheidet sich dies von einer inhaltlich falschen Lösung; erfassen Sie solche Fälle daher separat. Falls die Lernplattform „WeStudy“ zum Einsatz kommt, prüfen Sie den konkreten Ablauf bis zur abschließenden Aufgabe sowie die verfügbaren Einstellungen. Gehen Sie nicht einfach davon aus, dass spezifische Rahmenbedingungen kontrolliert werden oder eine automatisierte Analyse von Lernprozessen möglich ist – vergewissern Sie sich stattdessen über die tatsächlichen technischen Möglichkeiten Ihrer Umgebung und die vereinbarten Vorgehensweisen.

Bewerten Sie Erklärungen, nicht nur die erzielten Punktzahlen.

Untersuchen Sie beispielhaft, wie die Interaktionen verlaufen. Stellt der Tutor angemessene Klärungsfragen, erkennt er Fehler und gibt er hilfreiche Hinweise? Oder verrät er die Lösung zu früh? Solche Beobachtungen helfen dabei, das Zustandekommen eines Ergebnisses zu verstehen. Eine hohe Punktzahl allein verrät nicht, welche Aspekte des Lernszenarios tatsächlich gut funktionieren. Erkenntnisse für Verbesserungen lassen sich gewinnen, indem man typische Lernverläufe betrachtet: Wo kommen Lernende nicht weiter? In welchen Fällen bestätigt das System fälschlicherweise eine falsche Argumentation, anstatt dabei zu helfen, diese zu überprüfen?

Erheben Sie nur die Daten, die unter den vereinbarten Bedingungen tatsächlich erforderlich sind. Oft reicht ein anonymisierter Ausschnitt aus, um einen Fehler zu analysieren; ein vollständiger persönlicher Dialog ist meist nicht notwendig. Legen Sie offen, zu welchem ​​Zweck die Materialien verwendet werden und wer Zugriff darauf hat. Falls die Daten in die Notengebung einfließen, muss dies vorab klar kommuniziert werden. Nutzen Sie keine Übungsgespräche – die von den Teilnehmenden als geschützter Raum zum Ausprobieren verstanden wurden – für eine verdeckte Leistungsbeurteilung. Vertrauen und klare Regeln sind ein wesentlicher Bestandteil der Qualität der Umsetzung; sie sind weit mehr als nur eine technische Einstellung im System.

Analysieren Sie ausbleibende Ergebnisse und Nichtnutzung.

Nicht alle eingeladenen Personen werden die abschließende Bewertung erreichen. Manche werden den Tutor gar nicht erst nutzen; Andere hören möglicherweise auf, sich zu beteiligen, oder haben im entscheidenden Moment keinen Zugriff. Veranschaulichen Sie dies. Ein Vergleich, der sich nur auf die aktivsten Nutzer beschränkt, kann zu einem anderen Ergebnis führen als eine Auswertung des gesamten Angebots. Stimmen Sie einen geeigneten Analyseansatz mit einem Experten ab und behalten Sie die ursprüngliche Fragestellung bei. Definieren Sie Gruppen nicht nachträglich um, nur weil die Ergebnisse dadurch überzeugender wirken oder sich in einem kurzen Bericht leichter erklären lassen.

Gründe für eine Nichtnutzung können ebenfalls dazu beitragen, das Produkt zu verbessern. Möglicherweise ist der Zugang schwierig, die Anweisungen sind unklar oder die tutorielle Unterstützung ist nicht auf den tatsächlichen Schwierigkeitsgrad abgestimmt. Ein nicht ausgefüllter Fragebogen rechtfertigt jedoch nicht, dass man sich einen Grund ausdenkt. Kennzeichnen Sie Unbekanntes und klären Sie die Sachverhalte gegebenenfalls. Einzelne Interviews können zwar auf eine bestimmte Hürde hinweisen, lassen aber keinen Rückschluss auf deren Verbreitung zu. Verknüpfen Sie verschiedene Signale unter Berücksichtigung der jeweiligen methodischen Einschränkungen, anstatt Daten durch eine bequeme, allgemeine Erklärung für das Verhalten der Lernenden zu ersetzen.

Legen Sie eine begrenzte Anzahl von Messgrößen fest

Wählen Sie eine klare primäre Messgröße, die direkt mit der angestrebten Handlung verknüpft ist – etwa die Genauigkeit der Lösungen (gemessen anhand eines Bewertungsschemas) oder den Anteil der Aufgaben, bei denen ein nachvollziehbarer Lösungsweg dargelegt wurde. Definieren Sie ergänzend weitere Indikatoren: Zeitaufwand, erforderliche Klärungen, Fehlerarten sowie die Qualität der Interaktion. Fassen Sie diese nicht ohne Erläuterung zu einem einzigen Gesamtwert zusammen. Eine schnelle Bearbeitung mit einer falschen Methode ist etwas anderes als eine langsamere, aber fundierte Lösung – bewahren Sie diese Unterscheidung, um das jeweilige Lernszenario gezielt verbessern zu können.

Halten Sie fest, welche Unterschiede für Ihre Entscheidung tatsächlich von Bedeutung sind. Statistische Signifikanz und der Erkenntniswert sind nicht dasselbe. Eine fundierte Analyse erfordert eine ausreichende Datenbasis, eine Einschätzung der Unsicherheit sowie eine fachkundige Interpretation. Ein kleiner Pilotversuch liefert zwar möglicherweise keinen präzisen Durchschnittswert für den Vorteil, kann aber auf einen entscheidenden Fehler oder ein grundlegendes Problem hinweisen. Verwerfen Sie ein solches Ergebnis nicht nur deshalb, weil es keine „attraktive“ Gesamtzahl liefert. Es kann ein hinreichender Grund sein, das Szenario zu überarbeiten, bevor ein weiterer Versuch mit neuen Teilnehmenden durchgeführt wird.

Geben Sie neben dem Prozentsatz auch den Nenner an. Wie viele Personen wurden eingeladen, wie viele haben die geforderte Aufgabe abgeschlossen, und bei wie vielen ist das Ergebnis unbekannt? Wenn Sie Aufgaben zählen, erläutern Sie, wie mehrere Antworten einer einzelnen Person zueinander in Beziehung stehen. Komplexere Daten erfordern ein angemessenes Analysemodell. Zählen Sie nicht jede einzelne Nachricht in einem Dialog als einen eigenständigen Lernenden. Dies könnte einen fälschlicherweise großen Datensatz vortäuschen und ein unbegründetes Vertrauen erwecken – obwohl die tatsächliche Anzahl der Teilnehmenden und der individuellen Lernsituationen zu gering ist, um daraus allgemeingültige Schlussfolgerungen zu ziehen.

Überprüfung der Arbeit der Bewertenden

Lassen Sie vor der eigentlichen Auswertung zwei Fachleute unabhängig voneinander verschiedene Arbeitsproben beurteilen. Bitten Sie beide um eine Bewertung sowie eine entsprechende Begründung. Falls eine Person beispielsweise flüssig formulierte Texte bevorzugt, während eine andere auf die korrekte methodische Vorgehensweise achtet, sollten die Bewertungskriterien aufeinander abgestimmt werden. Verschleiern Sie nach Möglichkeit, welches Trainingsformat die jeweilige Person durchlaufen hat. Dies kann Erwartungseffekte verringern, ersetzt jedoch nicht andere Aspekte einer soliden Versuchsplanung. Behalten Sie bei schwierigen Fällen die verwendete Bewertungsmatrix (Rubrik) und das festgelegte Verfahren bei, damit die Ergebnisse über verschiedene Phasen hinweg korrekt verglichen und den Lesenden des Berichts verständlich dargelegt werden können.

Eine automatisierte Vorab-Bewertung erfordert eine separate Validierung. Wenn eine KI sowohl den Lernprozess steuert als auch die abschließende Bewertung vornimmt, könnten systematische Fehler unentdeckt bleiben. Vergleichen Sie die Urteile der KI mit einer fachkundigen menschlichen Beurteilung anhand einer repräsentativen Auswahl an Arbeiten. Betrachten Sie eine automatisierte Freigabe nicht als unabhängigen Beleg für den Lernerfolg. Sie kann ein nützlicher Hinweis sein – vorausgesetzt, das Team kennt die Grenzen des Systems und verfügt über ein entsprechendes Überprüfungsverfahren. Schlussfolgerungen über das Erreichen von Lernzielen sollten darauf basieren, was in der Arbeit tatsächlich gezeigt wird, und nicht darauf, wie sicher sich ein Tool in seiner eigenen Bewertung ist.

Hypothetisches Pilotprojekt: Wahl einer Rechenmethode

Stellen Sie sich einen Kurs vor, in dem Studierende entscheiden müssen, welche von zwei Rechenmethoden den jeweiligen Anforderungen entspricht. Das Team beobachtet einen häufigen Fehler: Die Teilnehmenden rechnen zwar korrekt, wählen aber eine ungeeignete Methode. Der KI-Tutor übt diese Wahl und bittet die Studierenden, den relevanten Aspekt der Situation zu erläutern. Die Alternative verwendet dieselben Beispiele mit strukturierten Hinweisen. Dies ist ein illustratives Design und kein Ergebnis einer realen Schule. Es ermöglicht die Diskussion darüber, was gemessen werden soll, ohne fiktive Erfolge einem Produkt oder einer Lernplattform zuzuschreiben.

Die Teilnehmenden bearbeiten zunächst eine kurze Basisaufgabe. Beide Übungsformate verwenden dieselben Inhalte und Ressourcen. Anschließend erhalten die Studierenden neue Beispiele, bei denen das Erkennen bekannter Zahlen nicht ausreicht. Sie müssen eine Methode wählen und ihre Entscheidung begründen. Die Bewertung trennt die arithmetische Genauigkeit von der Methodenwahl. Dadurch wird die beabsichtigte Veränderung sichtbar: Jemand kann besser rechnen, aber dennoch nicht verstehen, wann er eine bestimmte Methode anwenden soll. Eine Gesamtbewertung ohne detaillierte Angaben könnte diese wichtige Unterscheidung verschleiern.

Die Gutachter verwenden die vereinbarte Bewertungsmatrix und behalten Erläuterungen für Grenzfälle bei. Das Team fragt separat nach der Benutzerfreundlichkeit. Wenn die KI-Konversation angenehmer ist, sich die selbstständige Methodenauswahl aber nicht verbessert, sind dies zwei unterschiedliche Schlussfolgerungen. Hinweise sollten gegebenenfalls überarbeitet werden, anstatt das Format komplett aufzugeben. Verbessert sich die Genauigkeit, müssen Unsicherheit und Ressourcenbedarf weiterhin bewertet werden. Eine kurze Funktionsprüfung kann den nächsten Schritt aufzeigen, ohne eine universelle Überlegenheit für jedes mathematische Thema, jede Altersgruppe und jede Übungsanordnung zu belegen.

Eine spätere Aufgabe überprüft, ob das relevante Prinzip verinnerlicht wurde. Weitere Lernmaterialien, auf die die Lernenden zwischen den einzelnen Phasen stoßen, werden bei der Interpretation berücksichtigt. Die Ergebnisse werden zusammen mit den Rahmenbedingungen und den noch ungeklärten Aspekten dokumentiert. Ein solcher Bericht hilft den Erstellern des Kurses zu erkennen, welche Anpassungen erforderlich sind, und ermöglicht es Entscheidungsträgern, den Nutzen ins Verhältnis zu den Kosten zu setzen. Das wichtigste Ergebnis einer Evaluation ist eine fundierte Entscheidung – und nicht etwa die bloße Feststellung, dass ein neues Angebot bei den Lernenden gut ankam und daher sofort, ohne weitere Tests, auf das gesamte Programm ausgeweitet werden sollte.

Unterschiedliche Erfahrungen der Lernenden nicht außer Acht lassen

Ein Durchschnittswert kann eine Gruppe verbergen, für die das gewählte Format nicht zielführend ist. Prüfen Sie, ob Barrieren im Zusammenhang mit Vorkenntnissen, der Sprache oder der Zugänglichkeit der Interaktionsmöglichkeiten bestehen. Ziehen Sie keine weitreichenden Schlussfolgerungen aus kleinen Untergruppen; die Datenbasis könnte hierfür nicht ausreichen. Dennoch sollten spezifische Probleme untersucht und behoben werden. Dass ein Format für die Mehrheit bequem ist, bedeutet nicht, dass die Bedürfnisse derjenigen entfallen, die aufgrund des Formats keinen Hinweis erhalten oder ihr Wissen nicht unter Beweis stellen können. Stellen Sie sicher, dass innerhalb des geplanten Lernerlebnisses weiterhin ein barrierefreier Alternativweg zur Verfügung steht.

Führen Sie schwache Ergebnisse nicht allein auf mangelnde Anstrengungsbereitschaft der Lernenden zurück. Möglicherweise gibt die Lehrkraft Lösungen zu früh preis, spricht zu ausführlich oder missversteht Fragen. Umgekehrt ist das eingesetzte Instrument nicht für alle externen Rahmenbedingungen verantwortlich. Analysieren Sie konkrete Interaktionen, den Schwierigkeitsgrad der Aufgaben und die zur Verfügung stehende Zeit. Halten Sie fest, was bekannt ist und welche Änderung als Nächstes getestet werden soll. Auf diese Weise kann die Evaluation den Lernprozess verbessern – ganz ohne pauschale Etikettierungen für Lernende oder Technologien –, während sie gleichzeitig eng mit konkreten Nachweisen für die tatsächlich erworbenen Kompetenzen verknüpft bleibt.

Einen Bericht erstellen, auf den man später zurückgreifen kann

Der Bericht sollte die Aufgabe, die Zielgruppe, das Format der Anleitung, den Vergleich sowie die Bewertungsmethode erläutern. Ergänzen Sie Angaben zum Zeitraum, zu den verwendeten Materialversionen und zu noch offenen Fragen. Auch Personen, die nicht am Pilotprojekt beteiligt waren, sollten nachvollziehen können, warum das Team eine bestimmte Entscheidung getroffen hat. Beschränken Sie sich nicht darauf, nur die positivsten Rückmeldungen zu präsentieren. Beispiele für Fehler und unerwartete Ergebnisse sind für die weitere Optimierung oft wertvoller als eine durchweg positive Bewertung. Sie zeigen die Grenzen der Anwendung auf und helfen neuen Kursleitenden dabei, Schwachstellen, die bereits im Lernszenario identifiziert wurden, zu vermeiden.

Behalten Sie für einen weiteren Durchlauf geeignete Aufgaben, die Bewertungsmatrix (Rubrik) sowie die Verfahrensbeschreibung bei – unter Einhaltung der vereinbarten Regeln für den Umgang mit Daten. Dokumentieren Sie veränderte Rahmenbedingungen. Vergleichen Sie neue und alte Gruppen nicht so, als seien alle Faktoren identisch geblieben. Ebenso wenig müssen Sie die bereits gewonnenen Erfahrungen jedes Mal verwerfen. Nutzen Sie diese stattdessen als Grundlage für eine präzisere Fragestellung und einen weiteren Test. Durch kontinuierliche Verfeinerung entwickelt sich ein erster Eindruck von einem Werkzeug zu einem fundierten Verständnis darüber, welchen Beitrag es für ein bestimmtes Programm, eine spezifische Zielgruppe und unter den jeweiligen Testbedingungen leistet.

Entscheidungen über den Einsatz sollten den gesamten Ressourcenbedarf berücksichtigen.

Berücksichtigen Sie über den reinen Zugang zum Werkzeug hinaus auch die Vorbereitung von Szenarien, die Auswertung von Antworten, den Arbeitsaufwand für Lehrende sowie die notwendige Unterstützung. Ein kostengünstigeres Einzelgespräch kann beispielsweise eine aufwendige Betreuung erfordern. Ermitteln Sie, für welche Studierenden und Themen sich das Format eignet und wo andere Unterstützungsformen besser funktionieren. Es ist auch möglich, nur Teilaspekte anzupassen: Behalten Sie die tutorielle Begleitung für eine bestimmte Aufgabenart bei, überarbeiten Sie die Hilfestellungen oder führen Sie einen weiteren Pilotdurchlauf durch. Die Wirksamkeit muss nicht für den gesamten Kurs und jedes Vorwissensniveau einen einheitlichen Wert aufweisen.

Wenn die LMS-Plattform „WeStudy“ Teil des Lernpfads ist, verknüpfen Sie gesicherte Erkenntnisse mit den aktuellen Aufgaben und den Erklärungen der Teilnehmenden. Bewahren Sie die jeweiligen Versionen der tutorielle Begleitung und der Verfahrensabläufe auf. Da zukünftige Aktualisierungen das Verhalten des Systems verändern könnten, sind gegebenenfalls erneute Tests erforderlich. Trennen Sie in Ihren Berichten zwischen der Erfahrung während der Interaktion, der eigenständigen Leistung und den nicht vorhersehbaren Ergebnissen. Auf diese Weise basieren Entscheidungen darauf, was die Studierenden tatsächlich gelernt haben – während positive Bewertungen der Interaktion zwar ein wichtiges, aber separates Indiz für die Nutzerfreundlichkeit und Akzeptanz bleiben.

Beginnen Sie mit einer kleinen, überprüfbaren Aufgabe und behalten Sie deren Kriterien bis zur nächsten Aktualisierung des Tools bei. Dies schafft eine aussagekräftige Grundlage für den Vergleich späterer Ergebnisse.

Quellen

1. Kestin et al.: Randomisierte Studie zu KI-Tutoren, 2025.

2. Bastani et al.: Ergebnisse mit und ohne KI, 2025.

3. CDC: Entwicklung eines Evaluationsplans.

4. Carnegie Mellon University: Prinzipien des Lernens.

5. UNESCO: Generative KI in Bildung und Forschung.