Was ist die Übereinstimmung zwischen Bewertenden und wie lässt sie sich prüfen?

Eine Lehrkraft bewertet das Projekt als gelungene Aufgabenbearbeitung, eine andere gibt es zur Überarbeitung zurück. Ein Student erhält zwei Noten für dieselbe Arbeit und ist sich unsicher, wem er glauben soll. Die Ursache liegt möglicherweise nicht in mangelnder Aufmerksamkeit der Prüfer. Die Rubrik lässt zu viel Raum für unterschiedliche Interpretationen: „ausreichend argumentiert“, „gut geschrieben“, „das Thema ist verstanden“.

Die Beschreibung der Kriterien allein garantiert keine einheitliche Bewertung. Es ist notwendig zu überprüfen, wie verschiedene Personen sie an realen Arbeiten anwenden. Eine solche Überprüfung ist vor Beginn des Projekts, bei der Einbindung neuer Betreuer und nach einer wesentlichen Aktualisierung der Aufgabe sinnvoll. Es hilft Ihnen, Abweichungen in den Beurteilungen zu erkennen und zu entscheiden, was geändert werden muss: die Formulierung, Beispiele, Expertenschulungen oder die Lernaufgabe selbst.

Das folgende Verfahren ist für einen internen Pilotversuch einer Online-Schule vorgesehen. Eine wirkungsvolle Zertifizierung erfordert eine speziell konzipierte Reliabilitätsanalyse und die Einbindung eines Messspezialisten. Eine kleine Anzahl von Studien liefert zwar nützliche Hinweise, beweist aber nicht die universelle Zuverlässigkeit eines Bewertungsrasters für alle Studierenden, Lehrenden und Programme.

Identifizieren Sie zunächst die Entscheidung, die von der Bewertung abhängt.

Bewertungen können verschiedene Funktionen erfüllen. In einer Übung hilft sie bei der Wahl des nächsten Schritts, in einem Abschlussprojekt bestimmt sie den Kursabschluss und in einer beruflichen Zertifizierung kann sie die Jobzulassung beeinflussen. Das akzeptable Risiko von Abweichungen ist in diesen Situationen unterschiedlich. Legen Sie nicht dieselben Anforderungen fest, nur weil die Benutzeroberfläche überall die übliche Punktzahl anzeigt.

Legen Sie die Bewertungseinheit fest: ein einzelnes Kriterium, eine Gesamtpunktzahl oder die Kategorie „bestanden/verbesserungsbedürftig“. Die Analyse hängt davon ab. Zwei Experten können Arbeiten nahezu gleich bewerten, aber systematisch unterschiedliche Punktzahlen vergeben. Dies ist problematisch für die Auswahl der besten Arbeiten, aber nicht für das Erreichen einer bestimmten Bestehensgrenze. Der Zweck der Bewertung sollte der Wahl eines statistischen Indikators vorausgehen.

Vereinbaren Sie außerdem eine angemessene Toleranzgrenze für Abweichungen. Beispielsweise kann eine Schule mit Zulassungsvoraussetzungen alle Fälle, in denen die Zulassungsentscheidung abweicht, auch bei geringfügigen Abweichungen, separat betrachten. Dies ist eine interne Regel für einen spezifischen Prozess, kein allgemeiner Standard. Sie sollte den Konsequenzen von Fehlern und der Möglichkeit einer Nachprüfung entsprechen.

Trennen Sie Zuverlässigkeit und Korrektheit.

Vollständige Übereinstimmung zwischen zwei Lehrkräften bedeutet nicht, dass sie die erforderliche Kompetenz bewerten. Beide könnten ansprechende Präsentationen anstelle einer begründeten Entscheidung bewerten. Zuverlässigkeit bezieht sich auf die Konsistenz der Bewertung unter bestimmten Bedingungen; die Gültigkeit der Ergebnisinterpretation erfordert gesonderte Nachweise. Daher sollte die Rubrik zunächst mit den Lernzielen verglichen und erst dann ihre Anwendung überprüft werden.

Eine hilfreiche Frage für jedes Kriterium lautet: Welchen beobachteten Teil der Arbeit beschreibt es? Wenn die Antwort eine Einschätzung des Charakters, des Fleißes oder des zukünftigen Erfolgs des Studierenden erfordert, sollte das Kriterium präzisiert werden. Der/Die Bewertende sollte sich auf einen tatsächlich beobachteten Arbeitsabschnitt oder eine Handlung beziehen. Dies ermöglicht ein substanzielles anschließendes Gespräch, selbst wenn die fachlichen Beurteilungen voneinander abweichen.

Gleichzeitig sollte nicht versucht werden, die Komplexität der fachlichen Aufgabe zu reduzieren. Ein Analysebericht oder ein pädagogisches Projekt lässt sich nicht immer auf eine Liste formaler Noten reduzieren. Die Aufgabe der Rubrik besteht darin, die Grundlage für die Beurteilung sichtbar zu machen. Sie soll Entscheidungen erläutern und nicht den Eindruck mechanischer Präzision erwecken, wo fundierte fachliche Beurteilung erforderlich ist.

Wählen Sie Werke aus, die die Kriterien tatsächlich auf die Probe stellen.

Beschränken Sie die Pilotstudie nicht auf die besten Beispiele. Beziehen Sie starke, schwache, unfertige und grenzwertige Arbeiten sowie die verschiedenen Herangehensweisen der Aufgabenstellung mit ein. Besonders hilfreich sind Fälle mit uneinheitlichen Profilen: eine überzeugende Analyse mit mangelhafter Struktur oder ein gut konzipiertes Produkt mit einer falschen Schlussfolgerung. Diese Beispiele zeigen, ob Experten zwischen den Kriterien unterscheiden.

Gutachter sollten die Herkunft der Stichprobe kennen. Wenn Sie bewusst viele grenzwertige Arbeiten gesammelt haben, sollten Sie die Ergebnisse nicht als Schätzung der Normalverteilung aller Arbeiten präsentieren. Wenn Sie ausschließlich Arbeiten von Studierenden im Master- oder Promotionsstudium verwenden, lassen sich die Schlussfolgerungen nicht automatisch auf Studierende im ersten oder zweiten Studienjahr übertragen. Dokumentieren Sie die Auswahlmethode, das Niveau der Studierenden, die Aufgabenstellung und den Umfang der verfügbaren Belege.

Entfernen Sie Namen und vorherige Noten, sofern diese nicht für die Entscheidung erforderlich sind. Informationen über den Fleiß der Studierenden oder die Meinung des Kursleiters können die Bewertung unbeabsichtigt beeinflussen. Die Bedingungen müssen identisch sein: dieselbe Datei, dieselbe Version der Bewertungskriterien, derselbe Zugriff auf die Anhänge. Andernfalls beruhen einige Unstimmigkeiten auf unterschiedlichen Materialien und nicht auf unterschiedlicher Anwendung der Kriterien.

Führen Sie die erste Runde unabhängig voneinander durch.

Jeder Experte bewertet die Arbeiten ohne Rücksprache mit Kollegen und notiert neben den Punktzahlen auch kurze Begründungen. Bitten Sie um konkrete Belege: eine Seite, einen Rechenabschnitt, einen Rechenschritt. Auch die Kennzeichnung „nicht sicher“ ist hilfreich: Sie zeigt an, wo die Beschreibung der Stufen nicht ausreichend begründet ist. Erzwingen Sie keine vorgetäuschte Gewissheit nur für eine übersichtliche Tabelle.

Halten Sie die ersten Ergebnisse vor dem gemeinsamen Treffen fest. Ändern sich Bewertungen während der Diskussion, speichern Sie beide Fassungen. Eine nach der Abstimmung vereinbarte Antwort beschreibt das Ergebnis der Moderation, jedoch nicht die unabhängige Übereinstimmung zwischen Bewertenden. Die Vermischung beider Datensätze erzeugt attraktive Statistiken, die nicht dem Alltag entsprechen, in dem die Lernbegleitung selbstständig arbeitet.

Für ein solches Pilotprojekt kann die Lernplattform WeStudy Teil der Lernumgebung sein, und ein separates Journal dient der Dokumentation von Noten und Erläuterungen. Wählen Sie die spezifische Datenerhebungsmethode nach Prüfung der verfügbaren Einstellungen. Die Zuverlässigkeit hängt vom Verfahren und der Qualität der Nachweise ab; daher kann ein digitales Werkzeug die Unabhängigkeit der ersten Runde nicht ersetzen.

Beginnen Sie mit einer übersichtlichen Darstellung der Abweichungen.

Erstellen Sie eine Tabelle mit den Kriterien „Arbeit – Kriterium – Experte“. Prüfen Sie, wo die Noten übereinstimmen, wo sie sich um eine benachbarte Stufe unterscheiden und wo sie zu gegensätzlichen Ergebnissen führen. Der Gesamtdurchschnitt kann Fehler in verschiedenen Richtungen verschleiern. Wenn ein Dozent die Struktur und ein anderer die Argumentation stärker bewertet, können die Endergebnisse trotz fehlender Übereinstimmung ähnlich aussehen.

Betrachten Sie systematische Strenge gesondert. Vergibt jemand fast immer niedrigere Punktzahlen? Wird ein Kriterium als Gesamteindruck aller Arbeiten verwendet? Wird eine bestimmte Skalenstufe fast nie gewählt? Diese Beobachtungen identifizieren nicht die Hauptursache. Sie helfen jedoch, eine Erklärung zu formulieren, die in der nächsten Runde überprüft werden kann.

Ein einfacher Prozentsatz exakter Übereinstimmungen lässt sich dem Team leicht erklären, ist aber für alle Probleme nicht ausreichend. Eine in einer Gruppe „gezählte“ Übereinstimmung, in der fast alle Arbeiten eindeutig gut sind, sagt wenig über die Grenzfälle aus. Geben Sie neben der Zahl auch die Anzahl der Arbeiten, die Verteilung der Kategorien und die Art der Abweichungen an. Der Leser sollte genau erkennen können, worauf die Schlussfolgerung basiert.

Passen Sie das Messinstrument an die Skala und das Design an.

Für kategoriale Entscheidungen werden manchmal Kappa-Koeffizienten verwendet; für geordnete Kategorien kann eine gewichtete Version mit angemessenen Gewichtungen geeignet sein. Die Wahl hängt von der Anzahl der Beurteiler, der Datenstruktur und der Forschungsfrage ab. Verwenden Sie die einfache Korrelation nicht als universellen Übereinstimmungsnachweis: Ein gemeinsamer Anstieg in zwei Bewertungssätzen schließt eine stabile Verschiebung zwischen ihnen nicht aus.

Für numerische Werte wird unter anderem die Intraclass-Korrelation (ICC) verwendet. Der methodische Artikel von Koo und Li erläutert, warum Sie das Modell, die Messart und die Definition der Übereinstimmung festlegen müssen. Eine einzelne Expertenbewertung und der Durchschnitt mehrerer Bewertungen stellen unterschiedliche Sachverhalte dar. Absolute Übereinstimmung unterscheidet sich ebenfalls von Konsistenz, was systematische Unterschiede zulässt.

Die statistischen Bezeichnungen in diesem Material dienen als Richtlinien und stellen keine fertige Berechnungsanleitung dar. Ziehen Sie für die Wahl der ICC-Form, den Umgang mit Auslassungen und die Abschätzung der Unsicherheit den zuständigen Analysten hinzu. Aktualisierte methodische Richtlinien Berücksichtigen Sie unvollständige Designs gesondert. Wählen Sie einen Koeffizienten nicht nach Sichtung der Ergebnisse nur deshalb, weil er am besten erscheint.

Machen Sie aus einer einzelnen Zahl kein Qualitätszertifikat.

Ein Messwert ist nur im Zusammenhang mit einem Konfidenzintervall, einer Beschreibung der Stichprobe und den Bewertungsbedingungen aussagekräftig. In einer kleinen Pilotstudie kann die Unsicherheit groß sein. Bequeme Schwellenwerte aus methodischen Publikationen sollten nicht schematisch auf jede Bildungsaufgabe übertragen werden. Die Entscheidung über die Akzeptanz erfordert die Berücksichtigung der Fehlerkosten, des Anwendungsumfangs und der Art der Unterstützung der Studierenden.

Es ist sinnvoll, die Statistiken durch konkrete Informationen zu ergänzen: Welche Kriterien führen zu den meisten Meinungsverschiedenheiten? Wie viele Fälle führen zu einer Änderung der endgültigen Entscheidung? Welche Verbesserungen plant das Team? Für die Schulleitung ist dies oft praktischer als ein aussagekräftiger Koeffizient ohne Erläuterung. Die Zahl sollte die Entscheidungsfindung unterstützen und nicht die Diskussion über die Schwächen der Bewertung beenden.

Wird die Rubrik in verschiedenen Fächern verwendet, sollte die Übertragbarkeit separat überprüft werden. Eine hohe Übereinstimmung bei kurzen analytischen Notizen beweist nicht die gleiche Leistungsfähigkeit der Kriterien bei Videopräsentationen. Änderungen des Formats, der Zielgruppe oder der Zusammensetzung der Experten können eine erneute Überprüfung erforderlich machen. Die Schlussfolgerungsgrenzen sollten neben den Ergebnissen festgehalten werden, damit sie bei der Übertragung in die Praxis nicht verloren gehen.

Führen Sie die Diskussion zu einer Verfeinerung der Beschreibungskriterien.

Bitten Sie Experten bei der Kalibrierung, zunächst Belege vorzulegen, bevor sie ihre Bewertung abgeben. Dies verringert das Risiko von Streitigkeiten über die persönliche Autorität. Wenn der eine eine „vollständige Begründung“ und der andere nur eine Liste von Behauptungen sieht, vergleichen Sie die Anforderungen an die Belege. Die Rubrik erklärt möglicherweise nicht, was einen ausreichenden Zusammenhang zwischen den Daten und der Schlussfolgerung ausmacht.

Ein verfeinertes Beschreibungskriterium sollte einen deutlichen Unterschied zwischen benachbarten Stufen beschreiben. Anstelle von „Analyse ausreichend“ könnten Sie einen Vergleich zweier möglicher Erklärungen und einen Hinweis auf die Grenzen der gewählten Erklärung fordern. Fügen Sie keine Anforderungen hinzu, die der Student in der Aufgabenstellung nicht gesehen hat. Wenn das Kriterium das erwartete Ergebnis verändert, aktualisieren Sie die Anweisungen und Beispiele und legen Sie für den aktuellen Ablauf einen fairen Übergang fest.

Erstellen Sie eine kurze Sammlung kommentierter Referenzartikel. Bei Grenzfällen ist es hilfreich, nicht nur das akzeptierte Niveau, sondern auch die Gründe für die Ablehnung des benachbarten Niveaus zu erläutern. Die Referenz sollte nicht die einzig zulässige Antwortmöglichkeit darstellen. Präsentieren Sie verschiedene korrekte Lösungen, da die Prüfer sonst die Ähnlichkeit zur Vorlage anstatt der Ausführungsqualität bewerten.

Überprüfen Sie das Ergebnis anhand neuer Beispiele.

Führen Sie nach der Änderung der Bewertungskriterien eine weitere unabhängige Runde mit anderen Arbeiten durch. Die erneute Bewertung derselben Beispiele unmittelbar nach einer ausführlichen Diskussion kann die Übereinstimmung im Gedächtnis verdeutlichen. Ein neuer Satz von Beispielen testet besser, ob die Experten gelernt haben, die Regel auf eine ungewohnte Situation anzuwenden. Vergleichen Sie die ursprünglichen und die aktualisierten Ergebnisse unter Berücksichtigung der Unterschiede in den Stichproben.

Versprechen Sie keine statistische Verbesserung ohne ausreichende Begründung. Eine interne Pilotstudie kann zu einer bescheideneren, aber dennoch nützlichen Schlussfolgerung führen: Die spezifische Mehrdeutigkeit ist beseitigt, die Experten erklären das Grenzniveau einheitlich, weniger Entscheidungen erfordern eine Moderation. Falls die Daten für eine verlässliche Verallgemeinerung nicht ausreichen, dokumentieren Sie dies. Der praktische Nutzen des Tests hängt nicht von der Lautstärke der Aussage ab.

Dokumentieren Sie die Version des Bewertungsrasters, das Datum der Eingabe und eine Liste der Änderungen. Noten, die nach unterschiedlichen Regeln vergeben wurden, sollten nicht ohne Begründung zu einer einzigen Note zusammengefasst werden. Studierende sollten wissen, welche Version für ihre Arbeit gilt. Dozierende benötigen ein prägnantes Änderungsprotokoll, damit die neue Beschreibung nicht im Chat untergeht.

Gewährleisten Sie einen einheitlichen Ablauf.

Auch nach einer erfolgreichen Pilotphase sollten Sie die selektive Doppelbewertung beibehalten. Wählen Sie Arbeiten aus, um verschiedene Niveaus und neue Antworttypen zu erfassen. Legen Sie die Häufigkeit anhand des Risikos und der verfügbaren Ressourcen fest, nicht willkürlich als allgemeingültige Norm. Vermehrte Einsprüche oder der Einsatz eines neuen Prüfers sind ein Grund für eine zusätzliche Überprüfung, kein Beweis dafür, dass der gesamte Kurs fehlerhaft ist.

Planen Sie, wie mit Meinungsverschiedenheiten umgegangen wird: Wer moderiert, welche Materialien werden geprüft und wie wird die endgültige Entscheidung erläutert? Der Moderator benötigt die Arbeit, die aktuelle Rubrik und die Grundlage für die Erstnoten. Eine „durchschnittliche“ Übereinstimmung löst das Problem nicht immer, insbesondere wenn ein Experte einen gravierenden Fehler entdeckt, der durch die gute Gestaltung anderer Teile nicht kompensiert werden kann.

Wenn die LMS-Plattform WeStudy im Lernprozess eingesetzt wird, verknüpfen Sie verfügbare Kursmaterialien mit den gültigen Bewertungsanleitungen und pflegen Sie die Moderationsregeln im vereinbarten Arbeitsbereich. Prüfen Sie diesen Weg aus Sicht einer neuen Lernbegleitung. Sie muss die richtige Version ohne mündlichen Hinweis des Autors finden können; andernfalls hängt die Konsistenz weiterhin von der Anwesenheit einiger erfahrener Personen ab.

Analysieren Sie drei verschiedene Gründe für Uneinigkeit.

Der erste Grund ist ein mehrdeutiger Text. Beide Experten sehen die gleichen Fakten, interpretieren den Begriff „unabhängig“ jedoch unterschiedlich. Der eine erlaubt die Verwendung eines Nachschlagewerks, der andere sieht darin ein Zeichen unzureichender Beherrschung des Stoffes. In diesem Fall müssen die Implementierungsbedingungen festgelegt werden. Die neue Formulierung sollte nicht nur im Arbeitsdokument der Lehrkräfte, sondern auch in der Aufgabenstellung erscheinen, die den Studierenden vor Beginn der Bearbeitung angezeigt wird.

Der zweite Grund ist eine unterschiedliche Bewertung von Nachweisen. Das Kriterium ist klar, aber ein/e Gutachter/in hat den entscheidenden Teil übersehen oder eine gültige alternative Methode nicht erkannt. Beispiele, fachspezifische Schulungen und ein benutzerfreundlicheres Format für die Einreichung von Arbeiten sind hier hilfreich. Eine Überarbeitung der Aufgabenbeschreibung ändert möglicherweise nichts. Bitten Sie die Gutachter/innen, darzulegen, wo sie nach Bestätigungen gesucht und warum sie andere Teile der Antwort verworfen haben, bevor sie die Bewertungskriterien als ungeeignet einstufen.

Der dritte Grund ist eine widersprüchliche Entscheidungsregel. Beispielsweise werden die Kriterien ähnlich bewertet, aber es ist unklar, ob ein schwerwiegender Fehler unabhängig von der Gesamtpunktzahl zum Ausschluss führt. Eine separate abschließende Entscheidungsregel mit einer Erläuterung ihrer pädagogischen Bedeutung ist erforderlich. Ohne diese Maßnahme wird das Team auch dann noch diskutieren, wenn alle Felder korrekt ausgefüllt sind. Weisen Sie jeder Abweichungsart eine geeignete Maßnahme zu, damit die Kalibrierung nicht zu einer pauschalen Forderung nach sorgfältigerer Bewertung wird.

Berücksichtigen Sie fehlende und unzulässige Dokumente.

Eine leere Zelle kann bedeuten, dass das Dokument nicht bewertet wurde, die Datei nicht geöffnet werden konnte oder das Kriterium für dieses Format nicht anwendbar ist. Dies sind unterschiedliche Zustände. Ersetzen Sie diese nicht automatisch durch Nullen: Dies verändert die Aussagekraft der Daten und kann künstliche Meinungsverschiedenheiten erzeugen. Legen Sie vor Beginn des Pilotprojekts die Bezeichnung für fehlende Dokumente, den Grund für die fehlende Bewertung und das Verfahren zum erneuten Zugriff auf die Materialien fest. Bewahren Sie diese Erläuterungen neben der Ergebnistabelle auf.

Wenn die Experten unterschiedliche Teilmengen von Dokumenten bewerten, ist dies ein anderes Design, als wenn jeder alles prüft. Geben Sie die Tabelle nicht ohne Beschreibung des Verfahrens an den Analysten weiter. Erläutern Sie, wie die Aufgaben verteilt wurden, ob es gemeinsame Beispiele gab und ob in einer unabhängigen Runde ein Moderator beteiligt war. Andernfalls könnte die richtige Formel einer völlig anderen Fragestellung entsprechen als derjenigen, die die Schule im Schulalltag zu lösen versucht.

Nicht bewertbare Arbeiten erfordern ebenfalls eine transparente Lösung. Fehlt ein Pflichtteil, entscheiden Sie, ob Sie die Arbeit an den Studierenden zurücksenden oder die vorhandenen Kriterien bewerten. Diese Regel sollte im Voraus bekannt sein und von allen Betreuern einheitlich angewendet werden. Dadurch wird der administrative Aufwand im Pilotprojekt reduziert und Studierende davor geschützt, dass verschiedene Dozenten unterschiedliche Konsequenzen für dasselbe Problem mit der Abgabe festlegen.

Überprüfen Sie die Fairness des Kommentars.

Gleiche Punktzahlen garantieren kein gleichwertiges Feedback. Vergleichen Sie, ob der Kommentar das festgestellte Problem erläutert, es mit dem Kriterium in Verbindung bringt und einen möglichen nächsten Schritt nennt. Die Formulierung „schwache Argumentation“ mag formal für die Bewertungsmatrix angemessen sein, lässt dem Studierenden aber keine Möglichkeit zur Verbesserung. Bitten Sie die Bewertenden, ein Beispiel für die benötigte Klärung hinzuzufügen, ohne dem Teilnehmer die gesamte Arbeit abzunehmen oder nach der Abgabe der Aufgabe neue Anforderungen zu erstellen.

Überprüfen Sie Tonfall und Annahmen separat. Die Bewertung sollte sich auf das präsentierte Ergebnis beziehen, nicht auf die Fähigkeiten oder Motivation der Person. Wenn die Lehrkraft schreibt, der/die Studierende habe sich „nicht bemüht“, prüfen Sie die Belege erneut: Was genau fehlt oder ist falsch? Dies ist keine kosmetische Korrektur. Nachvollziehbare Gründe helfen einem anderen Experten, die Entscheidung zu überprüfen, und dem/der Studierenden, zu verstehen, was vor der Wiedereinreichung der Arbeit geändert werden muss.

Bewahren Sie im Falle eines Einspruchs den ursprünglichen Kommentar, die Arbeit und die abschließende Begründung des Moderators auf. Korrigieren Sie die Darstellung nicht, als hätte es die Meinungsverschiedenheit nie gegeben. Die Analyse solcher Fälle trägt zur Verbesserung der Expertenausbildung und zur Identifizierung von Schwächen im Unterricht bei. Nutzen Sie jedoch einen einzelnen Einspruch nicht, um Lehrkräfte öffentlich zu bewerten: Der Inhalt muss im Kontext betrachtet werden, und der Zweck des Verfahrens ist es, eine begründete Entscheidung und einen klaren Lernweg zu verteidigen.

Wie ein Kurzbericht aussehen könnte

Stellen Sie sich einen hypothetischen Kurs zum Verfassen analytischer Notizen vor. Das Team stellt fest, dass das Hauptrisiko in einer unterschiedlichen Beurteilung der Beweiskraft der Schlussfolgerung liegt. Im Bericht beschreibt es die Auswahl der Arbeiten, das unabhängige Bewertungsverfahren und das festgestellte Problem: Ein Beurteilungskriterium unterscheidet nicht zwischen dem Vorhandensein von Daten und deren Verwendung in der Argumentation. Dies ist ein Beispiel aus dem Unterricht, nicht das Ergebnis einer Studie einer bestimmten Schule.

Das Team dokumentiert die geänderte Formulierung, fügt zwei gegensätzliche Beispiele hinzu und plant eine neue Runde. Die Arbeiten, die die Grenzen überschreiten, werden vor Abschluss des Wiederholungstests moderiert. Ein solcher Bericht erklärt die Bewertungskriterien nicht für unfehlbar. Er zeigt auf, welche Entscheidungen geprüft wurden, welche Ergebnisse erzielt wurden, wie die Schüler vor Inkonsistenzen geschützt wurden und wann die Frage mit neuen Daten erneut aufgegriffen wird.

Zuverlässige Bewertung basiert auf transparenten Kriterien, unabhängigen Beurteilungen und einem offenen Umgang mit Meinungsverschiedenheiten. Beginnen Sie mit einer Aufgabe, deren Konsequenzen für die Schüler wirklich wichtig sind. Testen Sie die Rubrik anhand verschiedener Arbeiten, erläutern Sie die Grenzen des erzielten Ergebnisses und schaffen Sie eine Möglichkeit, Änderungen zu erkennen. So wird die Rubrik zu einem gemeinsamen Instrument für professionelle Beurteilungen, und die Bewertung wird zu einer Entscheidung, deren Grundlage nachvollziehbar und überprüfbar ist.

Prüfen Sie vor Beginn eines neuen Kursabschnitts, ob sich die Aufgabe selbst geändert hat. Eine zusätzliche Datei, eine andere Bearbeitungszeit oder die Erlaubnis zur Verwendung eines neuen Tools können die dem/der Bewertenden vorliegenden Nachweise verändern. Alte Standards müssen dann überarbeitet werden. Hinterlassen Sie eine kurze Nachricht zu einer ungewöhnlichen Antwort, damit der/die Kursleiter/in eine Frage stellen kann, ohne informell nach dem/der Kursautor/in suchen zu müssen und ohne willkürlich eine neue Regel für einen einzelnen Studierenden festzulegen.

Es ist außerdem hilfreich zu prüfen, ob die Rubrik selbst für die Zielgruppe verständlich ist. Lassen Sie Studierende zwei hypothetische Arbeiten vergleichen und die Unterschiede zwischen den Niveaustufen erläutern. Diese Übung ersetzt zwar nicht die Peer-Review, deckt aber Sprachbarrieren und unausgesprochene Erwartungen auf. Wenn sich die Lehrer untereinander geeinigt haben, die Schüler die Anforderungen aber trotzdem nicht verstehen, bleibt die Bewertung undurchsichtig und provoziert Streitigkeiten, die durch eine vorherige Klärung der Anweisungen vermieden werden könnten.

Planen Sie eine separate Einführung für den neuen Experten: Vertrautmachen mit den Zielen, selbstständiges Arbeiten mit Beispielen und Diskussion der Gründe. Verlangen Sie nicht einfach das Auswendiglernen der akzeptierten Punktzahlen. Die Person muss lernen, Belege zu finden und die Wahl des Schwierigkeitsgrades bei unbekannten Aufgaben zu erklären. Diese Fähigkeit gewährleistet Konsistenz, wenn typische Beispiele enden und der Student eine ungewöhnliche, aber akzeptable professionelle Lösung vorschlägt.

Quellen

1. Koo, Li: Auswahl und Präsentation von ICC.

2. Aktualisierte Richtlinien für ICC und unvollständige Designs.

3. Carnegie Mellon University: Prinzipien des Lehrens und der Ausrichtung der Bewertung an den Zielen.

4. CDC: Standards für die Qualität der Lehre.