Welche Fragen hat die Klasse falsch beantwortet? Testergebnisse Frage für Frage auswerten
Einen Multiple-Choice-Test Frage für Frage auswerten: Erfolgsquote, gewählte falsche Antworten, fehlerhafte Fragen und was du morgen noch einmal erklärst.
Kurz gesagt: Schau dir bei jeder Frage an, wie viel Prozent der Schüler richtig lagen und welche falsche Antwort die anderen gewählt haben. Eine beliebte falsche Antwort bedeutet meist einen Gedanken, den du morgen noch einmal erklären solltest. Haben sogar die stärksten Schüler dieselbe falsche Antwort gewählt, prüf zuerst die Frage und den Lösungsschlüssel. Grade AI zählt das alles, sobald die Bögen gescannt und gespeichert sind.
Was heißt es, einen Test Frage für Frage auszuwerten?
Du schaust dir jede Frage über die ganze Klasse an statt jeden Schüler über den ganzen Test. In der Testtheorie heißt das Itemanalyse: Du zählst, wie viele Schüler eine Frage richtig hatten und wie sich die falschen Antworten verteilen. Von Hand kann das länger dauern als die Korrektur selbst.
Grade AI (grade-ai.app) ist eine App für Lehrkräfte auf dem Handy und im Browser, die Multiple-Choice-Tests auf Papier druckt, für jeden Schüler einen eigenen Bogen, die ausgefüllten Bögen mit der Handykamera liest und dieses Zählen selbst übernimmt. Die Zahlen werden aus den gescannten Antworten gezählt, nicht von einer KI geschrieben.
Wie schwer war welche Frage?
Das einfachste Maß für die Schwierigkeit ist die Erfolgsquote, in der Testtheorie auch Lösungshäufigkeit genannt: der Anteil der Schüler, die die richtige Antwort gewählt haben. Als grobe Faustregel: Über etwa 80 % kann es der Großteil der Klasse, zwischen 40 und 80 % sitzt der Stoff zum Teil, unter etwa 40 % hat etwas nicht funktioniert: der Unterricht, die Frage oder der Schlüssel. Das sind keine festen Grenzen. Die Karte „Morgen noch einmal erklären" in Grade AI erscheint nur für eine Frage unter 60 %.
Ein durchgerechnetes Beispiel
Die Tabelle enthält ausgedachte Beispieldaten, keine echte Klasse: 24 Schüler, ein kurzer Test zu Brüchen, alle haben jede Frage beantwortet. Jede Zahl gibt an, wie viele Schüler diese Antwort gewählt haben.
| Frage (Beispiel) | A | B | C | D | Schlüssel | Erfolgsquote |
|---|---|---|---|---|---|---|
| 1. Welcher Bruch ist gleich 2/4? | 2 | 19 | 2 | 1 | B | 79 % |
| 2. Was ist größer: 1/3 oder 1/4? (A ist 1/3, B ist 1/4) | 9 | 13 | 1 | 1 | A | 38 % |
| 3. Welcher Bruch ist vollständig gekürzt? | 5 | 6 | 7 | 6 | C | 29 % |
| 4. Wie viel ist 1/2 + 1/4? (C ist 3/4, D ist 2/4) | 3 | 1 | 18 | 2 | D | 8 % |
| 5. Wie viele Viertel ergeben ein Ganzes? | 23 | 0 | 1 | 0 | A | 96 % |
- Frage 1 ist in Ordnung.
- Frage 2 hat eine klar führende falsche Antwort: 13 von 24 wählten 1/4. Das ist kein Zufall, sondern eine gemeinsame Fehlvorstellung: „Je größer die Zahl unten, desto größer der Bruch." Diese Frage erklärst du noch einmal.
- Frage 3 hat fast gleichmäßig verteilte falsche Antworten. Keine gemeinsame Fehlvorstellung, die Klasse hat wohl geraten. Der Stoff braucht eine weitere Runde, oder die Frage war unklar.
- Frage 4 sieht nach einer Katastrophe aus, aber 18 von 24 wählten C, und 1/2 + 1/4 ist tatsächlich 3/4. Falsch ist der Schlüssel, nicht die Klasse.
- Frage 5 ist so leicht, dass sie die Schüler nicht unterscheidet. Zum Aufwärmen ist das in Ordnung.
Was verraten die falschen Antworten?
Oft mehr als die Erfolgsquote. Eine führende falsche Antwort bedeutet eine gemeinsame Fehlvorstellung: Benenne sie und erkläre sie noch einmal. Gleichmäßig verteilte Fehler bedeuten Raten. Eine falsche Antwortmöglichkeit, die niemand wählt, erfüllt ihre Aufgabe als Distraktor nicht; ersetze sie beim nächsten Mal durch einen typischen Schülerfehler, wie es die von Haladyna, Downing und Rodriguez (2002) zusammengefassten Regeln für Testfragen empfehlen. Mehr dazu in Gute Multiple-Choice-Fragen erstellen.
In Grade AI öffnest du den Test und wechselst zum Reiter Fragen. Unter jeder Frage siehst du, wie viele Schüler A, B, C und D gewählt haben, als Anzahl und in Prozent; die richtige Antwort ist markiert. Mit „Erfolgsquote" sortierst du die schwersten Fragen nach oben. Die Schaltfläche Frage für Frage öffnet die Ansicht Alle Fragen mit der Erfolgsquote jeder Frage; tippst du auf eine Frage, siehst du ihre „Antwortverteilung".
Wie erkennst du eine fehlerhafte Frage?
Verdächtige die Frage, nicht die Klasse, wenn die meisten der stärksten Schüler dieselbe falsche Antwort gewählt haben, wenn eine falsche Antwort viel mehr Stimmen bekommt als die „richtige" (Frage 4 oben) oder wenn zwei Antworten stimmen könnten und sich die Schüler, die den Stoff können, auf beide verteilen.
Prüfen kannst du das im Reiter Übersicht des Tests. Die Ergebnisse stehen vom besten zum schwächsten (bei mehr als 11 die besten 5 und die schwächsten 5), und ein Tippen auf einen Namen zeigt die Antworten dieses Schülers neben dem Schlüssel. Haben die Besten denselben „falschen" Buchstaben, lies Frage und Schlüssel noch einmal.
Haben bei der schwächsten Frage mindestens 40 % der Schüler, die den Test geschrieben haben (und mindestens drei), dieselbe falsche Antwort gewählt, nennt die Zusammenfassung in der Übersicht diese Antwort und ergänzt: „Entweder ist die Frage irreführend, oder die Klasse hat es falsch gelernt." Im Beispiel wäre das Frage 4.
Wenn die KI die Frage entworfen hat: Die automatischen Prüfungen von Grade AI erkennen zwei gleiche Antworten, aber nicht zwei verschiedene Antworten, die beide richtig sind.
Was, wenn der Lösungsschlüssel falsch war?
Gespeicherte Ergebnisse werden nach einem geänderten Schlüssel nicht neu bewertet: Jedes behält den Schlüssel, mit dem es bewertet wurde, und beim Bearbeiten eines schon verwendeten Tests steht dort „Änderungen gelten nur für neue Scans. Bestehende Ergebnisse bleiben unverändert." Korrigiere also den Schlüssel im Test, scanne die betroffenen Bögen noch einmal und speichere; ein neuer Scan desselben Schülers ersetzt sein früheres Ergebnis.
Hat der Scanner nur einen Kreis falsch gelesen, öffne die Schülerkarte und tippe beim Test auf Bearbeiten. In Antworten bearbeiten tippst du auf den richtigen Kreis; Prozent und Note werden neu berechnet. Jede Frage zählt einen Punkt, Gewichtungen gibt es nicht.
Was erklärst du morgen noch einmal?
Die Frage, bei der viele Schüler dieselbe falsche Antwort gewählt haben. Das ist eine einzige Fehlvorstellung, und oft reichen ein paar Minuten: Fang bei der falschen Antwort an („Viele von euch haben 1/4 gewählt. Warum sieht das größer aus?"), zeig es an einem Bild und stell am Ende der Stunde eine ähnliche Frage.
In Grade AI findest du im Reiter Statistiken die Karte „Morgen noch einmal erklären". Sie zeigt die Frage mit der niedrigsten Erfolgsquote in den Klassen und im Zeitraum, die du im Filter gewählt hast, aber nur, wenn sie unter 60 % liegt, dazu den Test, wie viele falsch lagen, die häufigste falsche Antwort („Am häufigsten gewählt") und die richtige Antwort („Richtige Antwort"). Ein Tippen öffnet den Test. Darunter zeigt „Weitere schwere Fragen" bis zu fünf weitere.
Die Karte wählt nach Erfolgsquote, nicht nach Inhalt. Im Beispiel würde sie Frage 4 mit dem falschen Schlüssel zeigen, weil 8 % der niedrigste Wert ist. Lies also zuerst „Am häufigsten gewählt": Ist diese Antwort in Wahrheit richtig, korrigiere den Schlüssel.
Wer hat den Test noch nicht geschrieben?
Die Übersicht jedes Tests zeigt „Geschrieben" mit einer Zahl wie 22 / 24 und unter den Ergebnissen „Nicht geschrieben" mit den Namen der Schüler aus der Klassenliste, die kein Ergebnis haben. In den Statistiken gibt es die Karte „Fehlende Tests", und jede Schülerkarte hat ihre eigene Liste „Fehlende Tests".
Schreibt ein abwesender Schüler nach, scannst du seinen Bogen genauso; ist der Bogen verloren gegangen, druckst du ihn von seiner Schülerkarte neu.
Wie vergleichst du Version A und B fair?
Vergleiche Frage für Frage. Frage 3 in Version A ist meist nicht Frage 3 in Version B, deshalb zählt Grade AI jede Version getrennt: Im Reiter Fragen und in der Ansicht Alle Fragen wechselst du zwischen „Version A" und „Version B", und Alle Fragen zeigt oben die durchschnittliche Erfolgsquote der gewählten Version („Durchschnittliche Erfolgsquote"). Ein Diagramm, das A und B gegenüberstellt, gibt es nicht.
Achte darauf, wer welche Version geschrieben hat: Das legst du pro Klasse fest, und haben vor allem die stärksten Schüler A geschrieben, wirkt A leichter. Vergleiche passende Fragen: Schneidet Frage 5 in B 30 Punkte schlechter ab als Frage 5 in A zum selben Stoff, liegt es eher an der Frage. Und denk an die Gruppengröße: Bei 12 Schülern pro Version verschiebt ein einzelner Schüler die Erfolgsquote einer Frage um etwa 8 Punkte. Mit KI schreibt Grade AI für Version B eigene Fragen, die Schwierigkeit kann also abweichen; mehr dazu in Zwei Testversionen gegen Abschreiben.
Durchschnitte, Verlauf und Rangliste
Die Fragenauswertung sagt dir, was du unterrichten solltest; der Rest der Statistiken, wer Hilfe braucht: Klassendurchschnitt im Zeitverlauf, „Durchschnitt pro Test", „Notenverteilung", „Beste Schüler", „Brauchen Hilfe" und „Ungewöhnlicher Einbruch". Die Schülerkarte zeigt Durchschnitt und Verlauf, und die Startseite eine Rangliste der besten 5 und schwächsten 5 Schüler, sobald mindestens 6 Schüler Ergebnisse haben. Ergebnisse gibt es auf dem Handy und im Browser; gescannt wird nur in der Grade-AI-App auf dem Handy (iPhone und Android), siehe Einen Multiple-Choice-Test mit dem Handy korrigieren.
Häufige Fragen
Welche Erfolgsquote ist für eine Testfrage gut?
Eine einzige richtige Zahl gibt es nicht. Als grobe Orientierung: In einem Klassentest sagen die Fragen am meisten aus, die etwa 40 bis 90 % der Schüler richtig beantworten. Grade AI zeigt die Karte „Morgen noch einmal erklären" nur für eine Frage unter 60 %.
Zeigt Grade AI, welche falsche Antwort die Schüler gewählt haben?
Ja. Für jede Frage zählt die App, wie viele Schüler A, B, C und D gewählt haben, für jede Version getrennt, und die Karte „Morgen noch einmal erklären" nennt die am häufigsten gewählte falsche Antwort.
Kann ich den Lösungsschlüssel nach dem Scannen korrigieren?
Den Test kannst du bearbeiten, aber gespeicherte Ergebnisse behalten den Schlüssel, mit dem sie bewertet wurden. Korrigiere den Schlüssel, scanne die Bögen noch einmal und speichere: Ein neuer Scan desselben Schülers ersetzt sein früheres Ergebnis.
Zählt eine leere Antwort als falsch?
Ja, für Punkte und Note. Eine leere Frage, zwei ausgemalte Kreise oder eine Markierung, bei der sich nicht entscheiden lässt, zählen als falsch. Unklare Markierungen werden gekennzeichnet, und eine falsch gelesene korrigierst du in Antworten bearbeiten. Die Ansicht Alle Fragen lässt leere Antworten beim Zählen weg.
Wertet eine KI meine Testergebnisse aus?
Nein. Grade AI nutzt KI nur, um Testfragen zu entwerfen. Noten entstehen nach einer festen Formel, und jede Statistik wird aus den gescannten Antworten gezählt.
Probier es beim nächsten Test.
Klasse anlegen, Bögen drucken, Zeit stoppen. Gescannt wird am Handy. Erstellen und Drucken gehen auch im Browser.