Na które pytania klasa odpowiedziała źle? Jak analizować wyniki testu pytanie po pytaniu
Jak przeanalizować test jednokrotnego wyboru pytanie po pytaniu: skuteczność, wybierane błędne odpowiedzi, wadliwe pytania i co jutro wyjaśnić jeszcze raz.
W skrócie: Przy każdym pytaniu sprawdź, jaki procent uczniów odpowiedział dobrze i którą błędną odpowiedź wybrała reszta. Jedna popularna błędna odpowiedź zwykle oznacza jedną myśl, którą trzeba jutro wyjaśnić jeszcze raz. Gdy tę samą błędną odpowiedź wybrali nawet najlepsi uczniowie, najpierw sprawdź pytanie i klucz. Grade AI liczy to wszystko, gdy tylko zeskanujesz i zapiszesz arkusze.
Co znaczy analizować test pytanie po pytaniu?
To patrzenie na każde pytanie w całej klasie zamiast na każdego ucznia w całym teście. Fachowo nazywa się to analizą zadań: przy każdym pytaniu chcesz wiedzieć, ilu uczniów odpowiedziało dobrze i jak rozłożyły się błędne odpowiedzi. Ręcznie takie liczenie może trwać dłużej niż samo sprawdzenie sprawdzianu.
Grade AI (grade-ai.app) to aplikacja dla nauczycieli na telefon i do przeglądarki, która drukuje testy jednokrotnego wyboru na papierze, każdemu uczniowi osobny arkusz, odczytuje wypełnione arkusze aparatem telefonu i sama wykonuje to liczenie. Liczby powstają z zeskanowanych odpowiedzi, nie pisze ich AI.
Jak trudne było każde pytanie?
Najprostszą miarą trudności jest skuteczność: odsetek uczniów, którzy wybrali poprawną odpowiedź. W Polsce często mówi się też o łatwości zadania. Orientacyjnie: powyżej około 80% większość klasy to umie, między 40 a 80% klasa opanowała materiał częściowo, a poniżej około 40% coś nie zadziałało: lekcja, pytanie albo klucz. To nie są sztywne granice. Karta „Jutro wyjaśnić jeszcze raz" w Grade AI pojawia się tylko przy pytaniu poniżej 60%.
Przykład na wymyślonej klasie
Tabela zawiera wymyślone dane przykładowe, nie prawdziwą klasę: 24 uczniów, krótki test z ułamków, każdy odpowiedział na wszystkie pytania. Liczby mówią, ilu uczniów wybrało daną odpowiedź.
| Pytanie (przykład) | A | B | C | D | Klucz | Skuteczność |
|---|---|---|---|---|---|---|
| 1. Który ułamek jest równy 2/4? | 2 | 19 | 2 | 1 | B | 79% |
| 2. Co jest większe: 1/3 czy 1/4? (A to 1/3, B to 1/4) | 9 | 13 | 1 | 1 | A | 38% |
| 3. Który ułamek jest nieskracalny? | 5 | 6 | 7 | 6 | C | 29% |
| 4. Ile to jest 1/2 + 1/4? (C to 3/4, D to 2/4) | 3 | 1 | 18 | 2 | D | 8% |
| 5. Ile ćwiartek tworzy całość? | 23 | 0 | 1 | 0 | A | 96% |
- Pytanie 1 jest w porządku.
- Pytanie 2 ma jedną dominującą błędną odpowiedź: 13 z 24 uczniów wybrało 1/4. To nie przypadek, tylko wspólne błędne przekonanie: „im większa liczba na dole, tym większy ułamek". To pytanie wyjaśnij jeszcze raz.
- Pytanie 3 ma błędne odpowiedzi rozłożone prawie równo. Nie ma wspólnego błędu, klasa raczej zgadywała. Materiał potrzebuje kolejnego podejścia albo pytanie było niejasne.
- Pytanie 4 wygląda na katastrofę, ale 18 z 24 uczniów wybrało C, a 1/2 + 1/4 to naprawdę 3/4. Błędny jest klucz, nie klasa.
- Pytanie 5 jest tak łatwe, że nie odróżnia uczniów od siebie. Na rozgrzewkę jest w porządku.
Co mówią błędne odpowiedzi?
Często więcej niż sama skuteczność. Jedna dominująca błędna odpowiedź oznacza wspólne błędne przekonanie: nazwij je i wyjaśnij jeszcze raz. Równo rozłożone błędy oznaczają zgadywanie. Błędną odpowiedź, której nikt nie wybrał, następnym razem zastąp typowym błędem uczniów, tak jak zalecają zasady pisania pytań testowych zebrane przez Haladynę, Downinga i Rodrigueza (2002). Więcej w artykule Jak pisać dobre pytania testowe.
W Grade AI otwórz test i przejdź do zakładki Pytania. Przy każdym pytaniu widzisz, ilu uczniów wybrało A, B, C i D, liczbą i w procentach, a poprawna odpowiedź jest zaznaczona. Przełącznikiem „Skuteczność" ustawisz najtrudniejsze pytania na górze. Przycisk Analiza pytań po kolei otwiera ekran Wszystkie pytania ze skutecznością każdego pytania; po stuknięciu w pytanie zobaczysz jego „Rozkład odpowiedzi".
Jak rozpoznać wadliwe pytanie?
Podejrzewaj pytanie, nie klasę, gdy tę samą błędną odpowiedź wybrała większość najlepszych uczniów, gdy jedna błędna odpowiedź dostała dużo więcej głosów niż „poprawna" (pytanie 4 powyżej) albo gdy dwie odpowiedzi mogłyby być dobre i uczniowie, którzy znają temat, podzielili się między nie.
Sprawdzisz to w zakładce Przegląd testu. Wyniki są ułożone od najlepszego do najsłabszego (przy ponad 11 wynikach pięć najlepszych i pięć najsłabszych), a stuknięcie w imię pokazuje odpowiedzi tego ucznia obok klucza. Jeśli najlepsi uczniowie mają przy jednym pytaniu tę samą „błędną" literę, przeczytaj jeszcze raz pytanie i klucz.
Gdy przy najsłabszym pytaniu co najmniej 40% uczniów, którzy pisali test (i co najmniej trzech), wybrało tę samą błędną odpowiedź, podsumowanie w Przeglądzie wskazuje tę odpowiedź i dodaje: „Albo pytanie jest mylące, albo klasa zapamiętała to źle." W przykładzie byłoby to pytanie 4.
Jeśli pytanie zaproponowała AI: automatyczne kontrole Grade AI wychwytują dwie identyczne odpowiedzi, ale nie dwie różne odpowiedzi, które są obie poprawne.
Co, jeśli klucz był błędny?
Zapisane wyniki nie są ponownie sprawdzane według zmienionego klucza: każdy zachowuje klucz, według którego go sprawdzono, a przy edycji użytego testu aplikacja pisze „Zmiany będą widoczne tylko przy nowych skanach. Istniejące wyniki pozostaną bez zmian." Popraw więc klucz w teście, zeskanuj te arkusze jeszcze raz i zapisz; nowy skan tego samego ucznia zastępuje jego wcześniejszy wynik.
Gdy skaner źle odczytał jedno kółko, otwórz kartę ucznia i przy teście stuknij Edytuj. Na ekranie Edytuj odpowiedzi stuknij właściwe kółko; procent i ocena przeliczą się. Każde pytanie to jeden punkt, wag nie ma.
Co jutro wyjaśnić jeszcze raz?
Pytanie, przy którym wielu uczniów wybrało tę samą błędną odpowiedź. To jedno błędne przekonanie i często wystarczy kilka minut: zacznij od błędnej odpowiedzi („Wielu z was wybrało 1/4. Dlaczego wydaje się większa?"), pokaż to na rysunku i pod koniec lekcji zadaj jedno podobne pytanie.
W Grade AI w zakładce Statystyki jest karta „Jutro wyjaśnić jeszcze raz". Pokazuje pytanie z najniższą skutecznością w klasach i okresie wybranych w filtrze, ale tylko gdy jest poniżej 60%, a przy nim test, ilu uczniów się pomyliło, najczęstszą błędną odpowiedź („Najczęściej wybierali") i poprawną odpowiedź („Poprawna odpowiedź"). Stuknięcie w kartę otwiera test. Pod nią „Inne trudne pytania" pokazują do pięciu kolejnych.
Karta wybiera według skuteczności, nie według sensu. W przykładzie powyżej pokazałaby pytanie 4 z błędnym kluczem, bo 8% to najmniej. Zanim zaplanujesz lekcję, przeczytaj więc „Najczęściej wybierali": jeśli ta odpowiedź jest w rzeczywistości dobra, zamiast tłumaczyć, popraw klucz.
Kto jeszcze nie napisał testu?
Przegląd każdego testu pokazuje „Napisali" z liczbą, np. 22 / 24, a pod wynikami „Nie pisali" z imionami uczniów z listy klasy, którzy nie mają wyniku. W Statystykach jest karta „Brakujące testy", a każda karta ucznia ma własną listę „Nienapisane testy".
Gdy nieobecny uczeń napisze test później, zeskanujesz jego arkusz tak samo; jeśli arkusz zginął, wydrukujesz go ponownie z jego karty.
Jak uczciwie porównać wersje A i B?
Porównuj pytanie po pytaniu. Pytanie 3 w wersji A to zwykle nie to samo pytanie co pytanie 3 w wersji B, dlatego Grade AI liczy każdą wersję osobno: w zakładce Pytania i na ekranie Wszystkie pytania przełączasz między „Wersja A" i „Wersja B", a ekran Wszystkie pytania pokazuje na górze średnią skuteczność wybranej wersji („Średnia skuteczność"). Wykresu, który zestawiałby A i B, w aplikacji nie ma.
Sprawdź, kto pisał którą wersję: ustalasz to dla klasy, a jeśli wersję A pisali głównie najlepsi uczniowie, będzie wyglądała na łatwiejszą. Porównuj odpowiadające sobie pytania: jeśli pytanie 5 w B wypadło o 30 punktów gorzej niż pytanie 5 w A z tego samego materiału, winne jest raczej pytanie. I pamiętaj o wielkości grup: przy 12 uczniach na wersję jeden uczeń przesuwa skuteczność pytania o około 8 punktów. Gdy pytania pisze AI, Grade AI tworzy dla wersji B osobne pytania, więc trudność może się różnić; więcej w artykule Dwie wersje testu (A i B).
Średnie, zmiany i ranking
Analiza pytań mówi ci, czego uczyć; reszta Statystyk, komu pomóc: średnia klasy w czasie, „Średnia według testów", „Rozkład ocen", „Najlepsi uczniowie", „Potrzebują pomocy" i „Nietypowy spadek". Karta ucznia pokazuje jego średnią i postępy, a ekran Start ranking pięciu najlepszych i pięciu najsłabszych uczniów, gdy wyniki ma co najmniej 6 uczniów. Wyniki działają w telefonie i w przeglądarce; skanować można tylko w aplikacji Grade AI na telefonie (iPhone i Android), zob. Jak sprawdzić test telefonem.
Częste pytania
Jaka skuteczność pytania testowego jest dobra?
Jednej właściwej liczby nie ma. Orientacyjnie: w szkolnym teście najwięcej mówią pytania, na które dobrze odpowiada mniej więcej 40 do 90% uczniów. Grade AI pokazuje kartę „Jutro wyjaśnić jeszcze raz" tylko przy pytaniu poniżej 60%.
Czy Grade AI pokazuje, którą błędną odpowiedź wybierali uczniowie?
Tak. Przy każdym pytaniu liczy, ilu uczniów wybrało A, B, C i D, osobno dla każdej wersji, a karta „Jutro wyjaśnić jeszcze raz" podaje najczęściej wybieraną błędną odpowiedź.
Czy po skanowaniu można poprawić klucz?
Test możesz edytować, ale zapisane wyniki zachowują klucz, według którego je sprawdzono. Popraw klucz, zeskanuj arkusze jeszcze raz i zapisz: nowy skan tego samego ucznia zastępuje jego wcześniejszy wynik.
Czy puste pytanie liczy się jako błąd?
Tak, przy punktach i ocenie. Puste pytanie, dwa zamalowane kółka albo znak, którego nie da się rozstrzygnąć, liczą się jako błąd. Niejasne znaki aplikacja oznacza, a źle odczytane poprawisz w Edytuj odpowiedzi. Ekran Wszystkie pytania pomija puste odpowiedzi w liczeniu.
Czy wyniki analizuje AI?
Nie. Grade AI używa AI tylko do proponowania pytań testowych. Oceny wylicza stały wzór, a wszystkie statystyki są liczone z zeskanowanych odpowiedzi.
Spróbuj na następnym teście.
Załóż klasę, wydrukuj arkusze, zmierz sobie czas. Skanuje się w telefonie. Tworzenie i drukowanie działają też w przeglądarce.