Jak pisać dobre pytania testowe jednokrotnego wyboru: zasady, przykłady i częste błędy
Dziesięć opartych na badaniach zasad pisania pytań zamkniętych, przykłady przed i po z matematyki, fizyki i geografii oraz błędy, które ułatwiają zgadywanie.
W skrócie: Dobre pytanie jednokrotnego wyboru ma jedną wyraźnie poprawną odpowiedź, błędne odpowiedzi zbudowane na prawdziwych błędach uczniów i polecenie, które samo w sobie jest pełnym pytaniem. Zrezygnuj z odpowiedzi „wszystkie powyższe”, unikaj przeczeń, dbaj o podobne odpowiedzi, nie zdradzaj rozwiązania sformułowaniem i rozkładaj poprawną odpowiedź między A, B, C i D. Większość tych zasad pochodzi z przeglądu, który w 2002 roku opracowali Haladyna, Downing i Rodriguez.
Skąd pochodzą te zasady?
Większość zasad poniżej pochodzi z artykułu „A review of multiple-choice item-writing guidelines for classroom assessment” (Haladyna, Downing i Rodriguez, 2002). Autorzy sprawdzili w nim 31 wskazówek dla testów szkolnych na podstawie 27 podręczników z pomiaru dydaktycznego oraz 27 badań i przeglądów opublikowanych od 1990 roku.
O liczbie odpowiedzi wypowiedział się Rodriguez (2005) w metaanalizie „Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research”: trzy dobre odpowiedzi zwykle wystarczą. Starsza lista z 1989 roku twierdziła coś przeciwnego, dlatego listy zasad w internecie, które mieszają obie, same sobie przeczą.
Dziesięć zasad lepszych pytań testowych
1. Jedna wyraźnie poprawna odpowiedź
Poprawna może być tylko jedna odpowiedź, i to bez dyskusji. Jeśli koleżanka mogłaby obronić drugą, przepisz pytanie. Pytasz o kwadrat liczby naturalnej i podajesz 16 oraz 64: poprawne są dwie odpowiedzi.
2. Błędne odpowiedzi z prawdziwych błędów uczniów
Błędna odpowiedź, czyli dystraktor, działa tylko wtedy, gdy mógłby ją wybrać nieprzygotowany uczeń. Przegląd z 2002 roku zaleca wiarygodne dystraktory oparte na typowych błędach uczniów. Najlepsze źródło to twój ostatni sprawdzian: błędne odpowiedzi, które klasa naprawdę wybierała.
3. Całe pytanie w poleceniu
Zasłoń odpowiedzi: jeśli uczeń, który zna materiał, nadal potrafi odpowiedzieć, polecenie jest kompletne. Pomiń szczegóły, które nie mają nic wspólnego z odpowiedzią.
4. Bez „wszystkie powyższe” i „żadne z powyższych”
Przegląd z 2002 roku radzi unikać odpowiedzi „wszystkie powyższe”, a „żadne z powyższych” stosować ostrożnie. Poradnik Cynthii Brame dla Vanderbilt Center for Teaching odradza obie. Uczeń, który rozpozna dwie poprawne odpowiedzi, wybierze „wszystkie powyższe”, nie znając trzeciej.
5. Pytaj twierdząco albo zrób przeczenie nie do przeoczenia
Pod presją czasu uczniowie czytają pobieżnie, a pytanie „Które z tych zwierząt nie jest ssakiem?” łatwo przeczytać bez „nie”. Gdzie się da, pytaj twierdząco. Jeśli przeczenie jest sednem pytania, napisz je wielkimi literami i pogrub: „Które z tych zwierząt NIE jest ssakiem?”
6. Podobne odpowiedzi
Odpowiedzi powinny mieć mniej więcej tę samą długość, być tego samego rodzaju (same miasta, same daty) i w tej samej formie gramatycznej. Wyraźnie dłuższa lub dokładniejsza poprawna odpowiedź to znana podpowiedź.
7. Żadnych podpowiedzi w sformułowaniu
Szukaj śladów, które prowadzą do odpowiedzi bez znajomości materiału:
- „zawsze” albo „nigdy”, przez które odpowiedź łatwo odrzucić,
- słowo z polecenia powtórzone w jednej odpowiedzi, np. „skrapla się” w pytaniu i „skraplanie” wśród odpowiedzi,
- gramatyka pasująca tylko do jednej odpowiedzi: po „Fotosynteza zachodzi głównie w…” pasuje tylko „liściach”, a nie „korzeń”, „łodyga” czy „kwiat”,
- dwie odpowiedzi znaczące to samo albo odpowiedzi wyraźnie absurdalne.
8. Jedna myśl na pytanie
W jednym pytaniu sprawdzaj jedną rzecz i jeden rodzaj myślenia. Unikaj kombinacji w rodzaju „poprawne są 1 i 3” i trzymaj pytania niezależne, żeby jedno nie zdradzało odpowiedzi na inne.
9. Zmieniaj pozycję poprawnej odpowiedzi
Gdy poprawna jest często odpowiedź B, uczniowie to zauważą. Rozłóż poprawne odpowiedzi równo między A, B, C i D, bez długich serii tej samej litery.
10. Sprawdzaj rozumienie, nie tylko pamięć
Pytanie przepisane z podręcznika sprawdza, czy uczeń rozpoznaje zdanie. Przegląd z 2002 roku zaleca do wyższych poziomów myślenia nowy materiał: własne sformułowania, nowy przykład, obliczenie albo sytuację.
Przed i po: trzy przykłady
Geografia: błędne odpowiedzi, których nikt nie wybierze
Przed: Które miasto jest stolicą Australii? A) Canberra, B) Paryż, C) Tokio, D) Afryka.
Paryż i Tokio należą do innych państw, a Afryka nie jest miastem, więc trafi nawet uczeń, który o Australii nic nie wie.
Po: to samo pytanie z odpowiedziami A) Sydney, B) Melbourne, C) Perth, D) Canberra. Poprawna: D. Wszystkie cztery to miasta australijskie, a Sydney wyłapuje najczęstszą pomyłkę.
Fizyka: podpowiedź w poleceniu
Przed: Para wodna skrapla się na zimnej szybie. Jak nazywa się to zjawisko? A) skraplanie, B) parowanie, C) topnienie, D) krzepnięcie.
„Skrapla się” wskazuje prosto na „skraplanie”, a pytanie dotyczy tylko nazwy.
Po: W chłodny poranek na wewnętrznej stronie szyby samochodu pojawiają się krople wody. Skąd pochodzi ta woda?
- A) Z deszczu, który przesiąknął przez szybę
- B) Ze szkła, które oddało ją podczas stygnięcia
- C) Z pary wodnej w powietrzu wewnątrz auta
- D) Z zimnego powietrza z zewnątrz, które zmieniło się w wodę
Poprawna: C. Uczeń musi zastosować skraplanie w nowej sytuacji, a każda błędna odpowiedź to wyjaśnienie, w które uczeń mógłby naprawdę uwierzyć.
Matematyka: rozpoznać wzór czy go użyć
Przed: (a + b)² = A) a² + 2ab + b², B) 2ab, C) ab, D) a + b.
Polecenie nie jest pytaniem i tylko jedna odpowiedź wygląda jak wzór skróconego mnożenia z zeszytu.
Po: Które wyrażenie jest równe (x + 3)²?
- A) x² + 9
- B) x² + 6x + 9
- C) x² + 3x + 9
- D) 2x + 6
Poprawna: B. Każda błędna odpowiedź to typowy błąd: pominięty środkowy wyraz (A), niepodwojony środkowy wyraz (C) albo mnożenie przez dwa zamiast podnoszenia do kwadratu (D).
Jak to wygląda w Grade AI
Grade AI (grade-ai.app) to aplikacja na telefon i w przeglądarce dla nauczycieli, która drukuje testy jednokrotnego wyboru na papierze, jeden arkusz na ucznia, i sprawdza wypełnione arkusze aparatem telefonu.
Cztery odpowiedzi, jedna poprawna. Każde pytanie w Grade AI ma odpowiedzi od A do D i jedną poprawną; edytor nie pozwoli przejść dalej, dopóki wszystkie cztery nie będą wypełnione. To zgodne z badaniami, o ile wszystkie trzy błędne odpowiedzi są wiarygodne.
Propozycje AI są sprawdzane, ale nie pod każdym kątem. Gdy w Grade AI pytania proponuje AI, ma za zadanie napisać dokładnie jedną poprawną odpowiedź i trzy wiarygodne błędne, bez „wszystkie powyższe” i bez rozwiązania w poleceniu. Aplikacja odrzuca potem propozycje z dwiema identycznymi odpowiedziami, z odpowiedzią odwołującą się do innych liter („A i C”) albo z poprawną odpowiedzią wpisaną w pytanie. Błędną odpowiedź o tej samej wartości co poprawna (4/6 obok 2/3) zamienia na inną liczbę, a gdy to się nie uda, odrzuca propozycję. Poprawne odpowiedzi w propozycjach AI rozkłada też równo na litery od A do D. Nie wykryje natomiast dwóch odpowiedzi poprawnych co do treści, błędnego klucza ani tego samego pytania innymi słowami. Pytania pisane przez ciebie zachowują litery tak, jak je ustawisz. Dlatego przed wydrukiem przejdź każde pytanie według powyższych zasad. Więcej w artykułach Generator testów AI dla nauczycieli i Pytania testowe od AI z własnych notatek.
Wyniki pokazują, którą błędną odpowiedź wybrała klasa. Po zeskanowaniu Rozkład odpowiedzi pokazuje przy każdym pytaniu, ilu uczniów wybrało A, B, C i D. Dystraktor, którego nikt nie wybiera, nic nie robi. Gdy przy najtrudniejszym pytaniu tę samą błędną odpowiedź wybiorą co najmniej trzej uczniowie i zarazem co najmniej 40 % tych, którzy pisali test, Przegląd testu podsumowuje to jednym zdaniem: albo pytanie jest mylące, albo klasa zapamiętała to źle. Karta „Jutro wyjaśnić jeszcze raz” w Statystykach pokazuje pytanie o najniższej skuteczności, jeśli jest poniżej 60 %, razem z błędną odpowiedzią wybieraną najczęściej. Więcej w artykule Których pytań klasa nie umiała?
Źródła
- Haladyna, T. M., Downing, S. M. i Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309-333. doi.org/10.1207/S15324818AME1503_5
- Rodriguez, M. C. (2005). Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research. Educational Measurement: Issues and Practice, 24(2), 3-13. doi.org/10.1111/j.1745-3992.2005.00006.x
- Brame, C. J. Writing good multiple choice test questions. Vanderbilt Center for Teaching, w wersji University of Wisconsin-Madison (po angielsku). wisc.pb.unizin.org
Częste pytania
Ile odpowiedzi powinno mieć pytanie jednokrotnego wyboru?
Zwykle wystarczą trzy dobre odpowiedzi. Metaanaliza 80 lat badań (Rodriguez, 2005) wykazała, że przy trzech odpowiedziach w tym samym czasie zadasz więcej pytań, a jakość testu nie ucierpi. Ważne, żeby każda błędna odpowiedź była wiarygodna. Grade AI zawsze używa czterech odpowiedzi, od A do D.
Czy „wszystkie powyższe” to zła odpowiedź?
Zwykle tak. Przegląd zasad pisania pytań testowych z 2002 roku zaleca jej unikać. Uczeń, który widzi, że dwie odpowiedzi są prawdziwe, może ją wybrać, nie znając trzeciej.
Jak ograniczyć zgadywanie?
Całkowicie się nie da: przy czterech odpowiedziach strzał na ślepo trafia raz na cztery. Przekonujące błędne odpowiedzi, brak podpowiedzi w sformułowaniu i więcej pytań sprawiają jednak, że zgadywanie mniej się opłaca. W Grade AI każde pytanie jest warte jeden punkt, a za błędną odpowiedź nic się nie odejmuje.
Czy AI potrafi pisać dobre pytania testowe?
AI napisze przydatny pierwszy szkic, ale trzeba go sprawdzić: czy druga odpowiedź też nie jest poprawna, czy klucz się zgadza i czy nie ma dystraktorów, których nikt by nie wybrał. W Grade AI każde pytanie od AI jest w edytorze oznaczone jako „Zaproponowane przez AI” i przed wydrukiem możesz je poprawić albo usunąć.
Spróbuj na następnym teście.
Załóż klasę, wydrukuj arkusze, zmierz sobie czas. Skanuje się w telefonie. Tworzenie i drukowanie działają też w przeglądarce.