Jak psát dobré testové otázky s výběrem odpovědí: pravidla, příklady a časté chyby
Deset výzkumem podložených pravidel pro otázky s výběrem odpovědí, příklady před a po z matematiky, fyziky a zeměpisu a chyby, které usnadňují tipování.
Ve zkratce: Dobrá otázka s výběrem odpovědí má jednu jasně správnou odpověď, špatné odpovědi postavené na skutečných chybách žáků a zadání, které samo o sobě tvoří celou otázku. Vynech „všechny výše uvedené“, vyhýbej se záporu, drž možnosti podobné, neprozrazuj odpověď formulací a správnou odpověď rozlož mezi A, B, C a D. Většina těchto pravidel pochází z přehledu, který v roce 2002 sestavili Haladyna, Downing a Rodriguez.
Odkud ta pravidla jsou?
Většina pravidel níže pochází z článku „A review of multiple-choice item-writing guidelines for classroom assessment“ (Haladyna, Downing a Rodriguez, 2002). Autoři v něm prověřili 31 zásad pro školní testy podle 27 učebnic pedagogického měření a 27 výzkumů a přehledů vydaných od roku 1990.
K počtu možností se vyjádřil Rodriguez (2005) v metaanalýze „Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research“: tři dobré možnosti obvykle stačí. Starší seznam z roku 1989 tvrdil opak, takže seznamy pravidel na internetu, které oba míchají, si samy odporují.
Deset pravidel pro lepší testové otázky
1. Jedna jasně správná odpověď
Správná musí být právě jedna možnost, a to bez debat. Kdyby kolega dokázal obhájit i druhou, otázku přepiš. Zeptáš se na druhou mocninu přirozeného čísla, nabídneš 16 i 64 a správně jsou dvě.
2. Špatné odpovědi ze skutečných chyb žáků
Špatná odpověď, tedy návnada (distraktor), funguje jen tehdy, když by ji mohl zvolit žák, který se nepřipravil. Přehled z roku 2002 doporučuje uvěřitelné návnady postavené na typických chybách žáků. Nejlepší zdroj je tvoje minulá písemka: špatné odpovědi, které třída opravdu volila.
3. Celá otázka patří do zadání
Zakryj možnosti: pokud by žák, který látku umí, dokázal odpovědět i bez nich, je zadání úplné. Vynech podrobnosti, které s odpovědí nesouvisejí.
4. Vynech „všechny výše uvedené“ i „žádná z uvedených“
Přehled z roku 2002 radí vyhnout se možnosti „všechny výše uvedené“ a s možností „žádná z uvedených“ zacházet opatrně. Příručka Cynthie Brame pro Vanderbilt Center for Teaching nedoporučuje ani jednu. Žák, který pozná dvě správné možnosti, zvolí „všechny výše uvedené“, aniž by znal tu třetí.
5. Zadání kladně, nebo zápor tak, aby se nedal přehlédnout
Pod časovým tlakem žáci čtou zběžně a „Které z těchto zvířat není savec?“ snadno přečtou bez „ne“. Kde to jde, ptej se kladně. Když je zápor smyslem otázky, napiš ho velkými písmeny a tučně: „Které z těchto zvířat NENÍ savec?“
6. Možnosti mají být podobné
Možnosti by měly být zhruba stejně dlouhé, stejného druhu (samá města, samé letopočty) a ve stejném gramatickém tvaru. Viditelně delší nebo přesnější správná odpověď je známá nápověda.
7. Žádné nápovědy ve formulaci
Hledej stopy, které k odpovědi vedou bez znalosti látky:
- „vždy“ nebo „nikdy“, kvůli kterým jde možnost snadno vyloučit,
- slovo ze zadání zopakované v jedné možnosti, třeba „kondenzuje“ v otázce a „kondenzace“ mezi odpověďmi,
- gramatika, která sedí jen k jedné možnosti: po „Fotosyntéza probíhá hlavně v…“ dává smysl jen „listech“, ne „kořen“, „stonek“ nebo „květ“,
- dvě možnosti, které znamenají totéž, nebo zjevně nesmyslné možnosti.
8. Jedna myšlenka na otázku
Testuj v jedné otázce jednu věc a jeden druh přemýšlení. Vyhni se kombinacím typu „správně je 1 a 3“ a drž otázky nezávislé, aby jedna neprozradila odpověď na jinou.
9. Střídej pozici správné odpovědi
Když je správně často B, žáci si toho všimnou. Rozlož správné odpovědi rovnoměrně mezi A, B, C a D, bez dlouhých řad stejného písmene.
10. Ptej se na porozumění, ne jen na zapamatování
Otázka opsaná z učebnice zkouší, jestli žák pozná větu. Přehled z roku 2002 doporučuje pro vyšší úroveň myšlení nový materiál: vlastní formulaci, nový příklad, výpočet nebo situaci.
Před a po: tři příklady
Zeměpis: špatné odpovědi, které nikdo nezvolí
Před: Které město je hlavním městem Austrálie? A) Canberra, B) Paříž, C) Tokio, D) Afrika.
Paříž a Tokio patří jiným státům a Afrika není město, takže to uhodne i žák, který o Austrálii nic neví.
Po: stejná otázka s možnostmi A) Sydney, B) Melbourne, C) Perth, D) Canberra. Správně: D. Všechny čtyři jsou australská města a Sydney zachytí nejčastější omyl.
Fyzika: nápověda v zadání
Před: Vodní pára na studeném okně kondenzuje. Jak se tento děj nazývá? A) kondenzace, B) vypařování, C) tání, D) tuhnutí.
„Kondenzuje“ ukazuje přímo na „kondenzaci“ a otázka se ptá jen na název.
Po: Za chladného rána se na vnitřní straně okna auta objeví kapky vody. Odkud se ta voda vzala?
- A) Z deště, který prosákl sklem
- B) Ze skla, které ji při ochlazení uvolnilo
- C) Z vodní páry ve vzduchu uvnitř auta
- D) Ze studeného vzduchu zvenku, který se změnil ve vodu
Správně: C. Žák musí použít kondenzaci v nové situaci a každá špatná odpověď je vysvětlení, kterému by žák mohl doopravdy věřit. Všechny čtyři navíc začínají stejně („Z…“), takže gramatika nic neprozradí.
Matematika: poznat vzorec, nebo ho použít
Před: (a + b)² = A) a² + 2ab + b², B) 2ab, C) ab, D) a + b.
Zadání není otázka a jen jedna možnost vypadá jako vzorec z učebnice.
Po: Který výraz se rovná (x + 3)²?
- A) x² + 9
- B) x² + 6x + 9
- C) x² + 3x + 9
- D) 2x + 6
Správně: B. Každá špatná odpověď je typická chyba: chybí prostřední člen (A), prostřední člen není zdvojený (C), nebo žák násobil dvěma místo umocnění (D).
Jak s tím pracuje Grade AI
Grade AI (grade-ai.app) je appka do telefonu a na web pro učitele, která tiskne testy s výběrem odpovědí na papír, každému žákovi jeden arch, a vyplněné archy opraví fotoaparátem telefonu.
Čtyři možnosti, jedna správná. Každá otázka v Grade AI má možnosti A až D a jednu správnou odpověď; editor tě nepustí dál, dokud nejsou vyplněné všechny čtyři. S výzkumem to nekoliduje, pokud jsou uvěřitelné všechny tři špatné odpovědi.
Návrhy od AI se kontrolují, ale ne ve všem. Když v Grade AI navrhuje otázky AI, má zadáno napsat právě jednu správnou odpověď a tři uvěřitelné špatné. Appka pak vyhodí návrhy s možností „všechny výše uvedené“ nebo „žádná z uvedených“, se dvěma stejnými možnostmi nebo se správnou odpovědí napsanou přímo v otázce. Špatnou možnost se stejnou hodnotou jako správná (4/6 vedle 2/3) nahradí jiným číslem, a když to nejde, návrh vyhodí. Správné odpovědi návrhů od AI navíc rozloží rovnoměrně mezi A až D. Nepozná ale dvě odpovědi, které jsou správně významem, chybný klíč ani stejnou otázku jinými slovy. Otázky, které píšeš sám, si nechají písmena tak, jak je nastavíš. Před tiskem proto každou otázku projdi podle pravidel výše. Víc v článcích AI generátor testů pro učitele a Testové otázky od AI z vlastních výpisků.
Výsledky ukážou, kterou špatnou odpověď třída volila. Po naskenování ukáže Rozdělení odpovědí u každé otázky, kolik žáků zvolilo A, B, C a D. Návnada, kterou nikdo nezvolí, nic nedělá. Když u nejtěžší otázky zvolí stejnou špatnou odpověď aspoň tři žáci a zároveň aspoň 40 % žáků, kteří test psali, shrne to Přehled testu jednou větou: buď je otázka zavádějící, nebo si to třída zapamatovala špatně. Karta „Zítra vysvětlit znovu“ ve Statistikách ukáže otázku s nejnižší úspěšností, pokud je pod 60 %, i se špatnou odpovědí, kterou žáci volili nejčastěji. Víc v článku Které otázky třída nezvládla?
Zdroje
- Haladyna, T. M., Downing, S. M. a Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309-333. doi.org/10.1207/S15324818AME1503_5
- Rodriguez, M. C. (2005). Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research. Educational Measurement: Issues and Practice, 24(2), 3-13. doi.org/10.1111/j.1745-3992.2005.00006.x
- Brame, C. J. Writing good multiple choice test questions. Vanderbilt Center for Teaching, upravená verze University of Wisconsin-Madison (anglicky). wisc.pb.unizin.org
Časté otázky
Kolik možností má mít otázka s výběrem odpovědí?
Obvykle stačí tři dobré možnosti. Metaanalýza 80 let výzkumu (Rodriguez, 2005) zjistila, že se třemi možnostmi stihneš ve stejném čase položit víc otázek a kvalita testu neutrpí. Důležité je, aby byla každá špatná možnost uvěřitelná. Grade AI používá vždy čtyři možnosti, A až D.
Je „všechny výše uvedené“ špatná možnost?
Většinou ano. Přehled pravidel pro psaní testových otázek z roku 2002 doporučuje se jí vyhnout. Žák, který vidí, že dvě možnosti platí, ji může zvolit, aniž by znal tu třetí.
Jak zabránit tipování?
Úplně to nejde: při čtyřech možnostech je odpověď tipnutá naslepo správná v jednom případě ze čtyř. Přesvědčivé špatné odpovědi, žádné nápovědy ve formulaci a víc otázek ale tipování znevýhodní. V Grade AI má každá otázka jeden bod a za špatnou odpověď se nic neodečítá.
Umí AI napsat dobré testové otázky?
AI napíše použitelný první návrh, ale ten je potřeba zkontrolovat: jestli není správně i druhá odpověď, jestli sedí klíč a jestli nejsou návnady, které by nikdo nezvolil. V Grade AI je každá otázka od AI v editoru označená „Navrženo AI“ a před tiskem ji můžeš upravit nebo smazat.
Zkus to na příštím testu.
Založ třídu, vytiskni archy, změř si to. Skenuje se v telefonu. Tvorba a tisk fungují i v prohlížeči.