Grade AI

Jak psát dobré testové otázky s výběrem odpovědí: pravidla, příklady a časté chyby

Deset výzkumem podložených pravidel pro otázky s výběrem odpovědí, příklady před a po z matematiky, fyziky a zeměpisu a chyby, které usnadňují tipování.

· 7 min čtení · English · Deutsch · Polski · Slovenčina

Ve zkratce: Dobrá otázka s výběrem odpovědí má jednu jasně správnou odpověď, špatné odpovědi postavené na skutečných chybách žáků a zadání, které samo o sobě tvoří celou otázku. Vynech „všechny výše uvedené“, vyhýbej se záporu, drž možnosti podobné, neprozrazuj odpověď formulací a správnou odpověď rozlož mezi A, B, C a D. Většina těchto pravidel pochází z přehledu, který v roce 2002 sestavili Haladyna, Downing a Rodriguez.

Odkud ta pravidla jsou?

Většina pravidel níže pochází z článku „A review of multiple-choice item-writing guidelines for classroom assessment“ (Haladyna, Downing a Rodriguez, 2002). Autoři v něm prověřili 31 zásad pro školní testy podle 27 učebnic pedagogického měření a 27 výzkumů a přehledů vydaných od roku 1990.

K počtu možností se vyjádřil Rodriguez (2005) v metaanalýze „Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research“: tři dobré možnosti obvykle stačí. Starší seznam z roku 1989 tvrdil opak, takže seznamy pravidel na internetu, které oba míchají, si samy odporují.

Deset pravidel pro lepší testové otázky

1. Jedna jasně správná odpověď

Správná musí být právě jedna možnost, a to bez debat. Kdyby kolega dokázal obhájit i druhou, otázku přepiš. Zeptáš se na druhou mocninu přirozeného čísla, nabídneš 16 i 64 a správně jsou dvě.

2. Špatné odpovědi ze skutečných chyb žáků

Špatná odpověď, tedy návnada (distraktor), funguje jen tehdy, když by ji mohl zvolit žák, který se nepřipravil. Přehled z roku 2002 doporučuje uvěřitelné návnady postavené na typických chybách žáků. Nejlepší zdroj je tvoje minulá písemka: špatné odpovědi, které třída opravdu volila.

3. Celá otázka patří do zadání

Zakryj možnosti: pokud by žák, který látku umí, dokázal odpovědět i bez nich, je zadání úplné. Vynech podrobnosti, které s odpovědí nesouvisejí.

4. Vynech „všechny výše uvedené“ i „žádná z uvedených“

Přehled z roku 2002 radí vyhnout se možnosti „všechny výše uvedené“ a s možností „žádná z uvedených“ zacházet opatrně. Příručka Cynthie Brame pro Vanderbilt Center for Teaching nedoporučuje ani jednu. Žák, který pozná dvě správné možnosti, zvolí „všechny výše uvedené“, aniž by znal tu třetí.

5. Zadání kladně, nebo zápor tak, aby se nedal přehlédnout

Pod časovým tlakem žáci čtou zběžně a „Které z těchto zvířat není savec?“ snadno přečtou bez „ne“. Kde to jde, ptej se kladně. Když je zápor smyslem otázky, napiš ho velkými písmeny a tučně: „Které z těchto zvířat NENÍ savec?“

6. Možnosti mají být podobné

Možnosti by měly být zhruba stejně dlouhé, stejného druhu (samá města, samé letopočty) a ve stejném gramatickém tvaru. Viditelně delší nebo přesnější správná odpověď je známá nápověda.

7. Žádné nápovědy ve formulaci

Hledej stopy, které k odpovědi vedou bez znalosti látky:

8. Jedna myšlenka na otázku

Testuj v jedné otázce jednu věc a jeden druh přemýšlení. Vyhni se kombinacím typu „správně je 1 a 3“ a drž otázky nezávislé, aby jedna neprozradila odpověď na jinou.

9. Střídej pozici správné odpovědi

Když je správně často B, žáci si toho všimnou. Rozlož správné odpovědi rovnoměrně mezi A, B, C a D, bez dlouhých řad stejného písmene.

10. Ptej se na porozumění, ne jen na zapamatování

Otázka opsaná z učebnice zkouší, jestli žák pozná větu. Přehled z roku 2002 doporučuje pro vyšší úroveň myšlení nový materiál: vlastní formulaci, nový příklad, výpočet nebo situaci.

Před a po: tři příklady

Zeměpis: špatné odpovědi, které nikdo nezvolí

Před: Které město je hlavním městem Austrálie? A) Canberra, B) Paříž, C) Tokio, D) Afrika.

Paříž a Tokio patří jiným státům a Afrika není město, takže to uhodne i žák, který o Austrálii nic neví.

Po: stejná otázka s možnostmi A) Sydney, B) Melbourne, C) Perth, D) Canberra. Správně: D. Všechny čtyři jsou australská města a Sydney zachytí nejčastější omyl.

Fyzika: nápověda v zadání

Před: Vodní pára na studeném okně kondenzuje. Jak se tento děj nazývá? A) kondenzace, B) vypařování, C) tání, D) tuhnutí.

„Kondenzuje“ ukazuje přímo na „kondenzaci“ a otázka se ptá jen na název.

Po: Za chladného rána se na vnitřní straně okna auta objeví kapky vody. Odkud se ta voda vzala?

Správně: C. Žák musí použít kondenzaci v nové situaci a každá špatná odpověď je vysvětlení, kterému by žák mohl doopravdy věřit. Všechny čtyři navíc začínají stejně („Z…“), takže gramatika nic neprozradí.

Matematika: poznat vzorec, nebo ho použít

Před: (a + b)² = A) a² + 2ab + b², B) 2ab, C) ab, D) a + b.

Zadání není otázka a jen jedna možnost vypadá jako vzorec z učebnice.

Po: Který výraz se rovná (x + 3)²?

Správně: B. Každá špatná odpověď je typická chyba: chybí prostřední člen (A), prostřední člen není zdvojený (C), nebo žák násobil dvěma místo umocnění (D).

Jak s tím pracuje Grade AI

Grade AI (grade-ai.app) je appka do telefonu a na web pro učitele, která tiskne testy s výběrem odpovědí na papír, každému žákovi jeden arch, a vyplněné archy opraví fotoaparátem telefonu.

Čtyři možnosti, jedna správná. Každá otázka v Grade AI má možnosti A až D a jednu správnou odpověď; editor tě nepustí dál, dokud nejsou vyplněné všechny čtyři. S výzkumem to nekoliduje, pokud jsou uvěřitelné všechny tři špatné odpovědi.

Návrhy od AI se kontrolují, ale ne ve všem. Když v Grade AI navrhuje otázky AI, má zadáno napsat právě jednu správnou odpověď a tři uvěřitelné špatné. Appka pak vyhodí návrhy s možností „všechny výše uvedené“ nebo „žádná z uvedených“, se dvěma stejnými možnostmi nebo se správnou odpovědí napsanou přímo v otázce. Špatnou možnost se stejnou hodnotou jako správná (4/6 vedle 2/3) nahradí jiným číslem, a když to nejde, návrh vyhodí. Správné odpovědi návrhů od AI navíc rozloží rovnoměrně mezi A až D. Nepozná ale dvě odpovědi, které jsou správně významem, chybný klíč ani stejnou otázku jinými slovy. Otázky, které píšeš sám, si nechají písmena tak, jak je nastavíš. Před tiskem proto každou otázku projdi podle pravidel výše. Víc v článcích AI generátor testů pro učitele a Testové otázky od AI z vlastních výpisků.

Výsledky ukážou, kterou špatnou odpověď třída volila. Po naskenování ukáže Rozdělení odpovědí u každé otázky, kolik žáků zvolilo A, B, C a D. Návnada, kterou nikdo nezvolí, nic nedělá. Když u nejtěžší otázky zvolí stejnou špatnou odpověď aspoň tři žáci a zároveň aspoň 40 % žáků, kteří test psali, shrne to Přehled testu jednou větou: buď je otázka zavádějící, nebo si to třída zapamatovala špatně. Karta „Zítra vysvětlit znovu“ ve Statistikách ukáže otázku s nejnižší úspěšností, pokud je pod 60 %, i se špatnou odpovědí, kterou žáci volili nejčastěji. Víc v článku Které otázky třída nezvládla?

Zdroje

Časté otázky

Kolik možností má mít otázka s výběrem odpovědí?

Obvykle stačí tři dobré možnosti. Metaanalýza 80 let výzkumu (Rodriguez, 2005) zjistila, že se třemi možnostmi stihneš ve stejném čase položit víc otázek a kvalita testu neutrpí. Důležité je, aby byla každá špatná možnost uvěřitelná. Grade AI používá vždy čtyři možnosti, A až D.

Je „všechny výše uvedené“ špatná možnost?

Většinou ano. Přehled pravidel pro psaní testových otázek z roku 2002 doporučuje se jí vyhnout. Žák, který vidí, že dvě možnosti platí, ji může zvolit, aniž by znal tu třetí.

Jak zabránit tipování?

Úplně to nejde: při čtyřech možnostech je odpověď tipnutá naslepo správná v jednom případě ze čtyř. Přesvědčivé špatné odpovědi, žádné nápovědy ve formulaci a víc otázek ale tipování znevýhodní. V Grade AI má každá otázka jeden bod a za špatnou odpověď se nic neodečítá.

Umí AI napsat dobré testové otázky?

AI napíše použitelný první návrh, ale ten je potřeba zkontrolovat: jestli není správně i druhá odpověď, jestli sedí klíč a jestli nejsou návnady, které by nikdo nezvolil. V Grade AI je každá otázka od AI v editoru označená „Navrženo AI“ a před tiskem ji můžeš upravit nebo smazat.

Zkus to na příštím testu.

Založ třídu, vytiskni archy, změř si to. Skenuje se v telefonu. Tvorba a tisk fungují i v prohlížeči.

Stáhnout appku

Další články