Grade AI

Ako písať dobré testové otázky s výberom odpovede: pravidlá, príklady a časté chyby

Desať výskumom podložených pravidiel pre otázky s výberom odpovede, príklady pred a po z matematiky, fyziky a geografie a chyby, ktoré uľahčujú tipovanie.

· 7 min čítania · English · Čeština · Deutsch · Polski

V skratke: Dobrá otázka s výberom odpovede má jednu jasne správnu odpoveď, zlé odpovede postavené na skutočných chybách žiakov a zadanie, ktoré samo osebe tvorí celú otázku. Vynechaj „všetky uvedené“, vyhýbaj sa záporu, drž možnosti podobné, neprezrádzaj odpoveď formuláciou a správnu odpoveď rozlož medzi A, B, C a D. Väčšina týchto pravidiel pochádza z prehľadu, ktorý v roku 2002 zostavili Haladyna, Downing a Rodriguez.

Odkiaľ sú tie pravidlá?

Väčšina pravidiel nižšie pochádza z článku „A review of multiple-choice item-writing guidelines for classroom assessment“ (Haladyna, Downing a Rodriguez, 2002). Autori v ňom preverili 31 zásad pre školské testy podľa 27 učebníc pedagogického merania a 27 výskumov a prehľadov vydaných od roku 1990.

K počtu možností sa vyjadril Rodriguez (2005) v metaanalýze „Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research“: tri dobré možnosti zvyčajne stačia. Starší zoznam z roku 1989 tvrdil opak, takže zoznamy pravidiel na internete, ktoré oba miešajú, si samy odporujú.

Desať pravidiel pre lepšie testové otázky

1. Jedna jasne správna odpoveď

Správna musí byť práve jedna možnosť, a to bez debát. Keby kolegyňa vedela obhájiť aj druhú, otázku prepíš. Spýtaš sa na druhú mocninu prirodzeného čísla, ponúkneš 16 aj 64 a správne sú dve.

2. Zlé odpovede zo skutočných chýb žiakov

Zlá odpoveď, teda návnada (distraktor), funguje len vtedy, keď by ju mohol zvoliť žiak, ktorý sa nepripravil. Prehľad z roku 2002 odporúča uveriteľné návnady postavené na typických chybách žiakov. Najlepší zdroj je tvoja minulá písomka: zlé odpovede, ktoré trieda naozaj volila.

3. Celá otázka patrí do zadania

Zakry možnosti: ak by žiak, ktorý látku vie, dokázal odpovedať aj bez nich, zadanie je úplné. Vynechaj podrobnosti, ktoré s odpoveďou nesúvisia.

4. Vynechaj „všetky uvedené“ aj „žiadna z uvedených“

Prehľad z roku 2002 radí vyhnúť sa možnosti „všetky uvedené“ a s možnosťou „žiadna z uvedených“ zaobchádzať opatrne. Príručka Cynthie Brame pre Vanderbilt Center for Teaching neodporúča ani jednu. Žiak, ktorý spozná dve správne možnosti, zvolí „všetky uvedené“ bez toho, aby poznal tú tretiu.

5. Zadanie kladne, alebo zápor tak, aby sa nedal prehliadnuť

Pod časovým tlakom žiaci čítajú zbežne a „Ktoré z týchto zvierat nie je cicavec?“ ľahko prečítajú bez „nie“. Kde sa dá, pýtaj sa kladne. Keď je zápor zmyslom otázky, napíš ho veľkými písmenami a tučne: „Ktoré z týchto zvierat NIE JE cicavec?“

6. Možnosti majú byť podobné

Možnosti by mali byť zhruba rovnako dlhé, rovnakého druhu (samé mestá, samé letopočty) a v rovnakom gramatickom tvare. Viditeľne dlhšia alebo presnejšia správna odpoveď je známa nápoveda.

7. Žiadne nápovedy vo formulácii

Hľadaj stopy, ktoré k odpovedi vedú bez znalosti látky:

8. Jedna myšlienka na otázku

V jednej otázke skúšaj jednu vec a jeden druh premýšľania. Vyhni sa kombináciám typu „správne je 1 a 3“ a drž otázky nezávislé, aby jedna neprezradila odpoveď na inú.

9. Striedaj pozíciu správnej odpovede

Keď je správne často B, žiaci si to všimnú. Rozlož správne odpovede rovnomerne medzi A, B, C a D, bez dlhých radov rovnakého písmena.

10. Pýtaj sa na porozumenie, nie len na zapamätanie

Otázka odpísaná z učebnice skúša, či žiak spozná vetu. Prehľad z roku 2002 odporúča pre vyššiu úroveň myslenia nový materiál: vlastnú formuláciu, nový príklad, výpočet alebo situáciu.

Pred a po: tri príklady

Geografia: zlé odpovede, ktoré nikto nezvolí

Pred: Ktoré mesto je hlavným mestom Austrálie? A) Canberra, B) Paríž, C) Tokio, D) Afrika.

Paríž a Tokio patria iným štátom a Afrika nie je mesto, takže to uhádne aj žiak, ktorý o Austrálii nič nevie.

Po: rovnaká otázka s možnosťami A) Sydney, B) Melbourne, C) Perth, D) Canberra. Správne: D. Všetky štyri sú austrálske mestá a Sydney zachytí najčastejší omyl.

Fyzika: nápoveda v zadaní

Pred: Vodná para na studenom okne kondenzuje. Ako sa tento dej nazýva? A) kondenzácia, B) vyparovanie, C) topenie, D) tuhnutie.

„Kondenzuje“ ukazuje priamo na „kondenzáciu“ a otázka sa pýta len na názov.

Po: Za chladného rána sa na vnútornej strane okna auta objavia kvapky vody. Odkiaľ sa tá voda vzala?

Správne: C. Žiak musí použiť kondenzáciu v novej situácii a každá zlá odpoveď je vysvetlenie, ktorému by žiak mohol naozaj veriť. Všetky štyri sa navyše začínajú rovnako („Z…“), takže gramatika nič neprezradí.

Matematika: spoznať vzorec, alebo ho použiť

Pred: (a + b)² = A) a² + 2ab + b², B) 2ab, C) ab, D) a + b.

Zadanie nie je otázka a len jedna možnosť vyzerá ako vzorec z učebnice.

Po: Ktorý výraz sa rovná (x + 3)²?

Správne: B. Každá zlá odpoveď je typická chyba: chýba prostredný člen (A), prostredný člen nie je zdvojený (C), alebo žiak násobil dvomi namiesto umocnenia (D).

Ako s tým pracuje Grade AI

Grade AI (grade-ai.app) je appka do telefónu a na web pre učiteľov, ktorá tlačí testy s výberom odpovedí na papier, každému žiakovi jeden hárok, a vyplnené hárky opraví fotoaparátom telefónu.

Štyri možnosti, jedna správna. Každá otázka v Grade AI má možnosti A až D a jednu správnu odpoveď; editor ťa nepustí ďalej, kým nie sú vyplnené všetky štyri. S výskumom to nekoliduje, ak sú uveriteľné všetky tri zlé odpovede.

Návrhy od AI sa kontrolujú, ale nie vo všetkom. Keď v Grade AI navrhuje otázky AI, má zadané napísať práve jednu správnu odpoveď a tri uveriteľné zlé. Appka potom vyhodí návrhy s možnosťou „všetky uvedené“ alebo „žiadna z uvedených“, s dvoma rovnakými možnosťami alebo so správnou odpoveďou napísanou priamo v otázke. Zlú možnosť s rovnakou hodnotou ako správna (4/6 vedľa 2/3) nahradí iným číslom, a keď to nejde, návrh vyhodí. Správne odpovede návrhov od AI navyše rozloží rovnomerne medzi A až D. Nespozná však dve odpovede, ktoré sú správne významom, chybný kľúč ani rovnakú otázku inými slovami. Otázky, ktoré píšeš sám, si nechajú písmená tak, ako ich nastavíš. Pred tlačou preto každú otázku prejdi podľa pravidiel vyššie. Viac v článkoch AI generátor testov pre učiteľov a Testové otázky od AI z vlastných poznámok.

Výsledky ukážu, ktorú zlú odpoveď trieda volila. Po naskenovaní ukáže Rozdelenie odpovedí pri každej otázke, koľko žiakov zvolilo A, B, C a D. Návnada, ktorú nikto nezvolí, nič nerobí. Keď pri najťažšej otázke zvolia rovnakú zlú odpoveď aspoň traja žiaci a zároveň aspoň 40 % žiakov, ktorí test písali, zhrnie to Prehľad testu jednou vetou: buď je otázka zavádzajúca, alebo si to trieda zapamätala zle. Karta „Zajtra vysvetliť znova“ v Štatistikách ukáže otázku s najnižšou úspešnosťou, ak je pod 60 %, aj so zlou odpoveďou, ktorú žiaci volili najčastejšie. Viac v článku Ktoré otázky trieda nezvládla?

Zdroje

Časté otázky

Koľko možností má mať otázka s výberom odpovede?

Zvyčajne stačia tri dobré možnosti. Metaanalýza 80 rokov výskumu (Rodriguez, 2005) zistila, že s tromi možnosťami stihneš v rovnakom čase položiť viac otázok a kvalita testu neutrpí. Dôležité je, aby bola každá zlá možnosť uveriteľná. Grade AI používa vždy štyri možnosti, A až D.

Je „všetky uvedené“ zlá možnosť?

Väčšinou áno. Prehľad pravidiel pre písanie testových otázok z roku 2002 odporúča vyhnúť sa jej. Žiak, ktorý vidí, že dve možnosti platia, ju môže zvoliť bez toho, aby poznal tú tretiu.

Ako zabrániť tipovaniu?

Úplne sa to nedá: pri štyroch možnostiach je odpoveď tipnutá naslepo správna v jednom prípade zo štyroch. Presvedčivé zlé odpovede, žiadne nápovedy vo formulácii a viac otázok však tipovanie znevýhodnia. V Grade AI má každá otázka jeden bod a za zlú odpoveď sa nič neodpočítava.

Vie AI napísať dobré testové otázky?

AI napíše použiteľný prvý návrh, ale treba ho skontrolovať: či nie je správna aj druhá odpoveď, či sedí kľúč a či nie sú medzi možnosťami návnady, ktoré by nikto nezvolil. V Grade AI je každá otázka od AI v editore označená „Navrhnuté AI“ a pred tlačou ju môžeš upraviť alebo zmazať.

Skús to na ďalšom teste.

Založ triedu, vytlač hárky, zmeraj si to. Skenuje sa v telefóne. Tvorba a tlač fungujú aj v prehliadači.

Stiahnuť appku

Ďalšie články