Zavádění formativního hodnocení - Praktické techniky pro základní a střední školy

ZAVÁDĚNÍ FORMATIVNÍHO HODNOCENÍ

178x254/kniha 2017.indd 1

19.12.17 19:54

ZAVÁDĚNÍ FORMATIVNÍHO HODNOCENÍ: Praktické techniky pro základní a střední školy

DYLAN WILIAM SIOBHÁN LEAHYOVÁ

178x254/kniha 2017.indd 3

19.12.17 19:54

Anglický originál Copyright © 2015 Learning Sciences International České vydání Copyright © 2016 Čtení pomáhá, EDUkační LABoratoř, z.s.

Druhé revidované vydání.

Ve spolupráci s nakladatelstvím Martina Romana a projektem Čtení pomáhá vydala organizace EDUkační LABoratoř, z.s., info@edulabcr.cz, www.edulabcr.cz.

Překlad a úprava Z anglického originálu Embedding Formative Assessment, Dylan Wiliam, Siobhán Leahyová, © 2015, Learning Sciences International, přeložila společnost Lingea, s.r.o.

Translated and published by Čtení pomáhá and EDUkační LABoratoř with permission from LSI. This translated work is based on Embedding Formative Assessment by Dylan Wiliam and Siobhán Leahy. © 2015, Learning Sciences International. All Rights Reserved. LSI is not affiliated with Čtení pomáhá and EDUkační LABoratoř or responsible for the quality of this translated work.

Odborný konzultant PhDr. Iva Žlábková, Ph.D. Tisk TBB, a.s., Partizánska cesta 59, 974 01 Banská Bystrica, Slovenská republika Všechna práva vyhrazena. Tabulky, formuláře a vzorové dokumenty mohou byt reprodukovány nebo prezentovány pouze pedagogy, školami či neziskovými organizacemi, kteří si tuto knihu zakoupili. Žádná část této knihy nesmí byt reprodukována, šířena či prezentována v jakékoli formě či jakýmikoli prostředky (fotokopie, digitální či elektronický přenos, elektronické či mechanické zobrazení a jiné) bez předchozího písemného souhlasu vydavatele (s výjimkou výše zmíněného použití).

ISBN 978-80-906082-7-6 (EDUkační LABoratoř, z.s.)

178x254/kniha 2017.indd 4

19.12.17 19:54

Úvodní slovo

Když jsem se po skončení své 20leté manažerské kariéry rozhodl věnovat vzdělávání a doplnit si svůj názor na efektivitu vzdělávacího procesu na základních a středních školách studiem pedagogiky na Institute of Education na University College London, pohyboval jsem se během svého magisterského studia v komunitě učitelů celého světa. Uvědomil jsem si, jak velkou výhodu a o kolik jednodušší to mají učitelé, kteří mají angličtinu jako mateřský jazyk nebo ji výborně ovládají. Významnou pomocí v jejich práci jsou jim totiž stovky knih, které v angličtině vycházejí a pomáhají učitelům zlepšit (a většinou i ulehčit) jejich práci.

Knihy v češtině nevycházejí ne proto, že by čeští učitelé neměli zájem o knihy o vzdělávání, ale pro malý český trh se naprostá většina knih nevyplatí vydávat. Chtěl bych proto některá klíčová díla vydávat nekomerčně, levněji, než je možné je zakoupit v angličtině, aby byla přístupná široké komunitě učitelů v České republice.

Věda dnes ovlivňuje všechny hlavní obory lidské činnosti výrazněji než kdykoliv předtím.

Těžko si umíme představit špičkového lékaře, který by se nechtěl dále vzdělávat s tím, že je přece výborný, tak proč by měl něco měnit. Podobně jako do medicíny i do vzdělávání proudí miliardy dolarů na výzkum toho, co ve vzdělávání funguje lépe a co hůře.

Podle futurologů za dvacet let zanikne polovina stávajících pracovních míst. Čím budou nahrazena? Těžko říci, pravděpodobné ale je, že klíčovou kompetencí bude schopnost se postavit k problému, který nás nikdo do té doby neučil řešit. Nejde o to, co dnes děláme ve vzdělávání špatně, ale o to, co bychom mohli dělat lépe.

Když jsme společně s kolegy pedagogy přemýšleli, kterou knihu přeložit jako první, shodli jsme se na knize Dylana Wiliama „Embedding Formative Assessement“. Formativní hodnocení není jen módním trendem. Na základě mnoha výzkumů je to spolu s metakognicí nejefektivnější intervence ve vzdělávání, kterou známe. To je důvod, proč britská vláda investovala více než miliardu a půl korun do osvěty formativního hodnocení a proškolení všech učitelů ve Velké Británii. Dylan Wiliam spolu s Paulem Blackem poprvé publikovali v roce 1998 své myšlenky formativního hodnocení ve studii „Inside the Black Box“, a ta se stala jednou z nejcitovanějších vědeckých publikací ve vzdělávání za posledních 20 let. Na univerzitě, kde jsem studoval efektivitu výuky a učení se, to byl jeden ze

vii

178x254/kniha 2017.indd 7

19.12.17 19:54

dvou povinných předmětů, které musel absolvovat každý student. BBC o tom, jak Dylan Wiliam zavádí pravidla formativního hodnocení, natočila dva hodinové dokumenty.

Formativní hodnocení zdaleka nejsou jen písemné komentáře místo známek, jak je někdy úzce vnímáno. Je to soubor strategií a postupů, z nichž se nám některé zdají logické, a některé na první poslech jako kontraintuitivní. Všechny jsou však formulovány na základě množství vědeckých výzkumů a mají společnou jednu věc – snahu o maximální zpětnou vazbu pro učitele i studenta o tom, jak probíhá studentův vzdělávací proces.

Kniha, kterou právě držíte v ruce, je již několikátou a nejnovější publikací Dylana Wiliama na téma formativního hodnocení. Dylan Wiliam, původně učitel matematiky a fyziky, ji napsal spolu se svou manželkou, Siobhán Leahyovou, dlouholetou ředitelkou tří středních škol. Nejsou to tedy teoretické rady vědců, ale závěry praktiků, kteří se kromě pedagogické praxe věnovali pedagogickému výzkumu.

Tato kniha nás zaujala pravě svou praktičností a mnoha příklady z výuky matematiky, literatury, jazyků, přírodních i společenských věd a uměleckých předmětů. Dává mnoho návodů na konkrétní postupy a nabízí pracovní listy, které je možné si stáhnout. Je doplněna zkušenostmi učitelů z celého světa s formativním hodnocením, včetně popsání slepých uliček, do kterých se dostali. Díky tomu z ní mohou mít užitek jak zkušení, tak začínající učitelé i studenti pedagogiky.

Přeji vám zajímavé čtení a hodně radosti z úspěchů svých studentů, které při aplikaci podnětů z této knihy zažijí. dr. Martin Roman, MA Effective learning and teaching Předseda správní rady PORG o.p.s.

Zakladatel a donátor projektu ctenipomaha.cz

viii

178x254/kniha 2017.indd 8

19.12.17 19:54

Formativní hodnocení v kontextu moderní školy

Charakter vzdělávání se mění zároveň se světem. V ideálním případě přichází se změnou samotný učitel, který hledá nové metody a možnosti výuky. Původcem změny však může být i škola měnící vzdělávací systém prostřednictvím vzdělávacích programů nebo projektů. V případě publikace Zavádění formativního hodnocení jde o změnu způsobu hodnocení u učitelů a zapojení žáků do procesu hodnocení jako „vlastníků“ svého učení.

Důraz je kladen na komunikaci nejen mezi učiteli či učitelem a žákem, ale i žáky navzájem. Pedagog si s jednotlivými žáky stanoví cíle a pravidelně v krátkých intervalech jim poskytuje zpětnou vazbu a společně vyhodnocují, co se podařilo, na co je potřeba se v budoucnu zaměřit a jak konkrétně postupovat. Formativní hodnocení primárně nesrovnává žáky mezi sebou, ale soustředí se na dosahování cílů u jednotlivců.

Implementovat nové postupy do výuky není jednoduché, také proto vznikla tato publikace, která přináší návod, jak krok po kroku formativní hodnocení do výuky zavádět. Zaměřuje se zejména na praktické podněty, které učiteli usnadní integraci nových postupů hodnocení do praxe, kde se následně stávají její přirozenou součástí.

My v centru EDULAB budujeme vzdělávací platformu umožňující spolupráci vícero subjektů a vytváříme podmínky k tomu, aby učitelé mohli rozvíjet svůj potenciál v rozličných oblastech vzdělávání.

Na závěr bych rád poděkoval Dr. Martinu Romanovi za jeho počin, díky kterému můžeme českým učitelům tuto knihu nyní představit. Věřím, že v průběhu následujících let dostaneme možnost obohatit české vzdělávací prostředí i o další zajímavé tituly.

Michal Orság Ředitel vzdělávací organizace EDUkační LABoratoř, z.s.

ix

178x254/kniha 2017.indd 9

19.12.17 19:54

Našim maminkám Ioně a Heather

178x254/kniha 2017.indd 11

19.12.17 19:54

Obsah

Úvodní slovo .............................................................................................. vii Formativní hodnocení v kontextu moderní školy........................................ ix Techniky: Tipy, varování a vylepšení........................................................ xvii Poděkování ............................................................................................. xxiii O autorech ............................................................................................... xxv Úvod............................................................................................................. 1 Techniky, které pravidelně používám.......................................................... 4 1. kapitola

Proč by formativní hodnocení mělo být prioritou každého učitele................... 5 2. kapitola

Vaše profesní vzdělávání ...................................................................... 13 Úvod...................................................................................................... 13 Obsah, teprve pak proces......................................................................... 13 Volba...................................................................................................... 14 Flexibilita ............................................................................................... 15 Malé krůčky............................................................................................ 17 Podpora formativního hodnocení vzdělávacích komunit učitelů.................. 21 3. kapitola

Strategie 1: Objasňování, sdílení a porozumění cílům učení a kritériím úspěchu ...................................................................................................... 25 Přehled .................................................................................................. 25 Proč tuto strategii používat ..................................................................... 25 Jak této strategii porozumět.................................................................... 25 Techniky................................................................................................. 28 Rekapitulace........................................................................................... 56

xiii

178x254/kniha 2017.indd 13

19.12.17 19:54

Zavádění formativního hodnocení

Reflektivní dotazník ke strategii 1............................................................. 57 Plánovací formulář.................................................................................. 58 Formulář pro postřehy kolegů .................................................................. 59 4. kapitola

Strategie 2: Organizování efektivní třídní diskuse, aktivit a zadávání úloh, kterými získáme důkazy o učení .................................................................. 61 Přehled................................................................................................... 61 Proč tuto strategii používat...................................................................... 61 Jak této strategii porozumět.................................................................... 61 Techniky................................................................................................. 62 Rekapitulace........................................................................................... 92 Reflektivní dotazník ke strategii 2............................................................. 94 Plánovací formulář.................................................................................. 96 Formulář pro postřehy kolegů .................................................................. 97 Anketa ................................................................................................... 98 Zpětná vazba žáka učiteli......................................................................... 99 5. kapitola

Strategie 3: Poskytování efektivní zpětné vazby, která podporuje učení a posouvá je vpřed ................................................................................... 101 Přehled................................................................................................. 101 Proč tuto strategii používat.................................................................... 101 Jak této strategii porozumět.................................................................. 101 Techniky............................................................................................... 103 Rekapitulace......................................................................................... 130 Reflektivní dotazník ke strategii 3............................................................ 132 Plánovací formulář................................................................................. 133 Formulář pro postřehy kolegů.................................................................. 134 6. kapitola

Strategie 4: Aktivizování žáků jako zdrojů učení pro sebe navzájem .......... 135 Přehled.................................................................................................. 135 Proč tuto strategii používat..................................................................... 135 Jak této strategii porozumět................................................................... 135 Rekapitulace.......................................................................................... 158

xiv

178x254/kniha 2017.indd 14

19.12.17 19:54

Obsah

Reflektivní dotazník ke strategii 4........................................................... 160 Plánovací formulář................................................................................ 162 Formulář pro postřehy kolegů ................................................................ 163 7. kapitola

Strategie 5: Aktivizování žáků jako „vlastníků” svého učení....................... 165 Přehled ................................................................................................ 165 Proč tuto strategii používat ................................................................... 165 Jak této strategii porozumět.................................................................. 165 Techniky............................................................................................... 168 Rekapitulace......................................................................................... 192 Reflektivní dotazník ke strategii 5........................................................... 194 Plánovací formulář................................................................................ 196 Formulář pro postřehy kolegů ................................................................ 197

Závěr........................................................................................................ 199 Techniky, které nyní pravidelně používám............................................... 202

Zdroje....................................................................................................... 203 Reflektivní dotazník ke strategii 1........................................................... 203 Reflektivní dotazník ke strategii 2........................................................... 204 Reflektivní dotazník ke strategii 3........................................................... 206 Reflektivní dotazník ke strategii 4........................................................... 207 Reflektivní dotazník ke strategii 5........................................................... 209 Plánovací formulář................................................................................ 211 Formulář pro postřehy kolegů ................................................................ 212 Anketa ................................................................................................. 213 Zpětná vazba žáka učiteli ...................................................................... 214 Dotazník k výuce................................................................................... 215 Postřehy žáků k učení............................................................................ 216 Vzorový dopis rodičům .......................................................................... 217 Sebehodnoticí podněty ......................................................................... 218

Příloha...................................................................................................... 221 Seznam použité literatury......................................................................... 223 Rejstřík...................................................................................................... 237

xv

178x254/kniha 2017.indd 15

19.12.17 19:54

Techniky: Tipy, varování a vylepšení

Udržujte kontext učení odděleně od cílů učení.......................................... 28 Veďte žáky k tomu, aby to, co se naučili, aplikovali i v jiných kontextech..... 31 Střídejte aktivity..................................................................................... 32 Rozlišujte kritéria úspěchu, ne cíle učení ................................................... 33 Procesní versus produktová kritéria úspěchu............................................. 34 Aby bylo učení formativní, cíle učení a kritéria úspěchu musí být obecně použitelné .............................................................................................. 36 Uvědomujte si silné a slabé stránky analytických a holistických cílů učení a kritérií úspěchu..................................................................................... 37

Při vysvětlování kvality začněte spíše s ukázkami prací než s hodnoticími tabulkami................................................................................................... 37 Mějte na paměti, že hodnoticí tabulky nejsou nic jiného než soubory kritérií úspěchu.................................................................................................. 40 Používejte příklady, v nichž hloubkové vlastnosti nejsou spojovány s povrchovými vlastnostmi ...................................................................... 41 Mějte na paměti, že v některých případech nelze kvalita vyjádřit slovy........ 42 Nezříkejte se odpovědnosti za kvalitu....................................................... 42 Použijte hodnoticí tabulky k zahájení dialogu mezi vámi a vašimi žáky........ 42 Zjistěte, co si vaši žáci myslí, že se učí....................................................... 43

Velké myšlenky, učební pokroky a pravidelné „zastávky“......................... 44 Zvolte tu správnou „velikost“ velkých myšlenek ........................................ 48 Ne všechny užitečné cíle učení se stanou velkými myšlenkami.................... 49 Učební pokroky potřebují jak empirický, tak i teoretický základ.................. 49 Zapojte žáky do objasňování velkých myšlenek......................................... 49

xvii

178x254/kniha 2017.indd 17

19.12.17 19:54

Zavádění formativního hodnocení

„Hlaste se jen tehdy, chcete-li položit otázku“.......................................... 62 Vyvolejte dobrovolníky, ale až po náhodném výběru.................................. 65 Na dřívka pište raději čísla než jména........................................................ 65 Nenechte konverzaci skončit odpovědí: „Já nevím.“................................... 65 Nechat žáky, aby se stejně hlásili ............................................................. 66 Nejdříve vyberete žáka a až poté položíte otázku ...................................... 66 Výběr dřívek ........................................................................................... 66 Ztrácející se dřívka .................................................................................. 67 Dřívka vybírá některý z žáků .................................................................... 67 Signály rukou.......................................................................................... 67 Basketbal ............................................................................................... 67 „Horké křeslo“......................................................................................... 68

Čas na přemýšlení ...................................................................................... 68 Otázky si připravujte ............................................................................... 69 Dobu čekání zvyšujte pomalu................................................................... 69 Jakékoli změny, které ve svých postupech zavádíte, žákům vysvětlujte....... 69 Doba čekání bez žádného limitu............................................................... 70 Časté chyby při pokládání otázek ............................................................. 70 Zamysli se – prodiskutuj s partnerem – poděl se s ostatními ....................... 71

Jde to i bez otázek ..................................................................................... 71 Spíše interpretační než evaluační naslouchání ........................................... 73 Přehnaně strukturované učební prostředí ................................................. 74 Minimální podpora.................................................................................. 74 Činnosti odhalující určitý model ............................................................... 74

Hromadné hlasovací systémy.................................................................... 75 Nenechávejte žáky psát na odpovědní tabulky příliš mnoho....................... 79 Ať už používáte jakoukoli techniku, vyžadujte odpovědi od všech žáků najednou................................................................................................ 79 Nesnažte se si pamatovat všechny odpovědi............................................. 79 K otázce zvolte vhodnou metodu ............................................................. 79 Shromažďujte informace na základě rozhodnutí, nerozhodujte na základě informací................................................................................................ 80 Zakládací obaly....................................................................................... 80 Rohy ABCD............................................................................................. 81 xviii

178x254/kniha 2017.indd 18

19.12.17 19:54

Techniky: Tipy, varování a vylepšení

Řady ...................................................................................................... 81 Prostírání z propustek ............................................................................. 82 Lepítka................................................................................................... 82 Bodový graf............................................................................................ 82

Konstrukce pro tvoření otázek................................................................... 83 Kontrolní otázky ........................................................................................ 85 Používejte kontrolní otázky ve formátu s výběrem možností ...................... 88 Používejte tolik možností odpovědí, kolik vyžaduje obsah ......................... 89 Otázky s výběrem možností obsahující distraktor...................................... 89 Kontrolní otázky se neustále vyvíjejí......................................................... 90 Testování v reálném čase ......................................................................... 90

Reakce žáka je důležitější než zpětná vazba............................................ 105 Poznejte své žáky blíže.......................................................................... 106 Budujte u svých žáků důvěru.................................................................. 106 Většině z toho, co se o zpětné vazbě říká, nevěřte ................................... 106 Schopnost žáků zužitkovat zpětnou vazbu musíte vybudovat .................. 107 Trénování reakcí na zpětnou vazbu......................................................... 108

Rozviňte u svých žáků „růstové myšlení“................................................. 108 Pomáhejte žákům vidět souvislosti mezi zpětnou vazbou a dosaženým pokrokem.............................................................................................. 111 Pozornost zaměřujte na důvěru ve vlastní schopnosti, ne na posouzení vlastní hodnoty ............................................................. 111 Pomáhejte žákům rozvíjet ty správné cíle učení........................................ 112 Pozor na způsob, jakým chválíte ............................................................. 113 Zpětnou vazbu zaměřujte spíše na daný úkol než na osobnost jednotlivce... 113 Používejte osobní maxima namísto známek a bodů ................................. 114 Reakce žáků na zpětnou vazbu použijte jako klíč k jejich myšlení .............. 115 Pozor na skryté zprávy, které vysíláte..................................................... 116

Zpětná vazba by měla být součástí systému............................................ 117 Zpětnou vazbu neposkytujte ke všemu, co žáci dělají .............................. 118 Zpětná vazba by se měla zaměřovat na to, co bude následovat, a ne na to, co bylo ................................................................................. 119 Žáci by měli mít možnost na zpětnou vazbu reagovat .............................. 119

xix

178x254/kniha 2017.indd 19

19.12.17 19:54

Zavádění formativního hodnocení

Zpětná vazba by měla představovat více práce pro příjemce než pro poskytovatele ................................................................................. 120

Zaměřte se spíše na dlouhodobější hledisko............................................ 120 Převeďte zpětnou vazbu na „detektivní práci“........................................ 122 Propojte zpětnou vazbu s cíli učení a kritérii úspěchu ............................... 122 Vymezte hranici mezi přesnými pokyny a neurčitostí............................... 123 Kategorizování silných a slabých stránek ................................................ 123

Poskytujte pouze slovní hodnocení ......................................................... 123 Nekombinujte různé funkce zpětné vazby dohromady............................. 125 Cílená zpětná vazba .............................................................................. 125 Soustřeďte se na zpětnou vazbu jako takovou, ne na důkazy o tom, že jste ji poskytli ................................................................................... 126 Smažte hranice mezi zpětnou vazbou a učením....................................... 126 Nečekejte, že žáci budou ze slovního hodnocení nadšení ......................... 127 Zpětná vazba nemusí pro příjemce znamenat totéž, co pro poskytovatele ............................................................................. 127 Jasně žákovi sdělte, co má s daným komentářem dělat............................ 128 Poskytování slovního hodnocení si nacvičujte ......................................... 128 Respektujte práci žáků .......................................................................... 130

Vzájemná zpětná vazba........................................................................... 139 Začněte tím, že se dohodnete na základních pravidlech ........................... 140 Navrhněte žákům, aby svá hodnocení psali na samolepicí lístky................ 141 Příklady a diskuse o efektivní a neefektivní zpětné vazbě ......................... 141 Poskytujte žákům věty, kterými mohou vzájemnou zpětnou vazbu zahájit.................................................................................................. 142 Zpětná vazba SZS ................................................................................. 142 Vzájemné hodnocení nacvičujte na anonymní práci ................................. 142 Pro aktivity zahrnující vzájemné hodnocení používejte strukturované postupy................................................................................................ 143 Spolužáci jako zprostředkovatelé zpětné vazby mezi žákem a učitelem..... 144

Zdůrazňování skupinových cílů v práci třídy............................................ 144 Začněte dvojicemi a teprve poté přejděte ke skupinám ............................ 145 Nezahrnuje-li aktivita žádnou individuální odpovědnost, pozorně práci žáků sledujte.................................................................... 146

xx

178x254/kniha 2017.indd 20

19.12.17 19:54

Techniky: Tipy, varování a vylepšení

Společné hodnocení vícenásobných pokusů ............................................ 146

Upřednostnění individuální odpovědnosti ve vzájemném hodnocení..... 147 Při užívání subjektivních kritérií pro sebehodnocení buďte opatrní............ 149 Začněte s jednoduchými a jasnými úkoly................................................. 149 Přidělte žákům specifické role................................................................ 150 Propojení všech prvků dohromady.......................................................... 151

Sebeposuzování používejte, ale berte je s rezervou................................. 168 Stanovte pro sebehodnocení jasná kritéria............................................... 170 Stanovte pro sebehodnocení určitá pravidla............................................. 170 Pravidla pro sebeposuzování by neměla být příliš striktní!......................... 170 Plus – minus – zajímavé .......................................................................... 171

Pomáhejte žákům, aby se stali „vlastníky“ svého učení .......................... 174 Sebehodnocení by mělo být běžnou součástí hodiny................................ 174 Portfolia učení ...................................................................................... 175 „Parkoviště pro otázky“.......................................................................... 175 Přimějte žáky, aby změny identifikovali, ne však prováděli....................... 176 Provádějte pravidelný průzkum učení žáků ............................................. 176

Abyste svým žákům pomohli chápat souvislosti v jejich sebehodnocení, používejte k tomu rámcové konstrukce......................... 177 Třídní schůzky vedené žáky...................................................................... 181 Podporujte jak vnitřní, tak i vnější motivaci............................................. 182 Angažujte žáky do role pozorovatelů hodiny........................................... 185 Charakteristické znaky dobré hodiny a související důkazy ........................ 188 Trénování pomocí videa......................................................................... 188 „Pravidla chování“................................................................................. 189 Navržení formulářů pro pozorování hodiny.............................................. 189 Testování formulářů pro pozorování hodiny ............................................ 189 Nacvičujte si poskytování zpětné vazby učiteli ........................................ 189 Doporučte žákům, aby se na něco specializovali ...................................... 191 Začněte s konkrétními aspekty a poté dejte žákům větší volnost .............. 191 Žáci jako filmový štáb............................................................................ 191

xxi

178x254/kniha 2017.indd 21

19.12.17 19:54

Poděkování

W. James Popham Emeritní profesor Kalifornská univerzita, Los Angeles Susan M. Brookhartová Poradkyně, Brookhart Enterprises LLC Helena, Montana Damian Cooper Poradce v oblasti vzdělávání Mississauga, Kanada Francis (Skip) Fennell Univerzitní profesor Education & Graduate and Professional Studies Vedoucí projektu Elementary Mathematics Specialists and Teacher Leaders Project McDaniel College, Westminster, Maryland Margaret Heritageová Vedoucí vědecká pracovnice WestEd San Francisco, Kalifornie Beth D. Sattesová Poradkyně v oblasti vzdělávání, Enthused Learning Charleston, Západní Virginie Jackie A. Walshová Poradkyně v oblasti vzdělávání a autorka Montgomery, Alabama

xxiii

178x254/kniha 2017.indd 23

19.12.17 19:54

O autorech

Dylan Wiliam, Ph. D., je předním odborníkem na hodnocení, jehož účelem je zlepšování vzdělávání. Podílel se na úspěšném zavedení formativního hodnocení do tříd v tisících škol po celém světě, včetně Spojených států amerických, Kanady, Singapuru, Švédska, Austrálie a Velké Británie. Dvoudílný dokument britské televize BBC „The Classroom Experiment“ (Třídní experiment) sledující práci Dr. Wiliama na druhém stupni jedné z britských škol ukazoval, jak strategie formativního hodnocení žáky posilují, výrazně zvyšují jejich zapojení do výuky a přenáší odpovědnost za třídu z učitelů na žáky tak, aby se z žáků stali součinitelé a zároveň „spolupracovníci“ v procesu jejich vlastního učení.

Dylan Wiliam je emeritním profesorem v oblasti hodnocení ve vzdělávání na londýnské University College. Po získání svého prvního vysokoškolského titulu z matematiky a fyziky vyučoval jeden rok na soukromé škole. Poté působil sedm let v městských školách a během této doby získal další tituly v oborech matematika a výuka matematiky.

Od roku 1996 do roku 2001 byl děkanem a tajemníkem Pedagogické fakulty univerzity King’s College London a v letech 2001 až 2003 zde působil jako zástupce ředitele. V roce 2003 se přestěhoval do Spojených států amerických, kde zastával funkci ředitele výzkumu v organizaci Educational Testing Service (služba na ověřování výsledků výuky) se sídlem v Princetonu, New Jersey. V roce 2006 se vrátil do Velké Británie, kde se v Institute of Education na Londýnské univerzitě ujal funkce zástupce ředitele (děkana). V roce 2010 na tuto funkci rezignoval, aby se mohl více věnovat výzkumu a výuce.

Posledních patnáct let se Wiliam zabývá silným vlivem uplatňování formativního hodnocení ve třídě na učení žáků. V roce 1998 napsal spolu s Paulem Blackem zásadní článek o výzkumných důkazech týkajících se formativního hodnocení nazvaný „Inside the Black Box“ (Uvnitř černé krabice), ve kterém svůj výzkum představoval politickým činitelům a odborníkům. Tyto i další příručky věnované formativnímu hodnocení pro praktické uplatnění ve třídě a jednotlivé obory jsou k dispozici u organizace Learning Sciences International (LSI). Wiliam je autorem publikace „Embedded Formative Assessment“ (Zavedené formativní hodnocení) a spolu se Siobhán Leahyovou napsal „Embedding Formative Assessment Professional Development Pack“ (Zavádění formativního hodnocení – Balíček profesního rozvoje). Organizace LSI vydala v létě 2015 novou knihu Dr. Wiliama s názvem „Leadership for Teacher Learning“ (Vedení pro učení učitelů).

xxv

178x254/kniha 2017.indd 25

19.12.17 19:54

Zavádění formativního hodnocení

Mgr. Siobhán Leahyová zastávala sedmnáct let post ředitelky tří středních škol. Má značné praktické zkušenosti s využíváním vzdělávacích komunit učitelů (Teacher learning communities) za účelem zavádění formativního hodnocení ve třídě.

Pedagogům ze Spojených států amerických, Velké Británie i Austrálie napomáhala v rozvoji jejich výukových postupů.

S Dylanem Wiliamem se podílela na vývoji formativního hodnocení a společně napsali knihu „Embedding Formative Assessment Professional Development Pack“ (Zavádění formativního hodnocení – Balíček profesního rozvoje). Svůj magisterský titul získala na londýnské South Bank University a bakalářský titul z oblasti věd o řízení na britské University of Warwick.

xxvi

178x254/kniha 2017.indd 26

19.12.17 19:54

Úvod

C

ílem této příručky je pomoct učitelům, kteří chtějí zlepšit své výukové postupy prostřednictvím technik formativního hodnocení. Příručce předcházel balíček, určený pro školy a jejich učitele, který formativní hodnocení představoval skrze vzdělávací komunity učitelů (měsíční workshopy po dobu dvou let). Následně jsme si však uvědomili, že bude určitě i mnoho takových učitelů, kteří by rádi rozvíjeli své postupy sami nebo jen s několika dalšími kolegy. Tato kniha je tedy určena právě vám.

Kniha „Embedded Formative Assessment“ (Zavedené formativní hodnocení) shrnuje několik proudů vědeckých důkazů, které ukazují, že formativní hodnocení ve třídě je mocnou pákou, která dokáže měnit učební postupy. Pokud je nám známo, v současné době neexistuje žádný účinnější nástroj. Přestože kniha „Embedded Formative Assessment“ (Zavedené formativní hodnocení) obsahuje mnoho vyzkoušených praktických technik k realizaci formativního hodnocení, její velká část se zabývá analýzou výzkumných studií týkajících se zpětné vazby a ostatních aspektů formativního hodnocení, obzvláště pak zkoumá to, co výzkum prezentuje, a zároveň i to, co neukazuje. Jinými slovy, tato kniha se zasazuje o uplatňování formativního hodnocení – odpovídá tedy nejen na otázky „proč“ a „co“, ale zároveň předkládá návrhy k tomu, jak začít.

Kniha, kterou právě držíte v ruce, se více zaměřuje na praktické aspekty realizace a udržení rozvoje formativního hodnocení ve třídě. Možná jste četli knihu zmíněnou výše a rádi byste se seznámili s dalšími praktickými technikami, které byste mohli použít k rozvinutí formativního hodnocení ve své třídě. Je rovněž možné, že tuto knihu neznáte, ale výzkum věnovaný formativnímu hodnocení vás dokázal dostatečně přesvědčit a prostě jen chcete „přejít rovnou k věci“. Souhrn základních aspektů formativního hodnocení je součástí i této knihy.

Dalším rozdílem je, že v knize „Embedded Formative Assessment“ (Zavedené formativní hodnocení) jsou praktické techniky představeny na konci každé kapitoly formou výčtu a není zde žádná snaha o jejich vzájemné provázání. V této knize se naopak pokoušíme zařadit podobné techniky do skupin a vysvětlit, v čem se podobají, díky čemuž byste měli snáze pochopit, jak tyto metody upravovat a přizpůsobovat svým vlastním potřebám.

Nejen tedy, že tato kniha poskytuje praktické podněty pro realizaci formativního hodnocení ve třídě, ale předkládá i návrhy toho, jak spolupracovat s ostatními a vzájemně se podporovat v této náročné práci, jejíž postupy se neustále mění.

1

178x254/kniha 2017.indd 1

19.12.17 19:54

Zavádění formativního hodnocení

Jste-li skupina učitelů, která chce na realizaci těchto myšlenek pracovat společně, můžete použít knihu „Embedding Formative Assessment Professional Development Pack“ (Zavádění formativního hodnocení – Balíček profesního rozvoje; Wiliam & Leahy, 2014), která obsahuje veškeré materiály pro dvouletý program profesního rozvoje zaměřeného na formativní hodnocení ve třídě, v němž učitelé spolupracují v rámci vzdělávacích komunit učitelů. Pokud jste však sám/sama, nebo by s vámi tyto myšlenky ve vaší škole rádi uplatňovali jen další dva nebo tři kolegové, tato kniha poskytuje praktické tipy zaměřené na to, jak si se svými kolegy vzájemně co nejvíce pomoct. Rozebrání vašeho vlastního profesního učení jsme zařadili před kapitoly popisující pět klíčových strategií formativního hodnocení, jelikož je důležité zamyslet se nad výzvami, které změna vašich výukových postupů ve třídě obnáší, předtím, než se rozhodnete, jaké konkrétní techniky budete používat.

Doufáme, že vám kniha poskytne strukturu, jak malými krůčky postupovat dále, jak zapojit vaše žáky do jejich vlastního učení a jak zvýšit jejich úspěch. V průběhu čtení můžete používat zvýrazňovače nebo samolepicí záložky či štítky a označovat tak jednotlivé techniky metodou „semaforu“. Zelenou barvu můžete například použít pro význam „Tuto techniku již používám“, žlutou/oranžovou pro „Tuto metodu se pokusím použít“ a růžovou pro „Tuto metodu používat nebudu“. Pokud vás v průběhu čtení cokoliv napadne, neváhejte si dělat poznámky přímo do knihy. Vytvořili jsme rovněž vzorový dopis pro rodiče, který jim možná budete chtít zaslat (se souhlasem vedení školy), a dát jim tak na vědomí, že se chystáte změnit své výukové postupy.

Bylo by užitečné, abyste dříve, než začnete, vyplnili přehled technik formativního hodnocení, které již ve své třídě používáte (naleznete jej na konci této úvodní kapitoly), a dále můžete požádat své žáky o vyplnění dotazníků zaměřených na jejich učení a zpětnou vazbu pro učitele (oba dotazníky se nachází na konci knihy). Díky tomu budete moci po určité době, řekněme po šesti měsících, své výukové postupy porovnat.

V knize naleznete také poznatky žáků, kteří se zúčastnili televizní reality show BBC nazvané „The Classroom Experiment“ (Třídní experiment). V tomto projektu Dylan přesvědčil několik učitelů sedmých ročníků, aby vyzkoušeli několik technik, které v knize popisujeme. Televizní štáb sledoval žáky každý den po dobu patnácti týdnů a výsledných 120 hodin natočeného materiálu sestříhal do dvou hodinových dokumentů, které britská televizní stanice uvedla v hlavním vysílacím čase (Barry & Wiliam, 2010; Thomas & Wiliam, 2010). Přestože takový experiment nesplňuje podmínky formálního výzkumu, jsme přesvědčeni o tom, že názory studentů týkající se jejich učení jsou natolik důležité, že stojí za zmínku.

Kniha obsahuje následující: • Představení pěti strategií formativního hodnocení pro ty, kteří buď nečetli Dylanovu knihu, nebo si chtějí její obsah připomenout.

• Sekci zabývající se profesním vzděláváním, které učitelé potřebují k tomu, aby zlepšili výsledky učení studentů.

2

178x254/kniha 2017.indd 2

19.12.17 19:54

Úvod

• Všech pět strategií rozpracovaných v samostatných kapitolách, které zahrnují pozadí výzkumu, techniky a další návrhy: • Strategie 1: Objasňování, sdílení a porozumění cílům učení • Strategie 2: Organizování efektivní třídní diskuse, aktivit a zadávání úloh, kterými získáme důkazy o učení žáků • Strategie 3: Poskytování efektivní zpětné vazby, která podporuje učení a posouvá ho vpřed • Strategie 4: Aktivizování žáků jako zdrojů učení pro sebe navzájem • Strategie 5: Aktivizování žáků jako „vlastníků“ svého učení • Konzistentní struktura na konci kapitoly

• Rekapitulace

• Reflektivní dotazník

• Plánovací formulář • Formulář pro postřehy kolegů • Materiály, které lze používat opakovaně • Reflektivní dotazník ke každé z pěti strategií

• Plánovací formulář • Formulář pro postřehy kolegů • Dotazníkové šetření pro studenty • Zpětná vazba žáků učiteli

• Učební deník • Postřehy a poznámky žáků k učení • Ukázka dopisu rodičům • Závěr • Dodatek o účincích jednotlivých metod • Seznam použité literatury Doporučujeme vám, abyste si zaznamenali techniky, které pravidelně používáte. Jakmile knihu dočtete, budete moci porovnat techniky, které běžně používáte, s těmi, které nově vyzkoušíte.

3

178x254/kniha 2017.indd 3

19.12.17 19:54

Zavádění formativního hodnocení

TECHNIKY, KTERÉ PRAVIDELNĚ POUŽÍVÁM Objasňování, sdílení a porozumění cílům učení a kritériím úspěchu:

Organizování efektivní třídní diskuse, aktivit a zadávání úloh, kterými získáme důkazy o učení:

Poskytování efektivní zpětné vazby, která podporuje učení a posouvá je vpřed:

Aktivizování žáků jako zdrojů učení pro sebe navzájem:

Aktivizování žáků jako „vlastníků“ svého učení:

Ostatní techniky:

Obrázky a tabulky jsou ke stažení na internetové adrese www.edulabcr.cz/zavadeni-formativniho-hodnoceni. © 2016 EDUkační LABoratoř, z.s.

4

178x254/kniha 2017.indd 4

19.12.17 19:54

1. kapitola

PROČ BY FORMATIVNÍ HODNOCENÍ MĚLO BÝT PRIORITOU KAŽDÉHO UČITELE

T

ermín formativní hodnocení slýcháme již téměř padesát let, avšak dodnes se odborníci neshodnou na tom, co přesně vyjadřuje. Někteří namísto tohoto termínu navrhují používat výraz hodnocení pro učení (Assessment for learning; Broadfoot et a., 1999), to však neřeší výše zmíněný problém jeho definice – je to trochu jako šlápnout na bouli na koberci, která se okamžitě vytvoří někde jinde. Jiní se pro změnu snaží zasadit o to, aby pojem formativní hodnocení představoval pouze takové učební postupy, které sami uznávají – v zásadě usilují o to, aby synonymem formativního hodnocení bylo dobré hodnocení.

My jsme toho názoru, že tato loď již vyplula. Lidé používají a budou i nadále používat termín formativní hodnocení tak, jak to vyhovuje jim. Ti, kteří věří v testy, je mohou označit jako formativní hodnocení, a ti, kteří uplatňují pravidelné monitorování pokroku žáků prostřednictvím běžných hodnocení, označí pro změnu tato hodnocení jako formativní.

Z tohoto důvodu si myslíme, že není podstatné snažit se definovat formativní hodnocení restriktivním způsobem, který zahrnuje použití, s nímž mohou lidé nesouhlasit. Lidé nezmění způsob, jakým termíny používají, jen proto, že s nimi ostatní nesouhlasí.

Co však považujeme za důležité, je porozumět rozdílům ve způsobu, jakým lidé tento termín používají, abychom se přestali zabývat tím, zdali je hodnocení formativní, a abychom místo toho začali přemýšlet nad tím, zda našim žákům pomůže lépe se učit.

Je zde ještě jedna záležitost, o které si myslíme, že by se neměla stávat předmětem diskusí, a tou je otázka, zda je formativní hodnocení proces nebo „věc“. Mnoho lidí mluví o formativním hodnocení v množném čísle, avšak my jsme toho názoru, že takové označení nedává žádný smysl, jelikož totéž hodnocení může být použito jak formativně, tak sumativně. Učitel například vytvoří cvičné testy pro třídu, která se připravuje na státní zkoušku. Když učitel test oznámkuje, získá informace o tom, kteří žáci se testovanou látku naučili, a kteří ne. Je-li zápis známek do žákovských knížek to jediné, co následuje, má tento test pouze sumativní funkci.

Má-li test pouze sumativní funkci, neznamená to nutně nic špatného. V současné době existuje rozsáhlý výzkum, který ukazuje, že pravidelné testování zvyšuje výkon žáků tím,

5

178x254/kniha 2017.indd 5

19.12.17 19:54

Zavádění formativního hodnocení

že zlepšuje jejich schopnost vybavit si věci z paměti (P. C. Brown, Roediger & McDaniel, 2014) a že snižuje jejich strach (viz například Agarwal, D’Antonio, Roediger, McDermott & McDaniel, 2014).

Pokud by učitel skončil zde, bylo by nesmyslné nazývat tento proces formativním. Žáci by se učili více díky pravidelnému testování, ale výsledky tohoto hodnocení by neformovaly budoucí směr jejich učení (výhody pravidelného testování se objevují i tehdy, není-li test oznámkován).

Známkování testů však může učiteli ukázat, kteří žáci potřebují dodatečnou podporu, a díky tomu bude schopen pomoct těm studentům, kteří to potřebují nejvíce. Učitel bude moci lépe rozhodovat o rozdělení svého času a výsledky testů budou udávat směr učení žáků. Jestliže si učitel všimne, že chyby, které žák v testu udělal, byly způsobeny špatným pochopením látky, může hodnocením poskytnout žákovi konkrétnější zpětnou vazbu.

Učitel například vypozoruje, že žák při víceciferném odčítání opakovaně odčítá menší číslo od většího bez ohledu na to, zda se jedná o menšence (číslo, od něhož se odečítá) nebo menšitele (odečítané číslo): 9 2 1 – 5 7 3 4 5 2 Na základě toho bude učitel vědět, na co se u žáka zaměřit, aby mu pomohl zlepšit jeho práci. Jinými slovy, totéž hodnocení může sloužit jak sumativnímu (učitel zjistí, jak je žák dobrý v aritmetice), tak formativnímu účelu (učiteli napoví, jak postupovat dále).

Z tohoto důvodu si myslíme, že mluvit o formativním hodnocení v množném čísle je nesmyslné. Jakékoli hodnocení může být formativní, ale zároveň i sumativní. Některá hodnocení jsou vhodná pro formativní, jiná zase pro sumativní účely, avšak nejdůležitější je, že rozlišování mezi formativním/sumativním hodnocením dává největší smysl tehdy, zaměří-li se na důkaz, který generuje, a způsob použití spíše než na hodnocení samotné.

Jak již bylo zmíněno dříve, formativní hodnocení a hodnocení pro učení bývá definováno nejrůznějšími způsoby (vyčerpávající přehled viz Wiliam, 2011b). Tyto definice navrhované různými autory se však ve čtyřech hlavních bodech liší: 1. Množství času, který uplyne mezi shromážděním důkazů a jeho vlivem na výuku.

2. Zda je podstatné to, aby žáci, od kterých byly důkazy získány, byli zároveň i příjemci daného procesu.

3. Zda se žáci musí tohoto procesu aktivně zúčastnit.

4. Zda hodnocení musí změnit zamýšlené výukové činnosti.

Nyní každý z těchto bodů stručně rozebereme: 1. Čas mezi shromážděním důkazů a jejich použitím. Pravděpodobně nejběžnější přístup k formativnímu hodnocení v amerických školách představuje použití hodno-

6

178x254/kniha 2017.indd 6

19.12.17 19:54

1. kapitola Proč by formativní hodnocení mělo být prioritou každého učitele

cení, která bývají označována jako obecná formativní hodnocení [sic]. Ta spočívají v tom, že se učitelé setkají a společně vytvoří nebo vyberou hodnocení, která budou věrně reprezentovat učební cíle, které pro své žáky zvolili. Tato hodnocení následně aplikují na všechny žáky v příslušném ročníku v dané škole, a někdy dokonce v celé čtvrti. Jakmile jsou tato hodnocení posouzena, učitelé se opět sejdou, zhodnotí výkon svých žáků, zaměří se na ty žáky, kteří nedosáhli očekávaného pokroku, a rozhodnou o následném postupu, který zajistí, aby všichni žáci docílili požadovaného pokroku. Tento proces skutečně zvyšuje výkon žáků (Gallimore, Ermeling, Saunders & Goldenberg, 2009; Saunders, Goldenberg & Gallimore, 2009), avšak někteří autoři argumentují, že časové období mezi shromážděním důkazů a podniknutím nápravných opatření je příliš dlouhé.

2. Jsou hodnocení žáci zároveň příjemci tohoto hodnocení? Někteří autoři tvrdí, že aby se jednalo o formativní hodnocení, musí být žáci, od kterých byly důkazy pro hodnocení shromážděny, zároveň příjemci tohoto procesu. Jinými slovy, zjistíte-li něco při výuce v jedné třídě a použijete-li to ke zkvalitnění výuky té samé látky v jiné třídě, nejde o formativní hodnocení, jelikož žáci, od kterých byly tyto informace shromážděny (první třída), nejsou přímými příjemci daného procesu.

3. Musí se žáci do tohoto procesu aktivně zapojit? Mnoho učitelů požaduje, aby žáci na konci hodiny vyplnili takzvanou „propustku“, v níž mají odpovědět na určitou otázku, a tento lístek pak odevzdali při odchodu ze třídy. Někteří učitelé trvají na tom, aby se žáci na zadní stranu tohoto lístku podepsali, aby jim poté učitel mohl poskytnout zpětnou vazbu (ačkoliv pokud se učitel chystá podat individuální zpětnou vazbu k práci žáka, mohou žáci stejně tak psát své odpovědi do sešitu). Ostatní učitelé nevyžadují, aby žáci „propustky“ podepsali, protože svou pozornost zaměřují na učení celé třídy. Důvod, proč učitelé uplatňují systém propustek, je, aby mohli lépe rozhodnout o učení svých žáků jako skupiny a tom, kde začnou příští hodinu.

Někteří učitelé spatřují problém v tom, že žáci nedostávají žádnou osobní individuální zpětnou vazbu. Ostatní považují za dostatečné to, že ke zkvalitnění výuky získali a uplatnili důkazy o výkonu žáků. V kapitole 4 se budeme systému propustek věnovat podrobněji.

4. Je nezbytné, aby získané důkazy změnily plánovanou výuku? Mnoho autorů zastává názor, že podstata formativního hodnocení tkví v tom, že nashromážděné důkazy musí nějakým způsobem zlepšit výuku, avšak jsou i případy, kdy nashromážděné důkazy výuku nezmění, ale jen potvrdí, že učitelův postup je správný. Potvrdí-li například odpovědi na „propustkách“, že všichni žáci porozuměli obsahu hodiny, učitel může pokračovat v probírané látce dál. Rozhodnutí o tom, zda se posunout ve výuce dál, je nyní založeno spíše na důkazu o porozumění žáků než na pocitu nebo vlastním tvrzení žáků, že látce porozuměli – například gestem „palec nahoru“.

Mohli bychom zbytek knihy vyplnit diskusemi o relativních přínosech různých pohledů na to, co je, a co není formativní hodnocení, avšak tento způsob nám nepřipadá nijak produktivní. Lidé by stejně nesouhlasili, prosazovali by „to své“ a termín formativní hod-

7

178x254/kniha 2017.indd 7

19.12.17 19:54

Zavádění formativního hodnocení

nocení by stejně používali různě. Z tohoto důvodu bude nejlepší ponechat všechny tyto diskuse stranou, přijmout fakt, že lidé budou i nadále používat tento termín tak, jak to vyhovuje jim, a zvolit raději širokou nežli úzkou definici. Z tohoto důvodu považujeme za vhodnou definici formativního hodnocení, kterou navrhl Black a Wiliam (2009), podle nichž se hodnocení stává formativním tehdy, když: učitelé, žáci či jejich spolužáci získají, analyzují a použijí důkaz o výkonu žáka za tím účelem, aby rozhodli o dalších postupech ve výuce, které budou pravděpodobně lepší nebo budou postaveny na lepších základech, než by byla ta rozhodnutí, která by učinili, kdyby dané důkazy k dispozici neměli (str. 9).

Black a Wiliam z této definice vyvozují několik závěrů: 1. Činitelem formativního hodnocení může být kdokoliv – učitel, žák či spolužáci mezi sebou.

2. Pozornost této definice je zaměřena na rozhodnutí. Důraz je kladen spíše na shromažďování informací na základě rozhodnutí než na rozhodování řízeném informacemi. To je důležité, neboť pozornost zaměřená na rozhodování řízeném informacemi zdůrazňuje především sběr informací bez jakéhokoli konkrétního ohledu na tvrzení, která mohou dokládat, a těmto tvrzením je následně přiřazen až druhotný význam. Díky tomu, že začneme s rozhodnutími, která musí být učiněna, shromáždíme pouze takové informace, které přinesou požadované závěry.

3. Tato definice nevyžaduje, aby vyvození dalších kroků ve výuce bylo správné.

Vzhledem ke složitosti lidského učení je nemožné zaručit, že jakýkoli stanovený sled učebních činností bude mít zamýšlený účinek. To nejdůležitější je, aby nashromážděné důkazy zvýšily pravděpodobnost toho, že se zamýšlené učení uskuteční.

4.

Tato definice nevyžaduje, aby byla výuka následkem interpretace důkazů skutečně nějak změněna. Získané důkazy hodnocení mohou prokázat, že to, co měl učitel původně v plánu, bylo vlastně tím nejlepším postupem, jak již bylo naznačeno v příkladu s „propustkou“. Nešlo by o lepší rozhodnutí, jelikož by to bylo totéž rozhodnutí, jaké učitel plánoval i bez daného důkazu, nicméně by rozhodnutí bylo postaveno na lepších základech.

Domníváme se, že z definice lze vyvodit ještě další dva závěry, které rovněž stojí za zmínku. Tím prvním je, že formativní hodnocení lze uplatnit napříč všemi věkovými kategoriemi. Funguje stejně tak dobře u pětiletých jako u pětadvacetiletých (a dokonce i pětaosmdesátiletých!). Druhý závěr naznačuje, že ve vztahu ke školním osnovám je formativní hodnocení neutrální. Způsob, jakým definujeme formativní hodnocení, je zcela nezávislý na tom, co se žáci učí. Vše, co formativní hodnocení vyžaduje, je to, abyste měli jasnou představu o tom, co chcete, aby se vaši žáci naučili. Pokud ji nemáte, nebudete vědět, jaké důkazy shromažďovat, a to nemluvě o tom, jak pomáhat vašim žákům. To je důležité, protože mnoho autorů se snaží používat formativní hodnocení k tomu, aby prosadili své specifické názory na to, co by se žáci měli ve škole učit. Pro nás je formativní

8

178x254/kniha 2017.indd 8

19.12.17 19:54

1. kapitola Proč by formativní hodnocení mělo být prioritou každého učitele

hodnocení založeno na faktu, že žáci se ne vždy naučí to, co je učíme, a proto bychom měli zjistit, co se ve skutečnosti naučili, než se je pokusíme naučit něco dalšího.

Jsme tedy přesvědčeni, že formativní hodnocení není v oblasti výuky jen posledním módním výstřelkem. Pro jakéhokoli učitele je prozkoumání vztahu mezi odpověďmi na otázky „Co jsem jako učitel udělal?” a „Co se mí žáci naučili?” vždy tím nejdůležitějším bodem reflektujícím jeho výukové postupy, a to tak dlouho, dokud bude svou profesi vykonávat.

Nyní, když jsme formativní hodnocení definovali, se můžeme detailně podívat na to, jaké druhy formativního hodnocení mají největší vliv na učení žáků. Jinými slovy, než abychom diskutovali o tom, jaké konkrétní přístupy k hodnocení ve třídě si zaslouží přívlastek „formativní“, raději se zaměříme na to, zda se učení zlepšilo, a pokud ano, jak moc.

A to je právě ten okamžik, kdy do hry začínají vstupovat vědecké důkazy.

V průběhu posledních třiceti let vyšlo mnoho prací zabývajících se výzkumem zpětné vazby a ostatních aspektů formativního hodnocení. Jejich přehled je uveden v tabulce 1.1. Souhrn těch nejzajímavějších poznatků můžete nalézt ve Wiliamově knize (2011b) a mnohým z nich se také budeme věnovat v následujících kapitolách. To nejdůležitější, co z výzkumu vyplývá, je nicméně fakt, že čím je časový interval mezi získáním důkazu a jeho použitím za účelem zkvalitnění výuky kratší, tím větší je jeho pravděpodobný vliv na učení. Použití formálního testování k monitorování výkonu žáka a pravidelné každoměsíční přizpůsobování výuky – což lze nazývat jako „dlouhodobé“ formativní hodnocení (Wiliam & Thompson, 2008) – může zvýšit výkon, avšak účinky jsou obecně malé.

Větší zapojení žáků do jejich vlastního hodnocení tak, aby pochopili, co musí udělat, aby týden co týden dosahovali úspěchu – tedy „střednědobé“ formativní hodnocení – je rovněž užitečné. Avšak nejúčinnější je „krátkodobé“ formativní hodnocení, které se odehrává ne každých šest až deset týdnů, ale každých šest až deset minut, či dokonce každých šest až deset sekund.

9

178x254/kniha 2017.indd 9

19.12.17 19:54

Zavádění formativního hodnocení

Tabulka 1.1: Práce zaměřené na výzkum zpětné vazby a dalších aspektů formativního hodnocení Studie

Zaměření

Fuchs a Fuchs (1986)

Formativní hodnocení zaměřené na žáky se speciálními vzdělávacími potřebami (21 studií)

Natriello (1987)

Postupy formativního a sumativního hodnocení a jejich vliv na žáky (91 studií)

Crooks (1988)

Metody hodnocení ve třídě a jejich vliv na žáky (241 studií)

Bangert–Drowns, Kulik, Kulik a Morgan (1991)

Zpětná vazba v rámci „testovacích“ akcí, jako například vědomostní testy na konci kapitoly (40 studií)

Dempster (1991, 1992)

Testy a hodnocení ve třídě (56 studií) a problematika implementace

Elshout–Mohr (1994)

Zpětná vazba v rámci sebeřízeného učení (včetně studií publikovaných v holandštině)

Kluger a DeNisi (1996)

Zpětná vazba ve školách, na vysokých školách a pracovištích (131 studií)

Black a Wiliam (1998a)

Formativní hodnocení v rámci primárního a sekundárního vzdělávání (K-12)

Nyquist (2003)

Zpětná vazba a další aspekty formativního hodnocení u studentů vysokých škol (187 studií)

Brookhart (2004)

Přehled formativního hodnocení a dalších aspektů hodnocení ve třídě

Allal a Lopez (2005)

Přehled výzkumných studií o formativním hodnocení publikovaných pouze ve francouzštině

Köller (2005)

Přehled výzkumných studií o formativním hodnocení publikovaných pouze v němčině

Brookhart (2007)

Rozšířený přehled formativního hodnocení a dalších aspektů hodnocení ve třídě

Wiliam (2007b)

Přehled studií o formativním hodnocení ve výuce matematiky

Hattie a Timperley (2007) Rozšířený přehled výzkumu zpětné vazby Shute (2008)

Přehled výzkumu specificky zaměřeného na inteligentní vyučovací systémy

Andrade a Cizek (2010)

Příručka o výzkumu formativního hodnocení

McMillan (2013)

Příručka o výzkumu hodnocení ve třídě

Obrázky a tabulky jsou ke stažení na internetové adrese www.edulabcr.cz/zavadeni-formativniho-hodnoceni. © 2016 EDUkační LABoratoř, z.s.

10

178x254/kniha 2017.indd 10

19.12.17 19:54

1. kapitola Proč by formativní hodnocení mělo být prioritou každého učitele

Definice formativního hodnocení, kterou jsme uvedli výše, pochopitelně není návodem, jak ve třídě realizovat efektivní formativní hodnocení, natož aby říkala, jak toto hodnocení vypadá v praxi. Abychom formativní hodnocení lépe pochopili, navrhují Leahyová, Lyon, Thompson a Wiliam (2005), abychom formativní hodnocení vnímali jako průsečík tří procesů (kam se žák ubírá, kde je právě teď a jak se tam dostane), v nichž působí tři druhy činitelů (učitel, spolužáci, žák), jak ukazuje tabulka 1.2.

Výsledný model identifikuje pět klíčových strategií formativního hodnocení. První strategie – objasňování, sdílení a porozumění cílům učení a kritériím úspěchu – se zaměřuje na společnou odpovědnost učitelů, žáků samotných a jejich spolužáků, kterou rozděluje do kritérií úspěchu. Druhá strategie řeší roli učitele, jehož úlohou je zjistit, kde se žáci v procesu jejich učení nachází, jakmile si ujasní cíle učení (toto pořadí je záměrné – dokud nezjistíte, co chcete, aby se vaši žáci naučili, nevíte, jaké důkazy máte shromažďovat).

Třetí strategie zdůrazňuje úlohu učitele při poskytování zpětné vazby žákům, která jim říká nejen to, kde právě jsou, ale i to, co musí udělat, aby své učení posunuli vpřed. Čtvrtá strategie se zaměřuje na roli, jakou může vzájemné hodnocení mezi spolužáky hrát při podpoře učení žáků, a zároveň vysvětluje, že účelem vzájemného hodnocení není ani tak posoudit práci spolužáka, ale spíše ji zlepšit. Poslední pátá strategie se zabývá tím, že hlavním cílem je vždy dosáhnout toho, aby byl žák samostatný.

Tabulka 1.2: Pět klíčových strategií formativního hodnocení (Leahyová a spol., 2005) Kam žák směřuje Učitel

Spolužák Žák

Objasňování, sdílení a porozumění cílům učení a kritériím úspěchu

Kde je právě teď

Jak se tam dostane

Organizování efektivní třídní diskuse, aktivit a zadávání úloh, kterými získáme důkazy o učení

Poskytování efektivní zpětné vazby, která podporuje učení a posouvá je vpřed

Aktivizování žáků jako zdrojů učení pro sebe navzájem Aktivizování žáků jako „vlastníků“ svého učení

V prvních pěti kapitolách této knihy probereme každou z výše uvedených strategií podrobněji. Znáte-li knihu „Embedded Formative Assessment“ (Zavedené formativní hodnocení; Wiliam, 2011a), bude vám tato struktura dobře známá. To, co pokládáme za pět klíčových strategií formativního hodnocení, se totiž nijak nezměnilo. Jak jsme však poznamenali již v úvodu: přestože v těchto pěti kapitolách uvádíme i několik vědeckých studií, pozornost zaměřujeme převážně na praktické aspekty realizace těchto strategií ve třídě. Základní struktura všech kapitol je stejná. Nejprve nastíníme hlavní myšlenky dané strategie, které následně podrobněji rozebereme a doplníme nejrůznějšími praktickými technikami, které můžete použít ve své třídě. Publikace „Embedded Formative Assessment“ (Zavedené formativní hodnocení) sice podává výčet různých technik (ve skutečnosti padesát tři), ale nijak blíže je nevysvětluje. Tato kniha naopak přináší řadu Obrázky a tabulky jsou ke stažení na internetové adrese www.edulabcr.cz/zavadeni-formativniho-hodnoceni. © 2016 EDUkační LABoratoř, z.s.

11

178x254/kniha 2017.indd 11

19.12.17 19:54

Zavádění formativního hodnocení

tipů pro efektivní implementaci spolu s nejrůznějšími nápady, jak tyto techniky zlepšovat či obměňovat. Také se zmiňuje o potenciálních úskalích, s nimiž se při implementaci těchto technik můžete setkat a která jsme během posledních několika let při naší práci s učiteli odhalili.

12

178x254/kniha 2017.indd 12

19.12.17 19:54

Rejstřík A alternativní chápání, 87 analytické vs. holistické cíle učení a kritéria úspěchu, 37 anonymní práce, 142 aspekty myšlení, 87 atribuce úspěchu a neúspěchu, 108–111 autoregulace učení, 165–166 formulář pro postřehy kolegů, 197 klíčové faktory, 166 plánovací formulář, 196 přehled a pozadí, 165–168 rámcové konstrukce, 176–181 reflektivní dotazník, 194 rekapitulace, 192–193 sebeposuzování, 172–178 SOLO taxonomie, 168–173 třídní schůzky vedené žáky, 171–182 vnitřní a vnější motivace, 182–185 žáci jako pozorovatelé hodiny, 185–192

nejasně formulované a jasně stanovené cíle učení a kritéria úspěchu, 32 obecná použitelnost, 36–37 oddělený kontext učení, 28–32 plánovací formulář, 58 použití hodnoticích tabulek, 37–44 propojení zpětné vazby s cíli učení, 122 přehled, 25–27 případové studie, 50–55 reflektivní dotazník, 57 rekapitulace, 56 velké myšlenky, 44–50 žáci základní školy, 28 Clarkeová, Shirley, 28, 29

B běžné postupy: práce ve třídě, 174 učitel, 17–19 bodový graf, 85 Brown, George, 71

D dělání chyb, 77–78 viz také hromadné hlasovací systémy deskriptivní zpětná vazba, 106–107 dětská věda, 87 diferencovaná výuka, 33–34 Díky za zpětnou vazbu: Věda a umění, jak dokázat přijímat zpětnou vazbu (Stone a Heenová), 107 Dillon, James, 72 dlouhodobé formativní hodnocení, 8 doba čekání, 68, 69–71 „Domníval jsem se…, teď si ale myslím…”

87 dotazník k výuce, 100

C cílená zpětná vazba, 125 cíle učení: analytické vs. holistické, 37 definice, 28 diferencovaná výuka, 33–34 formulář pro postřehy kolegů, 59

Č čas na přemýšlení, 68–71 časové záležitosti viz sebehodnocení a časové záležitosti činnosti odhalující určitý model, 74

237

178x254/kniha 2017.indd 237

19.12.17 19:54

Zavádění formativního hodnocení

dovednosti malé skupiny, 137 „dvě hvězdičky a jedno přání“, 141 E elektronické hlasovací systémy, 75 evaluační naslouchání, 73 evaluační zpětná vazba, 106–107 Exleyová, Kelly, 147 F Ferri, Daniel, 70 Flavell, John, 166–167 flexibilita, 15–17 formativní hodnocení: definice, 5–9 definice Blacka a Wiliama, 8–9 dlouho-, středně- a krátkodobé hodnocení, 9 formativní vs. sumativní použití, 5–6 přehled pěti klíčových strategií, 11 tři klíčové myšlenky, 199–200 Fullan, Michael, 13, 14 Fuller, Millard, 16 H haló efekt, 120 hlasování „od pěsti do pěti“, 76 hlasování prsty, 76 hlasování třídy viz hromadné hlasovací systémy, 75 hlasovátka, 75 „Hlaste se jen tehdy, chcete-li položit otázku“, 62–68 hodnocení: pouze slovní, 123–130 (viz také pouze slovní hodnocení) založené na osobním maximu, 114–115 založené na standardech, 114 založené na úsilí, 77 hodnocení na základě osobního maxima, 114–115 hodnocení snahy, 114–115 hodnocení založené na standardech, 114

hodnoticí tabulky, 37–40 definice, 40 podoba a formát, 40–41 pro zpětnou vazbu a zahájení dialogu, 42–44 holistické vs. analytické cíle učení a kritéria úspěchu, 37 „horké křeslo“, 68 hromadiči informací, 80 hromadné hlasovací systémy, 75–82 bodový graf, 82 odpovědní mazatelné tabulky, 77, 78–79 „propustky“, 6, 79, 80, 81–82 rohy ABCD, 81 řady, 81 umístění samolepicích lístků, 82 varování, 79–80 vylepšení, 80–82 zakládací obaly, 80 CH chválení, 113 I individuální odpovědnost, 137, 146, 147–152 kontrolní seznam, 150 matice odpovědí, 151–152 pravopisný deníček, 147–150 přidělování specifických rolí, 150–151 subjektivita kritérií, 149–150 varování, 149–150 vylepšení, 150–152 individuální učení, definice, 136 interakce tváří v tvář, 137 interpersonální dovednosti, 137 interpretační naslouchání, 73 interpretační vs. evaluační naslouchání, 73 J Jacksonová, Robyn Renee, 120 Johnson, David a Roger, 136–137, 139

238

178x254/kniha 2017.indd 238

19.12.17 19:54

Rejstřík

K Kagan, Spencer, 143 Kerriganová, Charlotte, 122 klíčové faktory, 166 Kohn, Alfie, 38 kolaborativní a kooperativní učení, 135–163 formulář pro postřehy kolegů, 163 individuální odpovědnost, 147–152 přehled, 135–139 případové studie, 152–157 rekapitulace, 158–159 rozdíly, 136 vzájemná zpětná vazba, 139–144 zdůrazňování skupinových cílů, 144–147 kolaborativní učení, 16 viz také kolaborativní a kooperativní učení kontext učení, 28–31 kontrolní otázky, 85–92 formát s výběrem možností, 88–90 testování v reálném čase, 90–92 varování, 90 vylepšení, 90–92 kooperativní učení, 136–138 viz také kolaborativní a kooperativní učení krátkodobé formativní hodnocení, 9 kritéria úspěchu, 26–27 analytická vs. holistická, 37 definice, 29 diferenciace, 33–34 formulář pro postřehy kolegů, 59 obecná povaha, 36–37 plánovací formulář, 58 použití ukázek prací při vysvětlování kvality, 37–39, 41–42 procesní vs. produktová, 34–36 propojení zpětné vazby s kritérii úspěchu, 122 reflektivní dotazník, 57 rekapitulace, 56

L Laveová, Jean, 29 Lintonová, Kaydene, 147 Livingstone, Sir Richard, 165 Lucassi, Tommy, 151 M malé krůčky, 17–19 matematika, učební pokrok v matematice, 45 matice odpovědí, 151–152 metakognice, 166–167 minimální podpora, 73–74 mylné představy, 87 N náhodný výběr žáků, 63–66 nanuková dřívka, 16, 65, 66 návrhy, 48 natáčení videa, 191 neochota učitelů se změnit, 17–19 němčina, 53–55 „neúčast nepovolena“, 66 O obsah, teprve pak proces, 13–14 očekávání rodičů, 15 očekávání žáků, 15 odpovědní mazatelné tabulky, 77, 78–79 odpovědnost, 19–20 viz také individuální odpovědnost Osborne, Jonathan, 88 otázky s výběrem možností obsahující distraktor, 89 P „parkoviště pro otázky“, 175 Perkins, David, 86 písemná zpětná vazba versus ústní, 125–126 plán činností, 19–20 podpůrná odpovědnost, 20–21 pokládání otázek: anketa, 98

239

178x254/kniha 2017.indd 239

19.12.17 19:54

Zavádění formativního hodnocení

basketbal, 67 čas na přemýšlení, 68–71 časté chyby, 70–71 činnosti odhalující určitý model, 74–75 doba čekání, 69, 70–73 dotazník k výuce, 100 formulář pro postřehy kolegů, 97 „Hlaste se jen tehdy, chcete-li položit otázku“, 62–68 „horké křeslo“, 68 hromadné hlasovací systémy, 75–83 interpretační vs. evaluační naslouchání, 73 jde to i bez otázek, 71–75 konstrukce pro tvoření otázek, 83–85 kontrolní otázky, 85–92 minimální podpora, 74 náhodný výběr žáků, 62–66 „neúčast nepovolena“ 66 plánovací formulář, 96 plánování otázek, 70–71 přehnaně strukturované učební prostředí, 74 reflektivní dotazník, 94–95 rekapitulace, 92–93 signály rukou, 67 varování, 66–67, 70–71, 74 vylepšení, 71–72, 74–75 „zamysli se – prodiskutuj s partnerem – poděl se s ostatními“, 71–73 zpětná vazba žáků, 99 portfolio učení, 174–175 pouze slovní hodnocení, 123–130 cílená zpětná vazba, 125 různé funkce zpětné vazby, 125–126 varování, 127–128 vylepšení, 128–130 používání sebeposuzování, 168–173 pozitivní vzájemná závislost, 137 pozorovatelé hodiny, zapojení žáků jako pozorovatelů, 185–192 dobré hodiny a související důkazy, 188 formulář pro postřehy kolegů, 197

natáčení videa, 191–192 plánování pozorování, 190 počáteční příprava, 187–189 poskytování zpětné vazby, 190 pravidla chování 189 trénování pomocí videa, 188 varování, 191 vylepšení, 191–192 práce zaměřené na výzkum zpětné vazby, 10 prahové představy, 86 pravidelného testování, 5 pravidelné „zastávky“, 44–47 pravidla chování, 189 problematické znalosti, 86 procesní kritéria úspěchu, 34–37 profesní vzdělávání, 13–24 flexibilita, 15–17 malé krůčky, 17–19 obsah, teprve pak proces, 13–14 odpovědnost, 19–20 pět klíčových složek, 14–20 podpora, 20–21 volba, 14–15 produkční efekt, 44 profesní vzdělávání učitelů viz profesní vzdělávání „propustky“, 7, 79–80, 81–82 prostírání z propustek, 82 průzkum učení žáků, 174–176 předem utvořené úsudky, 87 přehled a pozadí, 165–168 případové studie: kolaborativní a kooperativní učení, 152–157 cíle učení, 50–55 přírodní vědy: kolaborativní a kooperativní učení, 152–153, 157–158 učební pokroky, 45 R reflexe skupinové činnosti, 138 reflektivní dotazník, 160

240

178x254/kniha 2017.indd 240

19.12.17 19:54

Rejstřík

rekapitulace, 158–159 rohy ABCD, 81 rozhodování na základě informací, 80 rozvoj cílů učení, 112 rozvoj kurikula, cíle modelu, 25–26, 28 rozvoj růstového myšlení, 45, 108–116 atribuce úspěchu a neúspěchu, 108–110 cíle učení, 112 hodnocení na základě osobního maxima, 114–115 reakce žáků na zpětnou vazbu, 115–116 skryté zprávy uvnitř zpětné vazby, 116 souvislosti mezi zpětnou vazbou a pokrokem, 111 varování, 113 vlastní schopnosti vs. vlastní hodnota, 111 vylepšení, 114–116 Ř řady, 81 S samolepicí lístky, 141 sebehodnocení a časové záležitosti běžná součást hodiny, 174–175 „parkoviště pro otázky“, 175 portfolia učení, 175 průzkum učení žáků, 176 varování, 176 vylepšení, 176 sebeposuzování: jasná kritéria, 170 „plus – minus – zajímavé“, 171–174 příliš striktní, 170–171 rezervy, 168–169 soustředění na zlepšování vs. standardy, 170 varování, 176 vylepšení, 176–181 setkání: příznakové pedagogiky, 23–24

struktura, 23–24 techniky, 22–24 shromážděné důkazy: časový interval, 7, 9 vliv na výuku, 7–8 shromažďování informací na základě rozhodnutí, 80 signály rukou, 67 skupinové cíle, 144–147 individuální odpovědnost, 147–149 partneři, 145–146 společné hodnocení vícenásobných pokusů v úkolech, 146 varování, 146 vylepšení, 146–147 SOLO taxonomie, 177–181 souvislosti mezi zpětnou vazbou a pokrokem, 111 společenské vědy, učební pokrok, 47 spouštěcí mechanismy, 107–108 spouštěcí mechanismy identity, 107, 108 spouštěcí mechanismy pravdivosti, 107 spouštěcí mechanismy vztahovosti, 107 správná velikost, 48 startovací věty, 142 strategie versus techniky, 16 střednědobé formativní hodnocení, 9 sumativní hodnocení, 138–139 T techniky versus strategie, 16 testování v reálném čase, 90–92 třídní schůzky vedené žáky, 181–182 třídní zvyklosti, 17–19 U učení: autoregulace (viz autoregulace učení) individuální, 136 učení se učit viz autoregulace učení ukázky žákovských prací, 37–39, 41–42 ústní zpětná vazba versus písemná, 123–124 Uvnitř černé krabice (Black a Wiliam), 119

241

178x254/kniha 2017.indd 241

19.12.17 19:54

Zavádění formativního hodnocení

V velké myšlenky, 44–50 návrhy, 48 správná velikost, 47 učební pokroky, 45–47 varování, 49 vylepšení, 49–50 vlastnictví učení viz autoregulace učení vlastnictví žáků svého učení viz autoregulace učení vnitřní a vnější motivace, 182–185 vnější motivace, 182–185 volba, 14–15 výhody hodnocení pro žáky, 7 výkonnostní cíle, 112 vylepšení, souvislosti se zpětnou vazbou, 111 výsledky učení, 28 vzájemná zpětná vazba, 139–144 „dvě hvězdičky a jedno přání“ 140 příklady a diskuse o efektivní/ neefektivní zpětné vazbě, 141 samolepicí lístky, 141 „startovací věty“, 142 strukturované postupy, 143 varování, 142 vylepšení, 143–144 základní pravidla, 140–141 zpětná vazba SZS, 142 zprostředkování zpětné vazby učitele, 144 vzájemné hodnocení viz kolaborativní a kooperativní učení vzdělávací komunity učitelů, 21–24 W WALT (Dnes se naučíme), 28 WILF (Co očekávám), 28 Wragg, Ted, 70 Z základní pravidla, 140–141 Základní principy kurikula a výuky (Tyler), 25

„zamysli se – prodiskutuj s partnerem – poděl se s ostatními“, 71 zapojení žáků do procesu hodnocení, 7 Zavedené formativní hodnocení (Wiliam), 11–12 změna, neochota učitele, 17–19 znalostní cíle, 112 zpětná vazba, 101–134 atribuce žáků úspěchu a neúspěchu, 108–111 cílená, 125–126 deskriptivní vs. evaluační, 106–107 dlouhodobější hledisko, 120–121 důvěra žáků, 106 formulář pro postřehy kolegů, 134 haló efekt, 120 hodnoticí tabulky, 42–44 jako součást systému, 117–120 neúspěch, 108–111 obsahující skryté zprávy, 116 odpovědi žáků, 118–119, 121–123, 128 od spolužáků, 139–144 písemná vs. ústní, 125–126 plánovací formulář, 133 pouze slovní hodnocení, 123–130 propojená s cíli učení a kritérii úspěchu, 122 přehled a pozadí, 101–102 reakce žáků, 103–105, 106–108 reflektivní dotazník, 132 rekapitulace, 130–131 rovnováha mezi kritickou a podpůrnou zpětnou vazbou, 121 rovnováha mezi přesnými pokyny a neurčitostí, 123 růstové myšlení, 44, 108–116 různé funkce, 125 „sendvič špatných zpráv“, 121 součást systému, 117–120 spouštěcí mechanismy, 107 ukazující souvislost s pokrokem, 111 varování, 106–107 vnímání žáka, 116 vylepšení, 107–108

242

178x254/kniha 2017.indd 242

19.12.17 19:54

Rejstřík

výzkum, 103–105 vztahující se k úkolu vs. k osobnosti jednotlivce, 113–114 zahrnující osobnost jednotlivce, 113–114 zaměřená na daný úkol, 113–114 zpětná vazba SZS, 142 zpětná vazba založená na systému, 117–120 zpětná vazba žáků, 7

Ž žáci jako zdroje učení pro sebe navzájem viz kolaborativní a kooperativní učení

243

178x254/kniha 2017.indd 243

19.12.17 19:54