Page 1

Proceedings of the 7th European Conference on Games-Based Learning Instituto Superior de Engenharia do Porto, Portugal 3-4 October 2013

Volume One

Edited by Dr Carlos Vaz de Carvalho and Dr Paula Escudeiro Instituto Superior de Engenharia do Porto Portugal A conference managed by ACPI, UK www.academic-conferences.org


The Proceedings of The 7th European Conference on Games Based Learning Hosted by Instituto Superior de Engenharia do Porto (ISEP) Portugal Volume One 3-4 October 2013 Edited by Dr Paula Escudeiro Programme Chair and Carlos Vaz de Carvalho Conference Chair


Copyright The Authors, 2013. All Rights Reserved. No reproduction, copy or transmission may be made without written permission from the individual authors. Papers have been double-blind peer reviewed before final submission to the conference. Initially, paper abstracts were read and selected by the conference panel for submission as possible papers for the conference. Many thanks to the reviewers who helped ensure the quality of the full papers. These Conference Proceedings have been submitted to Thomson ISI for indexing. Please note that the process of indexing can take up to a year to complete. Further copies of this book and previous year’s proceedings can be purchased from http://academic-bookshop.com E-Book ISBN: 978-1-909507-65-4 E-Book ISSN: 2049-100X Book version ISBN: 978-1-909507-63-0 Book Version ISSN: 2049-0992 CD Version ISBN: 978-1-909507-66-1 CD Version ISSN: 2049-1018 The Electronic version of the Proceedings is available to download at ISSUU.com. You will need to sign up to become an ISSUU user (no cost involved) and follow the link to http://issuu.com Published by Academic Conferences and Publishing International Limited Reading UK 44-118-972-4148 www.academic-publishing.org


Contents Paper Title

Author(s)

Page No.

Preface

vii

Committee

viii

Biographys

x

Teachers’ Beliefs About Game Based Learning: A Comparative Study of Pedagogy, Curriculum and Practice in Italy, Turkey and the UK

Yasemin Allsop, Ebru Yeniman Yildirim and Marina Screpanti

Using Gamification to Animate a Virtual Community

António Andrade and Carlos Vaz de Carvalho

11

SIMaging the CITY: The Educational use of Simulation Video Games for Disadvantaged Youth

Massimiliano Andreoletti and Gianna Cappello

19

“The Chest That Longs to be Moved”: A Serious Game for the Greek Muslim Minority Children

Alexandra Androussou, Evangelia Kourti and Nelly Askouni

27

Transformational Play; Using 3D Game-Based Narratives to Immerse Students in Literacy Learning

Anna Arici and Sasha Barab

35

Approaches to Collaborative Game-Making for Fostering 21st Century Skills

Susan Bermingham, Nathalie Charlier, Francesca Dagnino, James Duggan, Jeffrey Earp, Kristian Kiili, Evelien Luts, Lien van der Stock and Nicola Whitton

45

Best Practices for Deploying Digital Games for Personal Empowerment and Social Inclusion

Lizzy Bleumers, Ilse Mariën, Jan Van Looy, James Stewart, Dana Schurmans and Anissa All

53

Investigating the Relationship Between School Performance and the Abilities to Play Mind Games

Rosa Maria Bottino, Michela Ott and Mauro Tavella

62

Experience With Digital Game-Based Embodied Learning: The Road to Create a Framework for Physically Interactive Digital Games

Carsten Busch, Florian Conrad, Robert Meyer and Martin Steinicke

72

Toward Improvement of Serious Game Reliability

Thibault Carron, Fabrice Kordon, Jean-Marc Labat, Isabelle Mounier and Amel Yessad

80

The Effects of Gamification on Student Attendance and Team Performance in a Third-Year Undergraduate Game Production Module

Hope Caton and Darrel Greenhill

88

Game-Based Learning in Health Sciences Education

Nathalie Charlier, Evelien Luts and Lien Van Der Stock

97

Specification and Design of a Generalized Assessment Engine for GBL Applications

Yaëlle Chaudy, Thomas Connolly and Thomas Hainey

105

Safer Internet: Enhancing Good Practices on the Internet Through Games Based Learning for Greek Elementary School Students

Vasiliki Choleva, Loukas Koutsikos Simeon Zourelidis, Vlassios Filis, Dimitris Metafas and Charalampos Patrikakis

115

Using Game Mechanics to Measure What Students Learn

Jill Denner, Linda Werner, Shannon Campe and Eloy Ortiz

123

Combining Game Based Learning With Content and Language Integrated Learning Approaches: A Case Study Utilizing QR Codes and Google Earth in a Geography-Based Game

Kyriaki Dourda, Tharrenos Bratitsis, Eleni Griva and Penelope Papadopoulou

130

i

1


Paper Title

Author(s)

Page No.

The Design and Evaluation of a Multiplayer Serious Game for Pharmacy Students

Maciej Dudzinski , Darrel Greenhill , Reem Kayyali , Shereen Nabhani , Nada Philip , Hope Caton , Sonya Ishtiaq and Francis Gatsinzi

140

Cheating and Creativity in Pervasive Games in Learning Contexts

Stine Ejsing-Duun, Thorkild Hanghøj and Helle Skovbjerg Karoff

149

Supporting Teachers in the Process of Adoption of Game Based Learning Pedagogy

Valérie Emin-Martinez and Muriel Ney

156

Cognitive Walkthrough for Learning Through Game Mechanics

David Farrell and David Moffat

163

Global Math: Development of Online Platform for Mathematical Thinking Games

Toru Fujimoto, Keiichi Nishimura, Kaoru Takahashi, Masahiro Yachi, Kiyoshi Takahashi and Yuhei Yamauchi

172

What Can Play Theory Tell us About Computer Games for Young Children?

Georgy Gerkushenko and Svetlana Sokolova

179

Role Game Playing as a Platform for Creative and Collaborative Learning

Lisa Gjedde

190

Development and Evaluation of a Generic E-CLIL Web2.0 Games Engine

Thomas Hainey and Thomas Connolly

198

Designing Games to Disseminate Research Findings

Claire Hamshire, Rachel Forsyth and Nicola Whitton

208

Facilitating Teacher Students’ Innovation Competence through Problem-Based Game Design Processes

Thorkild Hanghøj and Sia Hovmand Sørensen

216

Deploying Serious Games for Management in Higher Education: Lessons Learned and Good Practices

Jannicke Baalsrud Hauge, Francesco Bellotti, Rob Nadolski, Michael Kickmeier-Rust, Riccardo Berta and Maira Carvalho

225

Neuroeducational Research in the Design and use of Games-Based Teaching

Wayne Holmes, Paul Howard-Jones, Erico Tanimoto, Carol Jones, Skevi Demetriou, Owen Morgan, Philip Perkins and Neil Davies

235

Playing and Learning: An iPad Game Development Case Study

Jennifer Jenson and Rachel Muehrer

244

An Overview of Game Console Motion Sensor Technologies Exploited for Education

Marina Kandroudi and Tharrenos Bratitsis

252

Picking the Right Interface for Engaging Physical Activity Into Game Based Learning

Helle Skovbjerg Karoff, Gunver Majgaard, Lars Elbæk and Mona Have Sørensen

261

Playing and Gaming – Studied in an Informal Learning Setting

Helle Skovbjerg Karoff, Stine Ejsing-Duun and Thorkild Hanghøj

268

Game Based Learning in Mathematics: Teachers' Support by a Flexible Tool

Aikaterini Katmada, Apostolos Mavridis, Thrasyvoulos Tsiatsos

275

Learning Analytics with Games Based Learning

Harri Ketamo

284

Gamification and Intelligent Feedback Mechanisms for a Division Learning Tool

Michael Kickmeier-Rust and Dietrich Albert

290

Developing Games for Health Impact: Case Brains vs Zombies

Kristian Kiili, Manuel Ninaus, Mikko Koskela, M Tuomi and Antero Lindstedt

297

Meleon - a Casual Mobile Game Supporting Immersion and Reflection in Learning

Luise Klein

305

ii


Paper Title

Author(s)

Page No.

The Literature Race - NFC Based Mixed Reality Game

Antti Koivisto, Harri Ketamo, Eero Hammais and Juho Salli

314

Bringing Game Achievements and Community Achievements Together

Johannes Konert, Nico Gerwien, Stefan Göbel and Ralf Steinmetz

319

Modeling the Player, Learner and Personality: Independency of the Models of Bartle, Kolb and NEO-FFI (Big5) and the Implications for Game Based Learning

Johannes Konert, Stefan Göbel and Ralf Steinmetz

329

Raising Awareness on Archaeology: A Multiplayer Game-Based Approach With Mixed Reality

Mathieu Loiseau, Élise Lavoué, Jean-Charles Marty and Sébastien George

336

Scientific Discovery Games for Authentic Science Education

Rikke Magnussen, Sidse Damgaard Hansen, Tilo Planke, Jacob Friis Sherson

344

Creating Games in the Classroom – From Native Gamers to Reflective Designers

Gunver Majgaard

352

A Holistic Framework for the Development of an Educational Game Aiming to Teach Computer Programming

Christos Malliarakis, Maya Satratzemi and Stelios Xinogalos

359

Examining Early Childhood Education Students’ Attitudes Toward Educational Computer Games in Kindergarten

Dionissios Manessis

369

Integrating Non-Virtual Electronic Activities in Game-Based Learning Environments

Jean-Charles Marty, Thibault Carron, Stéphane Talbot, Gregory Houzet and Philippe Pernelle

378

From « Haute-Couture » to « Ready-to-Wear »: Typology of Serious Games Implementation Strategies in Higher Education

Hélène Michel

386

Motivation and Manipulation: A Gamification Approach to Influencing Undergraduate Attitudes in Computing

Nicholas Mitchell, Nicky Danino and Lesley May

394

Sit Down to Table and Confess who you are! Design of an Epistemic Game for Nutritional Education at Secondary School

Réjane Monod-Ansaldi, Eric Sanchez, Daniel Devallois, Thomas Abad, Pierre Bénech, Anne Brondex, Isabelle Mazzella, Sandrine Miranda, Claudie Richet and Céline Recurt

401

Learning in Context Through Games: Towards a new Typology

Alex Moseley

409

Let the Students Construct Their own fun And Knowledge - Learning to Program by Building Computer Games

Peter Mozelius, Olga Shabalina, Christos Malliarakis, , Florica Tomos, Chris Miller and David Turner

418

Towards Understanding the Instructional Value of Real-Time Continuous Feedback From the use of Simulation Games

Mathews Nkhoma, Jaime Calbeto, Narumon Sriratanaviriyakul, Thu Yein Win, Quyen Ha Tran and Thanh Kim Cao

427

Learning Math as you Play: Comparing Arithmetic Performance Enhancement Induced by Game Play and Paper Exercises

Elena Patricia Nuñez Castellar, Anissa All and Jan Van Looy

434

Serious Game Adaptive Learning Systems

Chinedu Obikwelu and Janet Read

442

Combatting Social Isolation and Cognitive Decline: Play a Physical or Digital Game?

Daire Ó Broin and Ross Palmer

450

iii


Paper Title

Author(s)

Page No.

Sports Games’ Role for Learning Health Knowledge

Kelly O’Hara, Dulce Esteves, Rui Brás, Ricardo Rodrigues, Paulo Pinheiro and Marco Rodrigues

458

A Multi-Agent Architecture for Collaborative Serious Game Applied to Crisis Management Training: Improving Adaptability of non Played Characters

M’hammed Ali Oulhaci, Erwan Tranvouez, Sébastien Fournier and Bernard Espinasse

465

Nuclear Mayhem – a Pervasive Game Designed to Support Learning

Trygve Pløhn

475

StartUp_EU: Using Game-Based Learning and Web 2.0 Technologies to Teach Entrepreneurship to Secondary Education Students

Aristidis Protopsaltis, Thomas Hainey, Spiros Borosis, Thomas Connolly, Jesus Copado and Sonia Hezner

484

Measuring Effects of Reflection on Learning: A Physiological Study

Wen Qi, Dominique Verpoorten and Wim Westera

495

Evaluation of Adaptive Serious Games using Playtraces and Aggregated Play Data

Christian Reuter, Florian Mehm, Stefan Göbel and Ralf Steinmetz

504

Learning Effectiveness of Management Simulation Game Manahra

Petr Smutný, Jakub Procházka and Martin Vaculík

512

Using the Master Copy - Adding Educational Content to Commercial Video Games

Heinrich Söbke, Thomas Bröker and Oliver Kornadt

521

An Application of Adaptive Games-Based Learning Based on Learning Style to Teach SQL

Mario Soflano, Thomas Connolly and Thomas Hainey

531

Can Moral Sensitivity be Enhanced by Game Play?

Gunilla Svingby

539

Digital Educational Games: Adopting Pedagogical Agent to Infer Leaner‘s Motivation and Emotional State

Ogar Ofut Tumenayu and Olga Shabalina

546

Adapting the Complexity Level of a Serious Game to the Proficiency of Players

Herre van Oostendorp, Erik van der Spek and Jeroen Linssen

553

Designing Casual Serious Games in Science

Ayelet Weizman

561

Designing a Collaborative Serious Game for Team Building Using Minecraft

Viktor Wendel, Michael Gutjahr, Philipp Battenberg, Roman Ness, Sebastian Fahnenschreiber, Stefan Göbel and Ralf Steinmetz

569

Application of the Principles of Gamification to Facilitate Acquisition of Self-Management Skills in Young People With Long-Term Medical Conditions

Andrew Wilson and Janet McDonagh

579

Development of an Implementation Framework for Games-Based Construction Learning Using Scratch in Primary Education

Amanda Wilson, Thomas Hainey and Thomas Connolly

587

Game Literacy Revisited: Developing Critical Play in Schools

Rafael Marques de Albuquerque and Shaaron Ainsworth

599

A Systematic Literature Review of Methodology Used to Measure Effectiveness in Digital GameBased Learning

Anissa All, Elena Patricia Nuñez Castellar and Jan Van Looy

607

Investigating Collaborative Games to Teach Mathematics-Based Problem Solving in the Classroom

Reem Al-Washmi, Gail Hopkins and Peter Blanchfield

617

PHD papers

iv


Paper Title

Author(s)

Page No.

Training Flexible and Adaptive Arithmetic Problem Solving Skills Through Exploration With Numbers: The Development of NumberNavigation Game

Boglárka Brezovszky, Erno Lehtinen, Jake McMullen, Gabriela Rodriguez and Koen Veermans

626

Trials to Assess Team-Based Mixed-reality (TBMR) Games in HE

John Denholm and Sara de Freitas

635

Understanding ‘Game-Ness’ Within the ® SCRABBLE Family of English Word Games

Paridhi Gupta

645

Interactive Story as a Motivator Element in an Educational Video Game

José Rafael López-Arcos, Francisco Luis Gutiérrez Vela, Natalia Padilla-Zea and Patricia Paderewski

656

A Domain Ontology of Game Theory Applied to Game Based Learning

Yemna Mejbri, Maha Khemaja and Rafik Braham

666

Puzzle-Based Games as a Metaphor for Designing in Situ Learning Activities

Javier Melero, Patricia Santos, Davinia HernándezLeo and Josep Blat

674

Supporting and Facilitating Collaborative Learning in Serious Games

Kimmo Oksanen and Raija Hämäläinen

683

Playing for the Future - Examining Gameplay, Narrative and fun in Games-Based Training

Mark O’Rourke

691

Towards Game Based Learning Design Process Based on Semantic Service Oriented Architecture (SSOA)

Kaouther Raies, Maha Khemaja and Rafik Brahamm

698

Using Games for Learning, From the Students’ Perspectives

Aishah Abdul Razak and Thomas Connolly

706

Incidental Learning in a World of Warcraft Guild, a Case Study

Gabriela Rodríguez

714

In Search for the Right Measure: Assessing Types of Developed Knowledge While Using a Gamified Web Toolkit

Martin Ruskov, Paul Ekblom and Angela Sasse

722

The Influence of Digital Games on Learning Reading: A Closer Look

Mas Idayu Md Sabri, Peter Blanchfield and Gail Hopkins

730

The Mediatization of Digital Games for Learning – a Dual Rub-Off Effect

Helga Sigurdardottir and Robin Munkvold

740

Efficacy of Reward Allotment on Children’s Motivation and Learning

Zhenhua Xu, Earl Woodruff and Bodong Chen

748

Applying Ideas From Intelligent Tutoring Systems for Teaching Programming in Game Based Learning

Matej Zapušek and Jože Rugelj

756

Cultivating Preschoolers Creativity Using Guided Interaction With Problem Solving Computer Games

Georgios Fessakis and Dimitrios Lappas

763

Haptic Physics Simulation

Luciano Santos and Carlos Vaz de Carvalho

771

Evaluating the Embedding of Games Based Learning in a Computing Subject at University

Emilia Todorova and David Moffat

776

Masters

WIP Papers

v


Paper Title

Author(s)

Page No.

A Design Approach for Implementing 3D Educational Collaborative Virtual Environments on Virtual World Platforms

Rosa Reis, Benjamin Fonsecaand Paula Escudeiro

785

EMOTE: Embodied-Perceptive Tutors for Empathy-Based Learning in a Game Environment

Sofia Serholt, Wolmet Barendregt, Tiago Ribeiro, Ginevra Castellano, Ana Paiva, Arvid Kappas, Ruth Aylett and Fernando Nabais

790

Exploring Learning Effects During Virtual Sports Through Biomechanical Analysis (a Work in Progress)

Pooya Soltani and Jo達o Paulo Vilas-Boas

793

siLang: Culturally Oriented Language Skill Development in Line With Workplace Needs

Hariklia Tsalapatas, Olivier Heidmann, Rene Alimisi and Elias Houstis

797

Developing Ethical Decision Making Skill of Novice Volunteers in Natural Disaster Response

Didin Wahyudin, Shinobu Hasegawa and Tina Dahlan

800

vi


Preface These proceedings represent the work of researchers participating in the 7th European Conference on GamesBased Learning, which is being organised and hosted this year by the Instituto Superior de Engenharia do Porto (ISEP), Porto, Portugal. The Conference Chair is Dr Carlos Vaz de Carvalho and the Programme Chair is Dr Paula Escudeiro, both from the Instituto Superior de Engenharia do Porto, Porto, Portugal. The conference will be opened with a keynote from Dr. Baltasar Fernández-Manjón, from Complutense University of Madrid, Spain, on the topic of Learning Analytics Applied to Serious Games. The opening keynote address on the second day is by Paulo Gomes, Game Director and Producer at BIGMOON STUDIOS. The Conference is a valuable platform for individuals to present their research findings, display their work in progress and discuss conceptual advances in many different areas and specialties within Games-Based Learning. It also offers the opportunity for like minded individuals to meet, discuss and share knowledge. ECGBL continues to evolve and develop, and the wide range of papers and topics will ensure an interesting twoday confercence. In addition to the main streams of the conference, there are mini tracks focusing on the areas of Multi-User Virtual Environments, Content and Assessment Integration, User Profiling and Barriers and Opportunities for the introduction of GBL in Educational Settings. In addition to the presentations of research the conference this year has introduced a competition to provide an opportunity for educational game designers and creators to participate in the conference and demonstrate their game design and development skills in an international competition. This competition has been sponsored by SEGAN – Serious Games Network. With an initial submission of more than 50 games, 24 finalists will present their games at the conference. Prizes will be awarded to the three games judged to demonstrate the best quality and originality of game play itself and the positioning and articulation of the game’s contribution to the educational domain. With an initial submission of 179 abstracts, after the double blind peer review process, there are 71 research papers, 18 PhD research papers, 3 Masters research papers and 5 work-in-progress paperspublished in these Conference Proceedings. These papers represent research more than 30 countries, including Algeria, Australia, Austria, Belgium, Brazil, Canada, Czech Republic, Denmark, Finland, France, Germany, Greece, Hong Kong, India, Ireland, Israel, Italy, Japan, The Netherlands Norway, Portugal, Russia, Slovenia, Spain, Sweden, Switzerland, Tunisia, UK, USA and Vietnam. We hope that you have an enjoyable conference. Dr Paula Escudeiro Programme Chair and Carlos Vaz de Carvalho Conference Chair October 2013

vii


Conference Committee ECGBL Conference Director Professor Thomas M Connolly, University of the West of Scotland, UK Conference Executive: Dr Carlos Vaz de Carvalho, Instituto Superior de Engenharia do Porto, Portugal Dr Paula Escudeiro, Instituto Superior de Engenharia do Porto, Portugal Dulce Mota, Instituto Superior de Engenharia do Porto (ISEP), Porto, Portugal Isabel Azevedo, Instituto Superior de Engenharia do Porto (ISEP), Porto, Portugal António Castro, Instituto Superior de Engenharia do Porto (ISEP), Porto, Portugal Ana Barata, Instituto Superior de Engenharia do Porto (ISEP), Porto, Portugal Bertil Marques, Instituto Superior de Engenharia do Porto (ISEP), Porto, Portugal Rosa Reis, Instituto Superior de Engenharia do Porto (ISEP), Porto, Portugal Mini Track Chairs Prof. Dr Wilfried Admiraal, Leiden University, The Netherlands Dr Kristian Kiili, Tampere University of Technology, Finland Prof Konstantinos Kalemis, National and Kapodistrian University of Athens, Dr Thomas Hainey, University of the West of Scotland, UK Dr Jordi Sánchez-Navarro, Open University of Catalonia, Barcelona, Spain Dr Daniel Aranda, Open University of Catalonia, Barcelona, Spain Dr Stefan Göbel, Technical University of Darmstadt, Germany Viktor Wendel, Technical University of Darmstadt, Germany Johannes Konert, Technical University of Darmstadt, Germany Committee Members The 2013 conference programme committee consists of key people in the games based learning community, both from the UK and overseas. The following people have confirmed their participation: Dr Wilfried Admiraal (Leiden University, Leiden, The Netherlands); Dr. Minoo Alemi (Sharif University of Technology, Iran); Anissa All (iMinds-MICT-Ghent University, Belgi); Daniel Aranda (Universitat Oberta de Catalunya, Spain); Nikolaos Avouris (University of Patras, Greece); Isabel Azevedo ( Instituto Superior de Engenharia do Porto (ISEP), Portugal); Ana Barata ( Instituto Superior de Engenharia do Porto (ISEP), Portugal);Dr. Wolmet Barendregt (Gothenburg University, department of applied IT, Sweden); Francesco Bellotti (University of Genoa, Italy,); Mary Bendixen-Noe (Ohio State University, USA);Dr Tobias Bevc (University of Augsburg, Germany);Dr Bani Bhattacharya (IIT Kharagpur, India); Dr Peter Blanchfield (School of Computer Science, University of Nottingham, UK); Natasha Boskic (The University of British Columbia, Canada);Dr. Rosa Maria Bottino (Istituto Tecnologie Didattiche - Consiglio nazionale Ricerche, Italy); Hadya Boufera (University Of Mascara, Algeria); Philip Bourke (LIT-Tipperary, Ireland);Dr Liz Boyle (University of the West of Scotland, UK); Dr Tharrenos Bratitsis (University of Western Macedonia, Greece);Prof Anthony Brooks (Aalborg University, Denmark);Prof David Brown (Nottingham Trent University, UK);Prof. Dr.-Ing. Carsten Busch (University of Applied Sciences HTW-Berlin, Germany,); Dr George Caridakis (University of the Aegean / NTUA, Greece,); Dr Thibault Carron (Université de Savoie, Chambéry, France); Rommert Casimir (Tilburg University, The Netherlands); António Castro ( Instituto Superior de Engenharia do Porto (ISEP), Portugal);Dr Erik Champion (Massey University, New Zealand);Prof Maiga Chang (Athabasca University, Canada); Dimitris Charalambis ( University of Athens, Greece);Dr Darryl Charles (University of Ulster, UK); Nathalie Charlier (Catholic University of Leuven, Belgium);Dr Yam San Chee (Nanyang Technological University, Singapore);Dr. Ming-Puu Chen (National Taiwan Normal University, Taiwan,); Satyadhyan Chickerur (M S Ramaiah Institute of Technology, India);Professor Thomas Connolly (University of West of Scotland, UK); Tamer Darwish (Brunel University, UK); Ioannis Darzentas (University of Aegean, Greece);Dr Sara De Freitas (Birkbeck College University of london, UK);Dr Sophia Delidaki (Hellenic American Educational Foundation, Greece,);Dr Ioannis Deliyannis (Ionian University, Greece,);Dr. Muhammet Demirbilek (Suleyman Demirel University, Turkey);Dr David Edgar (Glasgow Caledonian University, UK); Patrick Felicia (Waterford Institute of Technology, Ireland); Georgios Fesakis (University of the Aegean, Greece);Dr. Brynjar Foss (University of Stavanger, Norway);Dr Christos Gatzidis (Bournemouth University, UK); Dr Sebastien George (INSA Lyon, France); Panagiotis Georgiadis (University of Athens, Greece); Andreas Giannakoulopoulos (Ionian University, Greece);Dr Stefan Goebel (Technical University Darmstadt, Germany); Pedro Pablo Gomez-Martin (Universidad Complutense, Madrid, Spain); Cleo Gougoulis (Peloponnesian Folklore Foundation, Greece);Dr Dimitris Gouscos (University of Athens, Greece); Maria Grigoriadou ( University of Athens, Greece);Dr David Guralnick (Kaleidoscope Learning, New York, USA);Dr Thomas Hainey (University of the West of Scotland, UK); Paul Hollins (The University of Bolton, United Kingdom);Dr Birgitte Holm Sorensen (Aalborg University, Copenhagen, Denmark);Professor Rozhan Idrus (Universiti Sains Malaysia, Malaysia);Dr Jose Ignacio Imaz (University of the Basque Country, UPV-EHU, Spain); Jeffrey Jacobson (Carnegie Museum viii


of Natural History, Pittsburgh, Pennsylvania, USA); Ruben Jans (Limburg Catholic University College, Belgium); Runa Jesmin (Global Heart Forum, UK);Dr Larry Jones Esan (London Academy Business School, UK); Alexandros Kakouris (University of Athens, Greece); Fragiskos Kalavassis (University of the Aegean, Greece);Prof Konstantinos Kalemis (National Centre of Local Government and Administration, Greece); Dr Michail Kalogiannakis (University of Crete, Faculty of Education, Crete); Dr Anastasios Karakostas (Aristotle University of Thessaloniki, Greece); Dr Elisabeth Katzlinger-Felhofer (Johannes Kepler University, Linz, Austria);Dr Harri Ketamo (Satakunta University of Applied Sciences, Finland);Dr Kristian Kiili (Tampere University of Technology, Pori, Finland); Evangelia Kourti (University of Athens, Greece); Rolf Kretschmann (University of stuttgart, Germany);Dr Timo Lainema (University of Turku, Finland);Prof Miguel Leitao (ISEP, Portugal);Dr. Ximena Lopez Campino (Initium, Italy,); Carrie Lui (James Cook University, Australia);Dr Hamish Macleod (University of Edinburgh, UK);Dr. Rikke Magnussen (Danish school of education, Aarhus university/Steno Health Promotion Center, Denmark); Emanuela Marchetti (Aalborg University Esbjerg, Denmark,); Bertil Marques (Instituto Superior de Engenharia do Porto (ISEP), Portugal);Dr Jean-Charles Marty (LIRIS lab, Lyon, France); Stephanos Mavromoustakos (European University Cyprus, Cyprus); Florian Mehm (Technische Universität Darmstadt, Germany); Michail Meimaris (University of Athens, Greece); Bente Meyer (The Danish University of Education, Denmark); Prof Florence Michau (Grenoble Institute of Technology, France);Dr Christine Michel (INSA-Lyon, France);Dr Jonathan Moizer (University of Plymouth, UK); Assoc Prof Begona Montero-Feta Universitat Politecnica de Valencia Dr Adam Moore (Trinity College, Ireland); Alexander Moseley (University of Leicester, UK); Dulce Mota ( Instituto Superior de Engenharia do Porto (ISEP), Portugal); Constantinos Mourlas (University of Athens, Greece); Peter Mozelius (Stockholm University, Department of Computer and Systems Sciences, Sweden); Karen Neville (University College Cork, Ireland);Dr Piotr Nowakowski (John Paul II Catholic University of Lublin, Poland); Kimmo Oksanen (Finnish Institute for Educational Research, University of Jyväskylä, Finland);Dr John O'Mullane (University College Cork, Ireland);Dr. Michela Ott (Institute Educational Technology, Italy); Dimitra Panagouli (Hellenic American Educational Foundation, Greece); George Papakonstantinou (University of Thessaly, Greece); Agis Papantoniou (Multimedia Laboratory of the School of Electrical and Computer Engineering (ECE) of the National Technical University of Athens (NTUA). , Greece);Dr Marina Papastergiou (University of Thessaly, Greece); Paul Peachey (University of Glamorgan, Treforest, UK); Gilbert Peffer (CIMNE, Spain);Dr Neil Peirce (Trinity College Dublin, Ireland);Dr Eva Petersson Brooks (Aalborg University Esbjerg, Denmark); Elias Pimenidis (University of East London, UK);Professor Selwyn Piramuthu (University of Florida, Gainesville, USA);Prof. Dr. Maja Pivec (FH JOANNEUM University of Applied Sciences, Austria); Angeliki Poylymenakou (Athens University of Economics & Business, Greece); Dr Aristidis Protopsaltis (Institut für Lern-Innovation Friedrich-Alexander-Universität, Germany); Rosa Reis ( Instituto Superior de Engenharia do Porto (ISEP), Portugal);Prof Dr Bernd Remmele (WHL Graduate School of Business and Economics Lahr, Germany); Vyzantinos Repantis (Psychico College, Hellenic-American Educational Foundation, Greece,); Simos Retalis (University of Piraeus, Greece);Dr Pauline Rooney (Dublin Institute of Technology, Ireland);Dr Eleni Rossiou (University of Macedonia,Thessaloniki, Greece);Dr Maria Roussou (makebelieve design & consulting, Greece);Dr Florin Salajan (North Dakota State University , Canada); Jordi Sanchez Navarro (Universitat Oberta de Catalunya, Spain); Manthos Santorineos (School of Fine Arts in Athens, Greece);Dr Olga Shabalina (Volograd State Technical University, Russia); Samir Shah (Penn State University, USA);Dr Markus Siepermann (Technische Universität Dortmund, Germany); Helga Sigurdardottir (Nord Trøndelag University College and the Norwegian University of Science and Technology, Norway);Dr Gavin Sim (University of Central Lancashire, England);Dr. JulieAnn Sime (Lancaster University, UK);Dr Chrysanthi Skoumpourdi (University of the Aegean, Greece,);Prof Venustiano Soancatl (Universidad del Istmo, Mexico); Elsebeth Sorensen (University of Aarhus, Denmark);Dr Mark Stansfield (University of West of Scotland, UK); Martin Steinicke (University of Applied Sciences HTW Berlin, Germany);Dr. Arnab Sylvester (Coventry University, UK);Dr Sabin Tabirca (University College Cork, Ireland, ); Uday Trivedi (R.C. Technical Institute, India);Dr. Thrasyvoulos Tsiatsos (Aristotle University of Thessaloniki, Greece,);Dr Chuang Tsung-Yen (National University of Tainan, Taiwan); Richard Tunstall (University of Leeds, UK);Dr Andrea Valente (Aalborg University Esbjerg, Denmark);Dr Peter Van Rosmalen (CELSTEC / Open University of the Netherlands, The Netherlands);Dr Linda Van Ryneveld (Tshwane University of Technology, Pretoria, South Africa);Dr Carlos Vaz de Carvalho ( Instituto Superior de Engenharia do Porto (ISEP), Portugal);Dr Ayelet Weizman (Snunit center for the advancement of web-based learning, the Hebrew University, Israel); Viktor Wendel (Technical University Darmstadt, Germany); Nicola Whitton (Manchester Metropolitan University, UK); Dorothy Williams (Robert Gordon University , UK); Andrew Wilson (Birmingham City University, United Kingdom); Amanda Wilson (University of the West of Scotland, Scotland);Dr. Aljona Zorina (ESCP Europe, France)

ix


Biographies Conference Director Professor Thomas M Connolly is the original instigator of this conference in 2007, Thomas Connolly is a Professor in the School of Computing at the University of the West of Scotland, having managed the Department of Computing and Information Systems for several years. Thomas worked for over 15 years in industry as a Manager and Technical Director in international software houses before entering academia. His specialisms are games-based learning, online learning and database systems. He has developed three fully online MSc programmes and developed and leads the undergraduate BSc Computer Games Technology programme. He is co-author of the highly successful academic textbooks Database Systems (now in its 4th edition) and Database Solutions (in its 2nd edition). He is a reviewer for several international journals and has been on the committee for various international conferences. He is a member of CPHC (Council of Professors and Heads of Computing) and member of the Higher Education Academy.

Conference Chair Dr Carlos Vaz de Carvalho has a PhD in Information Systems and Technology. He is a Professor at the Engineering School of the Porto Polytechnic (ISEP) and the Director of the R&D group GILT (Graphics, Interaction and Learning Technologies). He was e-Learning Director (2001-2005) of ISEP and Director of the Distance Learning Unit of the Porto Polytechnic (1997-2000). He has published over 100 references on the subject including several books.

Programme Chair

Dr Paula Escudeiro is a Professor at IPP-ISEP with vast experience in project supervision and evaluation, accumulated for the past 21 years. She has a PhD on Informatics/Information Systems on Education and prior experience on software industry related to the development of educational software. She is the director of the Multimedia Laboratory at ISEP and belongs to the Graphics, Interaction and Learning Technologies research center (GILT).

Keynote Speakers Dr Baltasar Fernández-Manjón is a full professor in the Facultad de Informatica at the Complutense University of Madrid (2001-2006) and the Vice Dean of Research and Foreign Relationships at the Computer Science School at UCM (2006-2010). He is IEEE Senior Member and in 2010-2011 he has been Visiting Associate Professor at Harvard University and Visiting Scientist at LCS-MGH. He received a Bachelor in Physics (major in Computer Science) and a PhD in Physics from the UCM. He is member of the IFIP Working Group 3.3 "Research on the Educational uses of Communication and Information Tecnlogies" and of the Spanish Technical Committee for E-learning Standarization (AENOR CTN71/SC36 "Tecnologías de la información para el aprendizaje"). His main research interests are e-learning technologies, educational uses of serious games, application of educational standards, and user-modelling. Dr Paulo J. Gomes is the Game Director and Producer at BIGMOON STUDIOS and he produced games such ‘WRC3’, ‘MotoGP13’, ‘Jagged Alliance: Back in Action’, ‘Trapped Dead Lockdown’ and many others. Has more than 20 years of experience in software development and project management. He’s credited in more them 15 videogames published worldwide on PS3, Xbox360, Wii, PC, Linux, Mac and Mobile. Paulo has a PhD in Computer Science, MBA and he is a Multimedia Professor at Portucalense University.

Mini Track Chairs Prof. Dr Wilfried Admiraal is a full professor of Educational Sciences and chair of the research program Teaching and Teacher Learning of Leiden University Graduate School of Teaching. His research interest combines Educational Sciences, Social Psychology and technology. He published journal articles on mobile game-based learning and game creation by students. Dr Daniel Aranda is a Senior Lecturer in the Department of Information and Communication Studies at the Open University of Catalonia. He is researching on how young people use digital technologies. He works in the research group SPIDER (Smarter People through Interactive Digital Entertainment Resources), Communication & New Media (at the Internet Interdisciplinary Institute / IN3) and eCo (research and innovation in e-learning, information and communication), at the eLearn Center (UOC).

x


Dr Stefan Göbel holds a PhD in computer science from TUD and has long-term experience in Graphic Information Systems, Interactive Digital Storytelling, Edutainment applications and Serious Games. After five years work as researcher at Fraunhofer Institute for Computer Graphics, from 2002 to 2008 he was heading the Digital Storytelling group at the Computer Graphics Center in Darmstadt. In late 2008 he moved to TUD and is heading the prospering Serious Gaming group at the Multimedia Communications Lab. Dr. Göbel is author of numerous papers and member of different program committees such as ACM Multimedia, ICME, Edutainment, Foundations on Digital Games, Serious Games Conference and serves as jury member of the Serious Games Award. Dr. Thomas Hainey is a Lecturer in Computer Games Technology and Serious Games Researcher at the University of the West of Scotland. He teachers an honours level course in serious games and is primarily interested in the empirical evaluation of games-based learning applications and how to integrate assessment into games-based learning applications. He has a number of publications in this area. Dr Kristian Kiili works as a Senior Research Fellow and an Adjunct Professor at the Tampere University of Technology in which he heads the Advanced MultimediaCenter research laboratory. His current research focuses on game-based learning, user generated game content, game design, and educational exertion games. He is presently involved in two European initiatives: the Game and Learning Alliance (GALA NoE) and Making Games in Collaboration for Learning (MAGICAL). Results received from his research has been published in several scientific publications as well as applied in commercial products Johannes Konert finished his diploma in Computer Science and accompanying studies in cultural studies at the Karlsruhe Institute of Technology (KIT) with a thesis proposing a web-based knowledge management system for the integration of workflow and learnflow. After three years working on the foundation and development of the online social network friendcafe as CEO and senior developer he joined the research group at Multimedia Communication Lab (KOM) at Technische Universität Darmstadt to focus on Serious Games and Social Networks. He became a Ph.D. student of the DFG Research Training Group “Feedbackbased Quality Management in E-learning”. In his research he focusses on the development of solutions to use Social Media concepts for knowledge transfer between peers in Serious Games. Prof Konstantinos Kalemis is an Instructor at the National Centre for Public Administration and Local Government (E.K.D.D.A.) in Adult Education and Lifelong Learning and assigned at the Dept of Primary Education in National and Kapodistrian University of Athens. He has authored a large number of scientific articles, studies and papers in Educational Congress and Seminars. His interests focus on the introduction of New Technologies as an alternative teaching process and the design of new curriculum plans for the open and d-Learning. His research interests also include the education of immigrant ethnic minorities focusing on the gifted and talented students and aim to advance the theory and technology of natural language and knowledge processing, especially semantic analysis that bridges the gap between language and knowledge, by the novel use of both machine learning and inference methods. Dr Jordi Sánchez-Navarro is a Senior Lecturer in the Department of Information and Communication Studies at the Open University of Catalonia (Universitat Oberta de Catalunya).His research revolves around innovation in entertainment and how this interacts with the new practices of cultural consumption in the contemporary media landscape, and how they impact on education. Dr Thrasyvoulos Tsiatsos is currently Assistant Professor in the Department of Informatics of Aristotle University of Thessaloniki. He obtained his Diploma, his Master's Degree and his PhD from the Computer Engineering and Informatics Department of Patras University (Greece). His research interests include Networked Virtual Learning Environments, Computer Uses in Education, Evaluation methods of Internet Learning Environments and Open and Distance Education using Multimedia and Internet Technologies. He has published more than 120 papers in Journals and in well-known refereed conferences and he is coauthor in 3 books. He has been a PC member and referee in various international journals and conferences and participated in more than 20 R&D projects. Also he is member Technical Chamber of Greece. Viktor Wendel received his degree in Computer Science from the Julius-Maximilians-University of Würzburg in 2009. Since November 2009, he is working as a research assistant at the MultimediaCommunications-Lab at the Technical University of Darmstadt. Research topics are Game Mastering in Multiplayer Serious Games, and Collaborative Learning. Further, he is an editor for ACM SIGMM Records.

xi


Biographies of Presenting Authors Aishah Abdul Razak received her MSc. in Information Technology from Multimedia University, Malaysia. She is now pursuing her PhD in the School of Computing at the University of the West of Scotland. Her research interest is in games-based learning for primary school children. Wilfried Admiraal is full professor of Educational Sciences and chair of the research program Teaching and Teacher Learning of Leiden University Graduate School of Teaching. His research interest combines Educational Sciences, Social Psychology and technology. He published journal articles on mobile game-based learning and game creation by students Rafael Marques de Albuquerque graduated as Bachelor (2008) and Master (2011) in Graphic Design in the Federal University of Santa Catarina (Brazil) and is currently carrying out his PhD in Education in the Learning Sciences Research Institute of the University of Nottingham (UK). His research interests are digital games, learning and school, especially game literacy. Rene Alimisi has a rich engineering background and thorough knowledge of the field of Information Communication Technology in Education. She holds a master with distinction in ICT in Education (IOE, University of London). She has more than 4 years experience within the area of Lifelong Learning European Projects and teaching experience in well- known institutions in Greece and UK. Anissa All works as a junior researcher at IBBT-MICT (Ghent University) since July 2011. Since January 2013, Anissa is working on a PhD through a IWT grant (Flemish agency for Innovation by Science and Technology). In this PhD research, she will develop a standard procedure to measure effectiveness of serious games aimed at cognitive learning outcomes. Yasemin Allsop has been working as an ICT coordinator in primary Schools across London for almost 10 years. MPhil/PhD student at Goldsmiths, University of London. Focus is on children’s learning and cognitive development through digital game making activities. Interested in the role of teachers when teaching with digital games and game design. Reem Al-Washmi is a second-year PhD student at the University of Nottingham, in the School of Computer Science. Her PhD is entitled “Collaborative games-based learning to support problem solving in UK KS2 Mathematics”. Her long term interests include the study of problems that children face in mathematics and the use of technology to overcome these. António Andrade has a Degree in Communication Design from the Faculty of Arts of the University of Porto. Currently he is working on his Computer Science MSc at the School of Engineering of the Porto Polytechnic (ISEP), researching on Virtual Communities of Practice. Massimiliano Andreoletti Professor of Educational gaming and animation at the Catholic University of the Sacred Heart of Milan. Researcher and author of several essays and articles in the Media Education and Educational Technologies (internet, video games, mobile, tablet/pad, cloud). He’s still a videogamer and father of a child of five years. Alexandra Androussou is a Associate Professor in Teaching Methodology at National and Kapodistrian University of Athens, Greece. Her research and writing focus on teaching practices, teacher education and education of minority groups. She also deals with the development of educational materials for children in electronic and conventional form and she produces educational materials for teachers such as the website www.kleidiakaiantikleidia.net Anna Arici is a Learning Scientist with the Center for Games & Impact, at Arizona State University, where she designs and researches game-based learning environments for educational and social challenges, change, and sustainable impact. Additionally, as director of Quest2Teach, she creates game-infused learning curricula and gamification systems for pre-service teachers to prepare and support highly effective educators. Jannicke Baalsrud Hauge is research scientist at Bremer Institut für Produktion und Logistik(BIBA). She is teaching decision making in SC at the University of Bremen and Jacobs University. Main interest: Serious games, TEL, use of ICT in logistics. Responsible for many WPs in EU and national projects on ICT applications, logistics and TEL. Authored 100+ papers. Sasha Barab is a Professor in the Teachers College at Arizona State University where he co-founded and serves as the Executive Director of the Center for Games & Impact. Dr. Barab is an internationally recognized learning scientist who has researched, designed, and published extensively on the challenges and opportunities of using games for impact.

xii


Lizzy Bleumers graduated as a Master in Psychology and obtained a postgraduate degree in user-centered design. She now conducts user research at iMinds-SMIT (Vrije Universiteit Brussel) within the area of play, learning and participation. She was recently involved in a European project, which explored how digital games can be part of empowerment and inclusion initiatives. Dr. Rosa Maria Bottino Director of the Institute for Educational Technology of the Italian National Research Centre (ITDCNR). Author of more than 100 scientific publications both in national and international journals, books and conference proceedings. Dr. Bottino participated in both national and European projects and Networks of Exellence in Technology Enhanced Learning, including GALA NoE on serious games Cyril Brom is an assistant professor at Faculty of Mathematics and Physics of Charles University in Prague. His research interest is in serious games, modelling behaviour and episodic memory of virtual human-like characters, in level of detail AI, and in computational biology. Hope Caton lectures Game Creation Processes at Kingston University, London, where she also leads inKUbator, a multidisciplinary games development studio Hope founded in 2010 with Dr Darrel Greenhill. In addition to investigating the effects of introducing gamification in the classroom, Hope’s areas of research include developing serious games for health and education. Nathalie Charlier is an assistant professor at the Faculty of Pharmaceutical Sciences and co-ordinator of the Teacher Training in Health Sciences Education at the KU Leuven, Belgium. She obtained a BSc and MSc in Pharmaceutical Sciences and her PhD in Medical Sciences. Her current research interests are (i) game-based learning in health science education and (ii) the use of new technologies in education. Yaëlle Chaudy researcher at the University of the West of Scotland. She obtained an MSc in computing from INSA Lyon (Institut National des Sciences Appliquées) and a bachelor in French as a Second Language from Stendhal University in Grenoble. Interested in both computing and education, she is now studying the integration of assessment in GBL applications. John Denholm In final stages of PhD at Serious Games Institute, Coventry, researching into value of educational games. MSc from Imperial College, London and held several senior positions in major UK companies, mainly corporate planning and development of strategic business models. He has lectured on Business, Project Management and Finance courses at Birmingham City and Coventry Universities and supervises Master’s students at Warwick and Manchester Universities. Jill Denner, PhD, is a Senior Research Scientist at Education, Training, Research, a non-profit organization in California where she studies how students learn while creating computer games. She has written numerous peer-reviewed articles, and coedited: “Beyond Barbie and Mortal Kombat: New Perspectives on Gender and Gaming,” published by MIT Press in 2008. Kyriaki Dourda is a post-graduate student at the Early Childhood Education Department, at the University of Western Macedonia, Greece. She has graduated from the School of English Language and Literature at the Aristotle University of Thessaloniki. Her research interests include: Learning and Teaching Modern languages, GBL, CLIL, Language learning strategies. Ronald Dyer has held senior positions in the area of technology strategy, transformation and change management for performance improvement in the US & Trinidad & Tobago. He is a final year candidate for the Doctorate in Business Administration at Grenoble Ecole de Management, France, focused on research on serious game. Stine Ejsing-Duun is interested in the relation between technology, perception and cognition. Her ambition is to describe how technologies allow us to transcend ourselves. Her research has been connected to games, play and playful processes in various areas. Her present studies are within the fields of learning and art. Lars Elbæk (Ph.D.) is associate professor at University of Southern Denmark, and director of the research group ‘PE Pedagogy and Sports Psychology’. He has worked with interaction design and use of IT in children and youth sport and physical education through a number of years. Lars Elbæk is currently working partly at the Play and Learning – Kids n’ Tweens Lifestyle EU founded project. www.kidsntweens.dk Valérie Emin, PhD, is a researcher at the Institut Français de l'Éducation, member of S2HEP Laboratory. She coordinates since 2008 a research project on pedagogical scenario design in science and technique discipline. Her current research topics are "Pedagogical scenarios design" and "Game based learning". She's an associate member of GALA european network of excellence.

xiii


David Farrell is a lecturer in game design at Glasgow Caledonian University with interests in player centric design and Serious Games. He was the lead designer and developer of the e-Bug Serious Games and his research focuses on improving the integration of good game design practice with well grounded pedagogy. Toru Fujimoto is an assistant professor at the Center for Research and Development of Higher Education, The University of Tokyo. He completed his graduate study at the Pennsylvania State University (Ph.D. in Instructional Systems). His research focus is on the design of learning environments using digital games and social media. Georgy Gerkushenko conducts research in the area of social informatics and e-learning since 2000. He gained PhD degree on creating electronic educational resources in 2004 and MBA degree on “Chief Information Officer” in 2009. Currently he is a senior lecturer of CAD department at Technical University in Volgograd, Russia. Main research interests are personal learning environment, education social networking and electronic educational resources. Dr. Lisa Gjedde is Professor with special responsibilities at Aalborg University in Copenhagen at the Dept. for Learning and Philosophy, director of the Research Center for Creative and Immersive Learning Environments: reCreate. Dr. Stefan Göbel holds a PhD in computer science from TUD and has long-term experience in Graphic Information Systems, Interactive Digital Storytelling, Edutainment applications and Serious Games. Since 2008 he is heading the Serious Gaming group at the Multimedia Communications Lab of Technische Universität Darmstadt. Paridhi Gupta is a PhD research student in the department of School of Design at the Hong Kong Polytechnic University (Hong Kong). Her research investigation focuses on interactive play and games within English Language subject classrooms in Hong Kong local Primary schools. She has a Master’s Degree in visual communication from IDC, IIT Mumbai. Dr. Thomas Hainey is a Lecturer in Computer Games Technology and Serious Games Researcher at the University of the West of Scotland. He teachers an honours level course in serious games and is primarily interested in the empirical evaluation of games-based learning applications and how to integrate assessment into games-based learning applications. He has a number of publications in this area. Claire Hamshire has worked at Manchester Metropolitan University (MMU) since 2003; initially as a Senior Lecturer in Physiotherapy and from 2008 as a Senior Learning and Teaching Fellow. This role combines faculty teaching with a cross institutional contribution to technology and games-based innovation. She was awarded a Higher Education Academy National Teaching Fellowship in 2012 Thorkild Hanghøj is an Associate Professor at the ResearchLab: IT, Learning and Design (ILD), Aalborg University, Copenhagen. He holds a PhD on the playful knowledge in educational gaming. Research areas include: game-based teaching, games and Mother Tongue Education, and problem-based game design. Shinobu Hasegawa received his B.S., M.S., and Ph.D. degrees in systems science from Osaka University in 1998, 2000, and 2002. He is now an associate professor in Center for Graduate Education Initiative, Japan Advanced Institute of Science and Technology. His research areas include support for Web-based learning, game-based learning, language learning, and community based learning. Wayne Holmes is currently Head of Education for the games-based learning company zondle. Previously, he was a teacher and the Head of Research for an education charity. He has an MA in Philosophy, an MSc (Oxon) in Education, and is completing his DPhil (doctorate) in Education (researching games-based learning) at the University of Oxford. Robyn Hromek is a practicing educational psychologist working in Australian schools and an Honorary Associate of the The University of Sydney, Australia. She has created a set of 15 board games to teach social and emotional skills to children and young people and has spoken at numerous international conferences on games-based learning. Jennifer Jenson is Professor and Director for the Institute of Research on Learning Technologies at York University, Canada. She has published on games, game design, gender and game play and digital games in education Helle Skovbjerg Karoff (PhD) is Assistant Professor at Aalborg University/Copenhagen and a member of ILD: IT and Learning Design. Helle´s main research field is play and interaction with technology, especially questions of the dynamics of play, for example through danger, movement and sociality. Harri Ketamo, PhD founder/chief scientist, Eedu ltd. and Adjunct Professor, Tampere University of Technology. Specialized in Complex Adaptive Systems, Cognitive Psychology of Learning, Neural Computing and Educational Technology. Was Direcxiv


tor of Education, Satakunta University of Applied Sciences and CEO & founder GameMiner ltd, company focusing on Data Mining/game AI. Published international/peer-reviewed research articles; presentations on studies in international forums. Several awards and nominations related to R&D activities. Michael Kickmeier-Rust holds a PhD in cognitive psychology and he is an experienced project manager and software developer. His research and development activities focus primarily on technology-enhanced learning, in particular intelligent, adaptive educational systems and human-computer interaction. Since 2010 Michael is with the Knowledge Management Institute at Graz University of Technology. Kristian Kiili works as an adjunct professor at Tampere University of Technology. His research focuses on game based learning, exergaming, and game design issues. Results received from his studies has been published in several scientific publications as well as applied in commercial e-learning products. Luise Klein obtained a MSc. degree in Digital Media from the University of Applied Sciences Bremerhaven. Her interests are in enabling learning with and about media and technology, especially in informal playful settings. She also develops her game-based learning and mobile learning applications. Antti Koivisto is a Ph.D. student at the Tampere University of Technology in Pori, Finland. He currently works at Satakunta University of Applied Sciences as a researcher and at Eedu Ltd as a game developer. His research interests are exergames. He is currently researching how games suit for elderly and mentally disabled people. Johannes Konert finished his diploma in Computer Science at the Karlsruhe Institute of Technology (KIT). After three years work on the foundation and development of the online social network friendcafe, in June 2010 he joined the research group at Multimedia Communication Lab (KOM) at Technische Universität Darmstadt to focus on Serious Games and Social Networks. Evangelia Kourti is an associate Professor of Social Psychology specializing in communication at the National and Kapodistrian University of Athens, Greece. Her research interests cover the scientific fields of communication, media and children and the psychology of cyberspace. Loukas Koutsikos holds a Master Degree (MSc) in "ICT for Education", from the National Kapodistrian University of Athens. He holds a Bsc of Electrical Engineering Educator from the Higher School of Pedagogical and Technological Education. He works in Secondary Vocational Education and has participated in various programs dealing with the implementation of Educational Technology. Dimitrios Lappas has graduated from the Hellenic Military Academy in 2005. He also has a Bachelor's Degree from Pre-school Education and Educational Design Department of the University of the Aegean. He is currently a postgraduate student in “Models of Designing and Planning Educational Units”, Master's and PhD Degree program at the University of the Aegean. José Rafael López-Arcos Member of the GEDES research group in the Department of Computer Languages and Systems at the University of Granada. His research focuses on the integration of storytelling into educational video games. Rikke Magnussen associate professor at ResearchLab: ICT and Design for Learning, Aalborg University Copenhagen. Main research interest is how game-based technology can open for innovation in science education. Part of numerous national and international learning game development and research projects for over ten years and published extensively on subject of game's potentials in science education. Gunver Majgaard (PhD) is Associate Professor at The Maersk Mc-Kinney Moller Institute, University of Southern Denmark. Her research interests are design of digital educational tools; human computer interaction; participatory design processes; learning processes; didactical design; program and curriculum development. She has developed the engineering program "Learning and Experience Technology". Christos Malliarakis is a teacher of Computer Science in Mandoulides Schools, a large private primary/secondary school in Thessaloniki, Greece. He holds a BSc and an MSc in Informatics from the Computer Science Department of the Aristotle University of Thessaloniki and he is undergoing his PhD research in Game Based Learning on Computer Programming since May 2011. Dionissios M. Manessis holds a M.Sc. in ICT for education, from the University of Athens, Greece. He is now a Ph.D. student at the department of Early Childhood Education of the University of Athens. His research interests include the use of digital games in Early Childhood Education and students’ attitudes towards Statistics. xv


Jean-Charles Marty associate professor at LIRIS lab in Lyon (France). Research interests are in observation of collaborative activities, through traces of these activities. Research results are applied to Technology Enhanced Learning, and in particular to learning game environments. Participates to several projects in this field (Learning Adventure, Learning Games Factory, Serious Lab for Innovation, Pegase). Organized an international school on Game-Based Learning in June 2011. Apostolos Mavridis is a PhD candidate on the subject of “Game Based Learning” in the Department of Informatics, Aristotle University of Thessaloniki, Greece. He holds a BSc in Computer Science and an MSc in ICTE (Information and Communication Technology in Education). Mas Idayu Md Sabri is a PhD student at the University of Nottingham. She is currently on study leave from her employment as a lecturer at the University of Malaya, Malaysia. She obtained her BComp Science from University of Malaya, majoring in Software Engineering and obtained her MSc Multimedia Technology from the University of Bath. Her research interests are multimedia technology, edutainment, and interactive learning. Emna Mejbri She obtained the master degree in computer sciences, from the University of Kairouan, Tunisia in 2011. Currently, she is a phD student at the National School of Computer Sciences of Mannouba, Tunisia. Her main research interest is in the area of Learning and Games development. Javier Melero received both his Engineering degree in Computer Science (2008) and Master in Information, Communication and Audiovisual Media Technologies (2009) from the Universitat Pompeu Fabra (UPF), Spain. Since 2006, he has been involved in European and National projects in the field of TEL. His main research focus is about designing technology-supported puzzle-based games. Hélène Michel is a Senior Professor in Grenoble Ecole de Management (France). With a specialization in Innovation Management, she started working on Serious Games in 2003. Her research focuses on the strategic approach of serious games and on their performance’s evaluation. Alex Moseley is an Educational Designer and University Teaching Fellow at the University of Leicester, with long experience of course design and development in higher education. His research areas are in games-based learning, student engagement and effective research skills, and he designs games for education and museum contexts. Peter Mozelius has since 1999 been employed as a teacher for the Stockholm University and the Royal Institute of Technology at the Department of Computer and Systems Sciences (DSV) in Kista, Sweden. He is currently working as an IT-Pedagogue and researcher. His research interests are in the fields of ICT4D, game-based learning and software engineering. Robin Munkvold has been teaching software design at Nord-Trondelag University College (Norway) since 1999. The last five years he has been Program Director within the field of Digital Games and Media Technology. He has published several papers on subjects regarding online learning and ICT as a tool for supporting different pedagogical approaches. Rob Nadolski is assistant professor in TEL at CELSTEC at the Open University of the Netherlands. Main interests: competencebased education, serious games, especially enhancing learner support facilities by exploiting newest technologies. Involved in design and project management of e-learning applications for acquiring complex cognitive skills and research on such applications. Has participated in European and national projects. Elena Núñez Castellar received her degree in Psychology in 2006. In 2011 she obtained her degree of Doctor in Psychology from the Ghent University. During her PhD she got broad experience with research methods in cognitive neuroscience, namely EEG (electro-encephalography) and reaction times research. Since 2012 she joined the research group for Media & ICT (iMinds-MICT). Chinedu Obikwelu is a PhD research student with the ChiCI research group, University of Central Lancashire, he is currently researching the scaffolding mechanism in serious games with emphasis on adaptive scaffolding. He has worked in both the educational and IT sector as a teacher and an IT Support Officer respectively. Daire Ó Broin holds a Ph.D. in Computer Science from TCD, which focussed on approaches to developing the conditions of flow. He has been a lecturer at IT Carlow since 2008, where he teaches on the Computer Games Development programme . His research interests include increasing engagement and intrinsic motivation in games and learning. Kelly O’Hara (Ph.D. Sport Science) is professor at Beira Interior University, Portugal, and a researcher at Sports Sciences, Health Sciences and Human Development Centre. Her research interests are develop game based-learning environments by

xvi


integrating, sports and health, and tennis training. She has published several papers, book chapters, and she is reviewer in international journals. Kimmo Oksanen (Lic.Ed.) is doctoral student at the Finnish Institute for Educational Research (FIER), University of Jyväskylä. He is working on his doctoral thesis about supporting and evaluating collaborative learning in a game context. His research interests include game experience, game design and collaborative learning. Mark O'Rourke is an Educational Advisor with the Curriculum Innovation Unit at Victoria University, Melbourne, Australia. He has worked as a VET researcher, Multimedia Lecturer, Program Manager, Head of School, and Chair Academic Board. Mark's research activity focuses on games-based learning and he is a Fulbright Professional Scholar having undertaken research at USC in LA. M’hamme Ali Oulhaci is a PhD student at LSIS laboratory Aix-Marseille University; his works include behaviors simulation, multi-agents systems, and learners’ assessment in serious games. He got his master at Paris Dauphine Unversity. Contact him at LSIS, Domaine universitaire de Saint Jérôme Avenue Escadrille Normandie Niemen 13397 MARSEILLE Cedex 20. Trygve Pløhn works as a lecturerer and a researcher at the Nord-Trøndelag University College. He obtained his MSc in Software Development, Information Technology from the IT University of Copenhagen in 2007. He is a PhD Candidate at the Norwegian University of Science and Technology. His main research interest is within Pervasive Games and Serious Games. Jakub Procházka, Ph.D. is an assistant professor at the Department of Corporate Economy and at the Department of Psychology, Masaryk University, Brno, Czech Republic. His current research focuses on psychology of leadership and leadership effectiveness. He teaches interactive courses in the field of organizational and work psychology. Dr Aristidis Protopsaltis is a Senior Researcher at the Institut für Lern-Innovation at Friedrich-Alexander-Universität ErlangenNürnberg. His background is in Cognitive Science, Serious Games, ICT and Education. He is involved in a number of European projects with focus on education, e-learning and Serious Games. He has published numerous peer-reviewed conference and journal papers. Wen Qi researcher at CELSTEC Open Universiteit. PhD in Men Machine Interaction. Research interests are in Virtual Environments, Serious Games (for learning) and Human Computer Interaction. He has worked in different research projects in both academia and industry. Those research projects were sponsored by US, European and national funding agencies. He is now active in gaming based learning. Rosa Reis teaches at IPP-ISEP, Computer Engineering Department. MSc on Information Systems in Education and PhD student on Informatics at University UTAD-Tras-os-Montes and Alto Douro, Vila Real. Researcher at GILT-Graphic Interaction & Learning Technologies. Researches application of techniques of software engineering in design of educational collaborative virtual environments. Involved in several National and European research projects, presently regular reviewer of several conferences and scientific journals. Christian Reuter studied Computer Science at TU Darmstadt and finished his Master Thesis about the “Development and Realization of Methods and Concepts for Multiplayer Adventures” in 2011 before he then joined the Multimedia Communication Lab. His research focus includes the Authoring-Platform “StoryTec”, especially its extension for multiplayer serious games. Tiago Ribeiro is an eclectic researcher seeking harmony between arts and technology. He has been collaborating internationally on research projects like LIREC and EMOTE, and also with CMU, focusing especially on non-verbal expression in robots both through animation and sound. He is currently in an early stage of obtaining his PhD, in which he pursues artist-oriented intelligent robot animation. Gabriela Rodríguez has a B.A. degree in Spanish Literature and a M.A. in Education. She is currently a PhD student at Turku University’s Faculty of Education, where she is part of a research group designing a mathematical Serious Game as a tool to develop flexible and adaptive use of arithmetic strategies amongst upper elementary children. Martin Ruskov is currently a PhD student at the UCL Deptartment of Computer Science. He has previously worked in the areas of interactive storytelling and authoring tools for multimedia publishing. For his PhD Martin explores how to develop effective serious games and measure the learning happening with their use.

xvii


Eric Sanchez is associate professor at the Ecole Normale Supérieure de Lyon, head of EducTice, a research team of the French Institute for Education and adjunct professor at the University of Sherbrooke, QC (Canada). His research work concerns the uses of digital technologies for educational purposes (e-learning, simulation, serious games). Luciano Santos has a graduate degree in informatics engineering from the Engineering School of the Porto Polytechnic (ISEP) in 2011, and is currently undertaking a Master’s degree in graphics and multimedia systems at ISEP. Ángel Serrano-Laguna, MSc, works for the Complutense University of Madrid as a researcher in the e-UCM e-learning group as well as being a PhD student. His current research interests are educational video games, learning analytics and the eAdventure project. He has published 8 academic papers related to these topics. Helga Sigurdardottir is a PhD candidate at the Nord-Trøndelag University College. She is attending the PhD program in Interdisciplinary Culture Studies at The Norwegian University of Science and Technology, Trondheim, Norway. Helga has a bachelor degree in Social Anthropology, a Master in Education (Program Evaluation) and a Teacher Certificate from The University of Iceland. Petr Smutný is assistant professor at the Department of Corporate Economy of Faculty of Economics and Administration, Masaryk University, Brno, Czech Rep. His current research focuses on managerial simulation games effectiveness and leadership effectiveness. He teaches several courses using game based approach. Currently he is vice-dean for external affairs of the faculty. Heinrich Söbke researcher in “Intelligent Learning” programme (www.intelligentes-lernen.de) at Bauhaus-Universität Weimar. Focuses on game based learning, where his background in computer science enables him to transfer software design principles into technical design of video games. Ws visiting scholar in Department of Curriculum & Instruction at University of Wisconsin, Madison, when worked on development of educational games at Morgridge Institute for Research. Mario Soflano is a researcher at University of the West of Scotland. His background education is in computer science. His main interests are computer games technology, games design, educational technology, web development, adaptive system and mobile games / software development. Pooya Soltani has a M.Sc. degree in Exercise Physiology from Shiraz University, Iran. He is now a PhD candidate of Sport Science at University of Porto. He’s interested in characterizing Exergames and their effects in three domains of physiology, biomechanics and psychology. He’s working at Porto Biomechanics Laboratory under supervision of Professor João Paulo Vilas-Boas. Narumon Sriratanaviriyakul (Cherry) is Senior Lecturer in Centre of Commerce and Management at RMIT University Vietnam and has 8 years of teaching experience in higher education in international universities. Her research interests include gamebased learning, online social network, case study methods, and technology in education. Martin Steinicke earned his BSc. and MSc. in Business Informatics at University of Applied Science HTW-Berlin. He works in the research project „Innovationsdramaturgie nach dem Heldenprinzip“ headed by Professor Carsten Busch and teaches DGBL. His work centers on game based learning in the business context and information & knowledge diffusion in social networks. Gunilla Svingby is a Professor of Education, at Malmö University, Sweden. I was professor at Lund University, Gothenburg, Oslo University, and Tromso University. Some research projects: A computer game on ethics as a learning environment, Continuous assessment and dynamic examination, Professional competence with simulations in teacher education, Learning by mobile games, Mathematics for the digital generation. Emilia Todorova has recently graduated in BSc Information Systems Development from Glasgow Caledonian University. She has worked on projects involving the Bologna Process, Quality Assurance and Education Policy. Her research interests are on improving learning and teaching, using technology within higher education and quality assurance in the EHEA. Ofut, Ogar Tumenayu: obtained his bachelor degree in Computer science from Cross River University of Technology, Calabar, Nigeria. He is currently studying for his master degree in Volgograd State Technical University Volgograd, Russian Federation. His scientific research is in field of Design and implementation of adaptive Educational Games. Herre van Oostendorp is Associate Professor Human-Media Interaction at the Institute of Information and Computing Sciences, Utrecht University. His research activities are on the domain of Human-Computer Interaction. He is a specialist on the areas of web navigation, hypertext comprehension, usability engineering and cognitive principles in serious game design xviii


Didin Wahyudin is a lecturer in Indonesia University of Education, Bandung. He received Master degree in Game Technology from Bandung Institute of Technology, Indonesia. He has experienced as a first responder in many disasters. Currently, He is a PhD student at School of Information Science JAIST Japan focusing on research of Mobile Game Based Learning. Ayelet Weizman Director of science education at Snunit center for the advancement of web-based learning, located at the Hebrew University of Jerusalem. Designing educational games and interactive learning and teaching materials in science on several websites. PhD in Planetary Sciences from Tel Aviv University and post doctorate studies in science education at Michigan State University. Viktor Wendel received his degree in Computer Science from the Julius-Maximilians-University of Würzburg in 2009. Since November 2009, he is working as a research assistant at the Multimedia-Communications-Lab at the Technical University of Darmstadt. Research topics are Game Mastering in Multiplayer Serious Games, and Collaborative Learning. Further, he is an editor for ACM SIGMM Records. Dr Nicola Whitton is a Research Fellow at Manchester Metropolitan University, specializing in the innovative use of learning technologies in Higher Education. Her particular interest is in the design and use of computer games with adult learners and she is the authors of Digital Games for Learning, a practical guide to educational game development. Amanda Wilson is a research student at the University of the West of Scotland. Her research focuses on how games based construction learning can be implemented into the curriculum within primary education in Scotland using Scratch. Andrew Sean Wilson worked in biomedical research for last twenty years. Interested in use of technology in medical research particularly in the management of musculoskeletal diseases. Designed and developed educational computer programs to help patients and practising doctors gain better understanding of how to manage these diseases. Sees game based learning as another way of assisting in this. Amel Yessad is PhD in computer science. Currently, she is an associate professor in the team MOCAH–LIP6 of the University Pierre et Marie Curie. Her research focuses on knowledge engineering, technology enhanced learning, and serious games. Dr Yessad is involved in several serious game projects. Ebru Yeniman Yildirim is a senior lecturer and Head of Computer Technology & Programming at Uludag University, Bursa, Turkey. She has written books on computer programming and managed many large-scale EU projects on Vocational Training. She is interested in e-learning, how new technologies impact on the teacher’s role in the classroom and game based learning. Matej Zapušek is employed as teaching assistant for computer science courses at University of Ljubljana, Faculty of Education. He is also a PhD student at University of Ljubljana, Faculty of computer and information science. His main field of interest is researching the possibilities for teaching introductory programming with intelligent tutoring systems. Symeon Zourelidis is a postgraduate student of the M.Sc. program "ICT in Education", in the National Kapodistrian University of Athens. He works as a director in primary school. He participates in teacher training course for the use and the application of ICT in the classroom. Research interest focuses on new technologies in education.

xix


Teachers’ Beliefs About Game Based Learning: A Comparative Study  of Pedagogy, Curriculum and Practice in Italy, Turkey and the UK  Yasemin Allsop1, Ebru Yeniman Yildirim2 and Marina Screpanti 3  1 Wilbury Primary School, London, UK  2 Uludag University, Bursa, Turkey  3 Istituto comprensivo n.3 Chieti, Italy  yallsop@msn.com  yeniman@uludag.edu.tr  marina.screpanti@virgilio.it    Abstract: Digital games are more popular than ever among children and young adults (Prensky 2001; Gee 2003; Fromme  2003;  Oblinger  2004).  Recent  reviews  show  that  children  spend  hours  playing  video  games  either  on  their  console  or  digitally online. Educators started to see the power of this new medium and explore ways to use digital games to support  learning  within  schools. Incorporating  digital  games  into  classrooms,  however,  has  been  a  challenging  task  for  many  reasons; According to Jessel (2012) “Innovation arising from new technologies makes a variety of demands upon the role of  the  teacher”.  The  question  is;  are  the  teachers  ready  for  these  demands,  as  the  new  technologies  transform  their  role  continually? This  study  aims  to  give  a  comparative  account  of  teachers’  views  of  their  role  when  teaching  using  digital  games  in  primary  classrooms.  Additionally  it  investigated  the  interrelation  between  game  based  learning,  curriculum,  pedagogy and practice. This study presents the views of teachers from Turkey, Italy and the UK. In‐depth interviews and an  online survey were used to find out the teachers perceptions of game based learning and how this impacts on their roles as  a  teacher.  The  research  also  analyzed  the  interview  findings  to  understand  the  dynamics  between  curriculum  design,  learning  culture  and  practice  when  implementing  game  based  learning.  The  research  found  that  there  is  a  strong  link  between how learning is designed to incorporate digital games, the theories and strategies that have been used to deliver  the curriculum and how this manifests itself in practice within the classroom. The research also showed that teachers are  aware that their roles when using new technologies in education has changed, however, because of the lack of necessary  training  they  are  not  clear  on  how  to  adopt  these  changes.  In  some  countries  the  curriculum  was  flexible  enough  to  accommodate  game  based  learning,  however,  in  some  without  a  radical  reform  this  would  not  be  possible.  The  mass  difference between country specific curriculum, pedagogy and practice highlights the need for a flexible model or approach  of embedding digital games into primary classrooms.    Keywords: game based learning, digital game design, teachers’ perceptions, curriculum, pedagogy, teacher’s role in GBL. 

1. Introduction The recent review into educational value of digital games suggests that games facilitate learning and provide  opportunities  for  developing  transferrable  skills  such  as;  problem  solving,  critical  thinking  and  collaboration  (Allsop  2012;  Squire  2003;  Kirriemuir  and  McFarlane  2004),  hence  the  implementation  of  digital  games  into  primary classrooms is still at the beginning phase. It is evident that many children spend hours playing digital  games  and  researchers  continue  to  investigate  the  educational  potential  of  learning  with  this  medium,  thus  teachers are still not fully clear about their role in the GBL environment. This may be due to a lack of education  authorities establishing clear policies for both learning with games and game making in education in relation to  teacher’s role, or not giving enough time to teachers to get familiar with the mechanics of the digital games.  Another  reason  could  be  not  training  teachers  in  pedagogical  knowledge  that  they  need  for  teaching  with  digital games, as it transforms the learning space into a dynamic lab, which may require adoption of different  teaching strategies and classroom management skills.     According to Jessel (2012), “Innovation arising from new technologies makes a variety of demands upon the  role  of  the  teacher”.  He  continues,  “At  another  level,  the  introduction  of  innovation  makes  major  demands  upon teachers' pedagogical, professional and managerial skills.” Surely, using traditional methods of teaching  will not fully support teachers to utilise the potential of learning with digital games. As the new technologies  constantly evolve, maybe the focus point should be moved from the instrument itself to developing a model  for  teachers  to  learn  to  evaluate  each  medium  in  terms  of  what  can  be  achieved  in  practice  and  which  strategies need to be adopted.    

1


Yasemin Allsop, Ebru Yeniman Yildirim and Marina Screpanti 

2. Research aims  The main goal of this research is to provide a broad review of teachers’ perception on the use of computer  games in primary schools in Italy, Turkey and the UK.  Additionally, to find out the key factors which impact on  teachers’  attitudes  to  using  digital  games  in  teaching.  It  also  aims  to  explore  what  works  well  in  supporting  teachers to embed digital games into their teaching practice through investigating the interrelation between  pedagogy, curriculum and practice. 

3. A dynamic alliance: Curriculum, pedagogy and practice  Before exploring the interrelation between the dynamic trio; curriculum, pedagogy and practice, we need to  understand  the  term  ’pedagogy’  within  the  context  of  education.    Mortimore  (1999)  describes  pedagogy  as  ‘any conscious action by one person designed to enhance learning in another’, Hanks et al (1986) refers it as  the  ‘principles,  practice  or  profession  of  teaching’.    It  is  clear  that  pedagogy  includes  ‘teaching’,    ‘learning  space’, ‘content’ and ‘methods’. Therefore, pedagogy can be seen as the umbrella concept shaping the strands  of curriculum and practice. In other words, how curricula content manifests into knowledge and skills in the  classroom, mainly shaped by how it has been taught in practice. The issue is that pedagogical approaches to  education are not necessarily detached from cultural traditions and beliefs, thus transforming the education  systems  to  accommodate  game  based  learning  is  a  more  complex  task  than  just  re‐arranging  a  classroom  space.    Pepin  (2010)  suggests  that  the  cultural  traditions  and  philosophical  beliefs  of  countries  determine  the  principles that national curriculum is designed upon, along with teachers’ pedagogies in schools. Consequently,  the  content  and  aim  of  the  curriculum  itself,  places  expectations  on  teachers.  In  many  education  systems  where  curriculum  is  designed  to  evaluate  learning  through  test  scores,  teachers  use  pedagogy  to  serve  and  meet  this  purpose  rather  than  focusing  on  how  to  develop  learning.  This  does  not  only  limits  the  teachers  methods to lead teaching, but also the notion of meeting different learning needs of students which in most  cases results as a failure in education.     In England, ICT was placed in the National Curriculum for England (1999) for children from the ages 5‐16 as an  individual  subject  and  also  as  a  tool  for  teaching  and  learning.  Although  the  position  of  digital  games  in  education was not defined, the potential of new technologies for developing thinking skills was emphasised. In  the  new  Draft  National  Curriculum  for  England,  which  will  be  active  from  2014,  the  term  ICT  replaced  by  Computing,  and  the  writing,  designing  and  testing  programs  included  as  part  of  the  study  programme.  The  focus is to teach pupils how digital systems are designed and programmed, then allowing them to apply this  knowledge to solve problems, by designing solutions and creating products. Although it is a pleasing outcome  to have programming as part of the curriculum, it places demands on schools, whereby they now need to plan  how to deliver these attainment targets as lessons. Certainly game design activities can be used to meet these  aims,  however  in  most  cases,  game  design  activities  were  limited  to  after  school  clubs,  mostly  run  by  enthusiastic volunteer teachers, therefore, preparing the whole school to meet this new phase may present  challenges.  Including  programming  in  the  curriculum,  does  not  guarantee  it  will  be  practiced  in  schools.  As  mentioned  before,  having  new  technologies  as  part  of  the  curriculum,  places  demands  on  teachers,  which  requires training in both pedagogy and technology. Budget cuts in the UK has impacted on the level of training  services provided by Local Education Authorities and City Learning Centres, which were established to offer ICT  based  learning  opportunities  for  schools  and  for  the  wider  community.  The  current  review  of  GBL  (Games  Based Learning) in the UK shows that although there are many teachers interested in game based learning, the  use  of  digital  games  in  the  classroom  is  seldom.  A  lack  of  teacher  subject‐knowledge,  not  enough  training  opportunities, technical problems, cost, e‐safety concerns and learners not necessarily seeing a link between  games and learning are seen as the barriers to the use of digital games in education by teachers (Becta 2010).    On  the  other  hand,  when  we  look  at  the  Curriculum  for  Excellence  in  Scotland  (2009),  the  scenario  is  quite  different. It clearly  states  that  computer  games  develop problem  solving  skills  and collaboration. Along  with  this, the Scottish Centre for Games and Learning provides digital resources to support teachers and the wider  school community, which widely encourages the use of games in education. Learning and Teaching Scotland  have  run  many  projects,  which  have  focused  on  the  use  of  commercial  games  in  schools  to  stimulate  and  engage  learners.  It  is  quite  clear  that  the  shared  mission  between  schools,  curriculum,  researchers  and  constant  communication  were  key  to  the  successful  implementation  of  digital  games  in  schools  in  Scotland.  One  good  point  about  both  curriculums  is,  giving  teachers  the  flexibility  to  use  different  methods  and 

2


Yasemin Allsop, Ebru Yeniman Yildirim and Marina Screpanti  instruments to teach and also the opportunity to be creative about it. This again, presents the importance of  the teacher’s role in bringing new technologies into a classroom.     In Italy, although games and its benefits are mentioned in the curriculum (la normativa italian dal 2007), this  does not necessarily point at digital games. In general, the use of ICT in education to develop the knowledge  and  skills  of  pupils  in  this  digital  age  was  included  in  the  curriculum  under  the  Computer  Science  and  Technology title.  The role of ICT as a tool for learning was well defined for primary levels. According to the  document,  by  using  ICT  for  learning,  pupils  will  learn  to  present  and  share  their  work;  they  will  also  use  educational  games  for  communication  and  collaboration.  Teachers  in  Italy,  are  very  interested  in  using  new  technologies including digital games in their teaching, however they don’t feel confident enough to use them.  One  interesting  point  is,  the  inclusion  of  ICT  in  initial  teacher  training  in  terms  of  both  technical  skills  and  pedagogical  approaches.  Although  there  are  training  opportunities  for  in  service  teachers,  these  are  not  compulsory. There are no requirements for teachers to have ICT skills.  Innovative teachers are described as,  those who adopt active learning methodologies and use new digital technologies to meet student’s needs and  learning goals. The integration of ICT into cross‐curricular subjects especially for learning languages and basic  skills in maths and literacy is still a work in progress. Some teachers suggest that e‐twinning had a great impact  on this as it encouraged them to use new technologies for collaborative work.    In  Turkey,  the  General  Directorate  of  Educational  Technologies  department,  which  is  part  of  the  Education  Ministry,  is  responsible  for  the  implementation  of  new  technologies  in  education  for  the  whole  country.  As  part of the FATIH Project, the Turkish government provided schools with the main technical equipment such  as; computers, Internet access, IWB and tablets. Although ICT is included in the curriculum, which is prepared  at a national level, a recent review showed that it is not successfully integrated into the curriculum in schools.  ICT is being taught as a specific subject in primary schools and as an optional subject at secondary level. Basic  IT  skills  are  being  taught  at  universities,  as  part  of  teacher  training  and  a  basic  IT  skills  certificate  is  a  requirement for gaining a teaching qualification. In‐service training for current teachers is provided constantly,  however this is usually aimed at technical knowledge, rather than pedagogies and the cross‐curricular use of  technology. In Turkey, where the evaluation of learning is based on test scores and the content of the lessons,  provided  by  the  central  education  authority,  there  is  almost  no  flexibility  for  teachers  to  try  using  different  tools  and  strategies  in  their  teaching.  Teachers  don’t  just  have  to  understand  the  changes  that  new  technologies  bring  upon  them,  but  also  the  demands  of  constant  educational  reforms  by  the  Education  Ministry.  Although  there  are  a  number  of  universities  working  along  with  the  Education  ministry  and  supporting them in making policies, teachers and learners are not necessarily included in the communication  circle,  which  may  impact  on  their  attitude  to  new  technology.  Investing  heavily  in  technology,  but  not  in  training teachers to use new technologies including digital games and game design in education purposefully,  can be noted as the main reason for teachers not using digital games in teaching. 

4. Literature review  The  recent  literacy  review  of  teachers’  perceptions  of  game  based  learning,  digital  technologies  in  general  presents diverse results. Gaffney (2010) explored the factors and design principals in technology adoption. He  concluded,  “Actions  of  governments,  education  authorities,  schools,  teachers  and  students  are  aligned  and  integrated  through  the  implementation  process  to  increase  teacher  use  of  such  resources  for the benefit  of  students”.  This  points  to  the  importance  of  collaboration  and  communication  between  the  stakeholders  of  education. We would add the universities and teacher training institutes into this list too, as they also play an  important role in not only providing teacher candidates with training on current practices, but also developing  the theoretical framework which involves teachers, learners and policy makers.    Egenfeldt‐Nielsen (2011) used an online teacher survey to find out about game based learning in schools.  The  participants were from Denmark, Finland, Norway, Portugal and the USA; Denmark having the highest number  with 185 participants of the 275 respondents in total. The results were very similar for each country, where  most  of  the  teachers  were  having  a  little  or  average  experience  with  games.  60%  of  the  teachers  used  computer  games  in  education  with  these  computer  games  providing  some  variety  in  teaching,  increasing  learner’s levels of engagement and opportunities for differentiating teaching being seen as the main reasons  for  using  games  in  education.  Technical  issues  such  as  cost  of  games,  lack  of  teacher’s  subject  knowledge,  problems with evaluating learning were listed as the foremost barriers towards teaching with games.    

3


Yasemin Allsop, Ebru Yeniman Yildirim and Marina Screpanti  Razak et al (2012) investigated the teachers’ views on the approach of digital games‐based learning within the  curriculum for excellence, in primary schools across Renfrewshire in Scotland. They used an online survey and  49 primary schools were included in the research. They had 62 responses from teachers. 100% of the teachers  were  female  with  a  mean  age  of  32.8.  They  also  interviewed  teachers  who  had  been  identified  from  the  survey. 39% of the teachers stated that they used only computer games, whereas 50% noted that they never  used computer games or game creation tools. 3% of the teachers cited that they used only game creation tools  and 8% said that they used both computer games and game making tools. Most of the games that were used  by  the  teachers  were  categorised  as  free  online  maths  and  language  games.  As  a  conclusion  the  research  showed  that  digital  game  based  learning,  game  design  in  specific  was  not  widely  used  in  primary  schools  in  Renfrewshire, Scotland.    The  Teaching  with  Games  report  by  Futurelab  (2013)  investigated  the  use  of  commercial  off–the‐  shelf  computer  games  in  formal  education  both  in  the  UK  and  the  International  arena  through  literature  reviews  from  2006  and  onwards.  The  study  found  that  the  motivational  power  of  games  was  the  main  reason  for  teachers to use games in class. Although 59% of all teachers stated that they would use games in the future,  37% noted that they wouldn’t use games in education because games had little or no educational value. The  barriers to the use of games in schools were; issues with equipment, difficulty in assessing learning, not having  games relevant to the curriculum and games having no educational value. One interesting finding of this report  was that 72% of teachers never played games outside of the school environment.  

5. Methodology Although a qualitative method was adopted for the preliminary data, this study employs both quantitative and  qualitative approaches including; a teacher survey and in‐depth interviews to understand the context of the  teachers’ beliefs about game based learning. 

6. Ethics In qualitative research, informed consent needs to be sought and may be withdrawn at any time, and it is also  important  to  include  direct  talk  regarding  the  continued  willingness  to  participate  (Cassell,  1982).  The  participants  were  given  information  about  the  aims  of  this  research  project  and  were  aware  that  they  may  withdraw from the project any time.  

7. Data analysis  Online Survey    An online survey containing 10 closed questions was used for the data collection. The survey link was shared  on social networks and professional groups in the UK and Italy. The link for the survey in Turkish was sent to  the  Education  Directorate  in  various  cities  in  Turkey,  which  was  placed  on  their  intranet  with  local  schools.  There were 46 responses from the UK, 49 from Turkey and 43 from Italy, totalling 138 altogether. 42% of the  teachers were aged between 31‐40, 31% were below 30, 15% between 41‐50 and 12% were between 51‐60.   The gender distribution was; 66% female and 34% male.    When we looked at the teachers’ personal experience of game playing, the UK teachers had more experience  than others (89%), whereas 43% of Turkish teachers had no experience of gaming. Experience of teaching with  games also showed a similar result, where only 11% of UK teachers had no experience of teaching with games;  this was followed by 39% of Italian teachers and 43% of Turkish teachers. However when asked about their  experience  of  teaching  game  design,  all  three  countries  had  similar  results,  almost  70%  of  UK,  Turkish  and  Italian teachers stated as they had no experience of teaching game design.    Digital games were mostly used for teaching Mathematics, literacy (English, Turkish and Italian), science and  languages. A majority of the teachers in all three countries cited that they would use digital games for teaching  in the future, around 10% were undecided and about 12% of Italian and Turkish teachers said they would not  use digital games for teaching.     Figure 1 presents the most popular reasons for using digital games in the classroom. Games have motivational  power,  games  improve  learning  (In  a  specific  subject;  maths,  literacy,  language),  encourages  creativity, 

4


Yasemin Allsop, Ebru Yeniman Yildirim and Marina Screpanti  develops problem solving/ critical thinking skills, provides opportunities for collaborative working were listed  as the main reasons by teachers.  

Figure 1: Reasons for considering using digital games in the classroom for educational purposes  When  asked  about  the  barriers  to  the  use  of  digital  games  in  the  class  (Figure  2),  again  the  result  was  very  similar in all three countries. Access to equipment in the classroom, teachers subject knowledge, relevance to  the curriculum, the lack of schools ICT capability were selected by most teachers. Interestingly, only around 8%  of the teachers saw evaluating learning as a barrier.     One interesting outcome was the way that teachers saw their role in teaching with games and teaching game  design.  Where  65%  of  the  teachers  stated  that  class  teachers  should  teach  game  playing,  60%  of  the  total  teachers said a specialist teacher should teach game design. This may be related to a lack of subject knowledge  or not having enough experience with game design. It would be interesting to see how this would change in  the UK, as the new Computing curriculum will be based on programming. 

Figure 2: Barriers to use digital games for educational purposes in the classroom enviromentr     

5


Yasemin Allsop, Ebru Yeniman Yildirim and Marina Screpanti  In‐ depth Interviews    Face to face In‐depth interviews were carried out with five teachers from each country. One of the research  team members carried out 3 of the 5 interviews in the school where she works. She has been teaching game  design in her school. Some of the teachers interviewed had had opportunities to watch her teaching on many  occasions. The interview data was grouped into modes of personal experience of gaming, teaching with digital  games,  the  advantages  of  GBL,  barriers  to  GBL,  impacts  on  learning  and  the  teachers’  role.  Figure  3  shows  these modes.    The data analysis presents that teachers’ personal experience with gaming differs in each country, where UK  teachers talk about playing with games from early ages, teachers from Turkey had little or no experience at all.  Boredom was the main reason for many teachers playing digital games.    In  all  three  countries  digital  games  were  used  for  teaching  the  main  curriculum  subjects;  maths,  literacy,  science and languages. Motivation, differentiation, fun were listed as the main advantages of GBL.  Learning  without realising was also mentioned by teachers from their countries. When discussing the barriers to GBL,  again  teachers  from  all  three  countries  talked  about  a  lack  of  subject  knowledge,  not  enough  training,  difficulties in the classroom and behaviour management were quoted.    Teachers cited many positive and negative impacts of GBL on pupils learning. Where some teachers suggested  that  GBL  develops  problem  solving,  creativity,  collaborative  skills,  thinking  skills,  visual‐spatial  skills,  some  shared  their  worries  of  not  meeting  the  learning  objective,  technology  killing  the  creativity  and  developing  shallow skills rather than in‐depth ones.    One teacher from the UK was quoted as “I think, it should support teacher led teaching rather than replacing  it; It can become a lazy way of teaching if you are not careful. It needs to be targeted carefully. I am worried  that it may take over traditional methods of children researching things, using books and reading. Rather than,  sometimes, this not so much games as much, but sometimes they read on the Internet, they read just a snip of  it,  but  when  they  use  a  book,  they  read  more.  You  know,  on  the  Internet,  everything  is  so  easy.  There  is  a  strong argument that, children should be taught traditional ways of researching. And they do copy. There is no  way of checking that, they go to child friendly sites”.    One interesting point was that the teachers made links between how learning manifests in the classroom and  how digital games are taught. In other words, their awareness of the relationship between the pedagogy and  practice.  “It is hard to say how digital games would impact learning. Outcome would very much depend on  the person teaching it and their teaching approach. Because in my experience, it is really easy to  get lost and carried away with digital games in the classroom. Kids can be / get absorbed, just a  fact that it is quite a fun and dynamic lesson, and not actually taking learning objectives from it.   If it is structured in a coherent way and appropriate strategies use then it can be very useful”.   Many  teachers  from  all  three  countries  mentioned  the  ‘learning  without  realising’  mode.  Teachers  thought  that this had a very positive impact on children’s attitudes to lessons as it made schools look like a less formal  place. They quoted:  “….. it doesn’t seem like you are learning, like school, it is not like write this down, copy this down.  They  enjoy  it.  It  is  entertaining.  I  don’t  think  they  see  it  as  learning,  where  we  know  that  even  though you are playing that game, you are learning how to do that maths activity, where they  think they are just playing games. They think we have been nice”.  “…..It  keeps  them  interested,  they  all  want  to  come  and  touch  the  IWB,  it  makes  them  pay  attention, they are learning but they don’t even realize they are learning”.           

6


Yasemin Allsop, Ebru Yeniman Yildirim and Marina Screpanti   

UK

Italy

Turkey

Games Played             

Commodore Amiga  Game boy  PlayStation  Nintendo  Puzzles  Quizzes  Logic games  Super Mario  Games on Mobile phone  Guitar Hero  Tablet  Boredom 

Spectrum Console  Monkey Island  Civilization       

Playing with kids  Online gaming  Logic games  Crosswords      Boredom 

Reasons for playing  games 

Teaching with digital  games 

Advantages of  Teaching with digital  games 

Maths Mental‐oral starter  Plenary  IWB  Reward  Tutorial  Visual  Repetition  Differentiation  Independent  Increased confident  Engagement  Learning without realizing  Reinforce  Assessment  Fun  Entertaining     

Barriers to teaching  using digital games 

Fitting it in  Meeting Learning Objectives  Distraction for learning  Kids off task  Recording  Kids over excited  Managing kids 

Impacts of GBL on  children’s learning 

Not creative  Shallow skills  Not meeting learning objectives  Thinking for themselves   

Teachers’ role 

Facilitator Lead children  Questioning  Lazy way of  teaching  Training needs   

Generational divide  Stand back more  Observe more  Director of a lesson‐  not controller  Subject knowledge  Experience 

Figure 3: In‐depth interview analysis   

7

Leisure time  Boredom  Professional  Developing brain power  purposes  Playing with own kids  Curiosity  Maths  Sometimes  English  Usually at the end of a  Science  lesson  Brain game  Maths  History  English  Geography    Revision  Motivation  Motivation  Learning by doing  Interested  Fun  Active learners  Differentiation  Inclusive  Collaboration  Fun  Technical skills  Entertaining  Learning fast    Learning without  realizing  Stimulating  Imagination  Instant feedback  Challenging  Digital divide  Time  Lack of teachers  Technical equipment  understanding  Lack of teachers knowledge Teachers attitude  Preparation  Parents attitude  Fitting in  Lack of technological  equipment  Fitting in  Logical skills  Problem solving  Memory  Cognitive skills  Emotional skills  Thinking skills  Social skills  Visual‐spatial skills  Creativity  Creativity  Closing digital divide Addictive  ICT skills  Reasoning  Critical thinking  Attitude to school  New strategies  Involving all learners  Teaching differently Active learning  Moving around  Student centered learning Action in teaching  More training 


Yasemin Allsop, Ebru Yeniman Yildirim and Marina Screpanti  One interesting finding was the teachers’ knowledge and understanding of their role and the new strategies to  use  when  teaching  with  games  and  teaching  game  design.  Terms  such  as  ’facilitator’,  ‘teaching  differently’,  ‘active learning’, and ‘stand back more’ were widely used. The teachers were aware that they needed to stand  back more and act as a coach or a guide in the classroom. They also discussed the importance of questioning  rather than just showing learners what to do. One teacher who watched one of the members of the research  team teaching game design was quoted as saying;  “From what I can gather, watching others and you, it seems like you are much more of a director  of the lesson more than a controller if that makes sense. You are pushing the kids towards the  right direction; you gave them license to run as far as they can, if they get it wrong or they need  support  you  sort  of  wheel  them  in.  It  seems  to  me  you  give  kids  more  license  to  learn,  which  I  think is a very positive thing to do”.   This  also  emphasises  the  importance  of  team  teaching  or  teachers  having  an  opportunity  to  watch  others  teaching with games or game design. This is especially useful when modelling how pedagogy is put in practice  through teaching strategies in the classroom.      Teachers see their new role as more active and interactive when teaching with games or game design.  “ … Because teaching with games means teaching in a totally different way. No teacher sat at a  teachers  desk  and  pupils  listening,  but  movement,  action  in  teaching”,  stated  a  teacher  from  Italy.   Many Turkish teachers talked about how they use digital games to change students’ attitudes towards school  by  making  learning  fun.  One  teacher  in  particular  mentioned  that  using  games  in  teaching  changes  the  way  learners perceive the teachers. The teacher was quoted as saying:  “It changes the way students see you, you can be a hero in their eyes’”.   Another teacher stated that digital games are like a second language to kids. Furthermore it was added that  using  games  in  teaching  allows  teachers  to  re‐shape  their  communication  with  the  learners,  which  then  impacts on their behaviour and attitude to learning as a whole. Teachers in all three countries had a similar  view almost in all the topics. Only one teacher talked about the negative impacts of teaching with games on  the teacher rather than the learner. 

8. Discussion and conclusion  Our research data indicates that teachers are interested in teaching with digital games and most of them see  digital games as an effective educational tool. Their use of games in teaching varied in each country and even  between the teachers within the same country. Not having a clear framework on GBL within the curriculum to  guide  them  in  the  classroom,  lack  of  subject  knowledge  and  not  knowing  how  to  adopt  new  pedagogical  approaches stopped them from using games in teaching and it also impacted on their view of teaching with  games.  Most  of  the  time  digital  games  were  seen  as  a  reward  or  a  tool  with  which  to  achieve  a  specific  curriculum target in a specific subject. Although some teachers mentioned the impacts of games on developing  transferable skills such as; problem solving, critical thinking, collaboration and creativity, there is no indication  that the teachers know how to design the GBL space to achieve this.  It can be suggested that teachers need to  be trained in the best methods of teaching with games through a simplified pedagogy.  The reason we use the  term ‘simplified pedagogy’ is because trying to teach teachers detailed theories of GBL is time consuming and  is  not  always  useful,  unless  they  are  modelled  in  the  practice.  Therefore  training  them  in  pedagogy  using  practical  strategies  such  as;  questioning,  classroom  and  behaviour  management,  classroom  design  as  a  learning space, and planning lessons using GBL can be more effective.    Many teachers were worried about behaviour management and monitoring children when using digital games  for teaching. It is evident that GBL transforms the way a classroom is arranged as a learning space physically  and also the way teachers manage it.  Surely if students were told to be quiet, it is not realistic to expect them  to develop any communication or collaborative skills. This can also have an impact on how students perceive  learning with games. It can be fun or boring, depending on how it has been used.     Another important finding was that in all three of these countries, it appears that the link between the policy  makers,  research  institutes  and  schools  seems  to  be  either  unclear  or  doesn’t  exist.    Although  there  are  organisations providing reports on game based learning in schools and presenting the issues to focus on, this 

8


Yasemin Allsop, Ebru Yeniman Yildirim and Marina Screpanti  message is not necessarily reaching out to the schools and more importantly the teachers or policy makers.  One  interesting  point  is  that  teacher  training,  both  in‐service  and  initial  teacher  education  in terms  of  using  new  technologies  including  GBL,  and  pedagogies  to  support  these,  has  not  been  seen  as  a  priority  in  any  country mentioned here. In other words teachers were left alone to work out how to teach with games. This is  a worrying outcome, as the teachers’ attitude to digital games is negative and if they see digital games with no  educational  value,  they  will  never  include  it  in  their  teaching.    One  teacher  described  this  as  ‘enlarging  the  generational divide’.     Another valuable facet is how country specific curriculum design affects the way teachers use digital games in  practice.  The  national  policies  on  the  use  of  digital  games  in  education  differ  considerably  not  only  from  country to country but also from school to school, where the decision is left to school managers or in many  cases the teachers individually. Interestingly in some countries although technology is available, game based  learning still did not made its way into the classroom. Therefore it will be useful to focus on developing flexible  models of GBL spaces.    In  this  study  we  aimed  to  find  out  about  teachers  beliefs  of  game  based  learning  and  how  this  related  to  curriculum,  pedagogy  and  their  practice.  Where  the curriculum,  content  of  lessons  was  developed  by  policy  makers and theories discussed by researchers, it is inevitable that teachers are confused about their direction  in  this  cycle.  It  is  vital  that  research  institutes  focusing  on  GBL,  establish  a  clear  and  constant  two‐way  communication with teachers to develop GBL in primary schools. They should not only aim to train teachers  but also start listening to them, which will feed into their research. This will give an active role to teachers in  developing GBL theory and practice, which may help them to keep up‐to‐date with the latest findings in the  area.  In a similar approach, policy makers should have clear aims and instructions on integrating digital games  into  classroom.  They  should  involve  the  research  institutes  and  also  teachers  from  the  classrooms  directly  when writing policies on GBL.  We don’t think that having research institutes views on teachers’ perception will  provide an in depth account of teachers understanding and practice of teaching with games. Finally in order to  support  teachers  in  various  countries  for  developing  GBL  practice,  further  comparative  studies  are  required  and more often. This will provide us with a very valuable result; the change in teachers thinking on GBL over  time. 

References Allsop, Y (2012) “Exploring the Educational Value of Children's Game Authoring Practices: A Primary School Case Study”,  Proceedings of the European Conference on Games Based Learning, p21.  Becta (2010) “Harnessing Technology School Survey: 2010”, [Online] http://dera.ioe.ac.uk/1544/1/  becta_2010_htss_report.pdf   Cassell, J. (1982) “Harms, benefits wrongs and rights in fieldwork”. In J. Seiber (Ed.), The Ethics of Social research:  Fieldwork, Regulation and Publication, Springer verlag, New York.  DfES (1999) The National Curriculum for England and Wales, DfES, London.  DfE ( 2013) “Computing Programmes of Study Key Stages 1‐4” [online],  http://media.education.gov.uk/assets/files/pdf/c/computing%2004‐02‐13_001.pdf  Egenfeldt‐Nielsen, S. (2011) “International survey of the experience and perceptions of teachers” in Egenfeldt‐Nielsen, S.,  Sørensen, B. H. and Meyer, B. (eds.) Serious Games in Education – a Global Perspective, Aarhus University Press:  Aarhus  Fromme, J. (2003) “Computer games as a part of children’s culture”, The International Journal of Computer Game  Research, 3(1).  Gaffney, M. (2010) “Enhancing teachers' take‐up of digital content: Factors and design principles in technology adoption”,  [online], http://www.ndlrn.edu.au/verve/_resources/Enhancing_Teacher_Takeup_of_Digital_Content_Report.PDF  Gee, J.P. (2003) “From video games, learning about learning”, [online] http://chronicle.com/article/From‐Video‐Games‐ Learning/8730/   Hanks, P., McLeod, W. and Urdang, L. (Eds)(1986) Collins dictionary of the English language, Collins, London & Glasgow.  Jessel, J. (2012) “Social, cultural and cognitive processes and new technologies in education” in Miglino, O., Nigrelli, M. L.,  & Sica, L. S. Role‐games, computer simulations, robots and augmented reality as new learning technologies: A guide  for teacher educators and trainers, Liguori Editore, Napoli.  Kirriemuir, J., and McFarlane, A. E. (2004) “Literature review in games”,  [online],  http://archive.futurelab.org.uk/resources/documents/lit_reviews/Games_Review.pdf    Mortimore, P. (Ed.) (1999) Understanding Pedagogy and its Impact on Learning, Paul Chapman Publishing, London  Oblinger, D. (2004) “The Next Generation of Educational Engagement”. Journal of Interactive Media in Education, 2004 (8)  Squire, K. (2003) “Video games in education”, International Journal of Intelligent Simulations and Gaming, 2(1), 49‐62. 

9


Yasemin Allsop, Ebru Yeniman Yildirim and Marina Screpanti  Pepin, B. (2010) “How educational systems and cultures mediate teacher knowledge: teacher 'listening' in English, French  and German classrooms” (p. 119‐138), in Ruthven, K. and Rowlands, T. (eds) Mathematical knowledge in teaching,  Springer, Dordrecht.  Perrotta, C., Featherstone, G., Aston, H. and Houghton, E. (2013) “Game‐based Learning: Latest Evidence and Future  Directions” NFER (FUTURELAB), Slough, [online], http://www.nfer.ac.uk/nfer/publications/GAME01/GAME01.pdf  Prensky, M. (2001) “Digital natives, digital immigrants”, [online], http://www.marcprensky.com/writing/prensky%20‐ %20digital%20natives,%20digital%20immigrants%20‐%20part1.pdf   Razak, A. A., Connolly, T. M., Baxter, G. J., Hainey, T., Wilson, A. (2012). "The Use of Games‐based Learning at Primary  Education Level within the Curriculum for Excellence: A Combined Result of Two Regional Teacher Surveys", VI  European Conference on Games‐based Learning (ECGBL), Cork, Ireland, October.   

10


Using Gamification to Animate a Virtual Community  António Andrade and  Carlos Vaz de Carvalho  GILT ‐ Graphics, Interaction and Learning Technologies, ISEP, Porto, Portugal  1110030@isep.ipp.pt  cmc@isep.ipp.pt    Abstract: A Community of Practice (CoP) is a group of individuals who willingly come together because they have common  interests  in  a  specific  area  and  want  to  develop  their  skills  and  competences  by  collaborating  with  other  members  and  sharing their experience. CoPs have been applied to diverse environments, including organizations, education, associations  and  the  social  sector,  as  well  as  the  governmental  institutions  and  international  development.  A  community  of  practice  may  emerge  from  both  bottom‐up  or  top‐down  initiatives  and  it  will  exist  as  long  as  the  members  believe  they  have  something to contribute to it, or gain from it. The widespread access to personal computers and to the internet made the  virtual environment very interesting for communities of practice, providing collaboration tools and both synchronous and  asynchronous forms of communication. However, some differences and drawbacks in the interaction between individuals  are  also  registered  in  the  translation  to  the  virtual  environment.  Keeping  these  communities  alive  depends  a  lot  on  the  motivation of members, on their commitment and will to participate. Those are not easy to attain and maintain, especially  on the online environment. Different approaches have been implemented to animate a community (be it real or virtual)  and  ensure  a  high  level  of  communication  and  experience  sharing.  Of  course,  providing  a  rich  and  valuable  knowledge  repository is crucial, but the question is, how to turn passive community members into active participants? In this paper we  present  three  communities  of  practice  with  completely  different  domains  and  communities  (footwear  industry  professionals,  trainers  and  trainees;  innovation  and  marketing  students,  teachers  and  experts;  and  serious  games  practitioners and researchers). We compare the approaches that were used to animate the individuals to participate and  to  be  involved  in  those  communities.  In  particular,  we  present  the  results  of  using  gamification  as  a  form  of  motivating  participants.     Keywords: communities of practice, gamification, serious games, collaboration, participation, motivation 

1. Background A Community of Practice (CoP) is a virtually unified or physically collocated body of individuals who willingly  come  together  with  or  for  a  common  set  of  traits  or  interests  that  revolve  around  a  specific  topic  or  set  of  topics, and who wish to learn about or to help evolve and mature such interests through collaborative efforts.  In short, it is a group of people who share a common interest in a particular domain or area and created the  community  with  the  specific  goal  of  gaining  knowledge  related  to  that  field  through  the  process  of  sharing  information  and  experience  within  the  group  (Wenger,  1998).  As  such,  a  community  of  practice  is  often  organically  created,  bottom‐up,  with  as  many  objectives  as  members  of  that  community,  although  institutionalized, top‐down, approaches are also possible.    One of the most famous examples of such community happened within the Xerox company, where co‐workers  spontaneously  organized  a  kind  of  internal  support  group  and  knowledge  base,  making  common  problem  solving  easier  for  other  colleagues  (Orr,  1986).  Eventually  the  company saw  the  value  of  such  structure  and  created the Eureka project (Brown and Duguid, 2000), a formal company approach to generalize this model, in  fact recognizing its validity.    CoPs  have  been  applied  to  diverse  environments,  including  organizations,  education,  associations  and  the  social sector, as well as the governmental institutions or for the international development. Typical activities  engaged  inside  a community  of  practice  relate  to problem  solving;  information  request;  experience  seeking;  asset reuse; coordination and synergy; development discussion and knowledge mapping (Wenger, 2006).     The structural characteristics of a community of practice are (Wenger, McDermott and Snyder, 2002):  ƒ

Domain: the  domain  of  knowledge  is  the  common  ground  that  gathers  members  and  community  activities. However it is important to remember that each member will have a different level of expertise  on the domain, spawning from the amateur to the specialist; 

ƒ

Community: the community refers not only the isolated members’ characteristics but mostly the fabric of  relationships  and  interaction  norms  established  between  them  in  the  context  of  the  community  of  practice. Of course, a strong sense of community or belonging will foster interaction. 

11


António Andrade and  Carlos Vaz de Carvalho  ƒ

Practice: the practice of a community represents the amassed and shared products and activities in the  specific  domain,  i.e.,  the  core  knowledge  produced  by  interaction  between  members.  Earlier  Wenger  (1998) would define this as a shared repertoire. 

The requirements for a healthy community of practice can be grouped under three main topics:  ƒ

Social presence:  the  management  of  a  community  of  practice  often  faces  many  barriers  that  inhibit  individuals  from  engaging  in  knowledge  exchange.  Some  of  the  reasons  for  these  barriers  are  egos  and  personal attacks, overwhelming CoPs, and time constraints (Wasko and Faraj, 2000). Thus, communicating  with others within a community of practice involves creating social presence (Tu, 2002); 

ƒ

Motivation: the will to share knowledge is critical to the success of a CoP (Ardichvili, Page and Wentling,  2002); 

ƒ

Collaboration: collaboration  is  essential  to  ensure  that  communities  of  practice  thrive.  More  seasoned  colleagues and a higher educational level tend to foster a more collaborative culture (Simon and Sveiby,  2002). 

A community of practice can exist as long as the members believe they have something to contribute to it, or  gain from it. CoP membership changes and members may take on new roles within the community as interests  and  needs  arise.  CoPs  are  social  structures  which  widely  promote  informal  learning.  Informal  learning  is  recognized  today  as  a  fundamental  part  of  an  individual’s  learning  path.  The  term  is  an  umbrella  for  all  activities that somehow lead to the acquisition of knowledge and competences but happening outside schools  or other training institutions (which are referred to as the formal system) (European Union, 2012). The range  of  informal  learning  contexts  is  considerable  and  can  be  broken  into  different  levels  of  learner  awareness.  Learning  by  socialization,  for  instance,  is  obviously  not  as  intentional  and  systematic  as  self‐driven  learning  (Shugurensky, 2000).    The widespread access to the internet popularized a new paradigm, often referred to as the web 2.0. Amongst  other  things  the  web  2.0  is  characterized  by  being  given  more  emphasis  to  the  relationships  established  between users and being given focus on the diversity of content generated by each user. To support this, there  was also a technical shift in the background creating new collaboration tools (such as wikis) (Leino and Ovaska,  2008).     This  evolution  in  the  information  technology  field  made  it  very  interesting  for  the  creation  and  rooting  of  Virtual  Communities  of  Practice  (Lai  et  al.,  2006).  Since  Virtual  Communities  of  Practice  (VCoP)  add  to  traditional  co‐located  CoPs  the  ease  of  asynchronous  interaction  (Gray,  2004),  members  are  no  longer  restricted to being in the same physical space or even time zone to engage in common activities, reducing, for  instance,  the  sense  of  isolation  in  professionals  who  work  alone  (Wenger,  White  and  Smith,  2009).  Furthermore,  the  new tools available  to  use  through  the internet  allow not  only  for  easier  organization  and  consumption of the shared repository but also enable easier collaboration.     Being  dependent  on  technological  support,  VCoPs  tend  to  result  from  top‐down  approaches  (due  to  maintenance and development requirements) and are generally prone to a slower development pace (Lai et  al.,  2006).  Although  increasingly  less,  this  also  means  that  access  can  be  conditioned  to  members  with  difficulties finding hardware or network resources or who are uncomfortable with their computer skills (Gray,  2004).     Finally, it is also important to acknowledge that online communities do not provide the richness of identitary  hints we find in face‐to‐face interaction. Personality traits are often emphasized or attenuated, which may also  lead to online newcomers’ insecurity.    In  this  paper we  present  three  communities  of  practice,  in  completely  different  domains  (footwear  industry  professionals,  trainers  and  trainees;  innovation  and  marketing  students,  teachers  and  experts;  and  serious  games practitioners and researchers). We compare the approaches that were used to animate the individuals  to  participate  and  to  be  involved  in  those  communities.  In  particular,  we  present  the  results  of  using  gamification as a form of motivating participants.   

12


António Andrade and  Carlos Vaz de Carvalho 

2. Communities of practice  The  subject  of  this  ongoing  research  is  deploying  and  maintaining  platforms  for  three  European  Lifelong  Learning Program projects’ VCoPs. Having distinct targets and goals, these communities also demonstrate the  diversity of applications for VCoPs which we will present below.    Technically,  these  communities  are  supported  by  open  source  software  that  was  expanded  to  fit  the  community requirements. Thus, Elgg 1  has been our framework of choice for all the social aspects of the VCoPs,  integrating it with the Moodle 2  learning management system when a more formal structure is needed. 

2.1 TIED Shoe  The TIED Shoe project is a Transfer and Innovation LEONARDO project which aims to create a virtual training  center for the development of the footwear industry. Its main goals are to (TIED Shoe, 2012):  ƒ

provide a training center to share the best practices in footwear design; 

ƒ

improve and  upgrade  competences  and  skills  of  VET  (vocational  education  and  training)  colleges  and  schools; 

ƒ

extend the common educational qualifications and accreditation of skills and knowledge for professionals  in the footwear industry. 

The TIED Shoe VCoP was built in two layers. The first should welcome every interested participant, keeping the  interaction open, while the second layer should support e‐learning courses. Ideally, transition between layers  should be seamless, allowing discussion to spawn from one to the other.    The  first  layer,  an  open  social  portal,  provides  tools  for  spontaneous  publication  and  sharing:  blogs  and  microblogs,  the  ability  to  upload  file  attachments  and  organize  website  bookmarks  as  well  as  the  ability  to  create groups and group discussions. Networking between members is supported by customizable profiles as  well as the ability to “friend” other users and private message. Public discussion in the form of comments on  submitted contents is also provided.    The second layer is intended for assigned students only, supporting e‐learning courses (“New Design Tools”,  “Materials”, “Innovation”, “Internationalization” and “Entrepreneurship”). A different system – Moodle – was  employed  here  but  the  transition  from  the  social  portal  to  the  e‐learning  platform  and  back  was  made  seamless by the implementation of a single sign‐on system. 

2.2 EMIC The European Marketing and Innovation Centers (EMIC) is another European Lifelong Learning Project (LLP). It  targets  entrepreneurs  and  marketers  (also  students  or  innovation  professionals)  and, in  practice,  its  general  idea is to create a network of national MIC (Marketing & Innovation Centers). EMIC specific goals are to (EMIC,  2012):  ƒ

create an observatory for national good practices; 

ƒ

good practice implementation in companies; 

ƒ

set up new forms of training for Marketing & Innovation; 

ƒ

support students in the translation to the professional world; 

ƒ

support student research. 

Similarly to the TIED Shoe VCoP, two seamless layers were implemented: one for the main social portal and  another  for  the  private  e‐learning  courses.  However,  the  student  support  objective  required  the  ability  to  relate enterprises and students looking for jobs or internships. Thus we expanded the social portal to include  these two new roles: ‘student’ and ‘enterprise’. The attribution of these roles is manually moderated.                                                                      1

https://elgg.org/   https://moodle.org/ 

2

13


António Andrade and  Carlos Vaz de Carvalho  As a user with a ‘student’ role, one is able to manage a new private profile section which contains a resume  and  a  file  upload  field  to  attach  a  complete  curriculum.  As  a  ‘student’,  one  can  also  browse  the  placement  proposals submitted by ‘enterprise’ users and register his interest on the placement. Notice that, by design,  the resume and curriculum section of a ‘student’s profile are only visible by ‘enterprises’ to which the ‘student’  has registered interest.    As a user with an ‘enterprise’ role, one is able to create ‘placement’ objects. These can be job or internship  openings  and  are  only  visible  to  ‘student’  users.  Once  ‘students’  submit  their  interest  to  one  of  these  placements, the corresponding ‘enterprise’ user is able to browse the list of interested users, as well as consult  their  curriculum.  From  this  section,  the  ‘enterprise’  can  contact  the  ‘student’  by  private  message,  being  the  final selection process left open.    Finally, local MICs were also provided with a tool which enables them to design and carry out online surveys.  This allowed them to easily identify local practices and trends, as planned for the project’s observatory. To this  3 end another open source tool was coupled to the VCoP: the LimeSurvey  system. 

2.3 SEGAN Games  are  believed  to  be  a  potential  learning  medium.  Their  enjoyable  context  and  interactivity  enhance  retention,  cooperation  and  competition  skills,  strengthen  social  competences  and  the  fun  factor  can  continuously  feed  motivation  into  the  learning  process  (Vaz  de  Carvalho  and  Fernandez‐Manjon,  2013).  However,  looking  at  the  current  impact  that  can  be  observed  from  the  use  of  games  and  simulations  as  informal  medium  or  optional  course  support  material,  serious  games  have  not  been  explored  to  their  full  potential.    The  Serious  Game  Network,  or  SEGAN,  is  a  CoP  funded  in  the  scope  of  the  LLP  program  with  the  intent  of  systematizing “the European approaches to serious games, combining theory, research and practice in a way  that  promotes  Europe  as  the  leader  in  this  field”  (SEGAN,  2012).  In  fact,  more  than  half  hundred  projects  funded  by  the  European  Commission  under  this  thematic  have  been  realized  to  date  and  this  convergence  seems now fundamental to increase the awareness of the benefits and impacts of serious games.    The SEGAN community is mainly composed of academic researchers, game producers and Serious Games (SG)  users  but  it  is  also  open  to  any  individual  interested  in  the  domain  of  SG  and  their  implementation.  SEGAN  practice  consists  of  the  compilation  of  serious  games  resources  in  the  online  platform  supporting  the  community  as  well  as  the  open  discussion  of  related  topics,  working  towards  annual  publications  on  the  design,  development,  delivery  and  evaluation  of  serious  games.  Face‐to‐face  events  are  also  part  of  the  activities,  namely  an  annual  conference  and  summer  school.  Monthly open  webinars  are  another  important  part of the community practice.    At  this  stage,  the  SEGAN  VCoP  portal  focuses  on  allowing  the  discussion  between  members  as  well  as  the  sharing  and  categorization  of  resources  (game  and  tool  bookmarks,  video  and  blog  posts,  events,  etc).  Of  course, the social features we have seen on both previous platforms are also present on SEGAN. 

3. Motivation and gamification  The  main  issue  we  identify  at  this  point  in  the  VCoPs  we  are  developing  is  a  general  lack  of  regular  and  spontaneous  participation  throughout  the  community  fabric.  Part  of  this  is  naturally  due  to  their  young  development stage. However, we sense it is also correlated with a more general motivation issue. According to  a  2009  research,  43%  of  the  European  internet  users  were  then  considered  as  “non‐participative”  (Riu  and  Jokisalo, 2009).     The golden rule to attract new members to a VCoP is providing them value (Lai et al., 2006). Assuming this is  being accomplished (by at least the core members), other ways to promote the dynamics and the activity of  the community are required to ensure it becomes alive and stays that way.                                                                      3

https://www.limesurvey.org/ 

14


António Andrade and  Carlos Vaz de Carvalho  At  this  point  it  seems  important  to  analyze  what  can  constitute  motivation  to  participate.  Trevor  Moore  identified some motivational categories for the participation in VCoPs:   Table 1: Motivational categories and their correlating expressions (Moore, 2007)  Motivational Category  Altruism 

Correlating Expressions used by Past Researchers  benevolence, charity, concern for community, public duty, social support 

Belonging Collaboration  Egoism 

an attempt to combat loneliness, taking pleasure in sense of community  the assisted articulation of ideas, development of insight, refined thinking  personal gain, generation of employment, portfolio‐building 

Egotism Emotional Support  Empathy 

attention‐getting, bragging rights, peer recognition  an emotional connection  compassion, understanding, a willingness to selflessly help others 

Knowledge Power  Reciprocity 

seeking information, self‐efficacy  influence, ownership  moral obligation, fairness 

Reputation Self‐Esteem  Self‐Expression 

social standing, status  respect, positive reinforcement, esteem support  catharsis, expression of emotion, offering opinions 

Wisdom

learning, challenge, creative thinking 

Games are another interaction experience greatly dependent on motivation. However, they obviously seem to  get  a  more  spontaneous  adoption.  In  fact,  they  demonstrate  a  motivational  category  that  Moore  did  not  include  in  his  survey:  fun  (Prensky,  2002).  However,  there’s  more  to  games  than  fun:  to  Csíkszentmihályi  (1990)  games  produce  a  flow,  that  is,  a  mental  state  of  completely  focused  motivation.  Thus,  we  felt  challenged to experiment whether one could rely on community gamification as a way to foster and maintain  activity.     One of the most common gamification definitions explains it as the process of applying game mechanics to an  interface as means to engage users (Zichermann and Cunningham, 2011). This may consist of defining explicit  motivational elements such as user points, levels and leaderboards, achievements and badges (Werbach and  Hunter, 2012), or yet virtual currencies redeemable for goods or perks.    The most common critique to this process points the risk of turning game‐like interaction into an end in itself  which creates no implicit motivation, hence undermining content quality and missing out on the experiential  and  storytelling  dimension  of  a  product.  In  other  words,  it  interprets  rewards  in  a  strictly  behaviorist  way  (Deterding, 2010). In fact, helping to make sense of a non‐game context, by overcoming this issue, is probably  the main objective for gamification (Nicholson, 2012).    Another  significant  critique  arose  inside  the  SEGAN  community  pointing  leaderboards  as  inhibiters  of  newcomers’ participation. For Zichermann (2012), creating social context is crucial when gamifying a system,  producing opportunities for users “to engage with and make new friends”. Of course, team play, collaborative  action and altruism, as well as unexpected or non‐traditional socializing, may also serve this goal.    Despite some criticism and skepticism, company success stories abound (Zichermann, 2011) (2013) and VCoPs  4 such  as  StackExchange   have  clearly  benefited  from  such  process  before.  The  main  question  seems  to  boil  down to the way gamification is implemented in the community.    Different frameworks have been developed for the design of a gamified system. Werbach and Hunter (2012),  Marczewski  (2012)  and  Duffy  (2012)  all  suggest  a  sequence  of  questions  the  designer  should  follow  to  get  directions. Chou (2013) proposes another framework based on what he calls the Octalysis, a chart of eight axes  where core drives are related to game mechanics.    Firstly,  it  is  important  to  know  the  system  to  be  gamified  and  who  its  audience  is.  Next  we  need  to  define  goals: what user behaviors do we want to induce and what actions indicate success? For instance, we could                                                                    4

http://stackexchange.com/ 

15


António Andrade and  Carlos Vaz de Carvalho  focus on content quality over quantity. Rewards should of course be defined according to this priority. This is  probably the most important step, forcing the designer to have a clear idea of the gamification target.     The  designer  then  has  to  find  out  which  mechanics  to  implement,  which  extrinsic  and  intrinsic  motivational  elements  to  create  and  how  will  the  user  receive  feedback  on  its  actions.  Finally,  selecting  the  criteria  for  analytics and monitoring that data is important not only for user rewards but to continuously assess and/or  validate the implemented strategy.    Stressing  the  importance  of  both  knowing the  audience and  carefully  selecting gamification  elements,  Duffy  (2012) suggests that using attainable achievements as alternative to cumulative user points may be friendlier  to newcomers. The author also recommends awarding MVP (Most Valuable Player) status to a select number  of users: those will act as role models and, using special perks, may help curate and shape the community. 

4. The SEGAN experiment  The  SEGAN  VCoP  started  off  as  a  Facebook 5   group.  This  had  a  few  advantages  such  as  the  ease  of  use,  the  integration  with  such  a  popular  leisure  channel  and  the  tendency  for  viral  membership.  Overall,  this  made  participation in the group a natural flow in member’s daily routines. However, using Facebook as the basis of  the community also had negative implications which could harm its sustainability in the long term. On the top  of the list were: the lack of administrative and organizational control; issues related to content ownership; the  complete  lack  of  independency  from  a  community  identitary  point  of  view;  and,  most  of  all,  the  single  and  dynamic flow of information which lead to members missing some important information.    Once the self‐hosted community platform was ready, the migration was made in a way where users would see  their previously created contents mapped to the new platform. Despite this, only part of the users decided to  follow  the  community  to  the  new  platform  and,  with  the  exception  of  days  surrounding  webinars  and  meetings, the visits and participation dropped. This seemed to be the best timing to apply some gamification  aspects to the SEGAN community.    Many of the common gamification techniques seemed to make sense in SEGAN’s case and would potentially  inject some motivating fun factor. Content quality was a priority to SEGAN but before that it was important to  engage members. Since trying not to overwhelm newcomers was another important factor taken into account,  it was decided to use both badges and user experience point (XP) leaderboards. As a general rule, XP tends to  value quantity (and long term engagement) while achievement badges value quality.    Visit  recency  and  frequency  are  commonly  accepted  engagement  measurements  (Zichermann  and  Cunningham, 2011). Thus for each day the user logs into the platform he gets 1 XP. However, if a user manages  to  log  in  for  thirty  consecutive  days,  he/she  will  get  the  “Enthusiast”  badge  and  the  respective  XP  prize.  Contributing contents is also rewarded.     A blog post is awarded 10 XP, the double of the prize for creating a bookmark, which generally does not create  much value by itself. Later we understood that interesting, ongoing discussions are probably one of the best  ways to keep members coming back to a topic or blog post. As such, comments should be rewarded at least as  much as the original topic.    If a user happens to create a blog post which receives more than twenty five comments she would be awarded  the “Debate Starter” badge. Ideally this duality between achievements and XP allows for multiple ways to feel  recognition inside the community.     Content quality is provided by peer review in the simple form of up and down votes. Again, both the voter and  the content author are awarded XP and eligible for specific achievement badges. Perks for MVPs and prizes are  also planned to be implemented.    The  data  resulting  from  the  community  gamification  is  used  throughout  the  platform  to  expose  interesting  users and content. The leaderboard (which stresses monthly gain over all time totals) and badges pages allow  to assess overall community performance. Each user’s profile is also enhanced with their total XP and badge                                                                    5

https://www.facebook.com/ 

16


António Andrade and  Carlos Vaz de Carvalho  listing. The “Top Rated Content” and “Top Influencers” (users who created most textual content, such as blogs  and comments) blocks are also products of this process. 

5. Conclusions and further work  From  the  initial  gamifying  process  some  interesting  ideas  rose  up.  We  learned  that  despite  our  focus  on  content  creation  while  setting  the  point  awarding  rules,  to  foster  interaction  between  members  through  gamification  one  should  balance  not  only  the  points  awarded  between  the  topic  creator  and  the  commentators but the quality of the discussion, as perceived by the community (e.g. using votes).     Some users reacted quite strongly to this process, arguing that leaderboards presence was too overwhelming.  Others tried to push the game and make it to the top of the leaderboard as easily as possible. A few, curious of  these updates, participated a little more than usual for a couple of days. Negative points and/or loosing part of  the accumulated points were another suggestion to keep fading users engaged in the long term.    Ultimately,  it  is  interesting  to  notice  that  although  the  gamification  implementation  received  a  rather  cold  reception in the community, activity also seems to have thickened, at least temporarily. All in all, the SEGAN  community is now a little more active than the other two, non‐gamified, VCoPs. Hence we believe there are  some ways the gamification process can be improved:   ƒ

Leaderboards should  be  made  seamless  and  more  useful,  i.e.,  serve  as  a  reputation  and  identitary  distinctiveness; 

ƒ

Gamification point awards should be more proportional to the community perceived value. This may take  us  to  experiment  with  a  more  dynamic  award  system,  at  least  partially  based  on  a  value  supply‐and‐ demand economic approach.  

References Ardichvili, A., Page, V. and Wentling, T. (2002) Motivation and Barriers to Participation In Virtual Knowledge‐Sharing  Communities Of Practice.  Brown, J.S. and Duguid, P. (2000) 'Balancing Act: How to Capture Knowledge Without Killing It.', Harvard Business Review,  vol. 78, May/June, pp. 73‐80.  Chou, Y.‐k. (2013) Octalysis: Complete Gamification Framework , 30 April, [Online], Available:   HYPERLINK  "http://www.yukaichou.com/gamification‐examples/octalysis‐complete‐gamification‐framework/"    [30 April 2013].  Csíkszentmihályi, M. (1990) Flow: The Psychology of Optimal Experience, New York: Harpers Perennial.  Deterding, S. (2010) Pawned. Gamification and its Discontents, September, [Online], Available:   HYPERLINK  "http://www.slideshare.net/dings/pawned‐gamification‐and‐its‐discontents"    Duffy, S. (2012) 4 Tips for Keeping Your Gamified Community Motivated, April, [Online], Available:   HYPERLINK  "http://mashable.com/2012/04/24/tips‐motivating‐gamified‐community/" / .  EMIC (2012) EMIC Objectives, [Online], Available:   HYPERLINK "http://emic.ismai.pt/objectives/"    European Union (2012) Learning for All, 02 Outubro, [Online], Available:   HYPERLINK  "http://ec.europa.eu/education/lifelong‐learning‐policy/adult_en.htm"    [Outubro 2012].  Gray, B. (2004) 'Informal Learning in an Online Community of Practice', Journal of Distance Education, vol. 19, no. 1, Spring,  pp. 20‐35.  Kelly, T. (2012) Everything You'll Need To Know About Gamification, November, [Online], Available:   HYPERLINK  "http://techcrunch.com/2012/11/17/everything‐youll‐ever‐need‐to‐know‐about‐gamification/"    Lai, K.W., Pratt, K., Anderson, M. and Stigter, J. (2006) Literature Review and Synthesis: Online Communities of Practice,  Dunedin, New Zealand.  Leino, S. and Ovaska, J. (2008) A Survey on Web 2.0.  Marczewski, A. (2012) A Simple Gamification Framework / Cheat Sheet, [Online], Available:   HYPERLINK  "http://marczewski.me.uk/gamification‐framework/"  [4 April 2013].  Moore, T. (2007) Understanding Member Motivation for Contributing to Different Types of Virtual Communities: A  Proposed Framework.  Nicholson, S. (2012) 'Strategies for meaningful gamification: Concepts behind transformative play and participatory  museums', Meaningful Play 2012, Lansing, Michingan.  Orr, J.E. (1986) 'Narratives at work: story telling as cooperative diagnostic activity', CSCW '86 Proceedings of the 1986 ACM  conference on Computer‐supported cooperative work, Nova Iorque, 62‐72.  Prensky, M. (2002) 'The Motivation of Gameplay, or, the REAL 21st century learning revolution', On The Horizon, vol. 10,  no. 1.  Riu, E. and Jokisalo, A. (2009) Informal learning in the era of Web 2.0.  SEGAN (2012) About SEGAN, November, [Online], Available:   HYPERLINK  "http://seriousgamesnet.eu/community/pages/view/1990/about‐segan"   

17


António Andrade and  Carlos Vaz de Carvalho  Shugurensky, D. (2000) The Forms of Informal Learning: Towards a Conceptualization of the Field.  Simon, R. and Sveiby, K.‐E. (2002) 'Collaborative climate and effectiveness of knowledge work ‐ an empirical study', Journal  of Knowledge Management, vol. 6, pp. 420‐433.  TIED Shoe (2012) TIED Shoe Summary, 18 November, [Online], Available:   HYPERLINK "http://tied‐shoe.eu/en/"    Tu, C.‐H. (2002) 'The management of social presence in an online learning environment', International Journal on E‐ learning, April‐June, pp. 34‐45.  Vaz de Carvalho, C. and Fernandez‐Manjon, B. (2013) 'Welcome message from the Editors‐in‐Chief', in Vaz de Carvalho, C.  and Fernandez‐Manjon, B. (ed.) EAI Endorsed Transactions on Game‐Based Learning, ICST.  Wasko, M. and Faraj, S. (2000) '"It is what one does": why people participate and help others in electronic communities of  practice', Journal of Strategic Information Systems, vol. 9, pp. 155‐173.  Wenger, E. (1998) Communities of Practice: Learning, Meaning, and Identity, Cambridge University Press.  Wenger, E. (2006) Communities of practice, a brief introduction, June, [Online], Available:   HYPERLINK  "http://www.ewenger.com/theory/index.htm"  .  Wenger, E., McDermott, R. and Snyder, W.M. (2002) Cultivating Communities of Practice.  Wenger, E., White, N. and Smith, J.D. (2009) Digital Habitats: stewarding technology for communities.  Werbach, K. and Hunter, D. (2012) For the Win: How Game Thinking Can Revolutionize Your Business, Wharton Digital  Press.  Zichermann, G. (2011) 7 Winning Examples of Game Mechanics in Action, July, [Online], Available:   HYPERLINK  "http://mashable.com/2011/07/06/7‐winning‐examples‐of‐game‐mechanics‐in‐action/"    Zichermann, G. (2012) Getting Three Fs in Gamification, 19 January, [Online], Available:   HYPERLINK  "http://www.gamification.co/2012/01/19/getting‐three‐fs‐in‐gamification/"  [4 April 2013].  Zichermann, G. (2013) Gamification: The Hard Truths, 23 January, [Online], Available:   HYPERLINK  "http://www.huffingtonpost.com/gabe‐zichermann/gamification_b_2516376.html"  [25 Mar 2013].  Zichermann, G. and Cunningham, C. (2011) Gamification by Design, O'Reilly.   

18


SIMaging the CITY: The Educational use of Simulation Video Games  for Disadvantaged Youth   1

Massimiliano Andreoletti1 and Gianna Cappello2  1 Department of Pedagogy, Catholic University Sacro Cuore, Milano, Italy  2 Department of Culture and Society, Palermo University, Italy  massimiliano.andreoletti@unicatt.it  gianna.cappello@unipa.it    Abstract.  In  this  paper  we  argue  that  the  intermediaries  supporting  individual  and  community  social  empowerment  (families,  schools,  youth  and  health  services,  both  public  and  private,  cultural  and  social  entrepreneurs)  could  use  video  games so as improve the effectiveness of their interventions. We report the initial findings of an ongoing action‐research  project which aims at experimenting the educational use of a simulation video game (SimCity) in a youth club (Centro Tau)  located  in  a  highly  disadvantaged  and  mafia‐bound  area  of  Palermo  (Italy).  From  these  findings,  it  appears  that,  by  SIMaging their ideal CITY, the Centro Tau youth have started to think about “civic” issues on a very concrete and practical  level. Despite the strong affective ties they show towards their daily living context, they have lucidly identified its negative  aspects  and  confronted  themselves  on  the  choices  and  solutions  necessary  for  reinventing  it  as  a  better  urban  setting  inspired  by a  vision  for  sustainable  development.  It  also  appears  that  gaming may  represent  for  them an  important  and  powerful opportunity, in a way a kind of “training ground”, for experiencing collective action, peer‐based learning and self‐ esteem.    Keywords: simulation video game, civic empowerment, disadvantaged youth 

1. Introduction With ever‐greater force our society expresses the pedagogical urgency to provide adequate responses to the  educational needs that people may express during their life. The increased demand for moments of training  and self‐training pushes for identifying the new needs of the 21st century subjects, and simultaneously, to look  for solutions that fit the new communicative styles and make use of the solutions that the media, especially  the digital ones, can offer. This is even more necessary in those situations where cultural, social and economic  gaps  heavily  reduce  the  horizons  of  possibilities  for  individual  and  collective  empowerment  offered  to  marginalized groups. 

2. Game‐based learning for social inclusion: A sociological view  In the 21st century, where digital media are pervasively changing the way we work, consume, socialize and live,  those who address at various levels and contexts the needs of the most disadvantaged people may find new  ways of action in the use of video games, despite the techno‐panic complaints, traditionally dominating public  discourse, according to which video games are in fact part of the problem rather than a possible solution.    We argue here that the intermediaries supporting individual and community empowerment (families, schools,  youth and health services offered by public and private institutions, cultural and social entrepreneurs) could  use video games so as improve the effectiveness of their interventions. Computer simulations, the motivating  force  of  gameplay,  the  ubiquitous  nature  of  mobile  phones,  the  connective  potential  of  social  networks  are  increasingly proving effective in developing learning by creating interest, motivation, satisfaction and loyalty  (Cappello, 2009; 2012). A gamifying approach, that is the application of game mechanics and game thinking to  non‐game  environments,  is  increasingly  being  experimented  in  various  fields  such  as  like  customer  engagement, education and training, business, the military (Herger, 2012; Deterding et al., 2011) 2 .  

                                                                 1 Although the paper was discussed and developed jointly, Andreoletti actually wrote the paragraphs 2 and 3, and Cappello the paragraphs 

1 and 4.  2 UNAOC (United Nations Alliance of Civilizations), a branch of UNESCO, in partnership with Learning Games Network and MIT‐Education 

Arcade, has  recently launched a contest in order to promote the creation of apps/games for intercultural dialogue and human rights  (http://www.unaoc.org/create/).  The  winning  applications  for  2012  are  available  for  download  from:  http://www.unaoc.org/create/finalists/. Among the winners are apps/games allowing users to improve their knowledge of Arab culture  (Ibn  Batuta),  to  experience  the  cultural  diversity  through  the  eyes  of  children  (Touchable  Earth)  and  to  become  aware  of  the  global  water scarcity (Get Water!) and the importance of critical thinking in journalism (Reality). 

19


Massimiliano Andreoletti and Gianna Cappello  Following these developments, we aimed at experimenting the opportunities and challenges of video games as  a  tool  for  social  inclusion  of  the  people,  namely  youth,  living  in  at‐risk  urban  areas 3 .  Playful,  creative  and  motivating learning strategies based on video games may ensure that the young people living in these areas  are  not  left  behind  by  failing  more  traditional  educational  and  pro‐inclusion  approaches.  Learning  via  video  games may challenge them with the technological, organizational, planning and operational skills they usually  associate  with  ‘their’  media  uses.  It  also  increases  their  motivation  to  learn,  self‐esteem  and  peer  relationships; develops numeracy/literacy/digital literacy skills; reduces marginalization, stigmatization, ‘gang  antagonism’  and  ‘gang  feuds’;  supports  active  participation  in  an  e‐inclusive  society  where  digital  media  are  used as tools for individual and collective empowerment (Haché, A. et al., 2010). These goals may be achieved  by  using  both  special‐purpose  (serious)  games  specifically,  developed  for  a  purpose  beyond  entertainment,  and commercial off‐the‐shelf (COTS) games 4 .     In order to increase the systematic use of video games in these contexts, three priorities are to be addressed  (Stewart et al., 2013) 5 :  ƒ

negative stereotypes  against  video  games  need  to  be  dismantled  through  robust  scientific  evidence  demonstrating the positive impact they can have at various levels and settings. Therefore, protocols for  the assessment and evaluation of the activities need to be developed and tested within the framework of  action‐research projects; 

ƒ

professional training  for  teachers,  educators,  health  and  social  care  workers  is  pivotal  for  reaching  a  critical mass of video game users in these contexts. Training of software and video games designers is also  crucial in order to give them the specific competence necessary for addressing social‐inclusion issues; 

ƒ

from these two priorities, the third one follows, that is the bridging between the research field on the one  hand, and the production, distribution and use of video games in support of disadvantaged people, on the  other.  It  is  necessary  to  create  a  multidisciplinary  and  multidimensional  “ecosystem”  where  research  is  being conducted closely in contact with the video games industry, the end users and the intermediaries  supporting individual and community empowerment (families, schools, youth and health services offered  by public and private institutions, cultural and social entrepreneurs, etc.). 

These priorities stem from the fact that social exclusion is a multidimensional problem caused by a series of  discriminatory factors, often reinforcing each other. E‐inclusion cannot be in any way considered as a solution  in and of itself. In fact, it may even be part of the problem as it may end up exacerbating existing inequalities.  A  vicious  circle  may  in  fact  originates  insofar  as  social  exclusion  leads  to  digital  exclusion,  which  in  turn  reinforces  social  exclusion.  E‐inclusive  policies  and  actions  must  be  then  conceived  in  alignment  with  other  policies  devoted  to  wellbeing,  health,  education,  employment,  crime  prevention  and  post‐detention  rehabilitation,  migration,  etc.,  an  alignment  which  directly  involves  a  range  of  stakeholders:  governments,  schools, families, universities, the digital media industry as well as non‐profit organizations. 

3. The psycho‐pedagogical significance of simulation video game  In the last ten years the sectors of the academy which are interested in educational processes have shown a  gradual  interest  toward  the world  of  video  games.  This  openness  stems  not  only  from  the  level  of  diffusion  now  reached  by  the  medium,  but  especially  from  the  analysis  of  the  potentiality  that  it  may  have  in  both  formal  and  informal  educational  contexts  (Gee,  2007;  Prensky,  2007,  Egenfeldt‐Nielsen,  2007).  Potentiality  that  is  corroborated  mainly  in  the  capacity  of  the  video  game  to  place  the  subject  in  situation,  constantly  asking him/her to be an active part in the construction of meaning and sense, offering him/her the opportunity  to reflect on the process that s/he carried out, to allow him/her the possibility of making a mistake without  being judged or evaluated, to experiment with solutions that are not otherwise feasible, to implement his/her  desires and needs.                                                                    3 Adopting the European Union definition, social inclusion is the “process which ensures that those at risk of poverty and social exclusion 

gain the opportunities and resources necessary to participate fully in economic, social and cultural life and to enjoy a standard of living and  well‐being that is considered normal in the society in which they live. It ensures that they have a greater participation in decision making  which  affects  their  lives  and  access  to  their  fundamental  rights”  (Joint  Report  by  the  Commission  and  the  Council  on  Social  Inclusion  (2004). Retrieved from: http://ec.europa.eu/employment_ social/soc‐prot/soc‐incl/joint_rep_en.htm.  4 For a discussion about this distinction, see Stewart, 2012.   5  Some  of  the  case  studies  studied  by  Stewart  and  his  team  are:  InLiving  (http://www.inliving.co.uk/about‐us/),  a  role‐playing  game  promoting  citizenship  and  participation  at  community  level,  policy  awareness,  and  learning  about  government  budgeting;  Choices  and  Voices  (http://www.choicesandvoices.com/),  short  role‐playing  games  for  pupils  to  prevent  violent  extremism,  promote  community  cohesion, team work, understanding on social and economic inequality. 

20


Massimiliano Andreoletti and Gianna Cappello  The  close  relationship  that  has  developed  between  the  operational  dimension  and  the  educational  practice  opens  the  way  to  design  and  implement  interventions  on  the  territory  that  may  become  real  occasions  of  empowerment for the involved people. However, the need to build paths that refer in a constant way to both  a personal and a group reflection on the relationship between theory, meant as a “set of hypotheses to explain  a given phenomenon or an order of phenomena”, and reality, seen as the outside world that surrounds every  person, often collides with the existing difficulties to locate the interconnections binding together people and  facts  and  eventually  understand  the  relation,  central  to  every  learning  activity,  between  ourselves  and  the  world  around  us.  Such  is  the  condition  of  those  people  living  at  the  margins  of  society  who  are  not  able  to  recognize  their  educational needs  and,  in many cases,  reject  any given  support  and  opportunity. A  solution,  which  may  better  meet  the  needs  of  these  subjects,  comes  from  the  techniques  of  social  and  cultural  animation traditionally gravitating around playfulness and entertainment. The motivational dimension, given  by the use of games, is further amplified by digital and electronic solutions that make see video games not only  an  entertainment’s  mechanism  strongly  used  by  adolescents  and  young  people,  but  above  all  a  very  useful  pedagogical support that enables involved people to immerse themselves within significant simulations. The  possibility  to  visualize  in  multimodal  terms  the  concrete  results  of  one’s  own  simulation  activities  expresses  “versatility,  ability  to  innovate,  lateral  and  divergent  thinking,  flexibility,  curiosity,  propensity  to  the  exploration of new solutions” (Anolli and Mantovani, 2011).    By  now  the  possibility  to  access  easily  and  cheaply  video  games  that  allow  the  simulation  of  complex  and  articulated  systems,  according  to  a  logic  based  on  the  interest  and  the  personal  pleasure  of  the  subjects,  enables formative agencies operating on a territory to satisfy adequately personal and collective needs. The  educational  effectiveness  that  video  games  are  gradually  showing  in  the  educational  context  also  thanks  to  sound empirical research (Rosa, 2012), originates precisely from this ability to reproduce more or less complex  systems.  In  fact,  at  a  general  level,  all  video  games  can  be  meant  as  simulators,  however  the  genre  of  simulative video games was specifically designed to be a simulation of  phenomena and systems at different  levels of details and complexity.    In the psychological field, the potentiality of simulation games can be seen on two particular areas, given that  they are “the central engine of our mind, since they enable us to have a general and local, dynamic and flexible  representation of the various aspects of external and internal reality” (Anolli and Mantovani, 2011):  ƒ

the world (external reality): the simulation is extremely functional with regards to the cognitive processes  of reality because it allows people to bind the object (the world) and the method (the theory), facilitating  them to identify the possible links that exist between the parts, to construct new models that do not exist  yet,  to  immediately  check  solutions  within  the  safe  environment  of  the  game.  At  a  first  level,  the  simulation allows to know the world, or parts of it, by facilitating multiple types of users in approaching  external reality. On a second level, it is meant as an environment in which one can (re)build the world with  different  degrees  of  resolution,  from  elementary  to  accurate,  and  effective  results  when  addressing  possible  or  imaginary  worlds:  “what  does  not  exist  yet  but  can  exist  and  become  real  given  certain  conditions.  Addressing  possible  worlds,  the  simulation,  in  addition  to  being  a  ‘recreation’  of  what  is  already  there  in  the  reality,  is  also  the  exploration  of  what  could  be  elsewhere”  (Anolli  and  Mantovani,  2011).  On  a  third  level,  it  plays  a  fundamental  role  in  the  context  of  creativity,  because  “through  the  simulation  the  human  mind  is  able  to  create  new  combinations  never  considered  before  thanks  to  unexpected  combinations  and  unforeseen  associations  (perhaps  unpredictable  and  unthinkable  until  then)” (Anolli and Mantovani, 2011). Simulation allows to locate new hypotheses, to anticipate reality, to  create things not yet existing. It hence represents “a great support to strengthen the innovative capacity  of human beings, promoting a significant increase in the association and generation of new ideas” (Anolli  and Mantovani, 2011); 

ƒ

the person  (internal  reality):  the  ability  to  reflect  on  one’s  own  work  and  imagine  one’s  own  future,  highlights  how  the  use  of  simulation  environments  can  be  extremely  effective  in  educational  activities:  “the knowledge of the past and the future, either near or far, is always mixed with the knowledge of the  present”  (James,  1890).  The  potentiality  of  simulation  video  games  is  particularly  significant  in  the  educational  activities  enacted  in  contexts  of  social  disadvantage.  The  possibility  of  visualizing  a  future  different from the one envisaged in these contexts allows the involved people to represent various forms  of  their  selves,  i.e.,  “configurations  of  themselves  in  the  prospected  future  which  may  be  desired  if  positive or feared if negative” (Oyserman and James, 2009). These forms are “possible selves”. The use of  the  simulation  video  games  with  adolescents  and  young  people,  who  live  in  contexts  of  social 

21


Massimiliano Andreoletti and Gianna Cappello  disadvantage, may strongly support the entire educational action, since “the expectation and the planning  of  the  future  of  themselves  tend  to  improve  the  wellbeing  of  present  life,  since,  especially  in  western  culture, they are based on the hope that a change for the better is possible as a result of the malleability  of  his  own  self”  (Klein  and  Zajac,  2009).  The  role  of  simulation  video  games  is  not  only  fulfilled  in  the  future, but achieves important effects also on present daily action, especially when they “provide detailed  images  connected  with  strategies  that  bind  the  present  situation  with  future  states”  (Anolli  and  Mantovani, 2011). 

4. SIMaging the CITY: Designing the intervention model  4.1 Foundations  The decision to choose the video game medium was based on the assumption that it “allows you to develop  different paths of analysis and reflection that, starting from the simulated world within the video game, come  to  an  end  in  the  reality  and  vice  versa”  (Andreoletti  and  Ragosta,  2013).  The  video  game  becomes  then  a  bridge between the real and the virtual world allowing people to reflect on the specific characteristics of each  world  in  personal  ways,  to  identify  which  can  be  the  common  elements  between  the  two,  and  to  analyse  which templates of one world can be applied on to the other world.    The video game is here meant as “an environment in which you can play and where the technology is at the  same time the instrument that conveys the game activity, but especially a world with an added value in which  the  subject  has  the  opportunity  to  explore,  experiment  with,  manage,  interact  and  communicate  with  high  levels of autonomy, interaction, presence, immersion and imagination” (Andreoletti, 2012).    The  use  of  a  simulator  follows  a  series  of  conditions  that  validate  its  use  avoiding  personal  and  utilitarian  dispersions  and  drifts.  The  choice  of  the  title  must  be  dictated  by  the  possibility  given  to  the  players  to  experience  an  open  and  significant  problem,  while  the  design  must  allow  the  free  expression  of  their  own  desires,  the  reasoned  experimentation  of  their  own  choices,  and  the  constant  confrontation  with  reality,  governed by a shared reflection among all those participating in the activity.    From  a  conceptual/methodological  point  of  view,  the  underlying  model  is  that  of  the  experiential  learning  (Pfeiffer and Jones, 1985; Pfeiffer and Ballew, 1988), which allows to pass from a reflection on an experience,  also  simulated,  to  an  application  in  the  real  world  through  a  cyclic  process  made  of  five  stages  (experience,  communication, analysis, generalization and implementation). Under the guidance of the educator‐mediator,  the  group  becomes  the  place  where  reality  is  read,  analysed,  modelled  and  then  rebuilt  inside  of  the  video  game. Here ideas, desires and needs can take shape, and then be brought again on the group, shared with the  other players and then generalized to other situations of the real world. The educational activity can therefore  be meant as the result of three different levels of intervention inscribed one into the other (see figure 1). 

Level 2 ‐ Group Modelling Sharing  Reflection  Generalization 

Level 3 ‐ Video game  Experimentation  Realization  Analysis 

Level 1 ‐ Reality Reading Analysis  Application

Figure 1: Levels of use of the video game within educational activities  Given this conceptual/methodological framework, we decided to choose a commercial video game, and not a  serious game, because we wanted to offer a playful experience which was as close as possible to what the user  is  normally  used  to,  especially  in  term  of  graphics  and  gameplay.  The  need  to  use  an  up‐of‐date  version  available at a reasonable price made us choose SimCity 4, a city builder management simulation video game. 

22


Massimiliano Andreoletti and Gianna Cappello  Within a city builder, the video gamer has the tasks and the prerogatives of a mayor managing a town through  administrative  functions  and  according  to  the  resources  available  and  the  specific  realities  of  the  territory.  However, the use of SimCity must not be perceived as the simple reduplication of the mayor’s activity, as the  game  is  in  fact  meant  to  be  an  environment  that  allows  the  player  to  reflect  not  only  on  the  management  issues of a more or less complex virtual city, but also on the reality in which everyone is immersed.    When employed in an educational context, players become aware of their being citizens at both a micro level  (the  district,  the  city)  and  at  a  macro  level  (the  country,  the  continent,  the  planet),  going  from  the  role  of  simple spectator of what is happening around him/her with no ability/possibility to intervene, to the role of a  critical  and  active  actor,  an  involved  citizen  who  thinks  and  works  to  implement  significant  changes  in  the  society  in  which  s/he  lives.  The  simulation  video  game  is  indeed  a  very  effective  solution  to  create  these  educational opportunities. SimCity can be likened to an aquarium: it reproduces only the optimal conditions of  reality,  by  omitting  all  those  situations  that  would  cause  a  rapid  destruction  in  a  real  ocean.  The  player/designer inserts in this empty container only the elements (plants, fish, and ornaments) that s/he want  to. The level of experimentation concerning his/her own desires and needs is practically unlimited in time and  space.    The  management  of  the  educational  activity  must  lead  the  player  throughout  a  process  that  initially  allows  him/her  to  express  himself/herself  (in  terms  of  needs,  affections,  emotions  about  the  surrounding  reality),  trying to make him/her avoid the drift of simply entertaining or unproductive playing activity. Eventually, the  player is led to reflect on realities that gradually move away from his/her own (needs and emotions about a  remote reality), making him/her experience a more multicultural vision. 

4.2 Structure Our educational project, divided in four operational modules, offers a model applicable to different contexts  and situations, and implementable in whole or in part, depending on the specific needs:  ƒ

approaching the simulated city: exploring and mastering the game. The objective here is to explore and to  experiment with the game possibilities (the game interface, the ways of shifting/orientation/construction,  the menu structure, etc.); 

ƒ

analysing and  rebuilding  your  own  city:  (video)play  with  reality.  With  this  module  we  want  to  give  participants  a  global  and  structured  vision  of  their  surrounding  environment,  as  the  majority  of  people  lives  and  attends  only  a  portion  of  their  reality.  Starting  from  this  consideration,  through  this  module  participants become aware of the relationship between the real world (the lived city) and the virtual world  (the built city), reproducing it again within the simulation game; 

ƒ

rethinking your own city: (video)play with fantasy. The playful activity is here meant as a space in which  participants are be able to express dreams, desires, and aspirations: it’s the personal rethinking of the real  city by inserting what they would like to be there and removing what they would not want to. This activity  allows  participants  to  reflect  in  depth  on  themselves  and  to  check  what  are  the  consequences  of  their  choices; 

ƒ

watching ‘other’  cities:  (video)play  with  the  rest  of  the  world.  This  module  allows  participants  to  experience expressions and manifestations of human life distant from their daily lives. As such, they ‘live’  the conditions that different existing societies and cultures have in their places of origin (Andreoletti and  Ragosta, 2013). 

5. SIMaging the CITY: Experimenting the model   5.1 The context, the methodology, the activities  The very first idea to experiment the use of a simulation video game for disadvantaged people in an informal  educational context came to us from participating to the European project “Gamepaddle” 6 . As Italian partners  of the project, representing both our universities and MED (the Italian Association for Media Education), we  decided to implement our experimental activities in a youth club in Palermo (Centro Tau) whose educators are  already quite active in using media in their activities. Centro Tau is located in a highly disadvantaged area of                                                                    6 The project was funded within the “Youth in Action” EU Program. For details: http://www.gamepaddle.eu  

23


Massimiliano Andreoletti and Gianna Cappello  the city (the La Zisa neighbourhood) with a heavy impact of both micro and organized criminality (mafia) and a  long‐standing  lack  of  social,  cultural  and  recreational  initiatives/infrastructures.  Schools  are  here  daily  confronted with high levels of dispersion and dropping out, and therefore the role of youth clubs is crucial in  offering complementary (if not alternative) educational and cultural activities to these youth.     Activities started in early March 2012 (with a short training of the Centro Tau educators) and went on till June  2012 7 ; a total of 15 youth were involved (11 males and 4 females), aged 14‐18 8 . The methodology included  participant  observation  sessions,  focus  groups  and  questionnaires.  After  a  preliminary  discussion  with  the  educators  and  a  first  meeting  with  the  youth,  we  decided  to  make  some  changes  to  the  initial  model  of  intervention  (as  described  in  the  previous  paragraph)  in  order  to  better  adapt  it  to  the  actual  context  of  implementation and to the youth involved. Therefore, after a first activity to approach the simulated city (see  phase 1 of the model), three other sets of activities followed:    1. analyse and reconstruct your actual city. The youth were asked to produce a paper map (a poster) of the La  Zisa  neighbourhood  with  the  aim  of  having  them  look  around  and  think  about  (both  individually  and  collectively)  their  living  context.  They  were  asked  to  identify  the  places  that  had  negative  and  positive  connotations for them. Accompanied by one of the educators, they went around the neighbourhood making  interviews  and  taking  photos  which  were  afterwards  glued  to  a  big  poster  together  with  drawings,  web‐ retrieved pictures and written comments. As a result of these activities, each kid created a personal portfolio  with all the materials collected. The final poster represents a choral portrait of the La Zisa picturing the most  important locations of the youth’ daily lived experience;       2. playing video games. Before going into the final phase, an intermediate activity was carried out in order to  increase the youth’ participation and interest, and also have an idea of the needs and motivations that lead  them to playing video games. Through a peer discussion, they made a selection of favourite video games which  were then used for a contest where 7 teams, each consisting of 2 youth, where to defy each other. The list of  the video games selected clearly reflects the male predominance within the group as it includes sports games  (Need for Speed. Carbon, Fifa 2012, Pro Evolution Soccer 2012, etc.) and action games (The Godfather, Grand  Theft Auto. San Andreas, Assassin’s Creed II, etc.). Parallel to the contest, sessions of SimCity playing were also  held  so  that  they  could  start  familiarizing  with  it.  After  some  initial  enthusiasm,  the  youth  increasingly  abandoned the contest session and, rather surprisingly, appeared more interested in “messing around” (Ito et.  al. 2010) with SimCity;     3.  creating  your  ideal  city  was  the  third  and  final  phase  when  youth  were  asked  to  create  their  ideal  city.  Throughout  the  sessions,  playing  was  constantly  accompanied  by  an  intense  sharing  of  opinions  and  suggestions about the difficulties encountered as well as the strategies and solutions adopted. Prompted by us  to discuss and report about the ideal cities they were developing, they were keen to confront them with the  strengths and weaknesses of the La Zisa, making a wish‐list of all the elements that in their opinion should be  included  in  their  ideal  city  (more  green  areas,  recreational  structures,  meeting  places  for  young  people,  big  and modern sports facilities, working places).  

5.2 Some initial findings and temporary conclusions  Admittedly, in order to better assess and evaluate our model, further experimentation is needed. A second set  of  experimental  activities  is  to  start  in  early  June  2013  involving  youth  from  both  Centro  Tau  and  another  youth  club  located  in  a  different  at‐risk  area  of  Palermo  (Brancaccio).  As  suggested  by  the  educators  of  the  Centro Tau, the youth who have already been part of the first experimentation at the Centro Tau will play an  important mediating and legitimating role as they represent a key component for motivating and involving the  youth from Brancaccio.     By examining the qualitative data collected during this first experimentation, we can draw some initial findings  and conclusions which are going to orient our future experimentation.                                                                     7 As it typically occurs with action‐research, the team includes educators working at Centro Tau and academics: Massimiliano Andreoletti 

and Anna Ragosta (Catholic University, Milan, MED), Gianna Cappello, Marcello Marinisi and Annalisa Castronovo (University of Palermo,  MED), Ignazio Rosato, Giovanni Bonsignore and Daniela Bellomonte (Centro Tau).   8 In order to have  a more gender‐balanced group, we did attempt to involve more girls attending the Centro Tau but apparently video  gaming did not seem to be an appealing activity to them.  

24


Massimiliano Andreoletti and Gianna Cappello  One expected outcome is that, by using SimCity to deconstruct their living context and then reinvent it as an  ideal one, the youth from Centro Tau were able to express needs and desires about it in a quite unusual and  effective way. As a matter of fact, as the educators explained to us, it is quite difficult to have these kids sit and  talk about their living context, especially when it comes to identify those negative elements which might have  some  kind  of  tie  to  their  private  lives  (for  example,  the  corners  where  mafia’s  drug  peddling  occurs,  or  the  frequent unauthorized constructions, or else the widespread practice of littering anywhere). Undoubtedly, La  Zisa  is  and  remains  a  “home”  to  them  (as  they  quite  proudly  put  it  during  one  focus  group),  a  familiar  and  comfortable  place  they  are  tightly  bound  to,  a  place  they  strongly  identify  with,  to  praise  and  protect,  especially when they want to challenge the “crime‐like” representations expressed in public discourses about  Palermo  at‐risk  areas.  Yet,  as  we  could  draw  from  the  activities  they  carried  out  during  phase  one,  by  increasingly  involving  them  in  concrete  activities  (taking  pictures,  making  drawings,  writing  comments  to  be  collected  on  the  poster)  rather  than  discussions  and  debates,  they  were  able  to  come  to  terms  with  their  mixed and contradictory feelings about their living context, identifying and, more importantly, sharing among  themselves the negative and positive aspects of it.     Another interesting, and yet quite unexpected finding, concerns the gaming experience itself. As said, during  phase two, in order to motivate and involve them, and also have an idea of their relationships to video games,  we proposed them a gaming contest which, after some initial enthusiasm, was soon abandoned. As it emerged  from discussions with the educators as well as from a focus group we had with the youth, a possible reason for  this  is  due  to the  fact that  playing  video games  (especially  the  COTS games  they  chose  for  the  contest)  was  seen as a totally free and spontaneous activity, scarcely confinable to some kind of organized and supervised  control,  such  as  the  contest.  Playing  SimCity  was  instead  seen  as  a  follow  up  of  the  previous  activity  (the  production of the poster) and a step to the final phase they were eager to get that is the construction of their  ideal city 9 . Ultimately, the failure of the contest confirms a quite recurrent evidence in the scientific literature  about the pros and cons of using COTS games for pro‐social goals. While on the one hand they can count of  communities of practices whose members have developed a strong sense of expertise and self‐confidence as  well as high levels of motivation, interest and mutual help, on the other hand the long learning curve required  to  be  fully  part  of  these  communities  cannot  be  easily  recreated  within  some  kind  of  pre‐determined  and  supervised learning context. As Stewart writes, “COTS games are developed and designed to be played over  and  over  again  and  are  built  according  to  highly  complex  semiotic  systems  that  contain  many  variables  to  endure a nearly unlimited play time” (Stewart 2012), and these systems cannot be recreated “in vitro”, as with  our contest. COTS games may be a problem for the educators (or the teachers) too who cannot be so easily  involved, as it was in fact the case with the educators of the Centro Tau during the contest. The long learning  curve of COTS games, as Stewart goes on to say, “makes them less attractive for teachers or others. Teachers  need a certain amount of time to master the game themselves, before they can apply the game in a learning  context.  It  implies  that  the  digital  divide  surmounts.”  Apparently,  less  COTS‐games  literate  educators  or  teachers will be less able to use them in a pedagogically sound manner.     Unlike  the  second  one,  the  third  and  final  phase  fully  met  our  expectations.  Participants  showed  a  great  involvement  in  expressing  their  needs  and  desires  about  their  ideal  living  context  through  the  digital  simulation. Even it with different degrees of complexity, all of them managed to build and manage their ideal  city. Albeit working on individual simulations, a lot of intense peer discussion and mutual help went on with  regards, for example, to what was to be included or removed from the cities 10 . As they often commented, by  working  concretely  on  the  building  and  management  of  a  city,  they  had  the  possibility  to  think  about  and  express  their  opinion  on  the  “civic”  issues,  feeling  all  the  time  highly  involved,  both  at  an  individual  and  collective  level.  In  fact,  building  the  ideal  city  was  considered  more  a  collective  endeavour  rather  than  an  individual one. Those who developed the most creative and effective solutions were appointed by the group as  “best  mayors”  and  were  often  requested  –  by  both  the  educators  and  the  peers  –  to  give  advice  and  suggestions. Following Ito et al. (2010), we believe that the most important learning outcomes of this kind of  gaming activity cannot be reduced to an issue of transfer of knowledge or skills. In a context like Centro Tau,  what  really  counts  is  that  such  knowledge  and  skills  are  developed  according  to  a  logic  of  intense  social                                                                    9 For this reason we have decided to remove the contest activity in our future experimentation.  10 The most interesting debates occurred when it came to allocate resources and space for certain particular buildings: a police station, for  example.  None  of  the  youth  had  thought  about  it  and  when  the  educators  suggested  it,  some  promptly  agreed  while  others  appeared  much more disinterested. Gender was also a condition for discussion. Having decided to include a huge shopping mall, girls were mocked  by the boy for wasting their resources on it. The inclusion of free and modern sports facilities as well as a large “piazza” where all people  could meet and have a walk with friends and families, were instead a choice all youth made enthusiastically. 

25


Massimiliano Andreoletti and Gianna Cappello  interaction, effective communication and problem solving, addressing one specific goal. For these kids, gaming  may  represent  an  important  and  powerful  opportunity  for  experiencing  collective  action  and  self‐esteem.  Indeed, as Thomas and Brown (2007) argue, it may even function as training ground for future collaborative  forms of work and social action. Therefore, while waiting for these findings to be further verified and possibly  advanced by our future experimentation, we can tentatively conclude that when youth have the opportunity  to pursue projects based on their own interests (as video games are), and to share them within a network of  peers with similar investments, the result is highly active and motivating forms of learning.  

References Andreoletti, M. (2012), Videogioco. In Aglieri, M. and Ardizzone, P. (eds.), Realtà educative. Milano, Unicopli.  Andreoletti, M. and Ragosta, A. (2013), S’IMpara con i videogiochi. In Parola, A. and Rosa, A. and Giannatelli, R. (eds.),  Media, linguaggi, creatività. Un curricolo di Media Education per la scuola secondaria di primo grado. Erickson,  Trento.  Anolli, L. and Mantovani, F. (2011), Come funziona la nostra mente. Apprendimento, simulazione e Serious Games. Il  Mulino, Bologna.  Cappello, G. (2009), Nascosti nella luce. Media, minori e media education. FrancoAngeli, Milano.  Cappello, G. (2012), Ritorno al futuro. Miti e realtà dei nativi digitali. Aracne, Roma.  Deterding, S. et al. (2011), “From game design elements to gamefulness: Defining “gamification””. Proceedings of the 15th  International Academic MindTrek Conference, pp 9–15. Retrieved from:  http://85.214.46.140/niklas/bach/MindTrek_Gamification_PrinterReady_110806_SDE_accepted_LEN_changes_1.pdf  Egenfeldt‐Nielsen, S. (2007), Educational potential of computer games. Continuum, New York.  Gee, J. P. (2007), What video games have to teach us about learning and literacy. Palgrave Macmillan, New York.  Haché, A. et al. (2010), “Using ICT to reengage and foster the socio‐economic inclusion of youth at risk of social exclusion,  marginalized young people and intermediaries working with them”. Retrieved from: http://youth‐partnership‐ eu.coe.int/ youth‐partnership/ekcyp/research_europe.html.  Herger, M. (2012), “Gamification. Facts & Figures”. Retrieved from: http://enterprise‐gamification.  com/index.php/en/facts.  Klein, W. M. P. and Zajac, L. E. (2009), Imaging a rosy future: The psychology of optimism. In Markman, K. D. and Klein, W.  M. P. and Suhr, J. A. (2009), Handbook of imagination and mental simulation. Psychology Press, New York.  Ito, M. et al. (2010), Hanging out, Messing around, Geeking out. Kids Living and Learning with New Media, The MIT Press,  Cambridge MA.   James, W. (1890), The Principles of Psychology, II volume. Little Brown, Boston.  Oyserman, D. and James, L. (2009), Possible selves: From content to process. In Markman, K. D. and Klein, W. M. P. and  Suhr, J. A. (2009), Handbook of imagination and mental simulation. Psychology Press, New York.  Pfeiffer, J. W. and Jones, J. E. (1985), Reference guide to handbooks and annuals. University Associates Publishers, San  Diego.  Pfeiffer, J. W. and Ballew, A. C. (1988), Using case studies, simulations, and games in human resource development.  University Associates Publishers, San Diego.  Prensky, M. (2007), Digital Game‐Based Learning. Paragon House, St Paul.  Rosa, A. (2012), I videogiochi come palestra di sperimentazione valoriale. In Felini, D. (ed.): Video Game Education. Studi e  percorsi di formazione. Unicopli, Milano.  Stewart, J. (ed.) (2012), “State of Play of Digital Games for Empowerment and Inclusion. A Review of  the Literature and  Empirical Cases”. Retrieved from: http://is.jrc.ec.europa.eu/pages/EAP/ eInclusion/games.html.  Stewart, J. et al. (2013), Exploring the Potential Impact of Digital Games for Empowerment of Groups at Risk of Social and  Economic Exclusion: Opportunities, Challenges and Possible Actions”. Retrieved from: http://is.jrc.ec.europa.eu/  pages/EAP/eInclusion/games.html.  Thomas, D. and Brown, J.S. (2007), “Why Virtual Worlds Can Matter”. Retrieved from:  http://www.johnseelybrown.com/needvirtualworlds.pdf.    

26


“The Chest That Longs to be Moved”: A Serious Game for the Greek  Muslim Minority Children  Alexandra Androussou, Evangelia Kourti and Nelly Askouni  National and Kapodistrian University of Athens, Athens, Greece  alandr@ecd.uoa.gr  ekourti@ecd.uoa.gr  naskouni@ecd.uoa.gr    Abstract: This paper refers to the creation and the use of a serious game produced within a large‐scale educational project,  aiming  at  the  social  inclusion  of  Muslim  minority  students  in  Western  Thrace  in  Greece.  The  game  represents  an  educational  challenge  both  at  political  and  social  level  as  it  has  to  meet  the  particular  characteristics  of  the  target  population  it  is  addressing.  Muslim  minority's  children  face  massive  under  achievement  at  the  primary  school  and  high  drop‐out rates from compulsory education. The game was designed as a basic learning tool in educational activities outside  the  school  in  order  to  enhance  the  use  of  the  Greek  language,  taking  into  consideration  the  needs  of  this  specific  population. It is intended for students between the ages of 8 and 12. It is played in group with the help of specially trained  teacher‐animators  in  the  14  “Support  Centers”  (2  central,  8  peripheral  and  4  itinerant)  created  for  the  needs  of  the  educational  project  attended  by  2.800  students.  The  socio‐cultural  context  in  which  this  game  was  created  and  the  underlying pedagogical theories in which is grounded, concerning the content and the technical specifications of the game  are presented. A specific example concerning the use of this game, in a small isolated mountain village, is analyzed in order  to  illustrate  how  the  very  form  of  the  game  together  with  its  contents  mobilized  children’s  interest  and  led  them  to  produce  different  types  of  texts  (written  and  audiovisual)  and  by  this  to  improve  their  communication  skills  in  Greek  language. It is argued that through the game’s educational activities children became more open to the outside world but  also developed a stronger identity as new ways of thinking emerged as to their identity and their position in society. It is  emphasized that the political dimension of the pedagogical choices in  the design of a serious game aimed at vulnerable  social groups is critical for the success of the game’s goals.     Keywords: serious game, language learning, empowerment, identity, Muslim minority, intercultural education 

1. Introduction This paper refers to the creation and the practice of a serious game which was produced within a large‐scale  educational  project,  aiming  at  the  social  inclusion  of  Muslim  minority  students  in  Western  Thrace,  entitled  “The  Education  of  Muslim  minority  Children”.  1   It  is  a  highly  contextualized  serious  game,  as  it  takes  into  consideration  the  educational  needs  of  this  specific  population.  In  this  perspective,  although  it  could  be  considered useful only for this population, its pedagogical conception could be of interest to anyone creating  educational games for minority groups in different formal or informal educational settings. For this purpose  the  social‐  cultural  context  in  which  the  game  was  created  and  the  underpinning  pedagogical  theories,  concerning the content and the technical specifications of the game, will be presented.     In  order to  contribute  to  the  ongoing  discussion  around  the possibilities  of  using  serious  games  for  learning  (Breuer and Bente 2010) a specific example concerning the use of this game will be analysed. 

2. The social cultural context   "The  Chest  that  Longs  to  be  Moved"  [O  sevdas  tou  sedoukiou]  is  a  computer  serious  game  designed  for  a  special educational and social context. It was created as part of the educational project mentionned above to  be used as a basic learning material in educational activities outside the school, in order to primarily enhance  the  knowledge  of  Greek  by  the  Muslim  minority  children  in  Thrace,  a  province  of  North‐Eastern  Greece  bordering Bulgaria and Turkey.     Τhe  history  of  this  area  has  been  quite  turbulent  and  in  order  to  appreciate  the  complexity  of  the  implementation of this project (Dragonas and Frangoudaki 2006) ‐and thus the way the game was designed ‐  one  should  have  in  mind  the  social  and  historical  framework  linked  to  and  affected  by  the  Greek‐Turkish  relations (Anagnostou 1999; Yiagcioglu 2004). Although Greek citizens, most of the Muslim minority students  have  a  Turkish  ethnic  identity  and  their  education  is  regulated  by  the 1923  Lausanne  Treaty  concerning  the  rights of both the Muslim minority in Thrace and the Orthodox Greeks living in Istanbul.                                                                    1

www.museduc.gr

27


Alexandra Androussou, Evangelia Kourti and Nelly Askouni  Minority  students  and  their  families  live  separately  from  the  Greek  majority  in  ethnically  and  linguistically  homogeneous  settlements,  where  the  majority  of  women  do  not  speak  Greek.  Consequently,  most  children  speak Greek only during school hours. Almost the entire minority population belongs to the two lower social  strata: farmers and manual workers, exceeding the national average by far. At the same time they have a very  low educational level (Askouni 2008).      In  the  beginning  of  this  program,  the  intervention  team  had  to  face  enormous  problems:  geographical  and  social  isolation  of  the  minority,  children  who  did  not  speak  Greek  and  attended  special  minority  schools,  inadequate textbooks, teachers totally unprepared to teach in this context, and of course political obstacles  (Frangoudaki 2008).    The  great  challenge  for  this  project  was  to  “translate”  these  critical  conditions  into  a  specific  intervention  strategy.  The  intervention  had  to  be  holistic,  including  research,  development  of  educational  material,  transformative  actions  within  the  school  structure  (curriculum  changes,  innovative  approaches  to  pedagogy  and teacher in‐service training), as well as educational activities within the community (Androussou, Askouni,  Dragonas, Frangoudaki and Plexoussaki 2011).    The  pedagogical  rationale  adopted  for  the  development  of  the  new  educational  material  was  based  on  the  principles  of  critical  pedagogy  (Freire  1973;  Apple  1982;  McLaren  1992)  and  transformative  pedagogy  (Cummins 2004). In developing the educational materials, an open‐ended methodology was adopted. In this  perspective, literacy was viewed as a social practice (Baynham 1995) whereby learners comprehend, interpret  and acquire linguistic and communicative competences, and thus can use language in both oral and written  form  in  a  wide  range  of  contexts.  The  emphasis  was  placed  on  children  who  acquire  skills  in  the  use  and  interpretation  of  all  possible  meaning  sources  (visual,  linguistic,  technological  etc)  as  well  as  language  production.    In this context, actions and interventions outside school were also organized. The Program set up 2 central, 8  peripheral,  and  4  itinerant  “Support  Centers”  (their  acronym  in  Greek  is  KESPEM).  Their  aim  was  mainly  to  provide compensatory classes that would enhance minority children’s command of Greek and improve their  school  performance.  The  classes  were  to  be  conducted  during  the  school  year,  but  also  during  the  summer  2 vacations.      The  computer  serious  game  we  will  present  was  created  for  the  needs  of  these  classes.  3   According  to  the  main scope of the program it addresses language, culture and identity issues. 

3. Rationale and design of the game  As  minority  children  in  Thrace  are  mainly  bilingual  (Turkish‐Greek)  or  trilingual  (Pomak‐Turkish‐Greek),  teaching a second language (in our case Greek) raises, apart from the matter of appropriate teaching methods,  issues involving relations of hierarchy between languages, and hence power relations in force in the particular  social and cultural context (Cummins, 2004). Given that the main objective of the game was learning Greek, it   was designed to provide the basis for establishing a framework within which each student could develop at  his/her  own  pace  and  personal  experiences,  his/her  basic  learning  ability  (Cope  and  Kalantzis  2000).  The  pedagogical  rationale  of  the  game  was  also  aimed  at  strengthening  the  students'  identity  (Cummins  1996),  allowing for the release of their communicative skills. Thus, the themes of the texts of the game move from  the  familiar/what  they  know,  to  the  unfamiliar/what  they  don’t  know.The  two  main  words  chosen  for  the  name of the game, "sevdas” and “sendouki", exist in both languages (Greek and Turkish). In Greek, they are  loan  words  from  Turkish  and  used  in  every  day  life  in  both  languages.  "Sevdas"  means  a  complaint,  and  "sendouki" means chest, trunk. These two words refer directly to Turkish and therefore to the identity of the  minority.  In  the  political  framework  described  above,  the  choice  of  these  words  is  obviously  symbolic.  It  is  clearly a message of respect of the minority identity.                                                                    2

Other activities  include:  pedagogical  and  creative  activities  for  pre‐school  children,  creative  workshops  for  children  and  adolescents,  Greek language classes for parents of minority pupils, seminars to "familiarize" primary and secondary education teachers with the Turkish  language.   3   The  following  persons  collaborated  in  the  production  of  “The  Chest  that  Longs  to  be  moved”:  Scientific  advisor,  responsible  for  pedagogical  design  and  production:  Alexandra  Androussou.  Computer  design:  Μ.  Kyrkos.  Illustrations:  Th.  Tibilis.  Documentation  texts,  Educational  activities:  A.  Dimitriou,  V.  Lagopoulou.  Edting:  M.  Zografaki.  Narration:  K.  Sidiropoulos,  M.  Sontaki.  (see  also  http://museduc.gr/en/ηλεκτρονικα‐εκπαιδευτικα‐παιχνιδια/ο‐σεβντάς‐του‐σεντουκιού) 

28


Alexandra Androussou, Evangelia Kourti and Nelly Askouni  The fact that nowadays most young people are exposed to and use modern information and communication  technologies, personal computers, gaming consoles and the Internet, played a crucial role in our decision to  design a computer serious game. ICT has become part of young people's everyday culture and they have been  socialized with digital media. The idea was that technology can act as an incentive but also give opportunities  to children from low economic and educational strata to become familiar with the use of new tools, and in this  way  strengthen  their  identity.  Computer  games,  according  to  Gee  (2003),  constitute  great  tools  to  support  educational processes that introduce children to literacy. As he argues, computer games may be used in the  educational process because they create a new charming learning environment that combines entertainment  and education that motivate children in learning.    As most of the serious games, this game is used for more than just mere entertainment (Susi, Johanesson and  Backlund 2007) and belongs to the vast majority of serious games which are aimed at learning and education  (Breuer and Bente 2010). In that sense, according to Michael and Chens’ classification (2006), where serious  games are defined as games that teach, train and educate, it is part of the educational games category. This  game is not only designed as a learning tool, but also as motivator and/or generator of interest. It doesn't only  take into account contextualization, personalization and choice, but also combines entertainment and learning  in a way that the children do not experience the learning part as something external to the game (Breuer and  Bente 2010). 

4. Description of the game  In  designing  the  game  first  we  had  to  overcome  a  number  of  practical  problems  related  to  the  specific  population: the format, the tools that had to be used, the skills that had to be developed before children could  have access to the opening screen. We had to take into consideration the technological characteristics of the  computers available to run the game and the computer literacy of the students. Most of them had not even  seen a computer. They did not know how to turn it on, how to use the mouse or what a double click means.  The design had therefore to be very simple. It consisted in very simple procedures in Flash programm version  6,  with  consecutive  animations  and  a  very  simple  interface  in  order  to  be  understandable.  The  game  is  designed in 2D for single players and when more children are present we use “hot‐ seat”. Each child plays the  game and then the teacher/animator organises the pedagogical activities for the whole group. The presence  4 and role of a teacher/animator   in this context is important. He/she acts as facilitator and mediator: He/she  organizes the group playing on the computer, animates the process and observes the rules of the game.     The game has 6 different levels with increasing difficulty in Greek per level. It is multi‐modal, includes many  sources  (texts,  images,  and  games)  and  constantly  refers  to  other  external  sources  (books,  maps,  images,  dictionaries). Each level consists of games (memory mappings, grouping words), texts and activities (writing,  language games, mathematical operations, visual, and combination of these forms) on the texts. There are a  total of 89 texts, with their respective activities, and 89 games, presented alternately to the flow of the game.  th At the end of each level children "earn" a wheel of the chest. When the group wins the 6  wheel the chest is  ready to travel again.  While this is a computer game, it uses also other sources of knowledge connecting the virtual world with the  world  of  the  traditional  book.  It  is  a  journey  through  space  and  time,  a  kind  of  interdisciplinary  electronic  library  which  deals  with  history,  geography,  social  and  civic  education,  art  and  everyday  life.  It  alternates  between individual and collective work, constantly providing opportunities for text production, short and/or  longer.    The  game  supports  an  interdisciplinary  approach  to  knowledge  not  only  in  content  but  in  form:  it  supports  children in their efforts to combine information from various sources (electronic and print) and to approach  information  from  different  perspectives.  It  is  designed  to  be  played  in  groups.  This  choice  is  based  on  the  principle  of  social  learning.  Rather  than  compete  between  them,  children  learn  to  cooperate  and  coexist  in  order to be able to play the game.     The pedagogical principle of 'learning to learn', where knowledge is not meant as sterile information but the  result of a complex process, a journey between experience and new information (Giordan 1998), was applied.  As  far  as  the  language  is  concerned  the  game’s  texts  had  to  be  written  in  simple  language  but  deliberately                                                                    4

The teachers involved in this action are trained systematically from the scientific responsible of the KESPEM to whom they send daily  assessments electronically and receive feedback about their work.

29


Alexandra Androussou, Evangelia Kourti and Nelly Askouni  more demanding than the children’s level in Greek. The purpose was that the texts should not be understood  by  the  children  as  typical  'language'  school  texts  for  working  on  vocabulary,  grammar,  etc.,  but  to  prompt  questions by the children and  trigger their curiosity to search for further information and become more open  to  the  world.  As  Freire  and  Macedo  (1987:  37)  note  «the  reading  of  the  world  precedes  the  reading  of  the  word  and  the  reading  of  the  word  requires  continuously  reading  the  world  ...».  Although  the  texts  are  intellectually  demanding,  they  are  based  on  the  experiences  of  children,  thus  adopting  the  perspective  of  situated learning (Gee 2004). They are not intended to make children speak Greek fluently, but to make them  feel that they can also express their own experiences, anxieties, desires in Greek.     Script and content of the game    The  scenario  of  the  game  is  discovered  by  the  children‐players  while  opening  the  first  screen:  in  a  summer  5 camp on the island of Samothrace,  a group of children discover an abandoned chest. They open it and they  find  a  letter  where  the  chest  tells  its  story.  It  is  a  chest  full  of  objects  and  memories  of  a  long  journey  that  starts  at  the  end  of  the  19th  century,  passes  through  the  Balkans,  through  the  Mediterranean,  arrives  in  Alexandria,  then  to  Marseilles,  travels  to  Turkey,  goes  to  Greece,  migrates  to  some  European  countries  and  ends in Samothrace. During this journey the chest changes owners (traders, sailors, immigrants and refugees).  Its  story  represents  different  types  of  migration  in  the  modern  Greek  history  (diaspora,  labor  migration,  refugees  due  to  civil  war,  population  exchanges).  Passing  through  Germany  the  chest  changes  owners,  it  passes from an immigrant of the majority to one of the minority from Thrace. In the letter, the chest explains  that it wants to move and travel again in the world but has lost its 6 wheels. Players are challenged to find the  wheels to help it travel again. Every wheel corresponds to a different language level.    The  texts  of  the  game  are  short,  350‐500  words.  Depending  on  the  level,  players  face  different  difficulties.  Each text is accompanied by a small vocabulary at the end. The texts refer equally on very familiar situations to  minority children such as local festivities and rituals (e.g. the celebration of cherry, the kourbani), monuments  of  Thrace  (e.g.  the  Komotini  Imaret)  and  on  very  unfamiliar  topics  as  rivers  of  Africa  (e.g.  Okavango),  monuments and capitals of Europe (e.g the Mermaid in Copenhagen, the Eiffel Tower in Paris), great historical  personalities (e.g. E. Venizelos, Gandhi, Martin Luther King). (see annexe, screenshot i)    All texts have a historical dimension, placing each subject in historical, social and political context and are not  merely of encyclopedic character. The texts are first displayed on the screen in the specific geographic area  conerned, on a world map. This process along with the display of the dates a text refers to, in the form of a  fast clock that runs backwards in time (from now to the specific date), situates visually the information in its  historical and social context. There is no text that is decontextualized.     In  the  flow  of  the  game,  the  text  is  first  read  by  the  children  as  a  group  on  the  screen  and  heard  from  the  computer’s speakers. Then, the children have to answer questions which are not typical comprehension ones.  In  order  to  answer  these  questions  they  need  to  elaborate  the  information  contained  in  the  text  through  multiple pedagogical activities, such as role playing, constructions etc. They are also asked to seek information  from different sources and make a synthesis. Once they have finished working on a text they have access to a  game which they have to play on the computer in order to advance to the next text. The images chosen for  these games are relevant to the children’s interests in everyday life (e.g. football players, popular singers etc.).  They are  invited to find the same (e.g. two hidden identical pictures), (see annexe, screenshot ii) to classify  into  categories  (e.g.  rivers,  lakes),  to  match  equivalents  (e.g.  capitals  countries  flags  with  countries)  (see  annexe  screenshot  iii).  Switching  texts  and  games  creates  a  treaty‐based  learning  pleasure  and  joy  (Resnick  2011). Children have great fun when they unexpectedly come across images from their experience as playing  children and not as "students". 

5. Elements of evaluation of the game  The  evaluation  of  a  serious  game  can  be  done  in  various  ways.  In  order  to  have  a  complete  picture,  it  is  necessary  to  carry  out  a  systematic  and  long‐term  field  research  which  will  include  interviews  of  students‐ players,  interviews  of  teacher‐facilitators,  observation  in  the  classroom  and  analysis  of  the  children's  productions.  Given  the  political  and  ideological  dimensions  of  this  field  and  the  sensitive  balances  to  be                                                                    5

Samothrace is a Greek island in the northern Aegean Sea well known to the children as it is situated within the Evros regional unit of  Thrace.

30


Alexandra Androussou, Evangelia Kourti and Nelly Askouni  followed by the intervention group, 6  it was not possible at this stage to make a survey interviewing children or  to have a systematic observation by an external evaluator. As already mentioned, the pedagogical and political  challenge of this intervention was to create relationships of trust between the members of the minority group  and the intervention team, in order to be allowed to access these small, closed and conservative communities.  For this reason, in this phase of the PEM, we were reduced to an action research which consists in analyzing  the  productions  of  children together  with the  daily  records  kept by the  teachers  of  each group,  where  they  mark the learning objectives for the group, how they  drew up the educational process, the results obtained  and  the  evaluation  of  the  teacher.  The  combined  analysis  of  first  the  daily  evaluations  of  teachers,  which  include  indications  for  the  particular  framework  in  which  they  worked,  indicate  the  starting  point  of  each  group  and  inform  on  the  educational  process,  and  secondly, the productions  of  children  (texts  produced  on  the computer, ppt, maquettes, videos etc.) enable us to see to which degree the game achieved its two main  objectives:  strengthening  of  Greek  and  empowerment  of  the  children's  identity.  Action  research  is  still  on‐ going, as the program is still running.    “The Chest that Longs to be Moved” for the year 2012 ‐ 2013 has been used by 2,000 children aged 7 to 12  years who participated in the activities of KESPEM, both stationary and itinerant. Its use has resulted in a large  diversity of productions in various media (paper, computer, videos, maquettes).    In this presentation we will limit ourselves to the analysis of a specific production in a small and remote village  in Thrace, where the game was played in an itinerant KESPEM. This example could illustrate how the principles  of  the  game  effectively  worked.  The  conclusions  of  this  analysis  have  been  confirmed  in  a  more  recent  publication (Androussou, in press).   

6. Playing with the Chest in Plagia village  Plagia  is  a  small  mountain  village  with  293  inhabitants,  situated  45  km  from  Komotini,  the  capital  of  the  prefecture of Rodopi. The van takes one hour to reach the village because of the mountain road. In the village  there is only one cafe and a small grocery store. Most of the people are involved in tobacco growing and some  few in farming. The elementary school has 19 minority children. 10 of them, aged 7‐12 years, are attending the  classes of the itinerant KESPEM systematically, the older boys work with their parents after the school hours.  As in many mountain villages, few minority children have visited Komotini and most of them have never been  outside their area (only two have traveled once to Edirne in Turkey for shopping). They speak only Turkish and  hear  /  use  Greek  only  during  the  school  hours  and  the  two‐hour  courses  of  itinerant  KESPEM,  which  visites  their village once a week.    This  village  participates  in  the  itinerant  KESPEM  courses  since  October  2011.  At  that  time  students'  level  of  Greek was very low. The teacher/animator could have only a rudimentary exchange with the children in Greek.  On  this,  an  important  role  was  played  by  the  driver  of  the  van,  who  is  a  member  of  the  minority  and  participates often in the educational process as a mediator in translating from Turkish to Greek.     During the first year, the teacher worked with the children on the first level activities of the computer game  and the children won the first wheel. This year she began the second level of the game and noticed a clear  progress and a wish by the children for creative activities. One of these activities was the creation of the video  “Athens TV.”    From November 2012 until February 2013, the children worked on four texts of the second level concerning  the city of Athens, in particular Omonoia Square, the subway, the Acropolis Museum and the old mosque (now  a museum).When the children finished working on these texts, the teacher proposed them to make a written  synthesis  of  what  they  had  learned  about  Athens.  The  children  proposed  to  make  a  maquette  of  Athens  instead. Moreover they asked to make a video presenting a television programm about Athens in an imaginary  TV  channel,  which  they  called  “Athens  TV”.  They  intended  to  show  the  video  to  all  the  students  and  to  the  program monitoring comittee in Athens. The implementation of their project required the following steps: first  they read again the four texts, then they wrote down what impressed them more and finally they chose what  to  put  in  the  maquette.  The  construction  of  the  maquette  was  done  collectively  during  one  course  and  involved  seven  children.  Each  child  decided  what  to  construct.  He/she  decided  also  to  write  a  text  about  his/her construction. Their sources were pictures from the internet and a short video of the Acropolis Museum                                                                    6

For this issue see Askouni and Plexoussaki (2010) . 

31


Alexandra Androussou, Evangelia Kourti and Nelly Askouni  website (a visit simulation to the museum). Then the children decided how to produce the video and assigned  roles  for  its  realisation.  One  of  them  had  to  shoot  the  video  and  the  others  to  present  something  about  Athens. The presenters had also to write a text to be read in front of the camera.     The video was shot in their classroom and the children appeared one after the other. On a desk, there was  their maquette of the city of Athens. On the front side of the desk there is was sign indicating “Athens TV” and  next  to  it,  a  Greek  flag,  which  had been drawn  by  the children  in  the wrong  sense. On the  right  side  of the  screen there was a map of Greece. The whole setting referred to the newscast. Each child presented one of  the buildings of the maquette and read the small text he/she had prepared, with more or less fluency in Greek.  They presented general information on Athens and the Acropolis Museum, the old mosque (now a museum),  the subway, a block of flats in Athens, a hospital, a bakery and the Parthenon.    The goals of the game achieved through this activity can be summarised as follows:  ƒ

The game as motivation for learning: the texts functioned as an incentive to learn how to search for more  information in the extracurriculum books of the library of the itinerant KESPEM and/or the internet. This  was  reinforced  by  the  teacher/animator  who  created  a  permissive  communication  framework,  did  not  restrict  children’s  imagination  or  penalize  their  errors  (e.g.  inverted  flag,  spelling  errors,  speech  and  writing  errors,  etc.),  as  would  happen  in  the  formal  school,  while  promoting  their  playfulness  and  creativity.  

ƒ

The game as motivation to improve the use of Greek: in order to play this game chlildren are obliged to  use  Greek  at  different  degrees  of  difficulty.  Greek  language  becomes  thus  not  only  functional  but  also  attractive, as it allows ‐ as is the case of Turkish‐ to create and imagine. Moreover, it introduces them to  new worlds in a playful way, and to the discovery of new languages through the experience of technology  and media (computer, video, internet). 

ƒ

The game as a means of creativity: the game allows the students‐players to transform and to explore in  different ways the knowledge acquired through the texts (role playing, maquettes, videos etc). In this way,  they are familiarized with the creative process as it is shown in what they constructed. The maquette of  the city of Athens, can be considered as a metaphor of the virtual space in which they were introduced via  the  Internet,  and  their  video  production  as  an  evidence  of  the  knowledge  acquired  and  their  ability  to  create through technology. 

Through the  example  of  this  activity  one  gains  an  insight  into  how  this  computer  game,  and  the  games  in  general, with appropriately designed technology, can set the creative and communication skills of children in  motion and allow them to access a symbolic space where the unfamiliar can become familiar, and thus part of  children’s identity. 

7. Conclusion "The Chest that longs to be moved" functions as the basic canvas on which the relationship of children with  learning processes is established. It is the link between the intervention team of the project and the children.  Although the game is demanding because it uses only Greek, it becomes for the children a virtual environment  that  includes  their  experiences,  their  history,  their  own  space.  They  can  recognize  themselves  in  the  texts  proposed and feel that their identity is respected. In this way Greek seems to become for them a more friendly  language to which perhaps it is worth to be receptive. Beyond the improvement of Greek, the game aims to  build  trust  and  mutual  acceptance  in  order  to  help  children  escaping  from  the  "closed”  world  of  a  rural  isolated  community  and  be  informed  about  and  “participate”  in  the  broader  national  and  international  community.  In  this  perspective  the  game  can  also  be  considered  as  this  "imaginary"  space  where  there  are  bridges between the cultural elements of the minority and the majority allowing for the setting up of multiple  identities, which are not yet visible in the public sphere.    Up  to  the  present  day, the  experience  of the  application  of  this  specific  game  makes  clear  that  the  political  dimension of the pedagogical choices is fundamental. It is obvious that the success of a serious educational  game  ‐especially  when  it  targets  socially  vulnerable  groups‐  depends  on  its  design,  which  has  to  take  into  consideration  more  than  just  the  rules  of  a  “good”  game.  Games  are  not  "neutral"  educational  tools.  The  pedagogical  dimension  adopted  is  always  part  of  a  wider  political  perspective  (Freire  1998).  In  such  specific  situations ‐but also more widely‐ recognizing the diversity of the voices of learners allows the production of  educational material and the development of processes that do not lead to the exclusion of the other. In this 

32


Alexandra Androussou, Evangelia Kourti and Nelly Askouni  perspective, serious games as educational materials are not only tools for learning but also means for the right  to express the minorities’ voices. 

Annex 1 

Annex 2 

Annex 3  

33


Alexandra Androussou, Evangelia Kourti and Nelly Askouni 

References   Anagnostou, D. (1999) Oppositional and Integrative Ethnicities: Regional Political Economy, Turkish Muslim Mobilization  and Identity Transformation in Southeastern Europe, Doctoral Dissertation, Cornell University.   Androussou, A.  (in press) Itinéraires identitaires des enfants de la  minorité musulmane en Thrace par l’intermédiaire d’un  jeu sérieux, Revue Synergies du Gerflint.  Androussou, A., Askouni, N., Dragonas, Th., Frangoudaki, A and Plexoussaki, E. (2011) “Educational and Political Challenges  in Reforming the Education of the Muslim Minority in Thrace, Greece”, The International Journal of Learning, Vol17,  No. 11, pp. 227‐238.  Apple, M. (1982) Education and Power. Routledge & Kegan Paul, London.  Askouni, N. (2006) Minority Education in Thrace: The Process from Marginality to Social Integration, Alexandria, Athens (in  Greek).  Askouni N.  and Plexoussaki E. (2010) Enquête auprès des familles appartenant à une minorité. Conflits politiques, distance  culturelle et questions de méthode, in Tillard Bernadette, Robin Monique (dir.). La recherche au domicile des  familles. Démarche et savoir‐faire. Paris : L'Harmattan, pp.97‐117.  Baynham, M. (1995) Literacy Practices, Longman, London.  Breuer, J. and Bente, G. (2010) “Why so serious? On the Relation of Serious Games and Learning”, Eludamos. Journal for  Computer Game Culture. Vol 4, No. 1, pp. 7‐24.  Cope, B. and Kalantzis, Μ., (2000) Multiliteracies. Literacy learning and the Design of Social Futures, MacMillan, South  Yarra.  Cummins, J. (1996) Negotiating Identities: Education for Empowerment in a Diverse Society, California Association for  Bilingual Children, Los Angeles.  Cummins, J. (2004) Language, Power and Pedagogy: Bilingual Children in the Crossfire, Multilingual Matters, Clevedon.  Dragonas, T. and Frangoudaki, A. (2006) “Educating the Muslim Minority in Western Thrace”, Islam and Christian‐Muslim  Relations, vol 17, No. 1, pp. 21‐41.  Frangoudaki, A. (2008) Thrace is Changing: A Commentary on Prospects and Obstacles. In    Dragonas,T. and Frangoudaki, A. (Eds.) Addition not Subtraction, Multiplication not Division: Reforming the Education of  the Minority in Thrace. Metaihmio, Athens (in Greek).  Freire, P. (1973) Pedagogy of the Oppressed, Seabury Press, New York.  Freire, P. (1998) Teachers as cultural workers: letters to those who dare teach, Westview Press, Boulder, CO.  Freire P. and Macedo P. (1987) Literacy: Reading the Word and the World, Routledge, London.  Gee, P.J. (2003) What video games have to teach us about learning and literacy, Palgrave Macmillan, New York.  Gee, P.J. (2004) Situated Language and Learning. A critique of traditional schooling, Routledge, New York.  Giordan, A. (1998) Apprendre!, Belin, Paris.  Kalantzis, M. and Cope, B. (1999) “Multicultural Education: Transforming the Mainstream”, in May, S. (ed.) Critical  Multiculturalism: Rethinking Multicultural and Antiracist Education. Falmer Press, London.  Mc Laren, P. (ed.) (1992) Postmodernism, Postcolonialism and Pedagogy. Albert Park Victoria, James Nicholas Publishers,  Australia.  Michael, D. and Chen, S. (2006) Serious Games: Games That Educate, Train and Inform, Thomson, Boston.  Resnick, M. “Edutainment? No Thanks. I Prefer Playful Learning”, [online], MIT Media Laboratory DERGARTEN,  http://llk.media.mit.edu/papers/edutainment.pdf  Susi, T., Johanesson, M. and Backlund, P. (2007) Serious Games ‐ An Overview (Technical Report), University of Skövde,  Skövde, Sweden.  Yiagcioglu, D. (2004) From Deterioration to Improvement in Western Thrace: a Political System Analysis of a Triadic Ethnic  Conflict, Doctoral Dissertation, George Mason University. 

34


Transformational Play; Using 3D Game‐Based Narratives to Immerse  Students in Literacy Learning  Anna Arici and Sasha Barab  Center for Games & Impact, Mary Lou Fulton Teacher College, Arizona State University  (ASU), USA  anna.arici@asu.edu  sasha.barab@asu.edu    Abstract: The philosopher and educator John Dewey (1938) supported a transactive view of schooling, where learners are  active  change  agents  rather  than  passive  observers,  and  through  their  actions  and  consequences,  they  transform  the  problem into a known. Modern technologies now make his vision a reality, putting learners as active protagonists in their  own  learning,  taking  on  authentic  roles  via  avatars,  and  seeing  the  consequences  of  their  actions  played  out  in  a  3D  immersive world. The strength of this kind of game‐based learning is what we call Transformational Play; a 3‐fold theory  that positions the person with intentionality, the content with legitimacy, and the context with consequentiality. Grounding  this  theory  in  context,  we  designed  an  educational  3D  role  playing  game  (RPG),  school  curriculum,  and  large‐scale  comparison  study  in  18  seventh‐grade  classrooms  (N=450).  This  study  demonstrates  the  positive  impact  of  game‐based  learning in a compelling population of disadvantaged students (Latino, Native American, poverty), who have new access to  rich technology, as part of a 1:1 laptop initiative.  These students, many of whom are second‐language learners, showed  significant  gains  in  literacy,  persuasive  writing  and  engagement  in  2.5  weeks  of  gameplay  in  a  3D  immersive  narrative  based  on  Mary  Shelley’s  Frankenstein.  In  this  3D  curriculum,  “The  Doctor’s  Cure”,  students  take  on  the  role  of  an  investigative  reporter  via  their  avatar,  and  complete  a  series  of  missions  to  uncover  a  moral  dilemma  involving  Dr.  Frankenstein’s work. As reporters, students actively collect evidence through interviews, build logical arguments to support  their theses, submit these to an in‐game logic machine for evaluation, and get feedback about the alignment between their  evidence  and  reasoning.  Additional  game  tools  and  scaffolds  allow  students  to  act  ‘a  head  above’  their  current  literacy  capabilities (Vygotsky, 1978), while teachers play and provide feedback in their game‐character role as the ‘Editor’. With  the goal of having equally engaging and novel experiences for both conditions, the control condition used the graphic novel  curriculum  ‘Frankenstein’.  Measures  of  engagement  (based  on  Csikszentmihalyi’s  Flow,  1996)  showed  both  conditions  rated the experiences equally engaging. Further, we designed teacher‐led activities for the graphic novel to closely parallel  the scaffolds in the game curriculum, and both conditions wrote and revised persuasive pieces. Despite these similarities,  interesting  and  significant  differences  emerged.  Students  in  both  conditions  showed  significant  learning  gains  on  lower‐ level  items  identifying  basic  components  of  persuasive  writing.  However,  the  game‐based  students  scored  significantly  greater on the higher‐level task, requiring students to craft and compose their own persuasive essay from the ground up.   Further differences emerged in the engagement measures and observational field notes. Qualitative analyses were used to  unpack  the  quantitative  findings,  which  illuminated  the  strength  of  in‐game  tools  for  creating  a  fluency  in  these  literary  practices. The findings support the theory of Transformational Play and its potential for the classroom; that students can  be  scaffolded  via  games  to  engage  personally  and  meaningfully  in  complex  learning,  that  is  experientially  consequential  and personally transformative. 

Keywords: 3D RPG, schools, literacy, engagement, empirical study, transformational play 

1. Introduction

35


Anna Arici and Sasha Barab  The philosopher John Dewey (1938) supported a transactive view of schooling, where learners aren’t passive  observers  examining  objects,  but  instead  are  active  change  agents,  who  through  their  actions  and  consequences, transform the problem into a known. Dewey launched the Laboratory School in Chicago in 1896  designed to have students actively ‘learn by doing’, breaking them out of traditional rows and rote learning,  and allowing them to take on a role in their classroom community, to perform tasks, and to be productive. The  Laboratory School was clearly ahead of its time theoretically, but failed to gain momentum due to the difficulty  in  creating  individualized  roles  and  tasks  for  students  in  the  classroom.  The  basic  theoretical  underpinnings  have stood the test of time, however, and many modern educators have struggled with how to make learning  more  student‐centered.  Technology  has  finally  caught  up  to  Dewey’s  vision,  and  we  now  have  tools  which  make it possible to individualize learning and provide authentic tasks and roles to students, yet many schools  still resemble those of 100 years ago. Enter any modern middle or secondary school and you will find students  seated  in  rows,  as  passive  recipients  of  teacher‐led  learning,  with  technology  that  is  all  too  often  used  in  archaic  ways  (i.e.,  whiteboards  used  to  list  the  day’s  schedule,  or  laptops  used  mainly  for  typewriting  and  printing). We believe the point of modern technology in the classroom, and specifically well‐designed games, is  to change education by removing the traditional boundaries that inhibit learning and perpetuate bad practices.  Game‐based  learning  frees  the  learner  to  actively  pursue  experiences  through  sense‐making,  exploration,  testing assumptions, and seeing the consequentiality of their actions. Further, games give the learner a motive  and motivation for pursuing this expertise, with immediate feedback on their strategies, strengths, and their  own evolving identity (Gee, 2003; Shaffer, 2007; Squire, 2006; Steinkeuhler, 2006).    As games gain popularity and acceptance in schools, it is important to differentiate between types of games,  including the distinction between exogenous and endogenous games (Malone and Lepper, 1987,). Exogenous  means ‘to originate externally’, and refers to games which form a wrapper or organization around academic  content, as a means to making it more motivating and enjoyable, but without being related to the academic  content. MathBlaster is a popular exogenous game, which is motivating for practicing mathematical problems,  but the game mechanics of shooting aliens are unrelated to the math skills involved. Conversely, endogenous  games  incorporate  learning  and  practicing  skills  as  a  strategy  to  accomplish  game  goals,  and  have  a  deep  connection  to  the  domain  content  by  integrating  relevant  practices  of  the  learning  environment  into  the  structure of the game (Halverson, 2005). Endogenous games have been shown to engage students in complex  problem  solving  and  meaningful  transactive  learning,  however,  many  schools  prefer  exogenous  games  for  their quick accessibility to skill practice, reviews, and its streamlined nature. While there is value in practice,  well designed virtual games can go further to position the learner in meaningful situations, with the ability to  take  on  authentic  roles,  and  the  agency  to  make  decisions  and  see  their  outcomes,  while  redefining  the  learner’s sense of self through what they can do and who they can become. If properly designed, games can  provide  the  problems,  tools,  people,  experiences,  perspectives,  and  consequences  to  ensure  that  learners  develop rich content understanding (Arici, 2009, Barab, Gresalfi, & Arici, 2009). 

2. Transformational play 

Transformational  Play  is  the  theory  by  which  we  illuminate  the  strengths  of  game‐based  learning,  which  positions  the  person  with  intentionality,  the  content  with  legitimacy,  and  the  context  with  consequentiality  (Barab, Gresalfi, Ingram‐Goble 2010). Learners who play transformationally become protagonists who use the  knowledge, skills, and concepts of the educational content to first make sense of a situation and then make  choices that actually transform the play space and the player—they are able to see how that space changed  because  of  their  own  efforts.  Such  play  is  transformational  in  that  it  changes  the  context  in  which  play  is  occurring, at the same transforming the player and his or her potential to interact with the world. 

36


Anna Arici and Sasha Barab  When  creating  learning  environments  to  bring  about  transformational  play,  we  attempt  to  position  these  elements in the following ways:  ƒ

Person With  Intentionality  (positioning players  as  protagonists  with  the  responsibility  of  making  choices  that advance the unfolding story line in the game) 

ƒ

Content With  Legitimacy  (positioning  the  understanding  and  application  of  academic  concepts  as  necessary if players are to resolve the game‐world dilemmas successfully) 

ƒ

Context With  Consequentiality  (positioning  contexts  as  modifiable  through  player  choices,  thus  illuminating the consequences and providing meaning to players’ decisions) 

3. Atlantis remixed: The doctor’s cure  Based in this theory, and to further investigate its underpinnings, we created a 3D immersive role‐play game  for learning literacy skills, called “The Doctor’s Cure”. This game is embedded within the Atlantis Remixed (ARX)  Project, an international learning and teaching project that uses 3D virtual environments to immerse children,  ages 9‐16, in educational tasks (the second generation of Quest Atlantis). Through interactions with in‐game  mentors  (non‐player  characters,  or  NPCs)  and  by  using  in‐game  tools  to  engage  the  academic  content,  the  students are given the scaffolds and affordances necessary to take on the role of an expert in an authentic task  and make influential decisions, which they see played out in their virtual world.    “The Doctor’s Cure” (TDC) is a literacy game based on Mary Shelley’s novel Frankenstein, and set in a gothic  world,  where  students  take  on  the  on  the  role  of  an  investigative  reporter  via  their  avatar,  and  complete  a  series  of  missions  to  uncover  a  moral  dilemma  involving  Dr.  Frankenstein’s  work.  As  reporters,  students  actively collect evidence through interviews and investigations, build logical arguments to support their theses,  submit these to an in‐game logic machine for evaluation, and get feedback about the alignment between their  evidence and reasoning.  

Players  are  intentionally  positioned  as  agents  of  change  whose  purpose  is  to  help  the  village  of  Ingolstadt  decide if they should allow "Dr. Frank" to keep looking for a cure in spite of his questionable research methods.  Players soon learn that persuasive writing is a necessary tool to resolve the game’s narrative conflict.  As the  game  progresses,  players  experience  how  their  choices  and  use  of  persuasive  writing  dramatically  change  Ingolstadt, its citizens, and even the students’ own identity as a writer and leader. 

3.1 In‐game tools   In‐game  tools  provide  support  in  the  interrogation  of  texts,  as  well  as  a  model  for  testing  the  logic  of  their  argument, and immediate feedback in the process. One of the pedagogical scaffolds in the game is the ‘Lens of  Lumination’  tool,  which  allows  students  to  examine  texts  above  their  current  reading  level.  The  Lens  of  Illumination is designed to help the player engage in meaning making by “illuminating” the relevant claims in  the documents, so players can decide if they want to collect that evidence.    Once players have gathered what they think is a good collection of evidence to support their thesis, they visit  Scoop  Perry,  and  use  his  Persuasive  Argumentation  Tool  (PAT),  which  displays  all  the  evidence  they  have  collected thus far. They then drag‐and‐drop their evidence to match their claims, and create a chain of logic to  support  their  thesis.  The  immediate  feedback  and  flexibility  of  the  tool  allows  players  to  move  elements  around easily, repeat and test various logic orders. Once sound, players proceed with the game and write their 

37


Anna Arici and Sasha Barab  persuasive essay for the town newspaper, to convince the townspeople of their view. These tools are a small  part of the much larger narrative. 

3.2 Technology This  project  is  based  in  an  existing  commercial  3D  engine  (Unity)  to  leverage  a  robust  feature  set  with  the  possibility of cross platform deployment, and allow us to create native applications for both Windows and Mac  platforms found in various schools. This gives the opportunity in the future to offer versions for tablets, other  mobile devices and the web.  

4. Study overview  To test the theory of Transformational Play, we implemented The Doctor’s Cure game across a school district  of 7th grade Literacy classes. This study compared a 3D gaming curriculum and context with that of a similar  curriculum based in the graphic novel Frankenstein. The comparison study was a quasi‐experimental design of  intact classes, with 8 classes assigned the control and 8 assigned the experimental conditions—about 450 total  students with just over 400 completing both the pretest and the posttest.  

4.1 Participants   This school district, located in the southwestern United States and bordering on Mexico, is a fairly large district  with more than 18,000 students, many disadvantaged, and have a demographic breakdown that includes 95%  minority  groups  (87%  being  Hispanic),  83%  low  socio‐economic  status,  and  20%  English  Language  Learners.  Additionally,  the  community  recently  approved  over  $25  million  dollars  in  bonds  for  technology  upgrades,  bringing one‐to‐one laptops to all students. Participants were 12‐13 years old. 

38


Anna Arici and Sasha Barab 

4.2 Measures   Measures  included  traditional  instruments,  quantitative  assessments,  as  well  as  ethnographic  techniques.  Learning  gains  were  measured  by  a  pretest  and  posttest,  which  were  identical  for  both  conditions,  and  counterbalanced  within conditions.  Questions  varied  from  lower  level  multiple  choice,  to  short  answer,  to  a  final  essay  writing  question,  where  all  students  crafted  their  own  persuasive  essay  with  a  given  prompt.  A  rubric  was  created  to  analyze  all  open‐ended  responses  and  two  raters  scored  a  subset  of  tests  with  an  interrater  reliability  of  alpha  =  .81.  To  quantitatively  assess  the  engagement  of  the  learner,  a  student  self‐ report measure was gathered. This Engagement Questionnaire was based on that of Csíkszentmihályi’s (1990)  study with ‘flow’, where he interrupted students involved in various activities to respond to their current state  of engagement, motivation and challenge in the task at hand.  

5. Results 5.1 Learning data  A repeated measures ANOVA on the multiple choice/short answer test revealed a significant main effect for  testing time, F(1,402)=46.25, p=.000, a non‐significant main‐effect for condition, F(1,402)=1.72, p=.191, and a  non‐significant  interaction,  F(1,402)=.07,  p=.793.  Follow‐up  analyses  indicate  that  both  the  control,  t(190)=5.11,  p=.000,  and  the  experimental  conditions,  t(205)=4.93,  p=.000,  improved  significantly  from  pre‐ post,  but  there  were  no  significant  differences  between  groups  with  respect  to  the  amount  improved  (see  Figure 1a). In summary, while both the control (PreM = 8.24, PreSD = 4.09; PostM = 9.60, PostSD = 4.30) and  experimental  groups  (PreM  =  8.60,  PreSD  =  3.82;  PostM  =  9.91,  PostSD  =  4.17)  demonstrated  statistically  significant  learning  gains  on  the  multiple  choice/short  answer  tasks  with  small/medium  effect  sizes  (Con  ES=.33, Ex ES=.33), there were no differences for group gains. See Figure 1, left side.     A repeated measures ANOVA on the persuasive essay task revealed a significant main effect for testing time,  F(1,353)=14.47,  p=.000,  a  non‐significant  main‐effect  for  condition,  F(1,353)=.87,  p=.350,  and  a  significant  interaction, F(1,353)=18.32, p=.000. Follow‐up analyses indicate that while the control, t(167)=.36, p=.72, did  not  have  statistically  significant  learning  gains,  the  experimental  condition,  t(187)=5.73,  p=.000,  improved  significantly  from  pre‐post  on  the  essay  writing  task  (see  Figure  1b).  In  contrast,  while  the  experimental  condition had statistically significant learning gains on the persuasive essay task from pretest (M = 3.65, SD =  1.24)  to  posttest  (M  =  4.27,  SD  =  1.30)  with  a  moderate  effect  size  (ES=.51),  there  was  not  a  statistically  significant improvement from pretest (M = 4.09, SD = 1.20) to posttest (M = 4.06, SD = 1.25) for the control  condition. See Figure 1, right side.  

Figure 1: Learning Gains. Left side is comparison of groups over time on multiple choice/short answer. On the  right side is comparison of groups over time on essay prompt  These  data  show  that  both  the  comparison  (graphic  novel)  group  and  the  experimental  (game)  group  had  significant  learning  gains  from  pre  to  post  test  on  low‐level  concepts  related  to  literacy  and  persuasive  argumentation.  That  is,  both  groups  were  able  to  identify  and  describe  the  basic  elements  of  persuasive  writing  equally  well.  However,  when  looking  at  the  final  essay  composition,  requiring  the  highest  levels  of 

39


Anna Arici and Sasha Barab  thinking,  application,  synthesis  and  evaluation,  the  students  in  the  game  condition  students  scored  significantly higher in their compositions.     These  findings  lend  support  for  Transformational  Play,  in  that  students  who  were  actively  engaged  as  first‐ person  protagonists  in  the  game  narrative,  with  an  authentic  role  and  purpose  for  writing  persuasively,  did  better  in  their  writing  than  did  those  who  had  similar  assignments  based  around  a  passive  narrative  in  a  graphic  novel.  Further,  the  game  students  had  the  contextual  tools  embedded  in  the  virtual  world  to  help  them make sense of the evidence and create meaningful logic models. Students later demonstrated they were  able to write persuasively even in the absence of these tools on the posttest, suggesting near transfer of these  skills to a non‐game context. 

5.2 Engagement data  We  collected  engagement  data  using  a  modified  version  of  Cziksentmihalyi  (1993)  flow’s  instrument  that  consisted  of  7  Likert‐type  questions  (e.g.,  did  you  enjoy  what  you  were  doing,  was  the  activity  challenging,  were you succeeding at what you were doing) and had .77 internal consistent using Cronbach’s Alpha. Results  showed  that  there  were  statistically  significant  differences  between  groups,  t(125)=5.41,  p=.000,  with  the  experimental group (M = 3.86, SD = .62) outscoring the control group (M = 3.29, SD = .58) with a large effect  size  (ES=.95).  Additionally,  a  Chi  Square  carried  out  on  data  in  which  students  were  asked:  “What  was  your  main  reason  for  doing  the  task?”  Results  were  significant,  with  the  distribution  being  statistically  different  from chance, X2(121)=35.67, p < .001. In fact, 74% (49/66) of students in the treatment condition attributed  that choice to “because I’m interested in the task,” as opposed to 22% (12/55) of the control. In contrast, 75%  (43/55) of the control chose either “to get a grade” or “my teacher told me to,” while only 23% (17/66) of the  treatment condition chose this option. These findings are summarized in Table 1.  Table  1:  Engagement  Data.  When  students  were  asked  “What  is  your  main  reason  for  doing  this  task?”  a  significant number of game‐based students attributed it to being intrinsically interested in the task,  rather than doing it for an external grade or by teacher direction  Attribution 

Treatment (Game) 

‘I’m Interested in task’ 

49 (74%) 

Control (Graphic Novel)  12 (22%) 

‘Teacher told me to do it’ 

2 (3%) 

14 (26%) 

‘To get a good grade’ 

15 (23%) 

28 (51%) 

‘Other’

0 (0%) 

1 (1%) 

5.3 Interview data  Interviews and written feedback were collected from the students throughout the implementation, and at its  conclusion. When asked to describe their experiences in this unit, these are comments that are representative  of the most commonly offered from students.      First, there were several reactions that were similar for both the Game and the Graphic Novel students. Both  groups described the experience as:  ƒ

‘Challenging’, ‘Engaging’, ‘Fun’,  ‘I am learning a lot’. 

ƒ

‘It will help improve my writing’,  

ƒ

‘This is something I’d like to continue on my own’.  

ƒ

"When the story ended, I was shocked because I wanted to read more" (Graphic Novel) 

ƒ

"Once I  finished  the  game  I  was  like,  "Aw,  man!"  I  wish  there  was  another  part.  It  was  cool  and  fun  to  play." (Game condition) 

In fact,  both  conditions  continued  to  access  the  games  and  novels  after  the  study  ended,  and  switched  to  participate in the activity they were not originally assigned.     Next, there were some reactions that were more isolated to only the Game Condition students. The following  are  representative  reactions  to  the  game  that  differed  from  the  graphic  novel  condition,  with  categorical  interpretations in parentheses:  

40


Anna Arici and Sasha Barab  ƒ

“I’m surprised that they let us play this game at school!” (engagement) 

ƒ

‘The game involved a lot of reading and writing.” (challenge) 

ƒ

“I look forward to see what is happening next, and how it will turn out.” (consequentiality) 

ƒ

“My opinion about who is right and who is wrong has changed over time.” (multiple perspectives) 

ƒ

“I’m investigating the other side of the debate now.” (active participant, multiple perspectives) 

ƒ

"The people agree and disagree with the Doctor.  It will be interesting to see how they act after my article  is published!" (embodied role, multiple perspectives) 

ƒ

“"I like it because it gives you some feedback and you can go back to fix it." (engagement)  

ƒ

“The game helps me be much more persuasive, so I can convince the people [in the game] about what I’ve  found [as an investigative reporter].” (embodied role, engagement) 

ƒ

“I’m looking forward to writing my essay so I can convince people that they should support the doctor!”  (strong opinions, motivated to articulate) 

ƒ

Some felt strongly that the doctor should not experiment on the creature because he has rights. Others  felt  that  the  ends  justified  the  means,  and  the  cost  of  the  creature  was  worth  saving  the  thousands  of  others  from  the  plague.  Others  took  middle  ground,  suggesting  alternative  ways  to  find  a  cure  for  the  plague. 

Game classes were incredibly on‐task, and had little conversation going on that wasn’t related to the game.  Many  students  were  up  and  helping  others,  cooperating  in  game  play,  and  celebrating  when  they  were  successful. 

6. Qualitative lessons  The  quantitative  and  interview  data  are  encouraging  in  that  they  demonstrate  the  learning  value  of  the  designs.  Additional  lessons  learned  were  seen  over  time  from  our  observational  data,  field  notes,  and  ethnographic methods that further support and explain the quantitative findings, and lead to lessons learned  at the level of students and of teachers, as they both made sense of this new game curriculum. 

6.1 Students This initial work was based in Transformational Play theory, which involves positioning students as agents‐of‐ change  who  use  real‐world  knowledge,  skills,  and  concepts  to  make  sense  of  a  situation  and  then  make  choices  that  actually  transform  the  play  space  and  themselves;  creating  a  place  in  which  what  you  know  is  directly  related  to  what  you  are  able  to  do  and,  ultimately,  who  you  become.  Toward  that  end,  some  core  lessons include:  6.1.1 Engaging problem  At the core of game‐based learning as leveraged in this study is that students find the problem and learning  situation  engaging.  In  The  Doctor’s  Cure,  we  set  them  up  as  a  reporter  who  had  to  determine  if  Dr.  Frank  should be allowed continue with his ethically questionable experiments on the “creature.” Most kids liked this  role, and talked about themselves as having the fate of the virtual town in their hands.   6.1.2 Pedagogical scaffolds  The pedagogical scaffolds and in‐game tools worked very well in the Doctors Cure, as can be seen in the data.   Students reported how much they loved the argumentation tool, and how it provided feedback on the quality  of  their  evidence,  and  teachers  felt  similarly.  In  fact,  teachers  felt  that  this  was  the  largest  contributor  to  student  success  in  argumentation.  The  ability  for  students  to  drag  and  drop  ideas  alleviated  much  of  the  language  barrier  present  in  this  population  of  students,  and  they  could  focus  on  just  the  logic  model  itself.  Similarly, the lens of illumination supported them in identifying the important arguments in the complex texts,  although students appeared less engaged with the glasses than the argumentation tool—possibly because the  glasses helped the player locate the ONE right answer, where the argumentation tool gave players feedback  on their entire personal argument.    

41


Anna Arici and Sasha Barab  6.1.3 Consequential feedback  Clearly, one of the most engaging aspects of the experience for students was the consequential feedback they  received  around  their  choices.  When  players  made  a  choice  or  performed  a  series  of  actions  and  the  game  responded, they would literally “hoot” out loud, or laugh and look around at other computers with a smile on  their  face.  We  saw  numerous  examples  of  students  discussing  different  outcomes  with  each  other  in  the  classroom, hallway, or in some cases we heard about students still discussing choices at home. The feedback  that teachers provided on the reports was less enthusiastically received, and we would have liked to see more  rich discussion and interest in this feedback—although it was often not framed with having in‐game meaning  or consequentiality. As the unit progressed, a number of students’ enthusiasm started to wane. We need to  figure out better ways of providing reinforcement and successes to keep students engaged for longer periods. 

6.2 Teachers Our  theory  of  change  around  using  games  for  impact,  positions  teachers  as  central  to  the  learning  process,  with much of our design intended to support them by establishing a rich and engaging storyline for student  learning and providing them meaningful places to provide feedback to students.   6.2.1 Professional development  Teachers  needed  to  be  trained  in  how  to  use  the  system  technically,  but  also  in  how  to  provide  valuable  feedback on student work, how to use embedded data in the system to support meaningful class discussions,  and  what  is  one’s  role  and  responsibilities  for  successfully  implementing  a  game‐infused  curriculum.  More  generally,  teachers  needed  ongoing  support  to  engage  the  system  successfully.  Simply  training  them  before  implementation  was  inadequate,  and  we  found  that  prompting  teachers  to  review  student  work,  to  probe  student understanding, and to provide just‐in‐time lectures was necessary.   6.2.2 Teacher dashboard 

Consistent  with  our  notion  of  games  as  a  service,  we  wanted  to  provide  a  teacher  toolkit  that  allows  easy  management of classes. Teachers really appreciated the Teacher Dashboard interface, saying it made it easy to  register students, monitor student activity, and review student work. Further, some teachers were able to use  it to identify decision biases across students to support meaningful in‐class discussions.    One  can  think  of  the  toolkit  as  a  living  dashboard  that  provides  teachers  up‐to‐the‐minute  data,  with  seven  tabs that teachers can access (roster, progress, reports, summaries, evidence, choices, resources), and a visual  representation  of  each  student’s  progress.  Teachers  reported  liking  this  immensely,  however,  very  few  teachers  could  share  examples  of  how  they  used  this  in  the  class  to  monitor  and  guide  student  progress.  Additional pre‐game  training  should  focus on  the ability to  pair  students  needing  help  with  another  student  further  ahead,  or  pull  students  at  similar  progress  points  together  for  just‐in‐time  small  group  lessons,  and  maximize the data driven decision making this tool offers.    

42


Anna Arici and Sasha Barab  6.2.3 Teacher feedback 

The  Teacher  Dashboard  also  includes  a  way  for  teachers  to  provide  rich  written  feedback  to  all  student  submissions of work from the game, using a full text editor, and speaking from the role of the Editor, ‘Scoop’,  in the game. Students receive this feedback in the game itself, embedded as something written to them from  Scoop. While we were hoping to engage teachers in the rich narrative and playfulness of the game, we didn’t  witness great examples of teacher roleplay. We found some teachers’ feedback to students when reviewing  reports  were  more  focused  on  grammar  and  spelling,  rather  than  broader  literacy  concepts  of  persuasive  argumentation. They also had difficulty “staying in character” by providing the feedback from the perspective  of the in‐game editor, instead they used their own voice. More modeling and framing of these roles needs to  be included in future training.     While the Teacher Dashboard does allow teachers to manage the implementation, it also requires many new  teacher responsibilities, and at no point does it validate teachers for their hard work, allow them to connect  with other teachers, and most problematically provide a “public” showing of the quality of student work and  their feedback. Clearly, building in more social network and validation (e.g., badges) for teachers is a priority  for upcoming releases. 

7. In conclusion  The  Doctor’s  Cure  was  created  and  grounded  in  the  theory  of  Transformational  Play,  leveraging  the  three  interconnected  elements  of  person,  content,  and  context  in  immersive  gameplay.  This  study  explored  the  nuances  of  learning  and  engagement,  when  those  three  elements  are  supported,  demonstrating  significant  learning  gains  at  higher  levels  of  authentic  practice.  Additionally,  levels  of  engagement  were  increased  as  students took on the role of the protagonist in the story, and saw the consequences of their decisions, rather  than reading about someone else’s experiences in a graphic novel. Qualitative findings uncovered additional  strengths, such as the in‐game tools for providing practice and fluency in working through difficult logic models  and  complex  texts.  However,  teachers  need  additional  support  to  shift  their  pedagogy  into  a  game‐based  approach.  

8. Extending impact and future direction  Our  broader  design  road  map  has  a  strong  vision  for  extending  the  experience  of  these  bounded  games  to  larger  impact,  using  what  we  refer  to  as  Big  “G”  infrastructure.  The  Doctor’s  Cure  game  is  an  example  of  a  specific  bounded  experience,  or  Small  “g”  game,  which  is  self‐contained  and  completable,  pre‐optimized  to  introduce and cover a particular lesson. While these games provide rich immersive learning experiences, we  need to extend learning beyond these into the community and real‐world applications via Big “G” games; an  open‐ended infrastructure that seamlessly integrates the small “g” games into a larger, flexible ‘meta‐game’  structure and affinity space to foster user‐driven extensions and adaptations in support of real‐world goals and  outcomes.  

Acknowledgements We  would  like  to  acknowledge  the  many  people  and  teams  necessary  to  envision,  design  and  implement  a  game curriculum of this scale. This would not be possible without the hard work of the team at E‐line Media’s  Game Design Studio in Phoenix, The interns at Center for Games & Impact, Janis Watson, Michelle Capriles‐ Escobedo, Alex Cope, Dr. Manuel Isquierdo, Dr. Edwin Dawson, our cooperating school district teachers and  administration,  and  hundreds  of  eager  gamer‐students  who  played  our  games  in  school.  This  study  was  supported through generous support from the Bill & Melinda Gates Foundation.  

43


Anna Arici and Sasha Barab 

References Arici, A. (2009). Meeting kids at their own game: A comparison of learning and engagement in traditional and 3D MUVE  educational‐gaming contexts. Unpublished doctoral dissertation, Indiana University, Bloomington.  Barab, S., Gresalfi, M. and Arici, A. (2009) “Transformational play: Why educators should care about games”. Educational  Leadership, 67(1), 76–80.  Barab, S., Gresalfi, M., and Ingram‐Goble, A. (2010) “Transformational play: using games to position person, content , and  context”, Educational Researcher. v39 i7. 525‐536.  Csíkszentmihályi, M. (1996) Creativity: Flow and the Psychology of Discovery and Invention, New York: Harper Perennial,  ISBN 0‐06‐092820‐4.  Dewey, J. (1938). Experience & Education. New York, NY: Kappa Delta Pi. ISBN 0‐684‐83828‐1.  Gee, J. P. (2003) What video games have to teach us about learning and literacy. New York: Palgrave.  Halverson, R. (2005) What can K‐12 school leaders learn from video games and gaming? Innovate. 1(6).  Malone, T. W., & Lepper, M. R. (1987). “Making learning fun: A taxonomy of intrinsic motivations for learning”, In R. E.  Snow & M. J. Farr (Eds.), Aptitude, learning, and instruction: Vol. 3. Cognitive and affective process analysis (pp. 223‐ 253). Hillsdale, NJ: Erlbaum.  Shaffer, D. W. (2007) How computer games help children learn. New York: Palgrave Macmillan.  Squire, K. (2006) “From content to context: Videogames as designed experience”. Educational Researcher, 35(8), 19–29.  Steinkuehler, C. A. (2006) “Massively multiplayer online video gaming as participation in a discourse”. Mind, Culture, and  Activity, 13(1), 38–52.  Vygotsky, L.S. (1978). Mind and society: The development of higher mental processes. Cambridge, MA: Harvard University  

44


Approaches to Collaborative Game‐Making for Fostering 21st  Century Skills  Susan Bermingham1, Nathalie Charlier2, Francesca Dagnino3, James Duggan1, Jeffrey Earp3,   Kristian Kiili4, Evelien Luts2, Lien van der Stock2 and Nicola Whitton1  1 Manchester Metropolitan University, Manchester, UK  2 KU Leuven, Belgium  3 Istituto per le Tecnologie, CNR,  Italy  4 Tampere University of Technology, Pori, Finland  s.h.bermingham@mmu.ac.uk  Nathalie.Charlier@pharm.kuleuven.be  dagnino@itd.cnr.it  j.duggan@mmu.ac.uk  jeff@itd.cnr.it  kristian.kiili@tut.fi  Lien.VanDerStock@pharm.kuleuven.be  n.whitton@mmu.ac.uk  evelien.luts@pharm.kleuven.be    Abstract:  Many examples exist of the effective use  of digital games for learning, both in the classroom and informally, for  developing  subject  knowledge,  skills  (cognitive,  (psycho)motor  and  psychodynamic),  attitudes  and  behaviours.  However,  educational games are often limited in scope to the topic of the game itself and position learners as ‘players’ in the game  space,  rather  than  giving  them  control  over  the  gaming  environment.  In  fact,  the  increasing  body  of  research  literature  suggests  that  making  games  could  better  address  the  needs  of  learners  than  just  playing  existing  learning  games.  Collaborative game‐making provides a model in which learners can work together to create something that is meaningful  for them, giving them input into both the process and product, and facilitating the development of a range of 21CS (21CS),  such  as  digital  literacy.  Intuitive  digital  game‐making  tools  have  become  increasingly  available  in  recent  years,  allowing  students  to  directly  access  game‐making  environments  and  support  the  growth  in  use  of  collaborative  game‐making  learning activities in schools. Making Games in Collaboration for Learning (MAGICAL) is an EU‐funded project that aims to  explore the use of collaborative game‐making as a pedagogic model. It seeks to establish whether, and in what ways, the  approach can support collaboration, problem‐solving, creativity and digital literacy skills. This paper starts by considering  the literature on digital game‐making, particularly highlighting the benefits, drawbacks and research gaps. It then goes on  to  describe  the  MAGICAL  project  in  more  detail,  particularly  focusing  on  the  way  in  which  the  21CS  can  be  defined,  communicated  to  learners,  and  assessed.  Next,  the  different  approaches  to  collaborative  game‐making  in  the  classroom  are  discussed.  The  paper  concludes  by  highlighting  lessons  learned  from  the  project  so  far,  and  presenting  recommendations for collaborative game‐making in the classroom.    Keywords: collaborative learning, 21CS, collaborative game‐making, digital games 

1. Introduction There is much evidence that digital games can be an effective tool for learning and engagement (e.g. Connolly  et  al,  2012;  Petrotta  et  al,  2013),  both  in  the  classroom  and  informally,  for  developing  subject  knowledge,  skills,  attitudes  and  behaviours.  However,  educational  games  are  often  limited  in  scope  to  the  topic  of  the  game  itself  and  position  learners  as  ‘players’  in  the  game  space,  rather  than  giving  them  control  over  the  gaming  environment.  In  fact,  the  increasing  body  of  research  literature  suggests  that  making  games  could  better address the needs of learners than playing games.     Collaborative game‐making provides a model in which learners can work together to create something that is  meaningful for them, facilitating the development of a range of 21st Century Skills (21CS). Making Games in  Collaboration  for  Learning  (MAGICAL)  is  an  EU‐funded  project  that  aims  to  explore  the  use  of  collaborative  game‐making as a pedagogic model. It seeks to establish whether, and in what ways, the approach can support  collaboration, problem‐solving, creativity and digital literacy skills.   

45


Susan Bermingham et al.  This first considers the literature on digital game‐making, and then goes on to describe the MAGICAL project in  more detail, particularly focusing on the way in which the 21CS can be defined, communicated to learners, and  assessed. Next, different approaches to collaborative game‐making are discussed, and the paper concludes by  highlighting lessons learned from the project so far, and presenting recommendations for collaborative game‐ making in the classroom. 

2. Collaborative game‐making   Researchers  have  proposed  that  the  design  and  development  of  games  could  better  address  the  needs  of  learners than simply playing existing games (Brennan & Resnick, 2012; Robertson, 2012). For example, Vos and  colleagues (2011) described how making games, rather than playing games, better supported fifth and sixth  graders’  use  of  deep  learning  strategies.  The  pedagogic  idea  of  learning  by  making  games  assumes  that  the  construction  of  games  helps  learners  to  reformulate  their  understandings  of  the  subject  and  express  their  personal  ideas  and  feelings  about  both  the  subject  of  the  game  and  the  games  constructed  (Kafai,  2006).  Game‐making can also support the development of 21st century competencies like creative problem solving,  collaboration,  ICT  literacy,  systems  thinking,  and  positively  affect  engagement  in  STEM  subjects  (e.g.  Zimmerman,  2007;  Clark  &  Sheridan,  2010).  However,  research  has  focused  mainly  on  the  motivational  and  adoption  issues  of  the approach (e.g.  Robertson  &  Howell,  2008, Owston,  et  al., 2009,  Triantafyllakos  et  al.,  2010).    The design and development of games is creative teamwork, which is assumed to support reflective thinking  and  co‐construction  of  knowledge  (Roschelle  et  al.,  2000).  However,  a  review  of  existing  literature  revealed  that  the  social  aspect  of  game‐making  activities  has  been  neglected.  Collaborative  game‐making  is  mainly  considered  in  relation  to  helping  other  game  makers,  communicating  ideas  with  others,  and  designing  for  others. Much collaborative game‐making research has been very narrow and superficial in nature.     ‘Designing for others’ has been often utilized as a pedagogic strategy in game‐making studies (e.g. Kafai, Ching  &  Marshall,  1997;  Baytak  &  Land,  2010;  Owston  et  al.  2008).  This  demands  that  the  students  take  the  perspectives  of  the  target  group  into  account,  which  in  turn  may  support  the  development  of  flexibility  in  students’  thinking  (Kafai,  1997),  enhance  communication  skills,  and  design  thinking.  For  example,  Kafai  and  colleagues (1997) conducted a study in which fifth and sixth graders made games for younger students. In the  study students had to use a language that younger students would understand that encouraged older students  to use their own words instead of just cut‐and‐pasting.     Kangas (2010) showed that game playing and computer game‐making provided children (aged 7 to 12) with  opportunities to practice their work‐group skills. Designing games can lead to an enhanced sense of classroom  community,  which  encourages  students  to  ask  and  questions  and  provide  help  for  others  (Baytak  &  Land,  2010)  as  well  as  to  share  tips  and  alternative  ways  of  doing  things  in  the  game‐making  environment  (Robertson  &  Nicholson,  2007).  Thus,  game‐making  activities  provide  opportunities  to  learn  to  be  a  better  communicator and support the development of reading and writing skills as well as the use of spoken language  and visual communication aids. Owston and colleagues (2008) compared fourth grade students’ reading and  writing skills when they either developed or played trivia games. The development group outperformed player  group in logical sentence construction but no differences were found in development of basic reading skills;  but this is unsurprising because the measurement used favoured the development group. Nevertheless, there  is some evidence that girls might benefit the use of game authoring activities that emphasize skills in writing  narratives  (Carbonaro  et  al.  2008;  Robertson,  2012).  For  example,  Robertson  (2012)  found  that  girls  spent  more time on writing conversations and utilized peer feedback more eagerly than boys.    Creativity also can be successfully promoted by making games (Eow et al., 2010; Kangas, 2010). For example,  Robertson and Howells (2008) argued that user‐generated game content can empower learners by enabling  them to express their creativity. Providing resources such as different kinds of thinking tools and co‐creation  approaches were found to be essential in promoting creativity (Kangas, 2010).     Developing a game, whether individually or in collaboration with peers, is a very complex task and generally  requires strong ICT skills. Tools to manage and support game‐making activities range from professional tools to  those  designed  for  children.  In  previous  research,  several  different  kinds  of  game‐making  tools  have  been  used,  such  as  Adventure  Author  (Robertson,  2012),  Gamemaker  (Baytak  &  Land, 2010),  Gamestar Mechanic 

46


Susan Bermingham et al.  (Torres,  2009),  Scratch  (Brennan  &  Resnick,  2012)  and  Neverwinter  Nights  (Robertson  &  Howells,  2008).  Game‐making activities can vary a lot and tools need to be selected based on learning objectives and the skill  levels of students.     Scratch  is  a  good  example  of  a  visual  programming  language  designed  for  children  who  have  no  previous  programming  experience  (Resnick,  et  al.,  2009).  The  use  of  a  visual  programming  language  like  Scratch  develops  students’  computational  thinking  skills  (Brennan  &  Resnick,  2012;  Denner  et  al.,  2012).  Other  reported benefits related to ICT skills are systems thinking (Torres, 2009), programming knowledge (Kafai et  al.,  1997),  interactive  story  authoring  (Carbonaro  et  al.,  2008)  and  storytelling  (Robertson,  2012).  However,  only  few  studies  reported  gains  in  visual  design  (Robertson,  2012)  or  audience  awareness  skills  (Robertson,  2012). 

3. The MAGICAL project: Game‐making and 21st century skills   The potential that collaborative game‐making presents as an innovative, student‐centred approach to learning  is  especially  interesting  for  21st  century  skills  (21CS).  This  is  the  focus  of  a  European  project  called  Making  Games in Collaboration for Learning (MAGICAL) 1 . The project’s mission is twofold: to identify, implement and  share sound methods and tools for collaborative game‐making activities; and to investigate the impact, if any,  on school students’ 21CS.     MAGICAL foresees collaborative game‐making activities in primary and lower secondary school. These involve  use of a digital environment for making and playing games, with support from specially trained teachers. The  highly  complex  and  dynamic  nature  of  group‐based  game‐making  (and  indeed  of  21CS)  poses  considerable  research challenges, calling for a pragmatic approach. Accordingly, MAGICAL is seeking to identify and monitor  manifestations of 21CS and to investigate these as part of a case‐study approach.     A literature review of 21CS carried out in the framework of the project (Dagnino et al., 2012) revealed the lack  of consensus on what skills it covers or how best to classify them. Most authors adopt 21CS as an overarching  concept covering a range of meta‐abilities and soft skills, social skills, attitudes, and aspects of self‐awareness  and self‐reflection. These are complex in themselves, making a shared definition of 21CS that much harder to  reach (Kickmeier‐Rust & Dietrich, 2012).    The literature review also gathered a number of 21CS classifications and frameworks. Voogt & Pareja Roblin  (2010)  carried  out  a  meta‐analysis  that  mapped  six  prominent  21CS  frameworks  and  distilled  these  into  a  common 21CS meta‐framework comprising:  ƒ

collaboration

ƒ

communication

ƒ

ICT literacy 

ƒ

social/cultural skills & citizenship 

ƒ

creativity

ƒ

critical thinking 

ƒ

problem solving 

ƒ

productivity/development of quality products.   

This is  a  high‐level  reference  framework  comprising  semantically  loaded  concepts  which,  at  a  lower  level,  present  a  number  of  overlaps,  intersections  and  interdependencies.  Nevertheless,  it  is  a  useful  basis  for  building shared understanding.     The  limited  literature  on  learning  via  digital  game  making  does  not  devote  much  specific  attention  to  21CS  (Earp et al, in press). Most empirical studies are short‐term and involve small sample sizes (e.g. Vos, Meijden &  Denessen, 2010; Games, 2008). While some positive findings are reported, there is a tendency to rely heavily  on conceptual research. A need for robust empirical research clearly exists, especially regarding the inherently                                                                    1

Co‐funded  under  the  European  Commission's  Lifelong  Learning  Programme,  transversal  programme:  KA3  (ICT)  Multilateral  Projects  519006‐LLP‐1‐2011‐1‐IT‐KA3‐KA3MP. http://www.magical‐project.net/  

47


Susan Bermingham et al.  social  nature  of  game‐making  activities,  with  their  multiple  skills  and  roles.  Furthermore,  only  a  few  papers  focus on assessment of learning processes and outcomes in game‐making contexts (Brennan & Resnick, 2012;  Resnick  et  al.,  2009)  and  assessment  methods  in  game‐making  remain  unclear.  MAGICAL’s  efforts  in  these  respects focus on some of the skills in Voogt & Pareja Roblin’s 21CS meta‐framework.    Collaboration.  MAGICAL  proposes  game‐making  as  a  collaborative  activity  that  involves  multiple  design  and  authoring  roles.  This  is  the  project’s  main  innovation,  as  the  few  game‐making  studies  that  consider  collaboration do so in terms of peer review of individually produced games (Robertson, 2012).    To  support  team‐based  game‐making,  MAGICAL  is  developing  a  special  fantasy‐themed  authoring  environment called MAGOS in which the various functions and mechanics for making a game are represented  as magical powers. These are distributed among up to four player/authors who initially have different areas of  responsibility,  e.g.  game  level  design,  implementation  of  physics,  creation  of  visuals,  integration  of  sound  effects  and  music.  The  possibility  to  exchange  ‘powers’  as  required  during  real‐time  editing  (supported  by  online  chat)  is  intended  to  encourage  and  facilitate  cooperation,  negotiation  and,  potentially,  collaboration.  Attention will focus on how collaborative processes unfold both in synchronous face‐to‐face mode and online,  whether  synchronously  or  asynchronously.  Other  important  aspects  here  are  the  role  of  teacher  mediation  and the impact of MAGOS’ affordances, especially those designed and integrated specifically for the purpose  of supporting collaboration.      Creativity  and  problem  solving.  Game‐making  brings  a  wealth  of  opportunity  for  addressing  creativity  in  its  various forms and manifestations (Eow et al., 2010; Frossard et al., 2011). MAGICAL adopts a holistic approach  to creativity, considering it in terms of human qualities (Hague & Williamson, 2009), processes (Frossard et al.,  2011),  and  the  artefacts  produced  (Cropley,  2001;  Amabile  1996;  Plucker  &  Beghetto  2004;  Villalba  2008).  Drawing  broadly  on  these  perspectives,  creativity  can  be  considered  to  be  manifest  in  the  generation  and  implementation  of  meaningful,  engaging  and  novel  solutions  in  appropriate  formats  and  for  particular  audiences.  Accordingly,  MAGICAL’s  focus  on  creativity  stretches  beyond  the  aesthetics  of  learner‐produced  games  to  embrace  aspects  like  novel  ideas,  approaches  and  solutions,  the  capacity  to  draw  original  or  unforeseen connections, and unorthodox or imaginative ways of dealing with limitations.     A  closely  related  21CS  that  could  well  emerge  from  ‘learning  by  doing’  with  collaborative  game‐making  is  problem solving, especially in what Bransford & Stein (1993) define as the ‘problem‐solving cycle’: recognising  and  defining  a  problem,  reflecting  on  and  developing  a  solution  strategy,  gathering  and  analysing  ideas,  considering/trying  alternatives,  evaluating  the  implemented  solution.  These  can  be  related  to  the  cognitive  processes  that  Mayer  and  Wittrock  (2006)  identify  in  problem  solving,  namely  representing,  planning,  executing, and self‐regulating (evaluation of self‐efficacy and consequent adjustment). As a learning by doing  approach, collaborative game‐making could offer learners opportunities to activate these processes within the  problem‐solving  cycle,  especially  when  design  and  development  is  carried  out  in  iterative  phases.  MAGICAL  also considers ‘problem posing’, i.e. the capacity to design games and game situations that are challenging but  solvable. Problem posing reflects attitudes like designing‐for‐others (Kafai, Ching & Marshall, 1997; Baytak &  Land, 2010; Owston et al. 2008) and systems (or design) thinking, i.e. appreciation of system complexity and  awareness of how individual elements interrelate within the whole (Hayes & Games, 2008).     ICT literacy. In the field of education and digital technologies, 21CS often fall under headings such as digital  competences,  digital  literacy,  and  ICT  literacy  (Council  of  the  European  Union,  2006;  Ferrari,  2012;  NETS  Project & Brooks‐Young, 2007).  The 21CS meta‐framework mentioned above distinguishes between the very  broad  concept  of  information  literacy  and  the  more  specific  area  of  ICT  literacy.  For  project  purposes,  MAGICAL  focuses  on  fluency  and  fruitfulness  in  technology  use;  application  of  existing  ICT  knowledge;  and  critical, iterative production of digital artefacts and application of design thinking.     Communication,  critical  thinking  and  productivity  are  not  investigated  in  MAGICAL  as  distinct  21CS  in  their  own  right  but  are  considered  within  treatment  of  the  other  21CS.  Together  with  social/cultural  skills  &  citizenship, these may be the subject of future investigation. 

48


Susan Bermingham et al. 

4. Collaborative game‐making in the classroom  Making  games  requires  a  range  of  creative  skills  including  problem  finding,  problem  solving,  evaluation  and  communication  (Robertson  &  Nicholson,  2007).  Because  of  its  complexity,  teachers  who  wish  to  implement  game‐making  in  their  classrooms  might  benefit  from  theoretical  models  supporting  their  teaching  methods.  Resnick’s  (2007)  spiral  model  for  creative  thinking,  for  instance,  describes  an  iterative  process  of  imagine,  create, play, share and reflect. Learners imagine a new idea, use the technology to create it, play with their  creation, and share it after completion with their friends/peers. By reflecting on their experiences of working  on  this  project,  they  are  able  to  generate  new  ideas,  and  so  the  cycle  continues.  A  similar  model  has  been  suggested by Robertson & Nicholson (2007) who describe six creative stages of game design: exploration, idea  generation,  game  design,  game  implementation,  game  testing  and  evaluation.  These  steps  can  be  taken  in  order, but it is common for designers to return to previous stages as their ideas evolve.     In  addition  to  creative  skills,  an  important  aspect  of  games  literacy  is  the  ability  to  critically  review  games  (Buckingham & Burn, 2007). Besides assessing existing games, in the context of classroom game‐making, this  involves  the  ability  to  self‐  and peer‐evaluate  games.  Roberston (2012)  noted  that “the  learner  must  decide  whether  the  story  is  compelling,  whether  the  visual  design  of  the  game  is  attractive,  whether  the  player’s  abilities are a good match for the level of challenge, whether the player is given sufficient autonomy as well as  clear  goals,  and  also  check  that  the  behaviour  of  the  game  is  as  intended  under  all  possible  conditions”  (p.  386).    Collaboration is an important aspect of constructing or making games. In a review of literature on collaborative  game‐making activities in the classroom, only one study (Denner et al., 2005) was found in which games build  by  teams  of  at  least  two  learners.  In  most  studies,  learners  constructed  their  games  individually  and  collaboration between learners was restricted to the evaluation process; in an intermediate or final phase of  the game‐making process peers are asked to review or provide feedback for improvement to the designer. In  other studies, exploring collaboration in a game‐based learning environment, collaboration was restricted to  game‐playing, not game‐making.      Denner and colleagues (2005) describe the Girls Creating Games (GCG) program, which is an after‐school and  summer  program  for  sixth‐  through  eighth‐grade  girls  designed  to  address  the  barriers  to  girls'  active  participation in information technology. Students were given the role of designer by teaching them to program  an  interactive  computer  game.  The  program  that  Denner  and  colleagues  designed  uses  four  simultaneous  strategies  that  build  on  key  recommendations  for  overcoming  barriers  to  and  providing  supports  for  girls'  participation in technology. Three of these (identity‐forming activities excluded) might be directly applicable to  collaborative game‐making:    Game design and production. The participants were guided through five game‐building steps: requirements  specification, user interface design, prototyping, prototype testing, and implementation. At first, they designed  their  games  on  paper  from  one  scene  to  the  next,  which  they  then  used  as  guides  for  their  work  on  the  computer.   Pair programming. The participants worked in pairs, sharing time as ‘driver’ and ‘navigator’. The driver handles  mouse  and  keyboard,  while  the  navigator  assists  the  driver  by  for  instance  reading  from  supporting  documentation  or  providing  social  support  for  difficult  tasks.  Pair  programming  allows  for  guidance  and  constant review of keyed data by the navigator to identify errors, and it provides a structure for peer support  through collaborative learning (Williams and Kessler, 2000). To prepare the participants in the GCG program,  prior activities were organized away from the computer to help them develop their communication skills.    Challenging  stereotypes.  Given  the  specific  goal  of  the  program  to  stimulate  girls’  interest  in  IT,  female  technology students and professionals were brought in to challenge geek stereotypes by at once being tech‐ savvy and having well‐rounded lives. They provided both instrumental and psychosocial support.  

5. Lessons learned from the MAGICAL project  During  the  MAGICAL  project,  the  project  team  has  developed  and  evaluated  a  training  programme  for  teachers and student teachers on the use of game‐making for developing transferrable skills. As the MAGOS  environment described  in  section 3  has  been  in development  during the  initial  phase  of  training, a  range  of  different approaches to game‐building were used to test the training materials. 

49


Susan Bermingham et al.  ƒ

The creation non‐digital games;  

ƒ

Paper prototyping of digital games and apps;  

ƒ

Game development in pairs using the Sploder single‐user development environment. 

Engagement was high in the workshop on designing and making a game and the training packages provided  the  stimulus  to  learn  more.  There  is  an  apparent  chasm  between  the  training,  which  is  designed  to  offer  hands‐on experiences as a learner, and the jump to real classroom environments, with feedback such as: ‘how  do I do this with my pupils?’, ‘how to translate this into a school environment?’, and ‘some ideas like building a  game in a group seemed too complex for children to do in an hour’.    The digital game based workshop using Sploder was well‐received, and trainees particularly enjoyed the show‐ and‐tell aspect of the session as they were invited to play others’ games. However, the link between the game  authoring tool and curriculum content was for many too vague and the lack of confidence of some trainees  was  also  evident.  Trainees  are  on  a  packed  training  programme  and  are  desperate  for  classroom  strategies  that they can ‘take off the shelf’ and use tomorrow. Timing of the training sessions was in the week before the  commencement  of  the  trainees  main  teaching  placement,  this  may  have  added  to  trainee  teachers  unease  with  making  links  to  the  classroom  as  they  lacked  information  about  their  school,  the  curriculum,  and  the  pupils.    From  the  literature  discussed  in  this  paper,  and  the  experiences  during  the  project,  the  following  recommendations are provided.    For collaborative game‐making activities in a learning environment:  ƒ

It is  necessary  to  give  the  design  team  plenty  of  time  to  play  with  the  game‐making  software  and  encounter some of the difficulties with it before moving on to design activities.  

ƒ

Before using game‐making software, design teams can be offered the possibility to design their game on  paper first. By doing so, distraction due to software problems or lack of skills is limited. 

ƒ

When working on the same computer, each member of the team should be assigned a specific role, for  instance  driver  or  navigator.  This  might  even  be  important  when  team  members  work  together  on  different computers. 

To support teachers to use collaborative game‐making:  ƒ

Ensure that  teachers  are  provided  with  lots  of  examples  of  how  to  use  a  game‐making  environment  in  their own specific contexts. 

ƒ

Provide examples (e.g. via podcast or video) of game‐making in action. 

ƒ

It is important to provide detailed information on how to plan a lesson around game‐making, so a bank of  concrete examples would be useful. 

ƒ

Some students will be confident with the game‐making software straight away, but others may need more  support while they get used to the software. 

ƒ

The timing of the training is crucial to ensure that trainees have the opportunity to put what they have  learned into practice quickly. 

Acknowledgements (ITD)  MAGICAL  has  been  funded  with  support  from  the  European  Commission.  This  publication  [communication]  reflects the views only of the authors, and the Commission cannot be held responsible for any use which may  be made of the information contained therein. 

References   Amabile T. (1996). Creativity in context: Update to the social psychology of creativity. Boulder, CO: Westview Press.  Barajas, Trifonova, Delli Veneri, Frossard, Mellini (Eds.). (2011) Games and Creativity in Education and Training. Naples:  Fridericiana Editrice Universitaria.  Baytak, A. & Land, S. M. (2010). A case study of educational game design by kids and for kids. Procedia Social and  Behavioral Sciences, 2, 5242‐5246. 

50


Susan Bermingham et al.  Buckingham, D., & Burn, A. (2007). Game literacy in theory and practice. Journal of Educational Multimedia and  Hypermedia, 16(3), 323‐349.  Brennan, K., & Resnick, M. (2012). New frameworks for studying and assessing the development of computational thinking.  In Proceedings of the 2012 annual meeting of the American Educational Research Association, Vancouver, Canada.  Carbonaro, M., Cutumisu, M., Duff, H., Gillis, S., Onuczko, C., Siegel, J., Schaeffer, J., Schumacher, A., Szafron, D., & Waugh,  K. (2008). Interactive story authoring: A viable form of creative expression for the classroom. Computers & Education,  51, 687–707.  Clark, K. & Sheridan, K. (2010) Game design through mentoring and collaboration. Journal of Educational Multimedia and  Hypermedia. 19(2), 125‐145.  Connolly, T., Boyle, E. a., MacArthur, E., Hainey, T. & Boyle, J.M. (2012) A systematic literature review of empirical evidence  on computer games and serious games. Computers & Education, 59 (2), 661–686.   Cropley, A. J. (2001). Creativity in Education and Learning. London: Kogan Page.  Denner, J., Werner, L., Bean, S. and Campe, S. (2005). The Girls Creating Games program: strategies for engaging middle‐ school girls in information technology. A Journal of Women Studies, 26(1), 90‐98.  Denner, J., Werner, L., & Ortiz, E. (2012) Computer games created by middle school girls: Can they be used to measure  understanding of computer science concepts? Computers & Education, 58, 240–249  Earp J., Dagnino, F.M., Kiili C., Kiili K., Tuomi, P., Whitton N. (In press). Learner Collaboration in Digital Game‐making: An  Emerging Trend. Submitted to Proceedings of ATEE Winter Conference 2013.  Eow, Y. L., Ali, W. Z. b. W., Mahmud, R. b., & Baki, R. (2010). Computer games development and appreciative learning  approach in enhancing students’ creative perception. Computers & Education, 54(1), 146‐161.  European Commission. (2007). Key Competences for Lifelong Learning — A European Reference Framework. Luxembourg:  Office for Official Publications of the European Communities.  Dagnino, F.M., Earp J. &Ott M. (2012) Investigating the "MAGICAL" Effects of Game Building on the Development of 21CS.  In Proceedings of the in 5th International Conference of Education, Research and Innovations (ICERI), 5778‐ 5785.  Madrid, Spain.  Frossard. F., Barajas M., Alcaraz‐Domínguez S., Trifonova A. & Quintana J. (2011). GBL Design for Enhancing Creativity in  the Classroom In M. Barajas, A. Trifonova, A. Delli Veneri, F. Frossard & B. Mellini (Eds.) Proceedings of Games and  Creativity in Education and Training Conference (GACET 11). Napoli: Fridericiana Editrice Universitaria.  Games, I. A. (2008) Three Dialogs: a framework for the analysis and assessment of twenty‐first‐century literacy practices,  and its use in the context of game design within Gamestar Mechanic. E‐Learning, 5(4), 396‐417.  Hayes, E., & Games, I. A. (2008). Making computer games and design thinking: A review of current software and strategies.  Games and Culture, 3 (1) 309‐332.  Kafai, Y. B., Ching, C. C., & Marshall, S. (1997). Children as designers of educational multimedia software. Computers &  Education, 29 (2&3), 117‐126.  Kafai, Y. B. (2006) Playing and Making Games for Learning: Instructionist and Constructionist Perspectives for Game  Studies. Games and Culture, 1, (1), 36–40.  Kangas, M. (2010). Creative and playful learning: Learning through game co‐creation and games in playful learning  environment. Thinking Skills and Creativity, 5, 1‐15.  Kickmeier‐Rust, M.D. & Albert, D. A (2012). Domain Model for Smart 21CS Training in Game‐Based Virtual Worlds. In  Proceedings of the IEEE 12th International Conference on Advanced Learning Technologies (ICALT 2012), 680–681.  Rome: IEEE.  Mayer, R. E., & Wittrock, R. C. (2006). Problem solving. In P. A. Alexander & P. H. Winne (Eds.), Handbook of educational  psychology (2nd ed.), 287–304. Mahwah, NJ: Erlbaum.  NETS Project & Brooks‐Young S. (2007) National Educational Technology Standards (NETS) for Students, Second Edition.   Washington, DC: International Society for Technology in Education.   Owston, R., Wideman, H., Ronda, N. S. & Brow, C. (2008). Computer game development as a literacy activity. Computers &  Education, 5, 977–989.  Perrotta, C., Featherstone, G., Aston, H. & Houghton, E. (2013). Game‐based learning : latest evidence and future  directions. Slough: NFER.  Plucker, J.A. & Beghetto, R.A. (2004) Why creativity is domain general, why it looks domain specific, and why the distinction  doesn’t matter. In R. J. Sternberg, E. L. Grigorenko, and J. L. Singer (Eds) Creativity: From potential to realization, 153– 68, Washington, DC:  American Psychological Association.   Resnick, M., Maloney, J., Monroy‐Hernandez, A., Rusk, N., Eastmond, E., Brennan, K., Millner, A., Rosenbaum, E., Silver, J.,  Silverman, B. and Kafai, Y. (2009) Scratch: Programming for All. Communications of the ACM, 52(11), 60–67.  Robertson, J. and Nicholson, K. (2007). Adventure Author: a learning environment to support creative design. In  Proceedings of the 6th international conference on Interaction design and children (IDC '07), 37–44. New York, NY:  ACM.  Robertson, J. (2012). Making games in the classroom: Benefits and gender concerns. Computers & Education, 59, 385–398.  Robertson, J. & Howells, C. (2008). Computer game design: Opportunities for successful learning. Computers & Education,  50, 559–578.  Roschelle, J., Pea, R., Hoadley, C., Gordin, D., Means, B. (2001) Changing How and What Children Learn in School with  Computer‐Based Technologies. The Future of Children, 10(2), 76‐101. 

51


Susan Bermingham et al.  Torres, R. J. (2009) Using Gamestar Mechanic within a nodal learning ecology to learn systems thinking: A worked example.  International Journal of Learning and Media, 1(2). Accessed from  http://ijlm.net/knowinganddoing/10.1162/ijlm.2009.0016 on 14 May 2013.  Triantafyllakos, G., Palaigeorgiou, G., & Tsoukalas, I. A. (2011). Designing educational software with students through  collaborative design games: The We!Design&Play framework. Computers & Education, 56(1), 227‐242.  Vos, N, van der Meijden, H., & Denessen, E. (2011). .Effects of constructing versus playing an educational game on student  motivation and deep learning strategy use. Computers & Education, 56, 127–137  Villalba, E. (2009). Computer‐based Assessment and the Measurement of Creativity in Education. In   Scheuermann & J.  Björnsson (Eds.) The Transition to Computer‐Based Assessment: New Approaches to Skills Assessment and  Implications for Large‐scale Testing, 29‐39. Luxembourg: Office for Official Publications of the European  Communities.  Williams, L.A. & Kessler, R.R. (2000). All I Really Need to Know About Pair Programming I Learned in Kindergarten.  Communications of the ACM, 43, 108‐14.  Zimmerman, E. (2007) Gaming Literacy: game design as a model for literacy in the 21st century. Harvard Interactive Media  Review, 1(1), 30‐35.   

52


Best Practices for Deploying Digital Games for Personal  Empowerment and Social Inclusion  Lizzy Bleumers1, Ilse Mariën1, Jan Van Looy2, James Stewart3, Dana Schurmans1 and Anissa  All2   1  iMinds‐SMIT‐VUB, Brussels, Belgium  2  iMinds‐MICT‐UGent, Ghent, Belgium  3  JRC‐IPTS, Seville, Spain  lbleumer@vub.ac.be   imarien@vub.ac.be   j.vanlooy@ugent.be  james.stewart@ec.europa.eu   dana.schurmans@vub.ac.be   anissa.all@ugent.be     Abstract: Digital games are being increasingly used in initiatives to promote personal empowerment and social inclusion  (PESI) of disadvantaged groups through learning and participation. There is a lack of knowledge regarding best practices,  however. The literature on game‐based learning insufficiently addresses the process and context of game‐based practice  and the diversity of contexts and intermediaries involved in PESI work. This paper takes an important step in addressing  this knowledge gap using literature review, case studies, and expert consultation. Based on our findings, we formulate a set  of best practices for different stakeholders who wish to set up a project using digital games for PESI. The seven cases in  point  are  projects  that  represent  various  application  domains  of  empowerment  and  inclusion.  Case  studies  were  conducted  using  documentation  and  interviews,  covering  background  and  business  case,  game  format/technology,  user  groups, usage context, and impact assessment. They provide insight into each case’s strengths and weaknesses, allowing a  meta‐analysis  of  the  important  features  and  challenges  of  using  digital  games  for  PESI.  This  analysis  was  extended  and  validated  through  discussion  at  two  expert  workshops.  Our  study  shows  that  a  substantial  challenge  lies  in  selecting  or  designing a digital game that strikes a balance between enjoyment, learning and usability for the given use context. The  particular  needs  of  the  target  group  and  those  that  help  implement  the  digital  game  require  a  highly  specific  approach.  Projects  benefit  from  letting  both  intermediaries  and  target  groups  contribute  to  the  game  design  and  use  context.  Furthermore, there is a need for multi‐dimensional support to facilitate the use and development of game‐based practice.  Integrating game use in the operation of formal and informal intermediary support organisations increases the chances at  reaching,  teaching  and  empowering  those  at  risk  of  exclusion.  The  teachers,  caregivers  and  counsellors  involved  in  the  implementation  of  a  game‐based  approach,  in  turn  can  be  helped  through  documentation  and  training,  in  combination  with structural support.    Keywords: game‐based learning, empowerment, inclusion, digital games, best practices 

1. Introduction Empowerment,  digital  and  social  inclusion  are  important  strategic  policy  goals  of  several  EU  policy  agendas  and  initiatives.  In  light  of  these  goals,  different  stakeholders  are  seeking  to  understand  the  opportunities  of  innovative  ways  of  learning  and  participation  as  possible  pathways  to  improve  employability,  health,  well‐ being  and  civic  engagement.  Digital  games,  which  are  already  being  advocated  as  learning  tools  and  which  have  become  part  of  a  participatory  culture,  seem  promising  candidates  for  empowerment  and  inclusion  initiatives.     The recognition of the dual nature of play as instrumental and fun (Schouten, 2011) has encouraged various  stakeholders  to  consider  digital  games  as  an  engaging  means  to  induce  change  (knowledge  and  skill  acquisition,  attitudinal,  behavioural  or  social  change).  In  2011,  the  Digital  Games  for  Empowerment  and  Inclusion (DGEI) project was set up to identify opportunities and challenges for those seeking to harness the  potential  of  digital  games  for  empowerment  and  inclusion  and  to  make  recommendations  for  research  and  policy (Bleumers et al, 2012; Stewart and Misuraca, 2012; Stewart et al, 2013). 

1.1 Key concepts   In  this  study,  we  adopt  a  common  interpretation  of  personal  empowerment  as  a  community‐supported  process of individual change “whereby individuals achieve increasing control of various aspects of their lives 

53


Lizzy Bleumers et al.  and participate in the community with dignity” (Lord and Hutchison, 1993: 4). Social inclusion is closely related  to personal empowerment, focusing more on increased participation or re‐integration in society (Notley and  Foth, 2008; Wright and Wadhwa, 2010). This participation is multi‐dimensional and encompasses production,  political, social, consumption and savings activity (Atkinson, 1998; Selwyn, 2002). 

1.2 Empowerment and inclusion through game‐based learning and participation  Digital games are used in a variety of sectors and for diverse purposes beyond entertainment (Sawyer & Smith,  2008). With regard to social inclusion, games are already being used in three domains: supporting disengaged  and disadvantaged learners and enhancing employability, promoting health and well‐being, and fostering civic  participation and community engagement.    The  common  assumption  underlying  most  of  these  initiatives  is  that  games  are  motivational,  learning  and  participatory  tools.  The  way  these  tools  are  put  to  use  varies  whereby  roughly  three  approaches  can  be  distinguished:  (1)  using  games  that  were  specifically  developed  for  learning  and/or  participation  (special‐ purpose); (2) harnessing learning and participation in well‐designed commercial off‐the‐shelf games (COTS); (3)  fostering learning and participation by (co‐)creating and modifying digital games.     We need to be cautious of uncritical accounts of game‐based empowerment and inclusion, however. While we  see that there is access to, interest in and usage of digital games among at‐risk youth in particular (Royle and  Colfer, 2010; Karabanow and Naylor, 2010), game play in itself is a skill that requires mastery in which support  might  be  needed  (Jenkins,  2009).  Intrinsic  motivation  to  play  games  is  not  a  given.  Furthermore,  interest  in  digital  games  may  be  highly  specific  (Ortiz,  2009).  Ito  and  Bittanti  (2010)  have  noted  the  presence  of  generational  and  socio‐economic  divides  in  the  more  committed  forms  of  game‐play  that  form  pathways  to  interest‐driven learning. 

1.3 Addressing knowledge gaps  Reviewing  academic  research  on  game‐based  learning  and  participation,  we  see  a  prevalence  of  studies  addressing  the  usage  and  impact  of  games  in  formal  learning  settings  such  as  schools  and  universities  (e.g.  Squire  and  Barab,  2004;  Khaled,  2011).  PESI  interventions  often  take  place  outside  mainstream  education,  however, in contexts where learning takes place through more general activities or even unintentionally. Here  we find that there is a dearth of scientific study and evidence on the outcomes and conditions of game use,  and the dynamics of innovation in game development and use. We also note a focus in the literature on the  content  and  characteristics  as  deterministic  of  the  effectiveness  of  a  game.  While  acknowledging  this  as  an  important  factor,  there  are  many  other  factors  that  determine  the  impact  of  the  use  of  a  game  on  a  population, such as training, availability of assessment tools, business model, institutional support and barrier,  which appear to be handled and understood far less in academic literature.    In this paper, we address these knowledge gaps. Through case studies, combined with literature review and  expert interviews, and through expert workshops, we explore issues of use and impact, but also cover aspects  of the implementation approach and processes such as the role of the intermediaries (e.g. social workers). 

2. Case studies  We conducted an analysis of game‐based PESI cases. The characterization of each of the cases allowed us to  identify the main drivers and barriers encountered by the involved stakeholders. 

2.1 Methodology Seven  projects  were  selected  that  met  a  range  of  set  criteria.  First,  cases  needed  to  represent  various  application  domains  of  empowerment  and  inclusion  (namely,  education  and  employability,  well‐being,  and  civic and community engagement). Secondly, we looked specifically for well‐documented cases, providing us  with the necessary information to do an analysis. Cases were also required to demonstrate interaction among  various  actors  surrounding  game  usage  (such  as  game  developers  and  social  support  organisations)  as  our  analysis  was  geared  towards  understanding  game‐based  PESI  practices  and  their  dynamic  context.  In  this  sense, our case studies are distinct from (game) content analysis. We did not conduct an in‐depth analysis of  the games’ content, nor did we focus on the games per se. Finally, cases ideally also demonstrated some form  of impact. Impact assessment practices were of interest to us both from a research perspective (i.e. methods 

54


Lizzy Bleumers et al.  used)  as  well  as  from  an  evidence‐based  policy  perspective  (i.e.  what  is  being  done  and  where  is  support  needed).    In  addition,  cases  were  chosen  to  achieve  diversity  in  terms  of  type  of  digital  game  usage  (special‐purpose,  commercial  off‐the‐shelf,  and  game  making),  geographical  origin,  targeted  group  (general  public,  university  staff,  ill  teenagers,  etc.)  funding  (public,  private,  mixed),  hardware  and  gameplay design.  Finally,  cases  were  not required to represent best practice, as insight in encountered obstacles would also be informative.    Selected cases were based on the following games:    1.  PING  (Grin  Multimedia):  Adventure  game  aimed  at  raising  awareness  about  poverty  and  social  inclusion  among young people (13 – 18y)  2.  InLiving  (Grassroots  Learning):  Role‐playing  game  aimed  at  promoting  independent  living  among  young  (prospective) tenants (16‐25y)   3. At‐Risk (Kognito Interactive): Avatar‐based simulation game that enables faculty staff to identify and refer  students in psychological and mental distress  4. Choices and Voices (PlayGen): Short role‐playing games that help school children between 12 and 18 years  old to explore issues that might lead to tension and violence  5.  Starbright  world  (Schematic,  Userplane,  &  Starlight  Children’s  Foundation):  Online  social  network  that  allows chronically ill youngsters (13‐20y) to express themselves and exchange experiences  6.  CivWorld  (Firaxis):  Multi‐player  strategy  game  for  Facebook  users  that  facilitates  learning  about  Western  History and encourages strategic thinking  7.  Gamestar  Mechanic  (E‐Line  Media  &  Institute  of  Play):  Platform  for  playing,  creating  and  sharing  games  directed at 8 to 14 year olds and their teachers via an online teacher community    Each case represents a unique aspect of PESI. Together, the cases illustrate the diversity of the field, covering  poverty awareness (case 1), independent living (case 2), depression and suicide prevention (case 3), violence  prevention  (case  4),  community  support  for  chronically  ill  (case  5),  history  education  and  strategic  thinking  (case 6), digital media literacy and motivating STEM (Science Technology Engineering Math) learning (case 7).    To investigate these cases, an informational outline was drawn based on the literature and specific needs for  this  study.  Areas  of  interest  were  project  background  and  organisational  structure  (consortium,  developer,  funding),  description  (objectives,  target  audience,  game  format,  technology,  use  context),  and  impact  (effectiveness  and  reach).  Next,  we  completed  the  outline  for  each  case  based  on  publicly  available  information (i.e. game websites, other online documentation, academic literature; see Bleumers et al, 2012)  complemented by expert interviews when needed (n=3).    Table 1 illustrates the diversity that characterizes the seven reviewed cases in terms of project background (i.e.  initiation and partners involved), the context to which the games are introduced, and the way in which impact  was  assessed.  Initiators  who  lay  the  groundwork  for  game‐based  PESI  initiatives  vary  from  case  to  case.  Intermediary  organisations,  game  developers,  researchers  and  foundations  all  appear  as  initiators.  In  most  cases,  partnerships  are  built  to  secure  sufficient  funding  (i.e.  a  mix  of  private  funding,  grants  and  sponsorships), to obtain additional expertise and resources, and to distribute the games. Whereas some cases  exclusively  focus  on  school‐based  use,  the  majority  target  a  broader  usage  context  including  after‐school  programmes and home usage. The most marked differences are evident for impact assessment. Cases differ in  terms  of  the  extent  to  which  they  were  assessed,  data  collection  methods  (e.g.  in‐game  vs.  out‐of‐game  assessment),  timing  of  assessment  (e.g.  longitudinal  vs.  single  time‐point)  and  operationalization  of  impact  (e.g. number of participants, game experience and/or learning).     The last column of Table 1 shows the main drivers and barriers that we derived from the case studies. These  key determining factors point us towards a first set of best practices for game‐based PESI initiatives:    1. Balance learning outcomes and a fun gaming experience: A positive game experience is crucial to ensure  take‐up.  Positive  game  experiences  result  in  a  higher  level  of  perceived  learning,  and  a  higher  level  of  motivation to participate.  2.  Adopt  a  user‐driven  approach  to  create  game  content,  game  play  and  to  define  valid  outcomes:  Multi‐ stakeholder involvement, including intermediaries and end‐users, throughout the design process taps into and 

55


Lizzy Bleumers et al.  acknowledges stakeholders’ various forms of expertise. Customizable game‐based approaches allow users to  tailor the game experience to their local, particular needs.  3.  Include  a  clear  plan  for  publishing,  marketing  and  distributing  the  game‐based  approach:  People  at‐risk  are often reached through intermediary organisations that guide and contextualize the use of digital games,  promoting  usage  and  the  attainment  of  empowerment  goals.  Therefore,  to  ensure  deployment  and  a  sustainable  impact,  a  detailed  plan  is  needed  on  how  to  make  the  game  accessible  to  them  and  to  support  them  in  implementing  it  (e.g.  public  prevention  and  educational  programmes).  In  the  case  of  Gamestar  Mechanic,  for  instance,  the  involvement  of  a  publisher  provided  partners  with  a  much‐needed  publishing  strategy, while another partner created a guide for helping teachers implement the game in their classes.  4.  Integrate  assessment  mechanisms  in  the  game  and  for  the  overall  project:  Built‐in  progress  and  assessment  tools  can  support  learning  through  personalized  feedback.  For  example,  a  drawback  of  Choices  and Voices is the lack of knowledge about its users’ actual learning curve and behavioural change. In addition,  research evidence showing that digital games contribute to PESI can improve the attitude towards using them  and hence, lead to an increase in funding, deployment and use. 

2.2 Findings Table 1: Overview of the seven cases 

5. Starbright World 

4. Choices & Voices 

3. At‐Risk 

2. InLiving 

1. PING 

Project background  Initiation: foundation and  research institute  Poverty organisations &  schools  Game developer  Government    Initiation: neighbour‐hood  housing org. partnered  with mobile game  developer  Business service provider,  housing org.  Government 

Use context  Primarily developed for  classroom usage  Can also be played at  home (online or  downloadable for free)  

Impact assessment  Pre‐release field‐tests  Online data analytics  Longitudinal data by  way of pre‐, post and  follow‐up surveys 

Key factors  + Teacher toolkit  + Attention to fun aspect  + Extensive user research  ‐ Lack of marketing   

Formal education system  Informal social structures,  (e.g. social housing)  

In‐game questionnaire  system 

+ Participatory design  + Embedded in (in)formal  intermediary support  structures  ‐ Maintenance: game  developer went bust 

Initiation: games and  simulations developer  partnered with mental  health association  Health service providers  Government 

Formal learning context,  namely high schools,  colleges and universities 

Built‐in progress and  assessment tools  Longitudinal data by  way of pre‐, post and  follow‐up surveys 

+ Customization enables  aligning with local needs  + Assessment built‐in  ‐ Top‐down approach  focused on access  ‐ Limited play time  

Initiation: Game  developer co‐designed  game with   Police unit  University  Government  Local schools 

Formal educational  context, i.e. classroom 

Qualitative impact  assessment of  experience and  perceived usefulness    Structured group  discussions 

+ Multi‐stakeholder  + Teachers as guides  + Integration in educational  curricula  ‐ Lack of specific data on  actual learning & change 

Initiation: Children’s  foundation supported by  industry  Interactive agency  Integrated messaging  platform provider 

Informal context:   hospital, at‐home,  anyplace anywhere  

Pre‐ and posttest  Pilot with 9 replicated  single system designs 

+ Multi‐dimensional  platform  + Programme recognition  + Extensive user research  + Collaboration with e.g.  hospitals for distribution 

56


7. Gamestar Mechanic  6. CivWorld 

Lizzy Bleumers et al.  Initiation: Game company  Middle school students 

At home  At school  In after‐school  programmes  

None (anecdotal, user  led)   

+ Exploit commercial  distribution  + Community of practice  ‐ Lack of assessment  ‐ Simplified game system =  less play time, less system  thinking 

Initiation: researcher &  game developer   Foundation  Designer & Publisher of  game‐based learning  products & services 

At school  In after‐school  programmes   In community centres or  libraries 

Discourse‐based design  + Sustainable publishing  ethnography  strategy    + Focus on transferrable  digital skills 

3. Expert workshops  Two expert workshops were organised to identify challenges and opportunities for game‐based PESI initiatives  and to pinpoint priority issues for this sector. 

3.1 Methodology Experts  were  selected  based  on  literature  review  and  snowball  sampling,  as  there  is  no  clear,  pre‐existing  community  of  experts  working  in  the  field  of  digital  games  and  social  inclusion.  We  invited  both  gaming  experts  and  experts  in  PESI  application  domains  such  as  migrant  integration  and  remedial  education  from  academic, industry and NGOs, ensuring a geographic and gender balance (Stewart et al, 2013).     The procedures followed in both workshops were modified versions of the Technology Foresight expert panel  methods (JRC‐IPTS, 2007). In fields where there is little documented practice or clear research pathways, this  methodology  enables  identification  of  the  state  of  knowledge,  and  primary  issues,  challenges  and  opportunities  through  interactive  discussions  with  experts  (Scapola  and  Miles,  2006).  It  supports  building  consensus  and  helps  validate  a  research  policy  agenda  in  a  short  period  of  time.  In  each  workshop,  we  introduced the project goals, the policy interest, and the project findings. Each participant presented his or her  work briefly after which a common vision(s) of digital games for empowerment and inclusion was developed,  and challenges and opportunities for meeting those visions were identified.     The  first  workshop  (in  January  2012,  34  participants)  involved  three  exercises.  In  the  first  exercise,  a  role‐ playing  brainstorming  technique  was  applied  whereby  participants  explored  two  social  inclusion  scenarios  from the perspectives of different stakeholders (i.e. the use of a digital game to instruct first‐time tenants, and  another  on  migrant  integration  support).  This  laid  the  groundwork  for  a  second  exercise,  during  which  participants  brainstormed  about  challenges  and  opportunities  regarding  the  use  of  digital  games  for  empowerment and inclusion. Resulting issues were then visually arranged by volunteers from the group, and  subsequently reanalysed by the research team to identify clusters of issues. In the third exercise, participants  worked  in  groups  to  delineate  a  'Big  Issue'  to  be  tackled.  In  addition  to  articulating  further  opportunities  of  using digital games in PESI projects, they developed narratives and/or storyboards for a particular use case. As  part  of  this  exercise,  they  were  encouraged  to  identify  key  intermediaries  and  their  motivations,  resources,  and  structural  situation.  They  reflected  on  commercial  and  policy  implications,  and  finally  established  time  frames in which these scenarios could occur and the risks that would be involved.     The second workshop (in October 2012, 27 participants) aimed to validate earlier findings and build consensus  as  to  priorities  and  potential  actions  between  stakeholders  from  industry,  practice,  research  and  policy.  Drawing  from  earlier  project  findings  and  participants’  experience  as  presented  and  discussed  during  this  workshop,  participants  selected  by  vote  the  three  priority  issues  out  of  seven  identified,  and  reflected  on  potential actions to address these issues, who would be involved in those actions, and their timeline. 

57


Lizzy Bleumers et al. 

3.2 Findings During  the  first  workshop,  experts  identified  three  key  societal  challenges  where  integrating  digital  games  could benefit PESI projects: support for migrant integration, for marginalised young people, and for improving  the  quality  of  life  of  older  people.  They  identified  over  a  hundred  opportunities  and  challenges.  Table  2  highlights key findings in this respect.   Table 2: Highlighted opportunities and challenges for game‐based PESI projects as identified in Workshop 1  Opportunities  Potential of new mass market technologies to reach  excluded populations, particularly through mobile  devices    High and growing acceptance of games and gaming, in  some target groups such as young people    Strength of games to support customized learning  through multiple mechanisms    Strong potential of games‐based approaches to re‐ engage disengaged learners, inside and outside of  formal education    Games allowing people to experience failure safely    Exploitation of commercial off‐the‐shelf games and  usage of game‐making techniques    Using games and gaming to improve efficiency and  effectiveness of intermediaries 

Challenges Low awareness and negative stereotypes of game use    Lack of knowledge, skills and institutional support  among PESI stakeholders    Low quality and/or sustainability of many game‐based  PESI projects, often due to funding scheme, lack of  expertise, or lack of team‐based design    The lack of human and institutional capacity to develop  game‐based PESI projects and distribute special‐purpose  game products    Lack of impact assessment tools and lack of evidence for  effectiveness    Knowledge gaps in how games can be used effectively  and in how to navigate the context of use    Lack of people trained in the development and use of  digital games   

Good practice  was  identified  as  programmes  and  projects  that  address  the  challenges  listed  in  Table  2,  in  particular by: (1) providing impact assessment and assessment tools to support decision makers and users to  recognise the value of game‐based approaches, and (2) engaging professional intermediaries such as teachers  and social workers in the design, implementation and support of game‐based PESI initiatives in a sustainable  form,  rather  than  through  short  term,  one‐off  research‐based  projects.  Significantly,  stand‐alone  special‐ purpose games were never seen as the solution to the issues in the workshop scenarios. Rather, games and  play  elements  were  seen  as  tools  for  improving  services  linked  to  employers,  social  services  and  informal  education services.    Drawing  on  this,  the  second  workshop  identified  the  following  priority  issues:  (1)  the  need  to  address  the  image of games and challenge stereotypes, (2) the lack of evidence of impact conditions for effective use of  game‐based approaches and the importance of developing methods for gathering evidence and demonstrating  impact, and (3) the low level of development of the supply sector and high barriers to distribution and use.    These workshops provided many pointers towards issues that need to be addressed by good practice in game‐ based  PESI  development  and  use,  particularly  around  building  sustainable  production  and  use  models,  engaging  intermediaries  in  design,  providing  evidence  and  training,  and  tackling  structural  barriers  to  game  use. 

4. Best practices  Based  on  the  findings  discussed  in  the  earlier  sections,  we  can  provide  an  outline  of  best  practice  in  game‐ based  PESI  initiatives.  What  appears  essential  for  the  successful  usage  of  games  for  empowerment  and  inclusion, overall, is a multi‐stakeholder, project‐based approach. We will first discuss this approach and then  posit a set of requirements that can serve as guidelines for these projects from funding to follow‐up. 

58


Lizzy Bleumers et al. 

4.1 Project‐based and multi‐stakeholder approach  Social  exclusion  can  be  understood  as  a  multi‐dimensional  and  dynamic  process,  situated  in  a  community  context, encompassing civic, economic, social and interpersonal disintegration (Phipps, 2000). To appropriately  and effectively address the complex nature of this issue, an integrated set of various forms of expertise, tools  and  activities  is  needed.  As a  consequence,  the  usage  of  digital  games  should  be  conceived  of  as being  one  part of a multi‐stakeholder and project‐based approach, where the success of the project critically depends on  each facet of the project context, not merely the qualities of the game. The cases we reviewed clearly illustrate  this.    Central  to  PESI  projects  are  the  people  at  risk  themselves.  While  it  may  seem  logical  to  see  at‐risk  groups  primarily  as  adopters,  i.e.  the  target  or  end‐users  whose  situation  one  seeks  to  improve,  this  is  a  reductive  interpretation. It fails to acknowledge the possibility that people at risk can shape PESI projects by acting as  representatives of their group throughout the project.    To  ensure  participation  of  those  at  risk,  intermediary  organisations  play  a  major  role.  Through  the  trust  relationship  intermediaries  maintain  with  at‐risk  groups,  they  are  well  aware  of  the  struggles,  skills  and  interests  of  this  audience.  Intermediaries  can  signal  the  demand  for  (game‐based)  PESI  initiatives,  or  act  as  domain experts in these projects. They are gatekeepers that can introduce a game‐based initiative to people  that  might  otherwise  be  hard  to  reach,  as  well  as  guide,  motivate  and  facilitate  the  empowerment  of  participants in these initiatives.    To  achieve  their  fullest  potential,  intermediary  organisations  themselves  need  support,  as  they  often  lack  relevant  assets  and  capabilities  such  as  knowledge  on  how  to  implement  games  in  their  everyday  practice,  game design and publishing expertise, financial resources, and so on. An exchange of resources can be made  possible  by  arranging  partnerships  between  these  organisations  and  game  developers,  publishers,  research  and funding organisations. Whereas game developers have the means to create engaging games, researchers  can  support  evidence‐based  game  design.  They  also  have  the  expertise  to  monitor  and  evaluate  PESI  initiatives. This has the added benefit of not needing to place intermediaries in the role of assessor, potentially  compromising the relationship they have with their target group. Actors with publishing expertise can provide  the know‐how needed to market and scale up a local PESI initiative. Funding organisations can contribute to a  budget not only for game development, but also for manuals on how to play and deploy the games, impact  assessment, and project follow‐up. This requires that each of these components were already considered in  the project plan, which we will discuss in the following section. 

4.2 Requirements for game‐based PESI projects  Identifying the key components to the successful implementation of game‐based PESI initiatives is a work‐in‐ progress. Here we propose a set of requirements, drawn from our study’s findings.    Successful  game‐based  PESI  projects  address  concrete  needs  of  both  end  users  and  professional  intermediaries.  User  research  (incl.  domain  analysis  and  UX  research)  prior  to  game  development  facilitates  such  needs  alignment.  In  addition,  creating  a  game  concept  and  outline  should  take  place  in  close  collaboration with these actors. Finally, foreseeing customizability of the game‐based approach enables users  to  adapt  it  further  to  their  preferences  later  on.  By  giving  this  stage  in  the  development  process  sufficient  attention, drastic and costly changes during actual production can be avoided. It is advisable to make a highly  detailed game design document and development plan so as to keep the production time low.    While a positive game experience is important for take‐up, it does not guarantee successful diffusion of the  game.  Again  strong  partnerships  are  needed  whereby  experts  in  effective  publishing  cooperate  with  intermediaries who work with at‐risk groups to adequately approach people at risk. A single‐shot strategy is  inadvisable. A broad, multichannel communication strategy stretching across different use settings and over a  period of time is likely to be more effective.     To  ensure  the  game‐based  PESI  initiative  is  not  abandoned,  additional  requirements  have  to  be  taken  into  account. A sustainable approach requires that the quality of the game‐based platform and related services are  assured  and  that  updates  can  be  made  initialized  when  user  needs  change.  Integrating  the  game  as  a  tool,  together  with  technical,  pedagogic  and/or  agogic  support,  to  make  existing  intermediary  services  more 

59


Lizzy Bleumers et al.  effective, will also contribute to the longevity of the initiative. Finally, assessment tools (built‐in and external  to  the  game)  need  to  be  available  so  that  stakeholders  can  be  informed  of  usability  and  playability  of  the  digital game as well as short‐ and long‐term impact on learning, empowerment and social inclusion.    Clearly these requirements cannot be met without a sound financial plan that takes into account all aspects of  setting up and carrying out game‐based projects including research, creation, marketing, implementation and  follow‐up.  Public‐private  partnerships  can  be  set  up  to  secure  mixed  funding  so  that  high‐quality  and  sustainable projects can be delivered. However, it is difficult to justify funding for game‐based approaches in  the absence of evidence of what works and how. For evidence on the meaning and influence of game‐based  PESI  projects  to  grow,  multi‐level  impact  assessment  will  need  to  become  standard.  Assessment  tools,  research support and platforms for sharing project experiences can facilitate this process.  

5. Final reflection: Knowledge transfer and service scaling  Having defined requirements that are likely to contribute to the effectiveness of game‐based PESI projects, the  question  arises  how  successful  projects  can  be  scaled  up  and  transfer  knowledge  to  other  initiatives.  To  conclude, we briefly summarize the opportunities discussed in Stewart et al (2013: 117‐120): (1) institutional  actors  can  demonstrate  their  work,  (2)  developers  and  publishers  can  distribute  packaged  games  including  training material in multiple language versions, re‐customize games and practices and foster a community of  players and game‐makers, (3) intermediary organisations can share good practice and build up local expertise  and finally, (4) individuals can provide training. 

Acknowledgements This  paper  is  based  on  the  results  of  an  exploratory  and  interdisciplinary  study  on  Digital  Games  for  Empowerment  and  Inclusion  (DGEI)  which  was  jointly  funded  by  DG  CNECT  and  JRC‐IPTS  under  the  Administrative Agreement AA INFSO/SMART 2011/0054 – JRC 32397 ‐ 2011. The Digital Society Department at  iMinds  (former  IBBT)  were  subcontracted  by  IPTS  to  develop  the  state  of  play  review  of  digital  games  for  empowerment and Inclusion that makes up a substantial part of this analysis.    The  authors  thank  the  experts  interviewed  for  the  case  studies:  Mitra  Memarzia  (free‐lance  artist  and  educator), Brian Alspach (E‐line Media) and Seann Dikkers (University of Wisconsin, Gaming Matter) and the  participants  in  the  expert  workshops  that  were  held  in  Seville  and  Brussels.  They  also  acknowledge  the  contribution of their colleagues in organising the workshops, developing and reviewing the reports produced  throughout the DGEI study (see http://is.jrc.ec.europa.eu/pages/EAP/eInclusion/games.html#publications)  

References Atkinson, A.B. (1998) “Social Exclusion, Poverty and Unemployment”, in Atkinson, A.B. and Hills, J. (Eds.), Exclusion,  Employment and Opportunity, CASE paper 4, London School of Economics, London, pp 1–20.  At‐risk (2008) Kognito Interactive, [Browser game], http://www.kognito.com/products/faculty.   Bleumers, L., All, A., Mariën, I., Schurmans, D., Van Looy, J., Jacobs, A., and Willaert, K., De Grove, F. and Stewart J. (Ed.)  (2012) State of Play of Digital Games for Empowerment and Inclusion: A Review of the Literature and Empirical Cases,  JCR Technical report No. 25652 EN, Publications Office of the European Union, Luxembourg.  CivWorld (2011) Firaxis, [Social network game], http://www.facebook.com/civworld.   Gamestar Mechanic (2010) E‐line Media, [Browser game], http://www.gamestarmechanic.com.    JRC‐IPTS (2007) “Online Foresight Guide to Expert Panels”, [online], JRC‐IPTS, Sevilla,  http://forlearn.jrc.ec.europa.eu/guide/4_methodology/meth_expert‐panel.htm.   InLiving (2008) Grassroots Learning, [Mobile game], http://inliving.aniac.co.uk.   Ito, M. and Bittanti, M. (2010) “Gaming”, Hanging Out, Messing Around, Geeking Out: Kids Living and Learning with New  Media, MIT Press, Cambridge, MA, USA, pp 195–242.  Jenkins, H. (2009) Confronting the challenges of participatory culture, John D. and Catherine T. MacArthur Foundation  Reports on Digital Media and Learning, MIT Press, Boston, MA, USA.  Karabanow, J. and Naylor, T.D. (2010) “‘Being hooked up’: Exploring the experiences of street youth and information  technologies”, The International Journal of the Humanities, Vol 5, No. 3, pp 253–260.  Khaled, R. (2011) “Equality = Inequality: Probing Equality‐Centric Design and Development Methodologies”, in Campos, P.,  Graham, N., Jorge, J., Nunes, N., Palanque, P. and Winckler, M. (Eds.), Human‐Computer Interaction – INTERACT 2011,  Lecture Notes in Computer Science, Springer Berlin Heidelberg, pp 405–421.  Choices and Voices (2009) PlayGen, [Browser game], http://playgen.com/choicesandvoices/.  Lord, J. and Hutchison, P. (1993) “The process of empowerment: Implications for theory and practice”, Canadian Journal of  Community Mental Health, Vol 12, No. 1, pp 5–21. 

60


Lizzy Bleumers et al.  Notley, T. and Foth, M. (2008) “Extending Australia’s digital divide policy: an examination of the value of social inclusion  and social capital policy frameworks’”, Australian Social Policy, Vol 7, pp 87–110.  Ortiz, J.A. (2009) “Re‐gaming the digital divide: Broadband, MMOGS and US Latinos”, iConference 2010 Proceedings,  University of Illinois, Urbana‐Champaign, IL, USA, 7p.  Phipps, L. (2000) “New communication technologies ‐ A conduit for social inclusion”, Information, Communication &  Society, Vol 3, No. 1, pp 39–68.  Poverty Is Not a Game (2010) Grin Multimedia, [PC Game and Browser game], http://www.povertyisnotagame.com.   Royle, K. and Colfer, S. (2010) The breadth and scope of computer games in learning: Applications to 14 to 19 learners with  a specific focus on applicability to those who are classified as Not in Employment, Education or Training (NEET)  (Research report), Centre for Developmental and Applied Research in Education (CeDARE) & BECTA.   Sawyer B. and Smith P. (2008) “Serious Games Taxonomy”, Presentation at Serious Games Summit GDC, San Francisco, CA,  February, http://www.dmill.com/presentations/serious‐games‐taxonomy‐2008.pdf.  Scapola F. and Miles I. (2006) Eliciting Experts' knowledge: A comparison of two methods. Technological Forecasting and  Social Change, 73, pp 679‐704.  Schouten, B. (2011) The Role of Play, Inaugural lecture, Eindhoven University of Technology.  Selwyn, N. (2002) Defining the “Digital Divide”: Developing a Theoretical Understanding of Inequalities in the Information  Age (Occasional Paper No. 49), Cardiff University, Cardiff.   Squire, K.D. and Barab, S. (2004) “Replaying History: Engaging Urban Underserved Students in Learning World History  through Computer Simulation Games”, Proceedings of the Sixth International Society of the Learning Sciences, Santa  Monica, CA, pp 505–512.  Starbright world (2006) Schematic, Userplane, & Starlight Children’s Foundation, [Social network site] [Browser game],  http://www.starbrightworld.org.  Stewart, J. and Misuraca, G. (2012) A Roadmap for Action on Digital Games for Empowerment and Inclusion in Europe, DGEI  Project Deliverable, JRC‐IPTS, Sevilla.  Stewart, J., Bleumers, L., All, A., Mariën, I., Schurmans, D., Van Looy, J., Jacobs, A., Willaert, K., De Grove, F., Misuraca, G.  and Centeno. C (2013) The Potential of Digital Games for Empowerment and Social Inclusion of Groups at Risk of  Social and Economic Exclusion: Evidence and Opportunity for Policy, JRC Scientific and Policy Reports No. EUR 25900  EN, Publications Office of the European Union, Luxembourg.  Wright, D. and Wadhwa, K. (2010) “Mainstreaming the e‐excluded in Europe: strategies, good practices and some ethical  issues”, Ethics and Information Technology, Vol 12, No. 2, pp 139–156. 

61


Investigating the Relationship Between School Performance and the  Abilities to Play Mind Games  Rosa Maria Bottino, Michela Ott and Mauro Tavella  ITD‐CNR, Genova, Italy  bottino@itd.cnr.it  ott@itd.cnr.it  tavella@itd.cnr.it    Abstract: Is there any relationship between school performance and the ability to play digital mind games? This paper tries  to answer this key question and in doing so, it draws on a long‐term research experiment conducted in primary schools and  dealing with the use of mainstream mind games (namely those games that deeply require the enactment of thinking and  reasoning  skills  and  are  almost  independent  from  knowledge/competence  in  specific  school  subjects).  It  reports  on  an  experiment involving 60 Italian primary school children, which was based on the use of the LOGIVALI Test, a game‐based  standardized  test  assessing  primary  school  pupils  reasoning  abilities.  The  games  adopted  in  the  experiment  were  five  digital  mind  games  (mostly  public  domain  products)  falling  into  the  category  of  “mini‐games”;  some  of  them  were  the  computerized  versions  of  well‐known  board  games  (e.g.  battleship,  master  mind,  domino).  The  main  characteristic  common to all the adopted games was that they do not require specific prerequisites in curricular school subjects, beyond  very  basic  literacy  and,  most  importantly,  do  not  imply  the  possession  of  specific  mathematical  skills.  During  the  experiment,  the  possible  relationships  between  gaming  and  learning  performance  of  primary  school  students  were  investigated; a strong correlation between the students’ possession of the reasoning skills necessary to successfully play  with mind games and their school performance was found. These considerations corroborate the hypothesis that games  exercise a set of specific reasoning abilities that are “transversal” to most curricular activities. The targeted experiment also  showed  that  the  great  majority  of  students  (including  low  achievers),  independently  from  the  level  of  their  school  performance,  are  very  attentive  and  engaged  in  game‐based  learning  tasks.  These  findings,  together  with  the  results  of  other experiments carried out by the authors in different frameworks (but with the same target population and with the  same  games),  concretely  support  the  idea  that  early  interventions  to  support  the  development  of  reasoning  abilities  carried  out  by  means  of  engaging  and  motivating  game‐based  activities  can  positively  impact  on  students  school  performance.  In  a  proactive  perspective,  the  obtained  results  corroborate  the  idea  that  a  carefully  designed,  teacher‐ driven and well‐focused use of specific mind games can contribute to sustain and foster students’ reasoning and problem  solving skills and that these skills may have, in the long run, a positive impact on the students’ global school achievement.    Keywords: mind games, transversal skills, game‐enhanced learning, technology enhanced learning, primary education 

1. Introduction   Digital  games  are  broadly  regarded  as  technologies  offering  a  high  potential  to  foster  and  support  learning  (Sandford et al, 2006; Prensky, 2001; Hong et al, 2009; De Freitas & Oliver, 2006; Pivec, 2007). Game‐based  learning  refers  to  teaching‐learning  actions  carried  out  in  formal  and/or  informal  educational  settings  by  adopting  games.  It  encompasses  the  use  of  both  games  designed  expressly  for  fulfilling  learning  objectives  (educational games) and "mainstream games" ‐‐ i.e. those games that are not developed for education (i.e. for  fun) when used to pursue learning objectives (Kirriemuir and McFarlane, 2004 p.19). To date a wide number of  significant  research  studies  have  been  carried  out  that  look,  from  different  perspectives,  at  the  actual  relationships among different types of digital games and specific learning objectives to be met (Mc Farlane et  al, 2002; Mitchell & Savill‐Smith, 2004). This paper focuses on mind games, namely those games (elsewhere  called brainteasers or puzzles Kebritchi et al., 2010; Milovanović et al, 2009) that deeply require the enactment  of thinking and reasoning skills. The paper draws on a research experiment dealing with the use of mainstream  mind games in formal educational settings with the aim of fostering primary school pupils’ reasoning abilities.  Such abilities are defined as “transversal” or “key” and it is widely recognized that they underpin the majority  of learning tasks, thus sensibly contributing to enhance global academic achievement (Prensky, 2005; Schiffler,  2006;  Carbonaro  et  al,  2010).  The  use  of  digital  mind  games  to  support  the  development/enhancement  of  transversal abilities and, in particular, those involving reasoning and logical thinking, is still scarcely explored  (Rohde  &  Thompson, 2007) but  some  authors  claim  that   the  use  of  such games  can contribute  to enhance  school achievement (Robertson & Miller, 2009; Franco et al, 2011).    In the following, drawing on a field experiment involving 60 Italian primary school children we investigate the  relationships between the possession of the reasoning abilities required to solve mind games and the school  performance at primary school level.  

62


Rosa Maria Bottino, Michela Ott and Mauro Tavella 

2. Background   This paper reports and discusses the results of a field experiment conducted in twenty Italian primary schools  classes (60 children in 4th and 5th grades) in the Lombardia region. Actually, the experiment was based on the  use  of  the  LOGIVALI  (LOGIcal  thinking  eVALuatIon)  Test,  a  game‐based  norm  referenced  test  assessing  the  reasoning abilities of primary school pupils (Bottino et al, 2010). In the following before presenting in details  the  experiment  and  the  related  methodology,  we  briefly  summarize  the  basic  concepts  underpinning  the  LOGIVALI test. 

2.1 The Logivali test  The LOGIVALI test is a game‐based, norm‐referenced test that follows a custom set‐up, specific methodology  to investigate and assess the possession of some specific logical and reasoning abilities. The test is grounded  on the use of five digital mind games (Bottino et al, 2010) that fall into the category of “mini‐games”, that is  “games that take less than an hour to complete” (Prensky, 2005). The five games adopted in the LOGIVALI test  (Table  1)  do  not  require  specific  prerequisites  in  curricular  school  subjects,  beyond  very  basic  literacy  and,  most  importantly,  do  not  imply  the  possession  of  specific  mathematical  skills;  some  of  the  games  are  the  computerized versions of well‐known board games (e.g. battleship, mastermind and domino).  Table 1: LOGIVALI games: screenshots and short description 

Pathological

Tree Tent 

GMC Master Mind 

The Pathological game is a puzzle game consisting of marbles and  wheels. The marbles are of different colours and roll along paths. Each  wheel has four slots which are to be filled in with marbles of the same  colour: to do so, the user clicks on the wheel to rotate it. When the  wheel is completed, the marbles vanish and the wheel turns dark.  Pathological is organized in progressive difficulty levels that correspond  to different schemas. In order to complete each schema it is necessary  to take into consideration not only the colour of the ball that is coming  but also the colours of the next ones (left‐hand side of the screenshot).  http://pathological.sourceforge.net  TreeTent is a single‐player puzzle game in which the goal is to work out  where the computer has positioned a certain number of tents on a  board where a certain number of trees appears. A tent can only be  found in a cell horizontally or vertically adjacent to a tree, tents are  never placed adjacent to each other, and for each tree only one tent  can be positioned on the board. The numbers along the right and lower  sides provide a clue as to the number of tents in that row or column.  The player can make inferences on the content of each square by  placing either a tent or grass (light green colour) in the cell. When this  is done, a small pellet appears in the square. Clicking on the tick in the  toolbar validates the player’s inferences: if the guess is correct the  small pellet disappears, otherwise the system provides an error  warning.  http://www.yoogi.com/treetent.htm  The goal of MasterMind is to guess a sequence of coloured pegs that  the computer has selected at random. The player start making guesses  by filling the holes at the bottom row of the left‐hand column with  coloured pegs chosen from the range available in the top‐left corner.  Each time a row is completed, the program gives feedback on the  attempt in the right‐hand column: a black peg means that the player  has correctly positioned a peg of the right colour, while a white one  means that a peg of the right colour has been chosen but is not in the  right place. The feedback provided by the program does not reveal  which individual peg colours/positions are correct within each attempt.  At each attempt, the player need to process all the feedback received  up to a given point in the game in order to decide what to do next.  http://gmoerth.freeservers.com/mm/index.htm 

63


Rosa Maria Bottino, Michela Ott and Mauro Tavella  Tetravex is a domino‐like game which is played with tiles that are  divided into four triangles each marked with a number from 0 to 9. The  goal of the game is to drag the tiles in the right‐hand board into the  left‐hand board and position them so that any two adjacent tile  numbers are the same.  http://live.gnome.org/GnomeGames 

Tetravex

Hexip

Hexip is single‐player game whose goal is to find the position of ships  within the hexagon‐shaped board (dark boxes contain ships, light boxes  are empty). The game provides information on the number of boxes  occupied by ships both on the horizontal and diagonal rows of the  board (the numbers outside the hexagon). The player can make  inferences on the content of each box by colouring it either with light  colour or with dark colour, in this case a small pellet appears in the  box. Clicking on the tick in the toolbar validates the player’s inferences:  when an attempt has been validated, the small pellet disappears if the  inferred content is correct; otherwise the system provides an error  warning.    http://www.yoogi.com/hexip.htm 

The overall administration methodology of the LOGIVALI Test includes the following steps:   ƒ

Teachers explain the games to the students.  

ƒ

Students play individually with five digital mind games; each game is used twice, in two different one‐hour  playing sessions to be held in the school computer lab.  

ƒ

Teachers monitor  students  at  work  during  the  playing  sessions,  but  abstain  from  intervening  with  suggestions and help. 

ƒ

After completing the two playing sessions with each game, each student individually takes a specific test  on that game (sub‐test). Tests are administered by the teachers who also are in charge of making students  aware of the fact that no curricular evaluation is foreseen for the tests. Each sub‐test is composed of eight  exercises, each containing multiple items in the form of multiple‐choice questions (Serradell‐Lopez, 2010)  or, when possible, practical drills (e.g. “fill in the schema with the needed moves”).  

The test takes into account a limited number (six) of specific reasoning abilities identified as “crucial” (Bottino  et  al.,  2007)  although  they  are,  obviously,  only  a  subset  of  the  abilities  required  to  deal  with  the  games  at  hand.     The six abilities investigated through the LOGIVALI Test are:  ƒ

Ability 1 “knowing the rules of the game”: to know the rules underlying a given game and to be able to  apply them in concrete game situations. 

ƒ

Ability 2 “first level reasoning”: to be able to make an inference taking into consideration a single given  datum. 

ƒ

Ability 3   “second  level  reasoning”:  to  be  able  to  make  an  inference  taking  into  consideration  two  given information or game constraints. 

ƒ

Ability 4   “third level reasoning”: to be able to make an inference taking into consideration more than  two given information and game constraints. 

ƒ

Ability 5   “managing  uncertainty”:  to  be  able  to  establish  whether  the  data  available  at  a  given  moment of the game are sufficient to decide whether a certain guess is correct or not.  

ƒ

Ability 6   “operatively applying reasoning abilities”: to be able to implement into the game the results  of own reasoning (actions should follow thoughts). 

As to the ability of making inferences, in the LOGIVALI test, it is not considered a unique monolithic skill but it  is regarded and treated as an ability varying in difficulty according to the number of different data, information 

64


Rosa Maria Bottino, Michela Ott and Mauro Tavella  and constraints to be dealt with. In particular, the test differentiates the abilities to make inferences according  to the need for taking into account one, two, and three or more data (abilities 2, 3 and 4). On the basis of the  results  obtained  with  the  involved  sample  population  (around  500  primary  school  students)  the  test  was  standardized and the reference norms were defined on a percentile ranking basis. In (Bottino et Al., 2010) the  whole LOGIVALI test validation and standardization procedure is presented. During such procedure, it emerged  that  the  number  of  correct  answers  progressively  decreased  in  the  three  stages:  Ability  2  (80%  of  correct  answers); Ability 3 (63% of correct answers); Ability 4 (46% of correct answers). This confirmed that the three  abilities should be considered as increasingly complex abilities for the target population.  

3. Methodology As  mentioned  above,  for  the  purpose  of  the  present  study  60  pupils  out  of  twenty  Italian  primary  schools  classes (4th and 5th grades) in the Lombardia region were selected and monitored, while individually playing  with digital mind games.     The students were classified in three groups according to their school achievement (school actual results based  on the scores obtained, plus teachers’ judgments):   ƒ

group A‐high achievers;  

ƒ

group B‐medium achievers;  

ƒ

group C‐low achievers.  

The target group of 60 students comprised three students per class: one for each group A, B and C.     The  LOGIVALI  test  was  administered  during  school  hours  to  all  the  students  in  each  classroom  and,  in  each  class, the students chosen as representatives of the three groups, were individually monitored by teachers.     Detailed results were recorded (score obtained by each student subdivided by sub‐test and by entailed ability,  plus attribution of the position in the “percentile” scale) and carefully analyzed.    In  order  to  monitor  students  at  work,  teachers  were  provided  with  “made  on‐purpose”  monitoring  sheets  where they were asked to record relevant data on each student’s behavior, in particular on their autonomy,  engagement and attention.    The available data for each student thus consisted in:  ƒ

Scores at the LOGIVALI test (global score and individual scores in each single sub‐test) 

ƒ

Percentile analysis of performance 

ƒ

Qualitative data on: autonomy, engagement and attention 

For the scope of this study, all the data available through the LOGIVALI test were analyzed and compared with  each  student’s  data  on  school  performance.  It  was  thus  possible  to  make  some  inferences  on  the  possible  correlations between students’ performance in playing/solving mind games and that attributed in school tasks.  In  order  to  obtain  a  complete  view  of  each  student’s  profile,  behavioral  aspects  (derived  from  monitoring  sheets  analysis)  were  also  considered  and  the  correlations  with  the  above  mentioned  performances  were  further studied.    The  research  approach  adopted  in  this  study  basically  followed  the  paradigms  of  “mixed  research  methodology”  (Burke  et  al.,  2007;  Burke  &  Onwuegbuzie,  2004);  in  fact,  a  combined  use  was  made  of  both  quantitative and qualitative approaches.     Actually, as said above, the performance of each student at the LOGIVALI test was assessed according to the  percentile ranks determined by the test; subsequently, the obtained quantitative data on performance at the  LOGIVALI test were compared with available data on each student’s level of school achievement.    Data  recorded  by  teachers  in  the  monitoring  sheets  and  referring  to  students’  autonomy,  engagement  and  attention  were,  instead,  analyzed  by  employing  qualitative  research  methods,  in  particular  the  “direct  observation” research method (Herbert, 1995). 

65


Rosa Maria Bottino, Michela Ott and Mauro Tavella 

4. Results The ultimate aim of the conducted experiment was that of understanding if, at early school levels, digital mind  games can be used to elicit and support the development of those reasoning abilities that underpin learning  tasks that students are likely to face throughout all their school careers. This hypothesis, if confirmed, could  pave  the  way  for  well‐targeted  and  effective  interventions  using  games  to  sustain  the  development  of  reasoning skills, starting from the early stages of school education.    Having in mind this ultimate objective, in the following we outline the key results of the experiment that shed  light on:   ƒ

the actual  relationship  between  the  students’  performance  at  the  LOGIVALI  test  and  their  school  achievement;  

ƒ

the students’ attitudes during game play.  

4.1 The relationship between school achievement and ability to play mind games   The results of the test lead to the key finding that:     A  substantial  consistency  exists  between  school  achievement  and  the  ability  of  playing  mind  games,  as  demonstrated by the students’ performance at the game‐based LOGIVALI Test.    In particular:    Looking at the global performances at games (overall results of the LOGIVALI test, encompassing the results of  the  five  sub‐tests,  we  see  that  performances  of  high  and  low  achievers  are  very  different  (  in  favour  of  high  achievers) while the medium group is situated half way between the two    Results  proposed  in  Figure  1,  where  dark  parts  stand  for  low  performances  (actually  2  levels  of  low  performances:  poor  and  fair)  and  light  parts  for  high  performances  (actually  2  levels  of  high  performances:  very good and good) show that:  ƒ

Only students in group A (high achievers) show prevailing high performances at the LOGIVALI test (light  parts in the figure) with respect to the other two categories where dark parts are prevailing; more than  half of the students of this group perform at the two highest levels. 

ƒ

The very majority of the students in group C (low achievers) perform at low levels (fair and poor); most  performances of these students are at the lowest level. 

ƒ

Performances of students in group B (medium achievers) are comparable to those of students in group C if  we consider dark and light parts but performances at the fair level prevail on performance at poor level. 

Figure 1: Performances of the three groups of students at the LOGIVALI Test  As to the ability of recalling the game rules (Ability 1) the performance of the three groups are scaled.     As shown in Figure 2, very good performances decrease sensibly from Group A to group C. If we look at the  two big blocks (dark and light parts) we see that high achievers perform far better with respect to the other  two groups, whose performance is still comparable, but with a prevalence of very poor performance for low  achievers. This is true despite what emerged from the LOGIVALI Test standardization procedure, namely that 

66


Rosa Maria Bottino, Michela Ott and Mauro Tavella  Ability 1 is the simplest one among the abilities tested by the LOGIVALI test and that it involves lower cognitive  load.  Ability 1 

Figure 2: Performances of the three groups at the ability of recalling the game rules  As to the inferential abilities (core abilities 2, 3 and 4 of the LOGIVALI test) we see that performances of high,  medium and low achievers are always scaled (with the prevalence of good performances for high achievers and  of poor performances for low achievers).    This emerges from Figure 3 where the results at the three abilities of the test related to the capacity to make  inferences on the basis of given data (namely Ability 2, 3 and 4) are presented.   Ability 2 

Ability 3 

Ability 4 

 

Figure 3: Performances of the three groups at the three “core” abilities considered, regarding inference  The figure shows that in all the three abilities poor performances prevail in group C in all the three abilities and  vice versa good performances prevail in group A while medium achievers are always in between the two.     While looking at Figure 3 nevertheless we must consider that the three graphs should be regarded singularly  and no direct comparison among the three graphs representing the three different abilities can be done.     The structure of the available data doesn’t allow us to directly compare the performances of the three groups  of  students  in  the  different  abilities:  our  data  are,  in  fact,  based  on  the  calculation  of  the  percentiles  which  varies in the different abilities (treated as independent) as a consequence of the different number of correct  answers given by the sample population.     Despite  this,  if  we  look  singularly  at  the  considered  reasoning  abilities,  we  see  that  high  achievers  always  perform better than the other two groups.  The emerging trend is the same for all the six considered abilities, despite reasonable differences linked to the  intrinsic level of difficulty of each one of them, as illustrated below.    As  to  the  ability  of  “managing  uncertainty"  (Ability  5)  performances  of  students  in  Group  C  are  lower  with  respect to those of students in the other two groups; only Group C show genuinely poor performances while  high and medium achievers performances are comparable . 

67


Rosa Maria Bottino, Michela Ott and Mauro Tavella  This  ability,  namely  the  ability  to  be  able  to  establish  whether  the  data  available  at  a  given  moment  of  the  game are sufficient to decide whether a certain guess is correct or not, clearly discriminates among the three  groups: it appears to be very difficult for low achievers (Figure 4), so that only very few of them perform well.  Both the other two groups, instead, appear to be more confident with the task. 

Ability 5 

Figure 4: Performances of the three groups at the ability of “managing uncertainty"  As to the ability of "operatively applying reasoning abilities": (Ability 6), performances of students in Group A  are higher with respect to those of students in the other two groups. Differences between group B and Group C  are found as well, in favour of Group B.     This ability implies "operatively applying reasoning abilities" namely to be able to implement into the game the  results  of  own  reasoning  (in  the  logic  that  actions  should  follow  thoughts).  Here  we  need  to  observe  that  Group A performance is far higher with respect to the one of the other two groups (Figure 5): this could allow  arguing  that  students  in  this  group  are  more  able  to  “put  into  practice  what  they  have  learnt”  (and  this  attitude/ability could be responsible for their good achievement in curricular activities).  Ability 6 

Figure 5: Performances of the three groups at the ability of “"operatively applying reasoning abilities" 

4.2 Affective aspects of mind game playing: attention, engagement, autonomy  During the experiment, issues related to children’s behaviour such as engagement, attention and motivation  were also investigated. This was done by means of made on‐purpose monitoring sheets where the teachers  and the  members  of  the  research group, while  observing  students  at work,  carefully  recorded  data  on  their  attitudes considering a number of common specific indicators, to guarantee comparability.    The first attitude considered was autonomy; in this respect, as shown in Figure 6, it was noticed that, while  students  in  the  high  and  medium  achievers  group  were  substantially  autonomous  most  of  those  in  the  low  achievers  group  frequently  required  help  and  advice  although  only  few  of  them  were  considered  non‐  autonomous at all. 

68


Rosa Maria Bottino, Michela Ott and Mauro Tavella 

Figure 6: Level of autonomy shown by pupils in the three groups  The  examination  of  the  monitoring  sheets  showed  also  that  all  pupils,  were  fundamentally  attentive  and  engaged while playing (Figure.7); this was true also for a consistent number of low achievers, irrespective of  their actual gaming ability and capacity to reach the solution. 

Figure 7: Level of attention and engagement shown by pupils in the three groups 

These data are confirmed by a parallel investigation conducted, with the same modality and methodology, on  a sample of 27 pupils identified by teachers for low academic achievement and learning difficulties. This study  (Dagnino et al, 2013) revealed that the 70% of the group had a good level of attention while up to the 83% of  the children showed a good level of engagement in the proposed tasks.    These data confirm that a considerable amount of children of the target age are attentive and engaged in the  interaction with mind games, despite their level of achievement, even those that need adequate support by  educators to reach the game solution. 

5. Discussion   The  final  aim  of  the  described  experiment  was  to  investigate  whether  digital  mind  games  can  be  used  successfully to elicit and support the development of those “transversal” reasoning abilities that affect global  school achievement.     To this aim, evidence was found that:  ƒ

A substantial consistency exists between primary school students’ school achievement and the ability of  playing digital mind games. 

ƒ

The great majority of students, independently from their level of school performance, are basically very  attentive and engaged in game‐based learning tasks.  

69


Rosa Maria Bottino, Michela Ott and Mauro Tavella  As a matter of fact, from the conducted experiment it emerged that:  ƒ

The performances at games are scaled and reflect the results of high, medium and low achievers. 

ƒ

The ability itself of recalling games’ rules is more present in high achievers and progressively at a lesser  extent in the other groups of students. 

ƒ

Inference tasks are well performed by high achievers but represent a sensible obstacle for low achievers  (mainly when inferences need processing more numerous data). 

ƒ

The ability  of  verifying  the  work  done  by  also  managing  uncertainty  and  establishing  whether  the  data  available at a given moment of the game are sufficient to decide whether a certain guess is correct or not  is peripheral for the group of low achievers. 

ƒ

The ability to put into practice what learnt during exercises is almost a prerogative of high achievers  

ƒ

The level of autonomy in playing games is good for both high and medium achievers while low achievers  need some external help. 

ƒ

Digital games attract all students’ attention and stimulate their engagement and motivation.  

Since the experiment was based on games that do not require knowledge/competences specific to curricular  school subjects (e.g. arithmetic, linguistic), the obtained results suggests that playing with mind games entails  transversal skills that are involved also in curricular tasks and activities (e.g. making inferences, verifying the  work done, recalling rules, etc.).     Furthermore, digital games are suitable tools to exercise such skills in that they are well accepted by students  and able to stimulate their positive attitude towards learning.  The  actual  effectiveness  of  game‐based  training  programmes  in  the  field  of  logical  abilities  is  substantiated  also  by  the  findings  of  a  previous  research  experience  conducted  by  the  authors  (Bottino  et  al,  2007)  that  showed a positive impact of the gaming activity on both school performance and learning behaviour.     The experiment, in fact, had evidenced that a group of students who had undergone a game‐ based reasoning  and logical training with games for a long period (three school years) performed better at a national math test  with respect to a control group. The teachers involved in the experiment had also reported a positive impact of  the gaming activities on the general learning behaviour of the students involved in the experiment.     Based  on  all  these  results,  we  could  reasonably  draw  the  conclusion  that  mind  games  could  be  adopted  profitably in early educational programmes targeting the development and the enhancement of “transversal”  reasoning skills and that they may have, in turn, a positive impact on the students’ global school achievement. 

6. Conclusions and future work  This  paper  is  based  on  an  in‐field  experiment  conducted  in  primary  schools  and  based  on  the  use  of  digital  mind games. The experiment has showed that a strong correlation exists between school achievement and the  ability  to  play  digital  mind  games  even  if  these  games  do  not  require  knowledge/competences  specific  to  curricular school subjects. Moreover the experiment has showed that during gaming activities all children were  attentive and engaged, irrespective of the difficulties they encountered.     These findings, in the light of results from related experiments, suggest that, at early school levels, mind games  can  be  well  accepted,  suitable  and  effective  tools  to  trigger  and  foster  those  reasoning  abilities  that  are  brought  into  play  in  curriculum‐wide  learning  experiences.  As  a  consequence  it  can  be  argued  that  early  interventions  in  the  field  of  reasoning  abilities  carried  out  by  means  of  game‐based  activities  can  positively  impact on students school performance (mainly in the areas of maths and logical reasoning).     The  reported  experiments  were,  nevertheless,  exclusively  targeted  to  primary  schools;  further  in‐depth  investigations  seem  to  be  required  in  order  to  be  allowed  to  generalize  and  extend  the  emerging  considerations and assumptions.    In particular, the question whether the abilities and skills acquired at this stage can actually be transferred to  other school levels and/or curricular areas, remains open and asks for further related long‐term experiments. 

70


Rosa Maria Bottino, Michela Ott and Mauro Tavella 

References   Bottino R. M., Ott M., Tavella M. and Benigno V.: Can digital Mind Games be Used to Investigate Children’s Reasoning  Abilities? In: Meyer B. (ed.) Proceedings of the 4th ECGBL Conference on Games Based Learning Copenhagen, pp. 31‐ 39. Academic Conferences (2010)  Bottino, R.M., Ferlino, L., Ott, M., Tavella, M.: Developing strategic and reasoning abilities with computer games at primary  school level. Computers & Education, 49 (4), 1272‐1286 (2007)  Bottino, R.M., Ott, M.: Mind games, reasoning skills, and the primary school curriculum: hints from a field experiment.  Learning Media & Technology, 31 (4), 359‐375 (2006)  Burke, R. J., Onwuegbuzie, A. J. (2004). Mixed Methods Research: A research paradigm whose time has come, Educational  Researcher, 33(7), 14‐26  Burke, R. Johnson, Onwuegbuzie, A. J. & Turner, L. A. (2007). Toward a Definition of Mixed Methods Research, Journal of  Mixed Methods Research, 1, 112‐133   Carbonaro, M., Szafron, D., Cutumisu, M. and Shaeffer, J.: Computer‐game construction: a gender neutral attractor to  Computing Science. Computers & Education, 55 (3), 1098‐1111 (2010).  Dagnino F.M, Ballauri  M., Benigno V., Caponetto I., Pesenti E. (2013). Reasoning abilities in primary school: A pilot study on  poor achievers vs. normal achievers in computer game tasks. Learning and Individual Differences 23 pp.213‐217  De Freitas, S., Oliver, M.: How can exploratory learning with games and simulations within the curriculum be most  effectively evaluated?. Computers & Education 46, 249‐264 (2006).  Franco C., Mañas, I., Cangas A.J., and Gallego J.: Exploring the Effects of a Mindfulness Program for Students of Secondary  School. International Journal of Knowledge Society Research (IJKSR): 2 (1), 14‐28 (2011)  Herbert J., 1970. Direct observation as a research technique. Psychology in the Schools, 7 (2), 127‐138  Hong, J.C., Cheng C.L., Hwang, M.Y., Lee, C.K., Chang, H.Y.: Assessing the educational values of digital games. Journal of  Computer Assisted Learning, 25, 423‐437 (2009).  Kebritchi M., Hirumi A., Bai H.: The effects of modern mathematics computer games on mathematics achievement and  class motivation. Computers & Education 55 (2), 427‐443 (2010)   Kirriemuir J., McFarlane A.: Literature Review in Games and Learning. Report 8: Futurelab Series. (2004).  http://archive.futurelab.org.uk/resources/documents/lit_reviews/Games_Review.pdf  Mc Farlane, A., Sparrowhawk A. & Heald, Y.: Report on the educational use of games: an exploration by TEEM of the  contribution which games can make to the education process. Teem, Cambridge, (2002)   Milovanović, M., Minović, M., Kovačević, I., Minović, J., Starčević, D.: Effectiveness of Game‐Based Learning: Influence of  Cognitive Style. In: Lytras, M.D., Ordonez de Pablos, P., Damiani, E. Avison, D., Naeve, A., Horner, D. G. (eds.) Best  Practices for the Knowledge Society. Knowledge, Learning, Development and Technology for All. Communications in  Computer and Information 49 pp. 87‐‐96. Science Springer, Heidelberg. (2009)  Mitchell, A. and Savill‐Smith, C.: The use of computer and video games for learning. A review of the literature. Learning and  Skills Development Agency, Ultralab, M‐learning (2004)   Pivec, M.: Play and learn: potentials of game‐based learning. British Journal of Educational Technology, 38, 387‐393 (2007).  Prensky, M.: Digital game‐based learning. McGraw‐Hill, New York (2001)  Prensky, M.: Educational Games Complexity Matters: Mini‐games are Trivial ‐ but “Complex” Games Are Not. An important  Way for Teachers, Parents and Others to Look At Educational Computer and Video Games, Educational Technology,  45 (4), 1‐15 (2005)  Robertson, D., Miller, D., Learning gains from using games consoles in primary classrooms: a randomized controlled study.  Procedia Social and Behavioral Sciences, 1 (1), 1641‐1644 (2009)  Rohde, T. E., Thompson, L.A., Predicting academic achievement with cognitive ability Intelligence 35 (1), 83‐92 (2007)  Sandford R., Ulicsak M., Facer K., Rudd T., Teaching with Games. Futurelab report.  http://archive.futurelab.org.uk/projects/teaching‐with‐games. (2006). Last accessed 10/05/2013  Schiffler, A.: A heuristic taxonomy of computer games, http://www.ferzkopp.net/joomla/content/view/77/15/ (2006)  Serradell‐Lopez, E. Lara, P., Castillo, D. And Gonzales, I.: Developing Professional knowledge and Confidence in Higher  Education. International Journal of Knowledge Society Research IJKSR, 1 (4), 32‐41 (2010) 

71


Experience With Digital Game‐Based Embodied Learning: The Road  to Create a Framework for Physically Interactive Digital Games  Carsten Busch, Florian Conrad, Robert Meyer and Martin Steinicke  Creative Media Research Group, University of Applied Sciences HTW‐Berlin, Germany  carsten.busch@htw‐berlin.de   florian.conrad@htw‐berlin.de   robert.meyer@htw‐berlin.de  martin.steinicke@htw‐berlin.de     Abstract: Over the past years, we have been researching various approaches to digital game‐based learning in the field of  change  and  innovation  management.  Broadening  the  range  of  possible  applications  while  consolidating  methodical  underpinnings, we have subsequently narrowed down our findings into the description of three specific treatments. This  paper  focusses  on  one  of  the  applied  treatments,  namely  to  make  participants  go  through  a  game  sequence or  interact  with a digitally  enhanced setup (e.g. play‐acting with motion capturing and real‐time rendering of a virtual character) to  engage learners in embodied and experience driven learning. We present our experience starting with commercial of the  shelf physically interactive digital games, followed by two examples of self‐made stand‐alone Kinect games that have been  developed for use in team and leadership trainings. The latter will be introduced describing their goals, the resulting game  design as well as lessons learned. Starting from the experience with such settings in project “HELD” as well as applications  of embodied digital learning and physically interactive game‐based learning by others led us to the belief that there is a  need  for  a  framework  that  enables  educational  game  and  interaction  designers  to  develop  digital  embodied  settings  without the need of (re)coding the Kinect management code as well as a number of other features relevant for education  and  training  settings  (e.g.  control  app,  QR  player  identification  and  performance  tracking).  To  further  foster  the  easy  development  of  physically  interactive  digital  games  and  simulations,  or  digital  aesthetic  performances  the  framework  integrates  with  the  Unity  game  engine,  thus  enabling  both  rapid  prototyping  and  quality  games.  First  tests  seem  very  promising  with  playable  game  prototypes  developed  in  less  than  three  days.  To  gather  more  feedback  on  real‐life  applications  using  digital  embodied  learning  we  plan  to  offer  the  introduced  framework  free  of  charge  for  non‐profit  applications.     Keywords: physically interactive digital play, embodied learning, team and leadership training, systems and core‐ mechanics based learning 

1. Introduction At HTW Berlin a comparatively wide definition of digital game‐based learning is applied (Bodrow et al, 2011).  That  covers  three  more  or  less  distinct  scenarios  (Busch  et  al,  2012a):  To  begin  with,  learning  by  playing  a  digital game with or without individual reflection or group discussion. This covers learning in formal as well as  informal – e.g. “stealth learning” (De Freitas & Maharg, 2011) or “interest‐driven learning” (Squire, 2011:19‐ 22) – settings. In our work we have explored this scenario focussing on “story‐based repetition and reflection”  on  the  one  hand  and  on  “system‐based  learning”  on  the  other  (Busch  et  al,  2012a).  The  second  scenario  is  learning by designing and creating (e.g. Marlow, 2012) or modifying (e.g. Squire, 2011:174f; Monterrat et al.,  2012)  digital  games.  Wherein  the  produced  game  or  modification  might  be  created  to  generate  either  entertainment or, as in our case, a learning experience for the prospective player (Busch et al, 2013). The third  scenario  covered  by  our  definition  is  learning  framed  by  playful  interaction  with  digital  media  or  game  components as in our digital aesthetic learning approach, using for example the “Spore Creature Creator” in  change‐ and management‐workshops (Busch et al, 2012b).  

2. Embodied system‐focused game‐based learning  As  mentioned,  one  approach  that  fits  into  scenario  one,  is  learning  by  experiencing  and  discussing  the  narrative  of  a  digital  game.  A  contrasting  one  is  based  on  the  notion  of  games  as  systems  which  can  be  considered from three complementary perspectives (Busch et al, 2012a):   ƒ

depicting real or imaginary systems (Salen & Zimmerman, 2004:422f) 

ƒ

as (complex) systems themselves (Salen & Zimmerman, 2004:156) 

ƒ

as a  temporary  system  that  encompasses  the  game  and  its  players,  their  actions  and  the  social  space  surrounding them (Salen & Zimmerman, 2004:471) 

72


Carsten Busch et al.  Considering perspective one, games can be used to explore the represented system, its procedural properties  and  causal  relationships,  consciously  or  unconsciously  engaging  with  its  procedural  rhetoric  (Bogost,  2007).  Depending on the context and learning goals, the game itself does not necessarily need to depict the target  system  very  accurately.  Indeed,  in  some  cases,  not  at  all.  When  focusing  on  training  skills  or  discussing  behavioural patterns, for example, it may suffice that the game triggers relevant reactions or patterns through  its core‐mechanics and rule‐set (perspective two). These can then be discussed and brought into relation to  the  learning  goals  after  or  between  game  sequences.  Including  perspective  three  into  this  line  of  thought,  enables learning arrangements that foster or change the learning experience afforded by a given digital game  by  adding  ad‐hoc  rules,  requirements  or  goals  prior  to  a  game  sequence  (Busch  et  al,  2013b).  This  is  an  inherently  social  process,  though,  that  may  be  restricted  to  face‐to‐face  workshops.  Since  our  research  was  focussed on such workshops it has proven to be a promising approach (Busch et al, 2013a). While commercial  off‐the‐shelf  digital  games  (COTS‐DGs)  with  conventional  input  and  output  devices  can  certainly  be  used  in  such workshop‐settings, the relatively short duration of workshops in conjunction with oftentimes low gaming‐ experience  of  participants  favours  less  complex  and  time‐consuming  games  as  teaching  tools.  These  games  should ideally (Busch et al, 2011):  ƒ

be easy to learn and have an intuitive interface to reduce the threshold for non‐gamers 

ƒ

be fun, challenging and engaging for a wide range of participants 

ƒ

be entertaining and easy to follow for spectators to allow watching and discussing their results 

Furthermore research  highlights  the  importance  of  embodied  experience  and  emotions  for  learning  and  creativity (Hannaford, 2008). Thus we focussed on digital games that use motion‐controlled interfaces – such  as Microsoft's Kinect  – to enable easy access and large projections to create a social space including both the  players and the audience (Busch et al, 2012a), the latter consisting of those workshop participants currently  not  playing  but  actively  spectating.  To  test  and  evaluate  this  approach  we  first  focussed  on  COTS‐DGs  that  might  be  used  out  of  the  box  to  challenge  and  improve  a  number  of  skills  relevant  to  business  workshops,  targeting for example communication, collaboration and leadership skills using the two‐player rafting game in  “Kinect Adventures” (Busch et al, 2011). Additionally we identified Kinect games that can be used to provoke a  specific emotion or a situational awareness which mirrors feelings in business settings – such as performing in  the digital game “Dance Central”.    While we found the application of the identified games to be very effective, the number off such games did  not  evolve  as  hoped.  Contrasting  felt  potential  for  such  embodied  game  interfaces  in  both  media  and  academia few new concepts where introduced. While some games did add Kinect support this often comes as  one  or  two  separate  modes that  do not  feel  well  integrated  into  the  whole  gaming‐experience  (e.g.  the  rail  shooter  mode  in  “Harry  Potter  and  the  Deathly  Hallows  –  Part  1”).  Games  that  focus  on  the  Kinect  as  the  primary input device and go beyond the early game concepts (mini‐games, sports or dance games) have not  been  successful  (e.g.  “Steel  Battalion:  Heavy  Armor”)  or  were  delayed  to  be  featured  on  the  next  console  generation (“Ryse”). With notable exceptions being "Puss in Boots” and “The Gunstringer”. Thus the number  of usable COTS Kinect games is still insufficient for varying themes and workshops. Indeed, to date Microsoft  provides “[m]ore than 200 ready‐to‐go activity plans” for usage of COTS Kinect games in educational settings  (Microsoft, 2013). But the connection between game‐mechanic and learning goals often seem to be a bit far‐ fetched  (e.g.  playing  “20.000  Leaks”  in  “Kinect  Adventures”  then  discussing  water  disasters  as  a  follow‐up  action) and only a single activity is marked “for higher education”.    A further reason why we started to develop custom motion controlled games was both the possibility to target  specific learning goals by designing core‐mechanics that evoke relevant behavioural patterns or perceptions to  be  experienced  and  discussed,  as  well  as  the  option  to  integrate  some  of  the  candidate  ad‐hoc  rules,  requirements  or  game  goals  that  might  be  devised  by  workshop  participants  into  the  games  in  advance,  enabling more controlled and repeatable experiments.     One last note on the typical sequences when using the embodied system‐focused digital game‐based learning  approach. As described in (Busch et al, 2012a) in workshop‐settings we generally give a very short introduction  to the used game covering only the mode of interaction and the oftentimes very loosely defined goals of the  respective  game.  After  that,  cycles  of  game‐play  and  discussion  are  initiated.  The  play  sequences  typically  cover  less  than  two  minutes  while  the  discussions  span  between  three  and  15  minutes,  sometimes  even 

73


Carsten Busch et al.  longer. The discussions cover at least three aspects. Firstly, asking the players about their experience: What  worked  out  well?  What  did  not  work?  How  did  both  players  feel  in  their  preliminarily  agreed  upon  role  or  modus  operandi?  Reported  perceptions  are  immediately  compared  with  the  perceptions  of  the  audiences,  quite often revealing interesting disaccords which fuel the discussion. This typically introduces the next stage  where  connections  to  working  life  experiences  are  discussed,  and  insights  and knowledge  are  shared  within  the group. The last stage then focuses on who shall play next and which setting, strategy or ad‐hoc rule shall  be applied.  

Figure 1: Setting for embodied system‐based learning in workshops (game “KinAct”) 

3. The road to iBox  Following  we  describe  in  3.1  and  3.2  two  examples  of  self‐made  stand‐alone  Kinect  games  that  have  been  developed  for  use  in  team  and  leadership  trainings.  These  will  be  introduced  describing  their  goals,  the  resulting  game  design  and  most  importantly  the  lessons  learned.  Our  experience  with  such  applications  of  embodied  digital  learning  as  well  as  the  interest  in  but  sparseness  of  physically  interactive  game‐based  learning  applications  by  others  led  us  to  the  belief  that  there  is  a  need  for  a  framework  that  enables  educational game and interaction designers to develop digital embodied learning games and interventions fast  and efficiently. The developed framework will be described in 3.3. 

3.1 Developing team coordination and communication skills with “Kinect Tetris”  One riposte that we frequently encountered in our workshops with COTS‐DGs like the rafting game in “Kinect  Adventures” was that the game would require little or sparse communication for a leadership strategy to be  successful, due to the simplicity of its core‐mechanics combined with its fast pace. Thus having or creating a  strong  bias  toward  some  strategies  while  making  others  unfeasible.  But  having  a  strong  biased  model  is  actually  an  advantage  in  this  case,  enabling  discussion  of  the  model  and  corresponding  real‐life  situations  which  fosters  learning  (Squire,  2011:22‐26).  Nonetheless  this  frequently  encountered  argument  highlighted  the  potential  in  system‐focused  game‐based  learning  to  let  workshop  participants  experience  different  systems  of  core‐mechanics  and  rule‐sets,  showcasing  how  systemic  environments  shape  the  behaviour  of  interacting individuals and favour some behavioural strategies over others. Therefore we needed a game that  would be comparable to the rafting game in that it can be used in the same setting with the same approach  but requiring more coordination and communication as well as optionally negating successful strategies of the  former.  The  task  was  given  to  students  taking  the  digital  game‐based  learning  course  (Busch  et  al,  2103a)  taught  by  one  of  the  authors.  In  a  brainstorming  session  a  Tetris  clone  for  two  players  was  identified  as  promising  due  to  the  fact  that  as  a  classical  game  recognition  might  ease  mastering  the  core‐mechanics.  Furthermore  the  manipulation  of  blocks  is  pretty  straightforward  but  especially  the  placing  requires  and  enables more coordination than steering the boat in the “Kinect Adventures” rafting game. The game supports 

74


Carsten Busch et al.  two input modes. In the first players manipulate the falling blocks by taking postures that loosely resemble the  form of those (see Figure 2). 

Figure 2: Kinect Tetris: “L”‐block, “L”‐like “move”‐command, “S”‐like “rotate”‐command, “S”‐block  These  postures  are  not  only  used  for  moving  and  rotating,  though,  but  also  for  a  new  game‐mechanic  the  “wishing  for  blocks“.  When  both  players  take  the  same  postures  concurrently  instead  of  moving/rotating  it,  the falling block changes into the shape embodied by both players. This leads to a doubling of meaning for the  postures and thus increases complexity of the rule‐set which needs to be handled by the players as a team.  When they do not coordinate their behaviour a falling “I”‐shape might not be moved but accidentally changed  to an “L”‐block instead – ruining all the careful stacking done before.     The  “wishing  for  blocks“‐mechanic  actually  introduces  a  “degenerate  strategy”  (Salen  &  Zimmermann,  2004:241) into the game. When players realize this they may create only “easy” blocks like squares or “I”s and  stack these – gaining a high score until the game finally becomes too fast to handle. Another way players can  seemingly sabotage the game is in that they do not cooperate and communicate at all but rather that only one  player actively plays the game while the other stands still. This often results in better performance due to the  fact, that neither time is spend on coding, transmitting and decoding information nor do misunderstandings or  conflicting strategies hinder overall performance.     Indeed  these  degenerate  strategies  are  not  consequences  of  a  flawed  game  design  –  in  contrast  to  entertainment  game  (Salen  &  Zimmermann,  2004:241)  –  but  intentional.  They  enable  on  the  one  hand  the  exploration  and  discussion  of  the  game  and  real‐life/business  systems  and  on  the  other  hand  lead  to  the  introduction of game‐mechanics that change the up to this point encountered game experience. For example  depending whether the “wish for 'I's”‐ or the single‐player‐strategy was used, the game can be replayed with a  specified  amount  of  “wishing  for  blocks  ammunition”  or  a  “scale”  game‐mechanic  that  requires  players  to  balance  their  inputs.  Both  rule‐set  adaptations  enable  a  changed  gameplay  experience  and  thus  offer  new  strategies as well as insights.    A complete description of the game, its application as well as results would go beyond the scope of this paper.  Of importance here is firstly that the game was successful in respect of its goals and well received by workshop  participants,  which  led  to  the  aim  of  creating  further  games  to  target  themes  of  interest  for  leadership  and  team  workshops.  Secondly  the  usage  of  (de)activatable  game‐mechanics  was  both  very  fruitful  and  well  received but the manipulation of the game menu via mouse and keyboard required unnecessary movement of  the workshop moderator creating ruptures in the workshop‐flow. Thirdly tracking the performance of teams  by simply listing their points was feasible but did not capture other aspects of gameplay and did not allow for  an analysis of individual performance over multiple runs, especially when mixing teams. Finally faulty postures  where  often  attributed  to  a  flawed  optical  recognition  by  the  Kinect  sensor  instead  of  being  accepted  as  mistakes of oneself, slowing learning of the core‐input‐mechanics. After a number of applications of the game  in  workshops  the  possibility  to  observe  ones  posture  via  a  mirroring  device  was  identified  as  a  potential  solution in future games. 

3.2 Experiencing feedback in team and leadership workshops with “KinAct”  The  success  of  the  “Kinect  Tetris”  game  to  evoke  relevant  behavioural patterns  and  strategies  as  a  seed  for  meaningful  discussions  strengthened  our  belief  in  the  promise  of  embodied  system‐focused  game‐based  learning  in  business  workshops.  A  main  goal  in  designing  “Kinect  Tetris”  was  to  create  a  game  that  would  enable  leadership  and  communication  experiences  differing  from  those  in  the  rafting  game  of  “Kinect  Adventures”.  Having  accomplished  this,  we  wanted  to  broaden  the  approach  to  other  leadership  and  team  related  learning  goals  and  concepts.  Again,  the  task  was  given  to  students  taking  the  digital  game‐based  learning  course  (Busch  et  al,  2103a)  taught  by  one  of  the  authors.  In  brainstorming  sessions  the  themes  of  cooperation  versus  conflict/competition  as  well  as  the  influence  of  feedback  on  performance  and  its 

75


Carsten Busch et al.  perception where identified as promising, see e.g. (Ashford & Tsui, 1991; Kaymaz, 2011). The resulting game  “KinAct” was then refined by one of the students in her bachelor thesis (Günther, 2013) and tested by her and  one  of  the  authors  both  in  a  pre‐test  with  students  as  well  as  in  a  workshop  setting  with  a  team  from  the  university´s IT service department.         In the game, each player needs to mirror the postures that are displayed in their “lane” before the manikin  reaches the bottom (see figure 1). Successful and timely mimicry is rewarded with points while failure earns a  red “X”. If one of the two players accrues three of those negative points the game ends for both players’ and a  screen  displaying  the  players  individual  points  as  well  as  their  aggregated  score  is  shown.  To  foster  team  behaviour it is possible to enable the “team mode”, to increase the possibility of conflicts a “conflict mode” is  available. In the latter, occasionally a manikins descends in the middle (“bonus”) lane and only one player may  occupy this lane to mimic it. The successful player gains a high number of points and all her negative points are  cleared. Contrary to this, in the case of the “team mode” both players need to team up to mirror a combined  form displayed in the bonus lane, sharing the rewards if successful.     To  enable  participants  to  experience  and  discuss  feedback  in  the  –  admittedly  only  comparatively  (Frasca,  2007:73‐75) – safe environment of a game in the workshop context (Busch et al., 2013b), the game settings  enable  an  amplification  of  positive  and  negative  feedback  for  each  player  independently.  Important  to  note  here is that we understand “feedback” in the way it is commonly used in game studies (Salen & Zimmerman,  2004:337),  management  literature  (Ashford  &  Tsui,  1991)  and  Flow  Theory  (Csikszentmihalyi,  2010:83f):  As  information perceived by or delivered to a recipient that relates to the negative and/or positive consequences  or  outcome  of  their  actions.  Which  is  a  core  requirement  for  active  digital  game‐based  learning  (Meier  &  Seufert,  2003:14).  Thus  amplifying  feedback  is  achieved  in  KinAct  by  increasing  the  audio  and  visual  representation of outcome information. 

Figure 3: KinAct: standard (green, normal and red manikin) and amplified visual Feedback   As a consequence of our experience with the “Kinect Tetris” game, the manipulation of the games menus and  settings  was  gesture‐based  similar  to  COTS  Kinect  games.  But  we  found  that  while  this  makes  for  a  better  player experience in an entertainment or presentation context, as the player does not need to move to the PC  to  restart  a game  or  change modes,  it  is  detrimental  for the  workshop context,  indeed.  Since  the  workshop  moderator now needs to either take the place of one player or describe to them what they should do step by  step. As a consequence we integrated an optional mouse‐mode so when introducing the game to the audience  the workshop moderator could control the game by hand movement while later on she can do that using the  PC interface. Nonetheless, one problem was not fixed by this workaround.       Both  the  usage  of  the  “Kinect  Tetris”  game  as  well  as  the  team  and  conflict  modes  in  “KinAct”  rely  on  the  moderator reacting to the players` progress and strategies by introducing a given game‐mechanic countering  their actions or enabling a different challenge. The important part here is the introduction. If the players use  the degenerate “wishing strategy” in “Kinect Tetris” the moderator introduces the ammunition mechanic by  explaining it in the first place and then letting them experience the change. If players feel they cannot really  cooperate  in  “KinAct”  the  moderator  activates  the  team  or  conflict  mode,  explains  it  to  the  workshop‐ participants and then starts the next run.     In  contrast  to  this,  key  insights  through  the  feedback  mechanic  in  “KinAct”  rely  on  the  (to  some  degree)  unbiased experiencing of those. Will a player feel motivated if she only receives strongly amplified feedback?  Will players understand their mistakes when receiving no amplified negative feedback?     But  seeing  the  changes  and  further  options  available  in  the  setting  screen  of  the  game  before  playing  may  influence  the  expectations  and  thus  the  experience  of  players.  To  counter  this  keyboard  shortcuts  were  introduced for specific combinations of core‐mechanics. While that solves the elucidated problem, it is still not 

76


Carsten Busch et al.  an  optimal  fit  as  it  reduces  the  overall  flexibility  of  the  embodied  system‐focused  game‐based  learning  approach.      Furthermore,  the  game  did  discriminate  between  player  and  team  score,  thus  enabling  better  tracking  of  individual performance over multiple runs. Nonetheless, these scores need to be noted by participants or the  workshop  moderator  and  are  otherwise  lost  if  a  new  game  begins.  This  led  to  problems  if  the  participants  restarted the game unauthorized or the application was accidentally exited.    To fix the problem of failure acceptance and related learning problems described in 3.1, KinAct implements a  camera view situated on the outer bounds of the screen (see figure 1), so participants can check their body  posture while playing the game. While this reduced problems compared to Kinect Tetris some beta‐users and  workshop  participants  were  still  observed  to  question  the  capability  of  the  optical  sensors  while  obviously  failing  to  adopt  the  correct  posture.  A  reason  for  this  may  be  the  time‐pressure  created  by  the  game  that  requires  players  to  focus  on  the  displayed  manikin  symbols  instead  of  the  seemingly  game‐external  camera  view panel.  

3.3 The iBox framework for Kinect games and embodied aesthetic learning setups  Experience  with  both  creating  and  applying  digital  games  using  the  Kinect  as  an  input  device  shows  the  potential of their usage in different learning contexts. While our primary target has been business workshops,  on various public presentations especially teachers from primary and secondary schools commented that they  would  like  to  use  such  games  in  their  lessons.  The  idea  of  using  Kinect  for  educational  purposes  and  even  digital  game‐based  learning  did  appear  almost  instantly  after  its  release  by  Microsoft.  Nonetheless,  the  number of games still seems to be rather small, even after two years. E.g. (KinectEducation, 2013) lists merely  five “Apps” (only two of these being games). Oftentimes, these games are (both in terms of presentation and  game‐mechanics) rather simple and based on a behaviouristic drill‐and‐practice approach.  

Figure 4: Main components of the iBox framework described in this paper  A  reason  for  the  lack  of  high  quality  games  may  be  the  technological  hurdle  of  mastering  the  Kinect  management code and the development of a game from scratch. Starting from our own need to streamline  development  and  reuse  code  in  a  consistent  manner  we  felt  the  need  for  a  technological  framework  that  would  enable  designers  to  focus  on  the  game‐play  instead  of  managing  the  Kinect  sensory  data.  Under  guidance of two of the authors a group of master students was set to the task of developing a solution for this  while keeping the lessons learned from previous games for workshops in mind. The result – code name “iBox”  (i3.cx,  2013)  –  fits  not  only  our  needs  but  offers  educational  game  designers  a  number  of  options  and  functionalities  (figure  4)  that  accelerate  development  of  Kinect  games  or  embodied  versions  of  digital  aesthetic interventions (see Busch, et al., 2013a).    Firstly,  iBox  works  with  Unity3D  thus  omitting  the  need  development  from  scratch  by  integrating  into  a  powerful game engine that enables rapid prototyping as well as high quality games. iBox maps the Kinect (or  Asus  Xtion)  data‐streams  onto  skeleton  information  of  currently  up  to  eight  avatars  in  Unity  thus  stripping  away  the  need  to  implement  the  interpretation  of  Kinect  data.  Furthermore,  this  may  reduce  the  aforementioned problems with failure acceptance of players, due to the fact that the avatar‐body gives real‐ time  feedback  about  the  posture  of  the  player  instead  of  the  binary  “matches  posture  or  not”  feedback  in  “Kinect Tetris” and “KinAct”.   

77


Carsten Busch et al.  Secondly,  iBox  works  in  a  distributed  setting  (Busch  et  al,  2012c).  This  enables  the  usage  of  multiple  Kinect  sensors  to  capture  extensive  3D  data  for  embodied  digital  aesthetic  interventions  or  for  games  with  core‐ mechanics that lead to situations where one player might conceal the other(s) – a boundary condition that led  to  rather  stationary  game  designs  in  “Kinect  Tetris”  and  “KinAct”.  Additionally,  the  networked  approach  enables  the  creation  of  games  that  connect  players  from  different  locations.  Thus  participants  could  play  in  different  rooms,  with  remote  peers  from  another  city  or  even  country,  and  (using  media  facades)  across  various cities in a Public Gaming context (Conrad, 2009; Busch & Conrad, 2012). Thirdly, iBox enables tracking  players independently of their position, in contrast to KinAct and Kinect Tetris where players may switch roles  by switching places. Furthermore the framework integrates both a QR code generator and reader to enable  player identification and statistics over multiple runs of a game or even a series of workshops. These statistics  are pushed to a given web‐service for review or to display development of the player.    Fourthly,  games  based  on  iBox  can  be  controlled  via  the  “iBox  Manager”  app  available  in  the  iTunes  store  (figure 5). The app displays defined interface elements in Unity, so that a workshop moderator or teacher may  for example manipulate the camera view of the game or (de)activate core‐mechanics and rule‐sets during a  game or prior a new run. This solves the problems with managing the games settings described in 3.1 and 3.2.  Furthermore,  the  app  displays  general  and  individual  game  statistics  during  and  after  a  run  which  can  be  hidden  from  players.  So  the  teacher  or  moderator  can  identify  relevant  findings  in  the  first  place  and  subsequently  target  these  in  the  discussion  without  unintentionally  influencing  participants/students  with  displayed  information.  In  addition,  the  app  offers  a  “replay”  mode  that  enables  the  moderator  to  view  and  show a “recording” of the game to foster discussion or (dis)prove claims. Indeed the “replay” is not a simple  video but a recording of the game‐state over time, thus enabling manipulation of the simulation in retrospect  – e.g. changing the camera angle (implemented) or simulating “what if” scenarios (planned).   

Figure 5: IBox Manager app displaying core‐mechanics options and statistics during a game  Last  but  not  least,  iBox  comes  with  an  interface  that  supports  the  integration  of  further  hardware  both  as  input and output devices. Input devices might be used for both game‐play relevant interaction or to capture  user  data  for  analytical  purposes.  The  latter  was  exemplarily  implemented  using  a  glove  with  an  integrated  pulse sensor transmitting captured data which is displayed by the iBox Manager app as a pulse curve and can  be  used  in  combination  with  the  replay  functionality.  Additionally,  the  iBox  framework´s  device  interface  affords  the  usage  of  physiological  interfaces  (Jercic  et  al.,  2012)  to  both  control  the  game  or  as  a  game‐ mechanic. 

4. Conclusion While embodied digital game‐based learning has been gaining more and more attention from school teachers,  academics and professional coaches alike, there is a lack of quality educational games for this field. With the  iBox  framework  we  are  trying  to  encourage  game  makers  and  educators  to  create  high  quality  games  by  providing them with a powerful tool that streamlines the development process and already implements many 

78


Carsten Busch et al.  features that we have found to be specifically useful for this kind of application. First tests have proven the  iBox’ potential and we are looking forward to getting more user feedback by releasing the framework for free  non‐commercial use. 

Acknowledgements   “Kinect  Tetris”  was  developed  under  the  guidance  of  Martin  Steinicke  by  Manuel  Adameit,  Gregor  Altstädt,  Tino Baumgart, Robert Kasparson and Tobias Wehrum.  “KinAct”  was  developed  under  the  guidance  of  Martin  Steinicke  by  Malte  Bünz,  Kerstin  Günther  and  Timo  Welde.  It  was  developed  further  by  Kerstin  Günther  in  her  Bachelor‐Thesis  under  the  guidance  of  Carsten  Busch and Martin Steinicke.  The  iBox  framework  was  developed  under  the  guidance  of  Carsten  Busch  and  Martin  Steinicke  by  Caroline  Hilprecht, Robert Meyer, Eugen Rats and Nathanael Siering. 

References   Ashford,S.J. & Tsui,A.S.(1991) Self‐Regulation for Managerial Effectiveness: The Role of Active Feedback Seeking. The  Academy of Management Journal Vol. 34(2),pp.251‐280  Bodrow,W., Busch,C. & Steinicke,M.(2011) Digital Game Based Learning. Proceedings of the International Conference on E‐ Learning and the Knowledge Society  Bogost,I.(2007) Persuasive Games: The Expressive Power of Videogames,MIT Press,pp.28  Busch,C.; Conrad,F. & Steinicke,M.(2011) Using Digital Games to Teach the Hero's Journey as a Model for Change and  Innovation Management, Proceedings 5th European Conference on Games Based Learning,pp.740‐744  Busch,C. & Conrad,F.(2012) Public Gaming – Augmenting Public Spaces with Digital Games. In: Pop, S.; Stalder,U.;  Tscherteu,G.; Struppek,M.(2012) Urban Media Cultures,AV Edition,pp.152‐155  Busch,C.; Conrad,F. & Steinicke,M.(2012a) Digital Games and the Hero's Journey in Change and Innovation Management  Workshops. Proceedings 6th European Conference on Games Based Learning,pp.72‐81  Busch,C.; Conrad,F. & Steinicke,M.(2012b) Digital Aesthetic Learning: Using In‐Game Artefact‐Creation to facilitate Learning  th in Change and Innovation Workshops. Proceedings of the 18  International Conference on Technology Supported  Learning & Training (Online Educa)   Busch,C.; Kramer,A.; Meyer,R. & Steinicke,M.(2012c) Angewandte Consumer Electronics in Lehre und Entwicklung.  Proceedings WCI2012 Wireless Communication and Information,pp.5‐15  Busch,C.; Conrad,F. & Steinicke,M. (2013a). Digital Games and the Hero's Journey in Management Workshops and Tertiary  Education. Electronic Journal of e‐Learning,11(1).  Busch,C.; Conrad,F. & Steinicke,M.(2013b) Coaching mit digitalen Spielen. In Inderst,R.T. & Just,P. (2013) Build 'em Up ‐  Shoot 'em Down: Körperlichkeit in digitalen Spielen.pp.274‐289   Conrad,F.(2009) Public Gaming – Exploring the Potentials of Public User Interfaces in Pervasive Games. Bachelor‐Thesis  HTW‐Berlin   Csikszentmihalyi,M.(2010) Flow: Das Geheimnis des Glücks. Klett‐Cotta; Edition:15.  De Freitas,S. & Maharg,P.(2011) Digital Games and Learning. Continuum International Publishing. p.113  Frasca,G.(2007) Play the Message – Play, Game and Videogame Rhetoric. Ph.D. Dissertation, IT‐University of Copenhagen  Günther,K.(2013) Digital Game‐based Learning im Bereich Teammanagement: Weiterentwicklung und Evaluierung eines  Kinect‐Spiels zur Verbesserung der Kommunikation. Bachelor‐Thesis HTW‐Berlin   Hannaford,C.(2008) Bewegung – das Tor zum Lernen. VAK Verlags GmbH. Edition:7   i3.cx (2013) iBox Knowledge Center retrieved 23.04.2013 from www.i3.cx  Jercic,P.; Astor,P.J.; Adam,M.T.P.; Hilborn,O.; Schaaff,K.; Lindley,C.; Sennersten,C. & Eriksson,J. (2012) A serious game using  physiological interfaces for emotion regulation training in the context of financial decision‐making. Proceedings of  the European Conference of Information Systems (ECIS)  Kaymaz,K.(2011) Performance Feedback: Individual Based Reflections and the Effect on Motivation. Business and  Economics Research Journal. Volume 2(4).pp.115‐134   KinectEducation.com(2013) Apps. retrieved 20.04.2013 from apps.kinecteducation.com   Marlow,C.(2012) Making Games and Environmental Design: Revealing Landscape Architecture, Proceedings 6th European  Conference on Games Based Learning,pp.309‐316  Meier,C. & Seufert,S.(2003) Game‐based Learning: Erfahrungen mit und Perspektiven für digitale Lernspiele in der  betrieblichen Bildung. Handbuch E‐Learning (2003). Fachverlag deutscher Wirtschaftsdienst.  Microsoft(2013) Microsoft in Education – School activity plans. retrieved 22.04.2013 from  www.microsoft.com/education/en‐us/products/Pages/kinect.aspx#3  Monterrat,B.; Lavoué,E. & George,S.(2012) Learning Game 2.0: Support for Game Modding as a Learning Activity,  Proceedings 6th European Conference on Games Based Learning,pp.340‐347  OpenSoundControl.org(2013): Introduction to OSC. retrieved 21.04.2013 from opensoundcontrol.org/introduction‐osc  Salen,K. & Zimmerman,E.(2004) Rules of Play: Game Design Fundamentals, Mit Press  Squire,K.(2011) Video Games and Learning: Teaching and Participatory Culture in the Digital Age  Teachers College Press 

79


Toward Improvement of Serious Game Reliability  Thibault Carron, Fabrice Kordon, Jean‐Marc Labat, Isabelle Mounier and Amel Yessad  LIP6, CNRS UMR 1606, Université Pierre & Marie Curie, Paris, France  Thibault.Carron@lip6.fr  Fabrice.Kordon@lip6.ff  Jean‐Marc.Labat@lip6.fr  Isabelle.Mounier@lip6.fr  Amel.Yessad@lip6.fr    Abstract:  Serious  games  are  complex  software  applications  resulting  from  a  costly  and  complex  engineering  process,  involving  multiple  stakeholders  (domain  experts,  teachers,  game  designers,  designers,  programmers,  testers,  etc.).  In  addition, the serious games implying multiple learners‐players are dynamic systems that evolve over time and implement  complex interactions between objects and players. Traditionally, once a serious  game is developed, testing activities are  conducted by humans who explore the possible executions of the game’s scenario to detect bugs. The non‐deterministic  and  dynamic  nature  of  multi‐player  serious  games  enforces  the  complexity  of  testing  activities.  Indeed,  exploring  all  possible  execution  paths  manually  is  impracticable  humanly  due  to  their  large  number.    Moreover,  the  test  can  detect  some  bugs,  but  cannot  verify  some  properties  of  serious  games  such  as  the  scenario  allows  a  learner  to  acquire  all  the  knowledge, that the winner is necessarily one who has achieved all the learning objectives or the scenario does not lead to  deadlock  situations  between  learners.  This  type  of  properties  has  to  be  verified  at  the  design  stage  of  serious  games'  development.  We  propose  a  framework  enabling  a  formal  modelling  and  an  automatic  verification  of  serious  game's  scenario at the design stage of development process. We use Symmetric Petri nets as a modelling language and choose to  verify  properties  by  means  of  model  checking.  Petri  nets  are  a  mathematical  notation  suitable  for  the  modelling  of  concurrent and dynamic systems. Due to the dynamic nature of serious game’s scenario, we selected a particular Petri net  model:  Symmetric  Petri  net.  Model  checking  is  a  powerful  way  to  verify  systems;  it  provides  automatically  a  complete  proof of correctness, or explains, via a counter‐example, why a system’s property is not correct. This paper discusses how  this framework is used to verify the serious game properties before the programming stage begins. In order to concretise  our discourse, we apply our approach on a scenario of a serious game and present how design's properties are expressed  and verified thanks to the formal framework.    Keywords: Serious Game, software engineering, Serious Game verification, model checking, petri nets 

1. Introduction   Context     Serious games can be defined as ``(digital) games used for purposes other than mere entertainment'' (Susi et  al.,  2007).  They  are  a  way  to  help  people  to  acquire  domain  knowledge  and  develop  skills.  Particularly,  we  share the definition of Fabricatore (2000): ``a serious game is a virtual environment and a gaming experience  in which the contents that we want to teach can be naturally embedded with some contextual relevance in  terms of the game‐playing [...]''.    Serious  games  are  complex  software  applications  resulting  from  a  costly  and  complex  engineering  process,  involving  multiple  stakeholders  (domain  experts,  game  designers,  designers,  programmers,  testers,  etc.).  In  addition,  the  serious  games  implying  multiple  players  are  dynamic  systems  that  evolve  over  time  and  implement  complex  interactions  between  objects  and  players.  Once  a  serious  game  is  developed,  testing  activities are conducted by humans who explore the possible executions of the game to detect bugs.    Problem    The  non‐deterministic  and  dynamic  nature  of  multi‐player  serious  games  enforces  the  complexity  of  testing  activities. Indeed, exploring all possible execution paths manually is impossible due to their large number. Also,  multi‐player serious games belong to the class of system for which it is well known that testing activities are  not sufficient to re‐enforce reliability.    Moreover, testing activities do not allow verifying specification properties and are intrinsically performed too  late because they require the game to be implemented first; thus, detected problems are costly to correct.  Contribution 

80


Thibault Carron et al.  To  avoid  complex  testing  procedures  and  preserve  serious  game  reliability,  we  propose  to  perform  formal  verification  of  serious  games  at  the  design  stage.  Our  objective  is  to  ensure  that  a  serious  game  satisfies  properties  that  are  extremely  difficult  to  assess  by  means  of  tests  only.  Once  the  verification  has  been  performed on an abstract specification, development starts from a validated design.    This paper presents a verification approach enabling automatic verification of serious game properties. Among  the available techniques, we chose Petri nets to formally specify the serious game and model checking to verify  properties.    Petri nets are a mathematical notation suitable for the modelling of concurrent and dynamic systems (Jensen  et al., 2009). Due to the dynamic nature of serious games, we selected a particular Petri net model: Symmetric  net with bags. Model checking is a powerful way to verify systems; it automatically provides complete proof of  correctness, or explains, via a counter‐example, why a system is not correct (Bérard et al., 2001).     The  paper  presents  our  methodological  approach  that  is  illustrated  on  a  case  study  based  on  a  real  serious  game as proof of the concept. Section 2 presents relevant properties for serious games. Section 3 details our  approach. Then, we apply it to the case study in section 4 before section 5 presents some related work before  concluding and presenting some perspectives.  

2. Relevant properties for Serious Games  Our  work  aims  at  automatically  verifying  (using  model  checking)  stated  properties  on  serious  games  at  the  design  stage.  We  classify  expected  properties  along  two  axes  (see  table 1).  The  first  one  deals  with  the  relationship between a property and a game that can be:  ƒ

Game‐independent: it is relevant for any serious game, 

ƒ

Game‐dependent: it is specific to a given serious game and not applicable to others. 

The second axis only involves the type of property (and later, the algorithms to be used for verification):  ƒ

Invariant properties are always verified in the game, 

ƒ

Reachability properties must be verified in a game state that can be reached from the initial state, 

ƒ

Temporal properties,  expressed  using  a  temporal  logic  like  CTL  or  LTL,  define  causal  relations  between  some classes of states in the game. 

Table 1  provides  examples  of  game  properties.  Property  patterns  can  be  defined  for  game‐independent  properties,  and  then  filled  with  conditions  describing  specificities  of  a  given  game.  This  is  the  case  for  the  game‐independent  reachability  properties  where  only  lose  or  win  conditions  need  to  be  specified.  Game‐ dependent properties need to be defined according to the rules and the gameplay of the game modelled.  Table 1: Classification of properties (invariants, reachability and temporal)    Invariant  Reachability  Temporal 

Game‐independent It is always possible to perform an  action before the game ends  The player can win (respectively lose)  the game  The player must perform at least one  action before winning or loosing 

Game‐dependent The player can always call for help  "The player can reach the virtual lab" or "The  player can get skills to kill the monster"  The player can not complete the level as long  as he does not have the competence C 

According to  the  type  of  formula,  a  verification  scheme can  be  elaborated.  Temporal  properties  require  the  designer to write a temporal logic formula concerning the causal relation between the identified states. Other  properties  only  require  the  definition  of  a  logic  formula  without  any  temporal  connector.  Usually,  temporal  properties are more likely to be game‐dependent than others. 

3. Verification framework  Today, the video game industry uses human testers to detect bugs in games. Obviously, this method is costly  and  unreliable.  In  order  to  cut  development  costs  and  increase  serious  game  reliability,  serious  game  specifications  have  to  be  verified  prior  to  implementation.  Indeed,  testing  is  used  to  verify  properties  of  serious games, such as the ones presented in section 2. However, testing is not sufficient to verify properties 

81


Thibault Carron et al.    of serious games. In this section, we advocate the use of formal verification as a better way to proceed. To do  so, we propose a generic pattern model describing a wide range of serious games. 

3.1 Generic pattern for Serious Games  Our  research  focuses  on  multi‐player  serious  games  where  scenarios  are  composed  of  activities,  often  presented to players as challenges. An activity requires a player to have acquired some skills and some virtual  objects  and  provides  him  with  new  skills  and/or  virtual  objects,  depending  on  his  performance.  Thus,  only  players having the required skills and virtual objects (vo) may perform an activity.    Figure 1 shows a diagram relating activities in a game. Activities can be performed in sequence (e.g. Act1, then  Act2), in parallel (e.g. Act2 and Act3) or with some exclusion (e.g. Act6 requires players 1 and 2, thus, if it is  completed, player 1 cannot perform Act4 anymore). 

Figure 1: Example of a scenario of a serious game 

3.2 Verification method  Verification for software systems is commonly classified into three classes: simulation, algebraic methods and  model  checking.  All  can  be  applied  to  a  design  model,  once  the  behaviour  of  the  system  is  appropriately  specified.    Simulation  is  not  well  adapted  when  we  want  to  cover  the  whole  execution  space.  Algebraic  methods  are  difficult to operate and require highly skilled and experienced engineers. Model checking (Clarke et al., 1999),  is  well  adapted  to  finite  systems,  despite  an  intrinsic  combinatorial  explosion  problem:  it  is  based  on  an  exhaustive investigation of the system's state space and is fully automated.    We  advocate  that  model  checking  is  best  suited  for  serious  games.  It  is  a  good  compromise  between  the  accuracy of provided diagnostics and the automation/cost of the procedure because:  ƒ

it provides automatic verification of properties, 

ƒ

it is more reliable than simulation (as well as tests on the final product with human testers), 

ƒ

it requires little expertise in logical reasoning, 

ƒ

it always terminates (with sufficient memory resources and when we consider finite systems) with a yes or  no (then providing a useful counterexample) answer. 

3.3 Symmetric Petri Nets with Bags (SNB)  Among the multiple variants of Petri Nets, we chose Coloured nets that are necessary to get a reasonable sized  specification, thanks to the use of colours to model data. Next, within the large variety of coloured Petri Nets,  we  selected  Symmetric  Nets  with  Bags  (Haddad  et  al.,  2009)  where  tokens  can  hold  bags  of  colours.  They  support optimized model checking techniques (Colange et al., 2011). Moreover, the notion of bags is relevant  to modelling some dynamic aspects that are typical of serious games in a much simpler way than with most  other coloured Petri nets.    We provide here an informal presentation of Symmetric Nets and use them to model the generic pattern of  serious game we presented. 

82


Thibault Carron et al.  3.3.1 Informal definition and example   A petri net is a bipartite graph composed of places (circles), that represent resources (e.g., the current state of  a player in the game) and transitions (rectangles) that represent actions and consume resources to produce  new ones. Some guards ([conditions] written near a rectangle) can be added to transitions    The SNB of Figure 2 models a serious game activity. Place beforeActivity holds players and their context: skills  and virtual objects (stored in bags). Here, only a set (not a bag) is required for skills, which is denoted by the  keyword unique in the declaration of variables BS, BS1 and BSp. The initial marking M in place beforeActivity  contains  one  token  per  player  (identified  by  p)  associated  with  its  skills  and  virtual  objects  (sets  BS  and  BV  respectively).  Place  activityDesc  holds  the  required  skills  and  virtual  objects  for  each  activity.  The  initial  marking M' in place activityDesc contains a token per activity (identified by a) associated with its prerequisite  (BS1 and BV1) and the information needed to compute the consequence of the activity on the player (in terms  of BSp and BVp). 

Figure 2: Modelling a game activity in SNB  Each activity begins (firing of transition start) only when players' skills and virtual objects include the one of its  prerequisite.  Then,  the  activity  may  end  in  failure  (transition  looseA)  or  in  successfully  (transition  winA).  Functions  fwin  and  floose  represent  the  evolution  of  skills  and  virtual  objects  at  the  end  of  the  activity  (dropped in place beforeActivity).    The  SNB  shown  in  figure  2  allows  us  to  model  with  a  very  abstract  and  concise  manner  a  serious  game  scenario. This powerful expressiveness permits us to have the whole scenario on a “small” graph (useful for  automatic  execution)  but  for  a  better  understanding,  it  is  possible  to  imagine  it  “deployed”:  one  for  each  activity as we will illustrate in the fourth section.    3.3.2 Interest of SNB   The SNB are appropriate to model this type of system for three main reasons.    First, their capacity to structure data in tokens with sets and multisets (bags) allows to capture the dynamic  part of serious games well: here, the number of skills and virtual objects that varies (and can be empty).    Second, they provide an easy modelling of operations such as union or inclusion tests in transition guards. This  allows for a more compact specification.    Third, SNB preserve the use of symmetry‐based techniques allowing efficient state space analysis (Colange et  al., 2011) that is of particular interest for the formal analysis of serious games. The model in Figure 2 is exactly  the one that is verified (once max values defined), it is not mandatory to instantiate it per activity and player. 

4. Application to a case study  As a proof of concept, we apply our verification framework to the serious game Nuxil constructed on a Game  Based Learning Management System called Learning Adventure (LA). LA is a 3D multi‐player environment with  lakes,  mountains  and  hills  where  activities  can  be  performed.  Players  can  move  within  this  environment,  performing  activities  in  order  to  acquire  skills  and  virtual  objects.  We  present  here  the  Nuxil’s  automatic 

83


Thibault Carron et al.    verification during the design stage. At the end of the development, the Nuxil’s scenario has been ecologically  tested in an institute of technology by 60 students (four groups of 15).    In  the  game  Nuxil,  players  explore  the  environment  and  have  to  use  linux  commands  (e.g.  copy  (cp),  move  (mv), edit file permissions (chmod), etc.). The objective is to illustrate linux commands through both visual and  interactive  environment.  For  instance,  the  command  mv  is  used  by  players  in  order  to  move  virtual  objects  between game areas and the command chmod provides permissions for opening a chest that is represent a  locked computer file. 

4.1 The case study  Nuxill activities allow players to acquire skills (e.g. mastering the file management commands) and win virtual  objects (e.g. the key of a chest). Activities are proposed to players, depending on their skills and their virtual  objects.  In  this  article,  we  selected  three  activities  to  illustrate  our  approach;  their  inputs  and  outputs  are  presented in table 2. We deliberately distinguish virtual objects voi and skills ski in the description of an activity  ai. The former are related to the gaming and the second to the learning.  

4.2 Modeling the case study  To  verify  Nuxil,  we  first  instantiated  the  generic  pattern  of  figure 2  into  the  model  of  figure 3  with  Activities={a1, a2, a3}, Skills={sk1, sk2, sk3} and VirtualObjects={vo1, vo2, vo3, vo4, vo5,  vo6}. For example, a player  must have at least the virtual objects vo2, vo3, and vo6 in order to perform the activity a2.     We consider that initial marking M of place beforeActivity is such that for each player p, M contains the token             {<p, {}, {vo1, vo2}}. The initial marking M' of place activityDesc is     {<a1, {}, {vo1}, {sk1}, {vo1}>, {<a2, {}, {vo2,vo3,vo6}, {sk2}, {vo4, vo5}>}, {<a3, {sk1}, {vo4}, {sk3}, {}>}.    This SNB models how players acquire skills and virtual objects.  When a player loses an activity, its skills and  virtual objects sets are not modified. When he wins one, he loses the virtual objects needed to perform the  activity and wins the ones produced by the activity. New skills increase its skills set.  Table 2: Description of some activities in Nuxil  Activities  copy (a1) 

Activity input (preconditions)  "basic commands" area (vo1) 

chmod (a2) 

"file permissions" area (vo2),  chest closed (vo3)  "PNJ wizard (vo6)  chest opened (vo4),  file commands (sk1) 

documentation (a3) 

Activity output (postconditions)  “basic commands" area (vo1),  file commands (sk1)  "advanced commands" area (vo5),  chest opened (vo4),  file permissions (sk2)  linux architecture (sk3) 

The Nuxil scenario allowed us to simplify the generic model by merging places beforeActivity, afterActivity and  winner. We assume the game ends once a player obtains all skills. At this stage, no new activity should start. 

Figure 3: Part of the Nuxil game formal model and an instantiation of it on the right 

84


Thibault Carron et al.  For example (see Figure 3), let’s imagine that the “copy” activity has been achieved. The player has in Skill Bag  : sk1 (file command skill: the upper star on the figure 3 ) and in his BV (virtual objects bag): 3 virtual objects  (two access keys and a closed chest). The PNJ will then propose the “chmod” activity and in case of a success,  the player will get in addition a new skill (sk2) and two virtual objects: vo5  (“advanced commands" area) and  vo4 (chest opened ) as rewards as explained on the table 2 (vo2 will be removed). In case of failure, we are back  in the initial state but it is possible to get specific virtual objects in that case for remediation purpose.  

4.3 Verification Since  the  formal  representation  of  the  serious  game  allows  the  construction  of  the  reachability/quotient  graph,  i.e.,  the  state  space  of  the  game,  we  can  verify  invariant,  reachability  or  temporal  properties.  We  present two groups of properties. The first one concerns game deadlocks that are linked to the identification  of  the  wining  states.  The  second  one  concerns  the  success  of  learning  process,  i.e.  a  player  may  always  increases his skills. The properties are informally expressed but they can be stated as temporal logic formulas  (Bérard et al., 2001) that can be model‐checked.  4.3.1 WinningProperty  Let us first define the property winner(p) stating that a player p won the game. We call WinningProperty the  property identifying the end of the game.     A  player  wins  the  game  if  he  holds  all  the  required  skills.  Therefore,  winner(p)  is  true  if:  there  is  a  token  <p,{BS},{BV}> in the place beforeActivity such that cardinality(BS)=maxSkills. In other words, a token in place  beforeActivity is such that the bag of skills BS contains all skills.    The game can end when all players (or one) win(s) all the activities. In the first case:  WinningProperty = for all p in Players, winner(p).   In the second case:  WinningProperty = there is at least one p in Players, winner(p).    If we want to model a game where only a player can win (i.e. once a player wins, the others cannot begin a  new activity) we have to change the guard of transition start in the SNB. This transition can be fired only if the  marking of place beforeActivity does not contain a token <p, {BS}, {BV}> such that winner(p) is true.  4.3.2 DeadlockProperty  When deadlocks appear, the property WinningProperty becomes not satisfied. In these case, some executions  where no player can win are possible.    If we want to verify that an ending state is always reachable (i.e. it is always possible to finish the game with a  winner), we have to verify that a state WinningProperty is always reachable from the initial state of the game.  Such a property is a temporal logic property since it has to be verified for each execution.  4.3.3 Learning process property  We want to verify that a player always has the possibility to increase his skills (until he wins the game). Such a  property is a temporal logic property since it is necessary to compare the states along each execution. We call  increaseSkillsProperty the associated property.    We define first the increaseStrictly(s,s',p) property where s and s' are two states of the game and p a player.  increaseStrictly(s,s',p) is true if the bag of skills of player p at state s is strictly included in the bag of skills of  player p at state s'.     Then, increaseSkillsProperty  = for all p in Players, for all reachable state s, set of skills is equal to Skills or all the  possible executions lead to a state s' such that increaseStrictly(s,s',p). This formula allows verifying by model  checking that the serious game always improves the player’s skills.   

85


Thibault Carron et al.   

5. Related work  Petri nets are used in both academia and industry to model concurrent systems since they are well adapted to  this class of problem. However, only a few studies address the use of Petri nets and model checkers for games.    Moreover, in most cases, Petri nets are used to analyse game scenarios in order to adapt them to the player.  (Araujo et al., 2009) discuss the applicability of Petri Nets to model game systems and game flows compared  with other languages such as UML. The work presented by (Yessad et al., 2010) uses place/transition Petri nets  to assess the progress of players in games once they are developed.    Other  studies  focus  on  the  analysis  of  game  scenarios  at  the  design  stage.  For  instance,  the  ``Zero  game  studio''  group  (Lindley  2002)  uses  causal  graphs  to  model  game  scenarios.  The  work  presented  in  (Champagnat, 2005) defines a set safety and liveness properties of games that should be verified in the game  scenarios before their implementation. In the domain of Technology‐Enhanced Learning, Petri nets are used to  capture the semantics of the learning process and its specificities. In particular, Hierarchical Petri nets are used  by (He et al., 2007) to model desirable properties. The objective is to help designers to design and optimize e‐ learning processes.     We  consider  these  researches  to  be  close  to  ours  except  that  our  research  allows  verifying  patterns  of  properties related to both the learning aspects and the behaviour of the game. This is a possible thanks to a  generic  model  of  serious  games,  capturing  most  games  and  modelling  learning  skills  as  well  as  learners  and  game objects. In addition, SNB provides an efficient way to model games and together with efficient model‐ checking‐based analysis. We claim our solution is more adapted to the dynamic and complex nature of serious  games. 

6. Conclusion We presented a formal verification of serious games at the design stage. It relies on Symmetric nets with Bags  and the use of model checking to verify automatically behavioural properties of serious games. Our objective is  to reduce cost and complexity of serious games elaboration by enabling early error detection (at design stage).    One interesting point of our approach is to provide a procedure helping engineers to elaborate the design of  their serious game. In particular, we propose a classification of properties that are relevant in that domain. It is  then possible to infer from these patterns an efficient verification procedure involving the appropriate model  checkers (i.e. the one that implements the most efficient algorithms for a given property pattern).    Another  important  point  is  the  use  of  Symmetric  Petri  nets  with  bags  that  better  tackle  the  combinatorial  explosion problem intrinsic to the model checking of complex systems.    We applied our approach to a real case study for assessment purposes. Even if this case study remains small, it  shows encouraging results. This work is part of a project aiming at designing efficient formal verification based  procedures for the design of serious games.     The  formal  model,  once  it  is  verified,  could  be  a  basis  for  an  automated  implementation  of  a  serious  game  execution engine. In the long term, this could decrease the time to implementation as well as to cut a large  part of its costs.    Future Work A trend is to exploit the formal specification to extract relevant scenarios for testing purposes.  Subsequently, human tester would have directives to follow during their testing work.     Another trend is to define transformation rules in order to construct semi‐automatically Petri nets from some  models  of  scenarios  more  user  friendly  such  as  eAdventure  (http://e‐adventure.e‐ucm.es),  LEGADEE  (http://liris.cnrs.fr/legadee/), etc.    

References Araujo, M. and Roque, L. (2009) Modeling Games with Petri Nets, Breaking New Ground: Innovation in Games, Play,  Practice and Theory: Proceedings of the 2009 Digital Games Research Association Conference, London.  Bérard B. et al (2001) Systems and Software Verification. Model‐Checking Techniques and Tools. Springer, 2001. 

86


Thibault Carron et al.  Champagnat, R., Prigent, A. and Estraillier, P. (2005) Scenario building based on formal methods and adaptative execution,  International Simulation and gaming association.  Clarke, E., Grumberg, O. and Peled, D. (1999) Model checking. MIT Press.  Colange, M. et al. (2011), Crocodile: a Symbolic/Symbolic tool for the analysis of Symmetric Nets with Bag, 32nd  International Conference on Petri Nets and Other Models of Concurrency, LNCS, vol. 6709. Springer, pp. 338–347.  Fabricatore, C. (2000) Learning and videogames: an unexploited synergy, AECT National Convention ‐ a recap. Secaucus, NJ  : Springer Science + Business Media.  He, F. and Le, J. (2007) Hierarchical Petri‐nets model for the design of e‐learning system, Proceedings of the 2nd  international conference on Technologies for e‐learning and digital entertainment.  Lindley, C. A. (2002) The gameplay gestalt, narrative, and interactive storytelling, Proceedings of the Computer Games and  Digital Cultures Conference, pp. 6–8.  Haddad, S. et al. (2009) Efficient State‐Based Analysis by Introducing Bags in Petri Net Color Domains, 28th American  Control Conference (ACC’09). IEEE Press, pp. 5018–5025.  Jensen, K. and Kristensen, L. (2009) Coloured Petri Nets : Modelling and Validation of Concurrent Systems, Springer.  Susi, T., Johannesson, M. and Backlund, P. (2007) SeriousGames: An Overview (technical report)., Skövde, Sweden:  University of Skövde.  Yessad, A. et al. (2010) Using the Petri nets for the learner assessment in serious games, ICWL, pp. 339–348.   

87


The Effects of Gamification on Student Attendance and Team  Performance in a Third‐Year Undergraduate Game Production  Module   Hope Caton and Darrel Greenhill   School of Computing and Information Systems, Faculty of Science, Engineering and  Computing, Kingston University, London, UK  h.caton@Kingston.ac.uk  d.greenhill@Kingston.ac.uk    Abstract:  This paper investigates the effects of a gamified awards and penalties framework on a third‐year undergraduate  game  production  module  which  has  a  predominantly  male  demographic.  Students  work  in  teams  of  three  game  programmers and two artists to develop a computer game prototype, applying their game‐programming knowledge and  game  theory  to  complete  the  project.  ‘Gamification’  harnesses  the  reward  and  penalty  game  mechanics  and  apply  it  to  real‐world problems, such as, the motivational challenges that can be a stumbling block to many student team projects.  Achieving an award is a framework for incorporating competition‐based learning into the classroom, while the issuing of  penalties is a system for encouraging attendance. Penalty cards issued for absence (and other infractions) affected grades.  However,  the  receiving  of  an  award  was  not  connected  to  the  assessment.  The  benefits  and  drawbacks  of  students  collaborating  on  team  projects  have  been  well  studied.  From  the  student's  point  of  view,  the  main  drawback  of  team‐ based learning is most commonly unequal contribution. Using game theory as a basis for establishing a system of awards  and  penalties,  this  paper  offers  a  gamified  framework  to  keep  students  equally  contributing  to  team  efforts.  This  paper  asks three questions: 1) Does the awards/penalties framework improve attendance? 2) If yes, does improved attendance  result in improved assessments? 3) Does the framework improve cohesion and performance in student teams? This paper  presents quantitative evidence to answer the first two and offers speculative comments on the third. Initial results suggest  that  the  awards  and  penalties  framework  improves  attendance  and  increases  student  performance  and  overall  grade.  Speculatively, the framework appears to be effective in increasing motivation. Informal student commentary indicates that  while motivation is not improved across the cohort, those that are motivated contribute significantly more time and effort  to the project. Awards proved successful in improving completion of previously resisted tasks and, if timed correctly, can  attract students to attend a class they would otherwise choose to miss.     Keywords: gamification, class awards, attendance, free riders, team‐based projects 

1. Introduction The Game Production module is a one‐term, 15‐credit third‐year undergraduate module.  The final assessment  is  to  produce  a  computer  game  prototype  and  its  corresponding  game  design  document  from  an  original  concept.  The  game  prototype  project  was  a  collaboration  between  Games  Technology  and  Graphics  Technology students who worked in teams to complete the assignment. However, the module was compulsory  for technology students and optional for the others.     Student  assessments  were  made  up  of  two  components:  a  team  mark  worth  70%  and  an  individual  mark  worth 30%. The team component was assessed by the lecturer and the module leader at the end of term at a  team demonstration of the game prototype. Individual assessments were based on a self‐reflective report on  the prototype development which included an informal peer assessment.    The class was taught by an award‐winning lecturer using a Constructivist approach and a blend of Collaborative  and  Project‐based  learning  techniques.  Students  collaborated  in  teams  of  4‐8  and  were  responsible  for  organising  themselves  to  complete  the  project.  Lectures  were  kept  to  a  minimum.  Instead  teams  were  encouraged to communicate and creatively collaborate in order to solve problems and complete tasks.    Module learning outcomes included developing employability skills in line with expectations of the computer  games industry. In as far as possible, the class environment aimed to replicate a computer games production  studio, using industry standard methodologies and expecting professional behaviours from students, including  regular  attendance  and  punctuality.  Students  were  taught  the  AGILE  project  management  system  which,  in  line  with  Project‐based  learning,  they  were  permitted  to  modify  and  adapt  to  the  needs  of  their  particular  team.    

88


Hope Caton and Darrel Greenhill 

2. Literature review  Gamification  (noun)  is  defined  as:  ‘the  application  of  typical  elements  of  game  playing  (e.g.  point  scoring,  competition with others, rules of play) to other areas of activity, typically as an online marketing technique to  encourage  engagement  with  a  product  or  service:  gamification  is  exciting  because  it  promises  to  make  the  hard  stuff  in  life  fun.’  Gamify  (verb)  gamifies,  gamifying,  gamified  (http://oxforddictionaries.com/definition/english/gamification).  In  Karl  Kapp’s  recent  book  about  gamifying  learning,  game‐thinking  is  defined  as  the  most  important  part  of  gamification:  'thinking  about  an  everyday  experience...and converting it into an activity that has elements of competition, cooperation, exploration and  storytelling' (Kapp 2012:11).     Games exert a pull on human emotions because their design revolves mainly around the concept of success  and failure. 'Games are built on reward structures: win the game and get the prize' (Kapp 2012:89). Reward  structures  keep  players  motivated  to  repeat  even  boring  tasks  by  appealing  to  the  human  need  for  positive  feedback.  Upon  completion  of  a  task,  a  player  will  experience  positive  emotions.  If  a  reward  is  given,  these  good feelings are amplified. The player receives immediate recognition of success: points, awards, power‐ups  and collectables. Conversely, when players fail they feel negative emotions like stress and anxiety. The player  wants to avoid these emotions, but desires to win the reward so he/she plays again.     Motivation can be categorised as having two parts: intrinsic and extrinsic (Kapp 2012:93). Intrinsic motivation  is primarily driven from within the learner, while extrinsic motivation is a result of external stimulus. Awards  motivate intrinsically by stimulating the desire to win, penalties motivate extrinsically through introducing an  externally  applied  punishment.  Students  demonstrated  statistically  significant  higher  levels  of  intrinsic  motivation in the game‐based environment (Vos, Meijden, Dennessen 2010).    Studies have identified three phenomena that repeatedly occur in team projects: the 'Free Rider' and resulting  'Sucker'  effect  (Kerr  &  Bruun  1993);  and  'Social  Loafing'  (Karau  &  Williams,  1993)  wherein  people  exert  less  effort to achieve a goal when working in a group than if working alone. Once the shirking begins, it can prove  contagious to other students in the team. For example, the Free Rider, who doesn't contribute because they  assume  that  other  team  members  will  do  their  work  for  them,  gives  rise  to  the  Sucker  wherein  a  fully  performing team member lowers his/her efforts in response to the Free Rider.     The  effect  of  increasing  resentments  among  other  fully‐contributing  members  lowering  their  own  efforts,  often  manifests  through  absence.  Marburger  (2001)  found  the  'percentage  of  students  absent  from  class  gradually increased as the semester progressed.' When absences from class occur at a low attendance point in  the term it can impact negatively on team morale and performance. The challenge is to develop strategies to  keep  students  equally  contributing  and  thereby  minimise  the  contagion  of  the  Free  Rider  to  other  team  members.    Rampant  absenteeism  in  university  classes  continues  to  be  an  issue  for  academia  since  Romer’s  1993  study  revealed that, on average, only 66% of undergraduates were in attendance at any given university lecture or  class  (Romer  1993).  More  recently,  an  attendance  study  conducted  at  Glamorgan  university  found  the  combined  average  attendance  of  748  Humanities  students  across  22  modules  was  less  than  50%  (Newman‐ Ford, Fitzgibbon, Lloyd and Thomas 2008).    The problem persists in ‘universities across countries, universities  and disciplines… Yet there is little evidence of university or governmental policy on it’ (Cleary‐Holdforth 2007).     Student  absence  is  particularly  damaging  for  team  projects  for  reasons  already  mentioned  especially  as  the  pattern  of  attendance  is  that  it  declines  throughout  the  term  (Marburger  2001).  Therefore,  just  as  an  extra  effort  or  push  is  required  to  complete  a  team‐based  project,  attendance  is  at  its  lowest  ebb.  Is  the  sole  solution  to  enforce  mandatory  attendance?  Luca  Stanca  (2006)  argues  attendance  should  'definitely  not'  be  mandatory, but at the same time agrees that 'steps should be taken to combat absenteeism because of the  negative  effect  on  learning'.  Romer  recommended  further  research  into  when  mandatory  attendance  is  appropriate  and  experimentation  with  enforcement  frameworks.  Incentives  such  as  points  for  class  participation,  or  unannounced  quizzes  that  contribute  to  the  final  grade,  have  been  shown  improve  attendance  (Devadoss  and  Foltz  1996).  Devadoss  also  observed  classes  taught  by  lecturers  who  had  won  teaching awards or who used an interactive teaching style were better attended.     

89


Hope Caton and Darrel Greenhill  Marburger measured the effect of enforcing mandatory attendance on two classes over the same time period  during  the  2002  and  2003  autumn  semesters.  In  the  two‐year  study,  classes  were  taught  by  the  same  instructor  and  met  in  the  same  time  slot,  'therefore  any  differences  in  absenteeism  could  be  traced  to  the  enforced  attendance  policy'  (Marburger  2006).  The  2002  group  was  told  attendance  would  not  affect  their  grade  while  the  2003  were  told  absence  would  impact  their  grade.  Summary  data  revealed  that  students  under  the  mandatory  attendance  policy  were,  on  average,  absent  from  11.6  %  of  the  classes,  while  in  the  voluntary group, students were absent from 20.7% of the classes. 'Students who were absent during a class  period were 9 ‐ 14% more likely to respond incorrectly to a question pertaining to material covered in their  absences  than  were  students  who  were  present'  (Marburger  2006).  This  method  has  been  applied  in  the  following way in this paper: In both years and for both groups, the lecturer kept daily attendance records of  student absence.    The  link  between  attendance  and  achievement  has  been  proved.  Devadoss  and  Foltz  (2001)  calculated  a  student  who  attends  all  classes  is  likely  to  achieve,  on  average,  0.45  point  higher  grade  than  a  student  attending  half  the  classes.  A  Durham  university  study  linked  first‐year  student  academic  improvement  with  attendance to a minimum of 70% of classes. The study revealed that ‘if a student does not attend at least 80%  of  the  time  then  their  chance  of  failure  is  greatly  increased’  (Colby  2004:11).  It  is  important  therefore  for  academics  to  be  conscious  of  student  attendance.  ‘Immediate  intervention  following  an  instance  of  student  absence, rather than after three or more consecutive absences, may help to combat this trend and ultimately  help  to  improve  students’  academic  attainment’  (Newman‐Ford.  et  al).  Issuing  quick  penalties  for  student  absence may prove effective in halting the student’s slide into absenteeism.   

3. Learning strategies  The following learning strategies were used during the teaching of this module. Collaborative, Constructivist  and Project‐based learning strategies were used for both groups. Competition‐based and game‐based learning  were added in the trial year with the implementation of the awards and penalties framework.     Collaborative‐based Learning (CBL)    This  is  a  methodology  that  focuses  on  activities  that  maximise  the  collaboration  among  students,  either  in  couples or small groups, to improve learning by the exchange of information and knowledge among students  (Burguillo 2010).     Competition‐based Learning (CnBL)    Here learning is achieved through a competition, but the learning result is independent of the student's score  in that competition. It is an approach that caters for diverse learning styles and individual differences. CnBL is  not to be confused with Competitive‐based Learning, wherein the learning is dependent upon the results of  the competition.     Constructivist learning    Constructivist  learning  approaches  underline  the  idea  of  an  active,  producing  student  in  a  situation  where  knowledge  is  not  transmitted  to  the  student,  say  via  lectures,  but  constructed  through  activity  or  social  interaction (Vos, et al 2011). Constructivist theories ask for different learning environments that are complex,  realistic and meaningful. Such an environment contributes to student motivation to learn and invokes a high  level of active engagement.     Game‐based Learning (GBL)    This  method  engages  students  as  players  in  learning  activities  often  by  means  of  serious  games  which  are  designed to promote active student participation and interaction as the centre of the experience, as opposed  to  games  developed  purely  for  their  entertainment  value.  When  comparing  the  motivation  of  students  who  learned in the game‐based learning environment to those who learned in the traditional school environment.      

90


Hope Caton and Darrel Greenhill  Project‐based Learning (PjBL)    This approach provides complex tasks based on challenging questions or problems that involve the students'  problem solving, decision making, investigative skills, and reflections that are also supported by a tutor that  provides facilitation. Class projects are intended to bring a deep learning in issues related with their education.  In this method, the tutor specifies the greater task but the students self‐organise and self‐delegate the steps  towards completion of the task.     Burguillo's paper introduces a framework for using game theory tournaments as a base to implement CnBL,  together with other learning techniques, in order to increase student motivation and performance. His results  indicate  'the  use  of  friendly  competitions  provide  a  strong  motivation  that  helps  increase  student  performance.'  (2010)  However,  it  is  not  clear  to  what  extent  CnBL  improves  student  motivation  and  performance in team‐based projects.     Team  project‐based  learning  is  one  of  the  most  'commonly  used  methods  to  activate  interactions  among  students'  (Lee  and  Lim  2012).  It  is  increasingly  used  as  a  teaching  and  learning  method  in  higher  education  because  it  promotes  higher  learning  skills  including  cooperative  ability,  critical  reasoning,  creative  thinking,  responsibility  and  communication.  The  so‐called  'soft  skills',  essential  to  employability.  Yet  current  research  does  not  address  the  problem  of  declining  attendance  and  its  effects  on  collaborative  learning.  When  a  particular student's expected contribution is not completed, or is submitted late it can have a disastrous effect  on team morale.     Papers  have  been  written  about  strategies  to  address  the  difficulties  for  the  lecturer  in  assessing  individual  contribution in student team project, like Peer Assessment, (Pond, Coates & Palermo 2010; Lee, H‐J and Lim, C  2012). Peer assessment strategies and frameworks aid the lecturer when assessing individual grades on a team  project, but do little to solve the problems of team performance in real time, during the term. It is worthwhile  developing  frameworks  to  improve  engagement  and  attendance  on  team  projects  in  order  to  improve  the  student experience. 

4. Research methodology  The  first  component  of  this  study  quantitatively  measured  the  effects  of  an  enforced  attendance  policy  on  absenteeism.  The  second  component  compared  the  individual  student  marks,  and  team  marks  in  the  trial  group against the individual and team marks of the control group. In the third component, team morale and  motivation was speculatively reflected upon by the lecturer, with quotes from three students.     The  efficacy  of  the  awards  and  penalties  scheme  on  class  attendance  was  evaluated  by  comparing  student  absence rates in the semester when the scheme was used, with those of the same semester in the previous  year when the scheme was not used. The two years are referred to below as the 'control year' and the 'trial  year'. This methodology is valid only if the teaching environment, the class assignment and assessment process  was the same in both years. In this study the following parameters were the same:   ƒ

The lecturer and module leader were the same in both years. 

ƒ

The assignment set for the team project was fundamentally the same in both years, though the individual  component  was  modified  from  the  keeping  of  weekly  minutes  of  team  meetings  in  the  first  year,  to  recording weekly work logs in the second year.   

ƒ

Assessment of the team project was based solely on course work presented and submitted at the end of  term and was the same in both years. However, the method of individual assessment was modified in the  second year to include the awards/penalties scheme and also a peer assessment component.  

ƒ

Accurate records  of  student  attendance  in  class  were  kept  in  both  years.  In  the  control  year  students  signed themselves in on a paper class register; in the trial year attendance was recorded and monitored by  the lecturer. 

ƒ

There were 62 students registered in the control year (2012), 74 in the trial year (2013). 

91


Hope Caton and Darrel Greenhill 

5. Awards and penalties framework  Awards were issued to the entire team while penalties were issued to individuals. The system of awards and  penalties  was  disseminated  via  a  class  management  document  uploaded  onto  study  space  with  the  module  guide and assignment description. It was also discussed and explained in class.      The framework responds to the challenge to invent a system that would allow the class lecturer to respond  quickly  to  student  absence  which  had,  in  previous  semesters,  been  observed  to  damage  team  morale.  A  system  of  yellow  and  red  penalty  cards  to  students  for  infractions  such  as  absences  or  non‐completion  of  assigned tasks was discussed and approved by the faculty. Yellow cards were issued first, as a warning to the  student and carried no marks deduction. If there was no improvement, a red card was issued and 25 marks  deducted  (out  of  100)  from  the  team  assessment.  To  promote  student  ‘ownership’  of  the  framework,  they  were given a vote as to the extent of the marks deduction for a red card.      Penalties  were  designed  to  also  be  a  mechanism  for  students  to  request  the  lecturer  issue  penalty  cards  to  their teammates. The goal here was to empower students to penalise ‘free riders’ and thereby mitigate the  ‘sucker’  spiral.  However,  to  establish  a  framework  of  penalties  without  awards  would  be  contrary  to  game  design principles. Awards are an essential part of any gamified system and therefore had to be included in the  framework, but could not form part of the assessment as they were not included in the module descriptor or  the learning outcomes.     Awards  were given  in  the  following  categories:  Best Original  Concept,  Best  Design,  Best  Programming, Most  Fun Game, Best Team Cohesion, Game of the Year. The aim was to encourage team participation and boost  morale by introducing friendly competition between the teams. Shortlisted projects were displayed on board  in a much‐travelled corridor and all students were encouraged to vote. Winning teams had their pictures taken  and displayed on the board as well as being promoted on the Kingston University website. One award, the Best  Concept, was given out in week nine, just before the Easter break, and the rest were given at the completion  of the project. A penalty card was issued by the class lecturer to the student via email. Cards were issued for  any  infraction  that  would  damage  team  morale  including:  absence,  continuous  lateness,  failure  to  complete  tasks, failure to communicate with team members, failure to meet deadlines. Cards were issued by the class  tutor via a direct email to the student. In the event of dispute between students and the class tutor, the final  decision was made by the module leader and field leader.   

6. Results In total, 18 students in the trial group were issued with penalty cards. In 13 out of the 18 cases, receiving a  yellow card did result in improved attendance and participation. The five students who did not improve were  issued with red cards and suffered a deduction of 25 marks from the team mark.     1. Did attendance improve?     Attendance was used as the first measure of engagement and participation. Data sets for the two years were  constructed using official class lists and records of attendance kept by the lecturer. The average attendance for  the  control  year  was  76%.  In  the  trial  year,  attendance  was  consistently  higher,  averaging  at  83%.  The  attendance was considerably higher in week 9, at a normally low period in term attendance patterns.  

Figure 1: Comparison of average weekly student attendance during the term    2. Did performance improve?  

92


Hope Caton and Darrel Greenhill  Students who had withdrawn from the subject by the end of the second week were excluded from the analysis  because these students did not seriously attempt the subject. To produce a measure of academic performance  for  this  paper  that  was  not  directly  affected  by  the  awards/penalties  scheme,  any  marks  deducted  for  red  cards were added back in to the final grade. Results show an increase in the percentage of students achieving a  first or upper‐second class grade both on an individual comparison and when compared in teams.    Table 1: Student attendance for the control and trial groups  Control Group 2012 

Date

Week

Class size 

Number absent 

Number present 

%

30‐Jan‐12

1

65

23

42

65%

5‐Feb‐12

2

62

17

45

73%

13‐Feb‐12

3

62

8

54

87%

20‐Feb‐12

4

62

10

52

85%

27‐Feb‐12

5

62

14

48

78%

5‐Mar‐12

6

62

16

46

75%

12‐Mar‐12

7

62

16

46

75%

19‐Mar‐12

8

62

18

44

73%

26‐Mar‐12

9

62

21

41

68%

23‐Apr‐12

10

62

11

51

83%

30‐Apr‐12

11

62

20

42

69%

Average

75%

Trial Group 2013 

Date

Week

class size 

Number absent 

Number present 

%

28‐Jan‐13

1

75

14

61

81%

2‐Feb‐13

2

73

2

71

97%

11‐Feb‐13

3

74

12

62

84%

18‐Feb‐13

4

74

9

65

88%

25‐Feb‐13

5

74

13

61

82%

4‐Mar‐13

6

74

12

62

84%

11‐Mar‐13

7

74

17

57

77%

18‐Mar‐13

8

74

18

56

76%

15‐Apr‐13

9

74

12

62

84%

22‐Apr‐13

10

74

10

64

86%

29‐Apr‐13

11

74

19

55

74%

Average

83%

Figure 2: Shows the comparative individual mark distribution for the two groups 

93


Hope Caton and Darrel Greenhill 

Figure 3: Shows the comparative team mark distribution for the two groups  Table 2: Showing the number of students in the class who achieved a particular mark  Control group 2012 

Trial group 2013 

Mark

Students

Percentage

  Mark 

Students

Percentage

 

0‐9

3

4.84%

0‐9 

1

1.35%

10‐19

0

0.00%

10‐19 

0

0.00%

20‐29

0

0.00%

20‐29 

0

0.00%

30‐39

0

0.00%

30‐39 

4

5.41%

40‐49

11

17.74%

40‐49 

14

18.92%

50‐59

12

19.35%

50‐59 

11

14.86%

60‐69

16

25.81%

60‐69 

21

28.38%

70‐79

13

20.97%

70‐79 

18

24.32%

80‐89

7

11.29%

80‐89 

5

6.76%

90‐99

0

0.00%

90‐99 

0

0.00%

62

100.00%

 

74

100.00%

3. Did team cohesion improve?     The  lecturer  noticed  a  marked  increase  in  class  energy  and  enthusiasm  in  the  trial  group  over  the  control  group.  Not  everyone  was  motivated  by  competition  for  awards,  but  those  who  were  motivated,  were  very  motivated, spending hours in the lab working on the game project. Two students who were observed spending  considerable  additional  time  in  the  games  lab  were  asked  if  the  awards  affected  their  motivation.  Their  responses were: ‘I think about things more, like in the middle of the night,’ said Mike Watts. His teammate,  Konrad Jablonski agreed: ‘We push harder to make it better.’     The Best Original Game Concept award was instituted in order to improve participation in a class assignment  resisted by students in the previous year: the game concept storyboard. In the module, student teams were  tasked with creating a storyboard to illustrate their game levels, goals and score systems. In the control year  only 2 out of 12 teams completed the task. In the trail year 10 out of 12 teams completed concept storyboards  and these were done to a better standard.    The  Game  Concept  award  was  given  out  in  week  9,  on  a  day  that  would  normally  have  poor  attendance  because it was at the end of term and just before a break yet the class attendance was above average. The  graph (Figure 1) shows a marked improvement in the trial year over the control year that cannot be attributed  to mandatory attendance because absences were increasing throughout the term regardless of the penalties.  It was the chance of winning an award that motivated students to attend, and possibly curiosity played a part  in attracting them.     The effect of winning an award is motivational to the team to continue to work hard to maintain momentum  and keep the standards high. The leader of the team who won the Best Concept award, Rob Dupre, offered  this comment: ‘Winning the Best Concept award has definitely driven the group to produce work that fits the  expectations  that  comes  with  winning  a competition.  The  award  has  had  a  positive  influence  on  the  overall 

94


Hope Caton and Darrel Greenhill  motivation of the team. Personally the goal has always been to produce a piece of work that was of a quality  suitable  for  showing  at  a  game  developer  conference.  Winning  the  Best  Concept  award  made  that opportunity more realistic: this further drove me to produce work of a high quality. Although never used  within the team; the additional idea of subtracting marks from those people who failed to complete requested  tasks certainly acted as an incentive for those who were close to the mark.’     Overall, it was noted by the lecturer and the module leader that games developed in the trial year were more  sophisticated, had better design, playability and were completed to a more professional standard than in the  control year. We believe this demonstrates that gamification improved team cohesion. 

7. Discussion This study responds to the challenge to educators to 'identify and implement measures that will increase class  attendance' (Devadoss 2001) by providing a framework of awards and penalties for application in team‐based  learning environments.    Figure 1 shows improved attendance in week 9, a marked contrast to the previous year. It was in this class the  Best  Game  Concept  Award  was  announced.  Though  attendance  was  higher  in  the  trial  group  than  in  the  control group, penalties were not, on their own, able to halt the slide in attendance that normally occurs as  the  term  progresses.  However,  when  the  reward  component  was  activated  and  the  announcement  of  an  award was scheduled for what was in the control group a high‐absence class, attendance improved by 16%:  69% attended class 9 in the control group, 84% in the trial.     The  framework  does  require  more  of  the  lecturer’s  time.  Lecturer  monitoring  and  recording  of  attendance  takes up, on average, 30 minutes of class time, However, this record proved useful as a reference tool when  explaining to disappointed students the reasons for their low grades. Judging which team should receive which  award required the collection and collating of votes from colleagues and students, which required additional  effort  on  the  part  of  the  lecturer  and  a  small  additional  budget  to  pay  for  prizes  and  a  celebratory  cake.  However, deciding which team was to receive which award proved more difficult than anticipated. Votes were  provided by staff and students and a clear winner did not always emerge.     It  was  interesting  to  observe  the  various  methods  students  used  to  beat  the  attendance  penalty  system.  Arriving to class late and leaving early was the most common, which necessitated the recording of punctuality.  To mitigate this, a 9.30 project meeting was scheduled for each class. If the student had not arrived by 9.30,  he/she was marked late, with penalties issued for repeated infractions. Some students disputed the penalties,  while others took it in good grace. Rarely were more than two emails required to settle disputes. In one case,  the penalty was revoked.     In  the  2013‐2014  academic  year,  the  one‐term  Game  Production  module  will  be  replaced  by  a  two‐term  module, Game Creation Processes, taught by the same lecturer and module leader. The awards and penalties  framework will be modified and awards will be given out more frequently throughout the academic year to  provide attendance ‘power‐ups’.     In  the  new  two‐term  module,  there  will  need  to  be  a  strategy  for  how  to  follow‐up  a  red  card  if  a  student  continues to offend. Perhaps students who have been issued a red card will be removed from the team and  placed in a team led by a lecturer or teaching assistant who may be able to exert more authority. The student  would start again with a clean slate in terms of yellow and red cards, however the marks deduction would still  be applied.     In  13  out  of  18  cases,  the  issuing  of  a  yellow  card  was  enough  to  improve  student  attendance,  without  requiring  a  corresponding  deduction  of  marks.  In  this  manner,  the  yellow  penalty  card  could  be  said  to  function like a formative assessment. Further research could investigate the efficacy of awards and penalties  for use in a more formative assessment. 

References Burguillo, J. (2010). Using game theory and Competition‐based Learning to stimulate student motivation and performance.  Computers & Education 55, (2010) 566‐575  Cleary‐Holdforth (2007) http://level3.dit.ie/html/issue5/cleary‐holdforth/cleary_holdforth.pdf (Accessed August 27, 2013) 

95


Hope Caton and Darrel Greenhill  Colby, J. (2004) Attendance and Attainment, 5th annual conference of the information and computer sciences – Learning  and Teaching Support Network (ICS‐LTSN), 31 August‐2 September, University of Ulster.  http:www.ics.heacademay.ac.uk/italics/Vol4‐2/ITALIX.pdf  Devadoss, S. and Foltz J. (1996). Evaluation of factors influencing student class attendance and performance, American  Journal of Agricultural Economics 78, 499‐507  Kapp, K. (2012) The Gamification of Learning and Instruction: Game‐Based Methods and Strategies for Training and  Education. San Francisco: John Wiley & Sons  Karau, S.and Williams K (1993). Social Loafing: A Meta‐Analytic Review and Theoretical Integration. Journal of Personality  and Social Psychology, 65(4), 681‐706  Kerr, N.L. and Bruun, S.E. (1083). Dispensability of member effort and group motivation losses: Free Rider effects. . Journal  of Personality and Social Psychology, 44, 78‐94  Lee, H‐J and Lim, C. (2012). Peer Evaluation in Blended Team Project‐based Learning: What do students find important?  Educational Technology & Society, 15 (4) 214‐224  Lee, J. and Hammer, J. (2011). Gamification in education: what, how, Why Bother? Definitions and uses. Academic  exchange quarterly, 15(2) 1‐5.  Marburger, D. (2001). Absenteeism and Undergraduate Exam Performance. Journal of Economic Education 32(2) 99‐109  Marburger, D. (2006). Does Mandatory Attendance Improve Student Performance? Journal of Economic Education, 37(2)  148‐155  Newman‐Ford, L. Fitzgibbon, K. Lloyd, S. Thomas, S. (2008). A large‐scale investigation into the relationship between  attendance and attainment: a study using an innovative, electronic attendance monitoring system. Studies in Higher  Education 33(6) 699‐717  Oxford Dictionary"gamification". Oxford Dictionaries. Oxford University Press.  http://oxforddictionaries.com/definition/english/gamification (accessed August 26, 2013)  Pond, K. Coates, D. and Palermo, O. (2007) Student Experiences of Peer Review Marking of Team Projects. International  Journal of Management Education 6(2) 30‐43  Romer, D. (1993) Do Students Go to Class? Should They? The Journal of Economic Perspectives 7(3) 167‐174  Rodgers J. (2002) Encouraging tutorial attendance at university did not improve performance. Australian Economic Papers  September 256‐266  Stanca, L. (2006) The Effects of Attendance on Academic Performance: Panel Data Evidence for Introductory  Microeconomics. Journal of Economic Education, 37(3) 251:266  Vos, N. Meijden, H. Denessen, E. (2010) Effects of constructing versus playing an educational game on student motivation  and deep learning strategy use. Computers and Education 56 (2011) 127‐137 

96


Game‐Based Learning in Health Sciences Education  Nathalie Charlier, Evelien Luts and Lien Van Der Stock  Teacher training in health sciences education, KU Leuven, Leuven, Belgium  Nathalie.Charlier@pharm.kuleuven.be  Evelien.Luts@pharm.kuleuven.be  Lien.Vanderstock@pharm.kuleuven.be    Abstract: The paper discusses the use of games specifically in the domain of health sciences, both in secondary and higher  education.  From  a  preliminary  review  we  will  present  both  traditional  and  digital  games  used  to  improve  and/or  assess  young  people’s  knowledge  in  relation  to  health  sciences.  In  addition,  we  will  discuss  three  studies  we  have  set  up  to  investigate the effectiveness of a designed board game to teach and assess first aid competencies of secondary school and  university students.    Keywords: game‐based learning, game‐based assessment, health sciences 

1. Introduction The concept of game‐based learning – or the use of games in learning and teaching – has been growing for  many  years  now.  Games  that  encompass  curricular  objectives  are  believed  to  hold  the  potential  to  render  learning  more  learner‐centered,  easier,  more  enjoyable,  more  interesting,  and,  thus,  more  effective  (Papastergiou,  2009).  During  play  students  are  actively  solving  meaningful  problems  (Antonietti  &  Cantoia,  2000; Price & Rogers, 2004). This aligns with Piaget’s (Piaget, 1952) understanding of knowledge construction.  Despite  their  learning  potential  and  the  considerable  academic  interest  in  games,  however,  the  uptake  in  a  formal  educational  context  remains  limited  (Kenny  &  McDaniel,  2011). Many  top  scholars  have  reported  on  the  potential  of  harnessing  the  popularity  of  video  games  in  particular  (often  called  serious  games  or  educational games) for engaging children and helping them to learn difficult concepts (e.g. Gee, 2005; Prensky,  2001; Squire, 2002). What is lacking, however, is concrete empirical data to support or refute these theoretical  claims.  Educational  games  seem  to  be  effective  in  enhancing  motivation  and  increasing  student  interest  in  subject matter, yet the extent to which this translates into more effective learning is less clear.     In this preliminary review we include (quasi‐)experimental studies investigating whether using a traditional or  digital game in a health sciences course in secondary or higher education can improve knowledge.     The aim of the paper is to provide insight in the use of games in health sciences education (HSE) with a view to  identifying the potential benefits of implementing games as educational tools into HSE courses. We will first  start with a preliminary review and end with the discussion of three studies we have set up around our own  developed board game. 

2. Review   In  health  sciences,  the  aim  of  most  games  is  knowledge  accumulation.  Simulations,  on  the  other  hand,  are  mostly used for skills training. Neither simulations nor skills training are discussed in this review. 

2.1 Method and inclusion/exclusion criteria  A  literature  search  was  undertaken  between  February  and  May  2013  in  the  following  international  online  bibliographic databases: ERIC, PubMed and ScienceDirect. The search string used was: “health education” AND  game AND (teaching OR learning OR education).     The  use  of  discipline‐specific  terms  such  as  ‘nurses’,  ‘students,  nursing’,  ‘medical’,  amongst  others  and/or  terms  related  to  specific  courses  such  as  ‘anatomy’,  ‘morphology’,  ‘first  aid’  amongst  others  yielded  further  resources. Searches were limited to articles published in journals and conference proceedings.  Eligible papers were those that reported studies:  ƒ

focusing on the use of a specific educational game or games, in comparison to another teaching/learning  method such as a didactic lecture format. 

97


Nathalie Charlier, Evelien Luts and Lien Van Der Stock  ƒ

focusing on  teaching  and  learning  activities  in  health  sciences  for  students  in  secondary  and  higher  (for  instance nursing and medical) education (aged 12 years or older). 

ƒ

based on  systematic  reviews,  randomized  control  trials,  experimental  pretest/posttest  control  group  design or quasi‐experimental structure. 

ƒ

using games such as card or paper‐based, board games as well as computer‐based games. 

ƒ

Papers were excluded if they were:  

ƒ

studies related to professional development (of for instance registered nurses). 

ƒ

directed towards  health  promotion  (such  as  smoke  prevention,  healthy  living,  nutrition,  prevention  of  alcohol abuse). 

ƒ

aimed at rehabilitation centers or schools for the disabled (and thus focusing on rehabilitation). 

ƒ

aimed at adolescents suffering from a mental or physical condition/disease. 

ƒ

evaluations of games using a tool such as a questionnaire or survey, as these did not allow comparisons  with didactic teaching. 

ƒ

not available in English. 

2.2 Results A  total  of  16  research  papers  were  included  in  the  preliminary  review.  Most  studies  found  are  executed  in  medical  courses/topics  at  university  level:  breast  imaging,  pediatrics,  cancer  management,  immunology,  hepatitis, pulmonary physiology, ectopic pregnancy, and viral exanthema.  2.2.1 Overview  Studies  are  inconclusive  regarding  the  effect  of  games  on  improving  young  people’s  knowledge.  Several  researchers have investigated the use of games to support classroom learning and found positive results in the  experimental group compared to a control group (Cowen & Tesh, 2002; Khan et al., 2011; Vahed, 2008). Other  studies demonstrated improved grades in a pre‐posttest set‐up without the use of a control group (Da Rosa et  al., 2006; Eckert et al., 2004; Fukuchi et al., 2000).     Other researchers reported similar positive effects of games, although their results were self‐reported by the  students instead of measured (Boctor, 2013; Colombo et al., 1998; Moy et al., 2000; Ogershok & Cottrell, 2004;  Patel, 2008; Roubidoux et al., 2002).     While the studies above proved favorably towards the implementation of a game, other studies demonstrated  no  difference  in  knowledge  accumulation  between  experimental  and  control  groups  (Annetta  et  al.,  2009;  O’Leary et al., 2005; Sward et al., 2008). The study of Rondon et al. (2013) reported similar results between  experimental group and control group in terms of short‐term gains, but the traditional lecture proved to be  more effective to improve students’ short‐ and long‐term knowledge retention.   2.2.2 In detail  Roubidoux  and  colleagues  (2002)  developed  an  interactive  computer  game  for  teaching  breast  imaging  to  medical  students.  Case  scenarios  and  questions  were  incorporated  into  the  game.  Students’  self‐reported  answers on a survey show that they think the game provides additional reinforcement of learning beyond that  of the handout or lecture. Also for medical students, Sward and colleagues (2008) designed a Web‐based game  to assess their pediatric knowledge. The game is played in teams of two to four students, progressing around  the board by “rolling” electronic dice and answering questions. The experimental group did not differ from the  control  group  on  content  mastery.  Fukuchi  and  colleagues  (2000)  developed  the  Oncology  Game,  a  similar  game  as  Sward  and  colleagues  (2008),  in  order  to  teach  medical  students  that  cancer  management  is  multidisciplinary. This is an interactive, computer‐assisted board game in which each team of two students is  randomly  assigned  to  two  (out  of  16)  patient  scenarios.  The  team  has  to  obtain  the  best  treatment  for  the  patients  by  advancing  through  surgical,  medical,  and  radiation  oncology  clinics.  At  the  posttest,  students  demonstrated  a  significant  change  in  the  total  number  of  questions  answered  correctly  and  a  significant  improvement in performance after playing the game. Another board game, although not computer‐assisted, 

98


Nathalie Charlier, Evelien Luts and Lien Van Der Stock  was  designed  by  Ogershok  &  Cottrell  (2004)  to  further  student  learning  in  the  field  of  pediatric  medicine.  Players advance on the board by answering questions correctly. Results were not measured, but students and  residents self‐reported that the game contributed to student learning.      Colombo and colleagues (1998) developed a card game for medical students, named The Cellular and Humoral  Immunology  Game.  The  main  aim  is  to  answer  questions  correctly.  Although  there  was  no  control  group  included  in  the  study,  results  pointed  out  that  most  students  declared  that  the  game  helped  them  to  understand the subject. A similar card game, also on the topic of immunology, was developed by Eckert and  colleagues (2004). The T‐lymphocyte and B‐lymphocyte self‐tolerance game is a card game used as a method  for  teaching  immune  self‐tolerance  in  medical  students.  The  game  consists  of  small  cardboard  pieces  with  illustrations and statements about self‐tolerance mechanisms. Students were instructed to associate the name  of the mechanism with the corresponding cardboard piece correctly. Although there was no control group to  compare, as in the study of Colombo and colleagues (1998), students’ grades improved significantly. Da Rosa  and  colleagues  (2006)  conducted  a  comparable  study  on  the  topic  of  hepatitis,  using  a  card  game  in  which  students  had  to  match  explanatory  cards  with  the  respective  clinical  case.  Students’  grades  significantly  improved after playing the game. As with other studies (Eckert et al., 2004; Colombo et al., 1998), no control  group was included in this card game.     Besides computer games, Web‐based games, board games and card games, researchers developed games for  medical students based on television shows. Moy and colleagues (2000) turned Who wants to be a millionaire  into Who wants to be a physician. The game was made for students to review material previously presented in  class  and  included  questions  on  the  topic  of  pulmonary  physiology.  The  researchers  did  not  use  a  control  group,  but  the  participating students  reported  that  basic information  was  integrated  to  understand broader  concepts and mechanisms and that the thematic organization helped to develop higher levels of thinking.     Both  the  research  teams  of  O’Leary  (2005)  and  Khan  (2011)  developed  Jeopardy‐style  games.  O’Leary  and  colleagues  (2005)  designed  a  game  about  ectopic  pregnancy  in  which  students  get  points  for  each  correct  answer  to  a  question.  The  game  contained  five  categories  and  had  cards  with  increasing  dollar  values  containing questions in a correspondingly increasing degree of difficulty and complexity. Immediately after the  class, both the lecture (control) group and the experimental group showed almost identical scores on the pre‐  and  posttest  comparison.  Khan  and  colleagues  (2011)  designed  a  Jeopardy‐style  game  on  the  topic  viral  exanthema for medical students. The game included nine categories on the topic of viral exanthema. As in the  research of O’Leary (2005), both the lecture (control) group as the experimental group showed significant but  comparable improvement in their knowledge on the pre‐ and posttest comparison. Follow‐up test, after two  months, however showed that the retention of knowledge was significantly better in the experimental group.   Jeopardy‐style  games  are  not  only  used  in  medical  courses.  Boctor  (2013)  designed  Nursopardy,  a  game  specifically  for  nursing  students.  The  game  was  developed  to  reinforce  fundamentals  of  nursing  material,  aiding  students’  preparation  for  their  final  exam,  including  eight  categories.  The  results  demonstrate  that  students  found  the  game  to  be  a  reinforcement  of  material  learned,  helped  them  review  fundamentals  of  nursing  information,  and  helped  them  to  learn  new  information.  A  limitation  in  the  study  was  however  the  absence of a control group.     Jungman  (1991)  and  Cowen  &  Tesh  (2002)  also  developed  games  for  nursing  students,  on  the  topics  of  respectively  anatomy  and  pediatric  cardiovascular  dysfunction.  Jungman  (1991)  used  a  control  group  to  compare  to  an  experimental  group  playing  the  board  game  ANATOMANIA.  To  move  around  the  board,  students have to answer questions about anatomy and physiology. If students answer correctly, they receive  money, and whoever collects the most money, wins. The experimental group and the control group did not  differ significantly with respect to pretest‐posttest scores. Cowen & Tesh (2002) also used a control group in  their  study.  Results  pointed out  that  the  posttest  scores in  the  experimental group  were  significantly  higher  than those in the control group.     Apart  from  the  games  for  medical  and  nursing  students,  researchers  have  designed  games  for  university  students of different health sciences: Speech‐language and hearing science, dental technology, and pharmacy.  Rondon  et  al.  (2013)  designed  a  game  for  Speech‐  Language  and  Hearing  Science  students  following  the  Anatomy  and  Physiology  class.  The  researchers  used  a  multiple‐choice  quiz  as  a  computer  game‐based  learning method. Only when considering the anatomy questions section, students scored better in the post‐ test  than  the  control  group.  The  control  group,  consisting  of  students  that  received  the  traditional  lecture, 

99


Nathalie Charlier, Evelien Luts and Lien Van Der Stock  performed  better  in  both  post‐test  and  long‐term  post‐test  when  considering  the  anatomy  and  physiology  questions. This result, saying a traditional lecture seems to be more effective to improve students’ long‐term  knowledge retention, is contrary to the results of the study by Khan and colleagues (2011), pointing out that  the experimental group had better follow‐up scores.    Vahed  (2008)  designed  the  Tooth  Morphology  Board  Game  to  promote  literacy  and  improve  the  students’  ability to retain with understanding the content area of Tooth Morphology. Results pointed out that the test  scores on the course were better for the years in which the game was implemented, compared to year where  it was not.     In  a  study  of  Patel  (2008),  both  instructor  and  students  developed  games  to  discuss  patient  care  plans  in  a  pharmacy  course.  Compared  to  lecture  material,  students  felt  that  games  did  increase  their  knowledge,  but  were undecided on whether games improved their test scores. Almost half of the students felt that the games  did not help them remember or understand test material.     Only  one  study  tested  a  game  in  a  secondary  school  (Annetta  et  al.,  2009).  In  this  study,  a  Multiplayer  Educational  Gaming  Application  was  developed  by  the  biology  teacher  to  cover  key  genetics  concepts.  Contrary  to  most  results  found  in  studies  in  universities,  this  computer‐based  game  did  not  demonstrate  a  greater understanding of the genetics concepts presented.  

3. First aid and the board game “Land in nood”  The second part of this paper focuses on implementation of a board game that we have developed to teach  and assess first aid competencies of secondary school and university (teacher training) students.     Since most cardiac arrests occur outside the hospital setting, it is, in most cases, the general public who will be  responsible  for  providing  initial  basic  life  support  (BLS)  (Van  de  Velde  et  al.,  2009).  First  aid  (FA)  training,  including  cardiopulmonary  resuscitation  (CPR),  in  the  school  curriculum  is  therefore  essential,  because  it  maximizes the number of potential first aiders in the community.    A major challenge in skills education and first aid in particular is the assessment of competency (knowledge,  skills  and  attitudes  (KSA)).  Testing  technical  skills  require  methods  and  assessment  instruments  that  are  somewhat different than those used for cognitive skills (such as paper‐and‐pencil tests. For instance, complex  manikins  are  used  to  realistically  simulate  clinical  cases,  but  learners  are  restricted  to  conducting  physical  examinations other than those for which the manikins are designed for (Gordon, 2001). Specially trained actors  ‐referred  to  as  “Standardized  Patient”  (SP)‐  portray  patients  with  particular  health  concerns  and  are  able  to  answer the full spectrum of questions about their condition (Eagles, 2001). However, because of the high costs  for training, students are not exposed to a large number of cases and the encounters are often only used for  summative  assessment  and  not  as  formative  learning  activities  (Hubal  et  al.,  2000).  As  a  consequence,  alternative assessment methods that are economically and logistically feasible, need to be explored.     Given the absence of an existing game that is in line with the first aid curriculum, we developed our own board  game.  “Land  in  nood”  was  designed  in  line  with  a  standard  work  written  by  emergency  medicine  experts.  Several  trials  testing  the  game  and  the  pedagogical  method  were  conducted  beforehand  to  optimize  the  playfulness of the game, and the presentation of the content. This latter is presented by means of question  cards  targeting  low  level  of knowledge  (by  means  of  true/false  or  short  answer  questions)  and high  level  of  knowledge  (by  means  of  open  essay  questions),  as  well  as  questions  demanding  a  (simple  or  complex)  skill  demonstration.  At  this  moment,  we  created  a  possibility  to  replace  the  question  cards  by  an  android  app.  However, we will not discuss the use of the app, given the preliminary development stage of this tool.    Here, we will focus on three of the experimental studies we have set up:   ƒ

a study in secondary education using the board game to teach new learning content,  

ƒ

two studies, one in secondary and the other in higher education, evaluating the validity of the board game  as assessment instrument. 

More detailed information can be found in our recently published research papers (Charlier, 2011; Charlier &  De Fraine, 2013). 

100


Nathalie Charlier, Evelien Luts and Lien Van Der Stock 

3.1 The board game  The  game  is  played  by  groups  of  three  to  four  competing  students  or  student  teams.  The  game  board  represents a landscape of a developing country built by the players as the game progresses. The game starts  with a single terrain triangular tile face up and 69 others shuffled face down for the players to draw from. On  each turn a player draws a new terrain tile and places it adjacent to the tiles of the progressing landscape in  such a way that it extends features on the tiles it abuts: swamps must connect to swamps, fields to fields, seas  to seas and bushes to bushes (Fig. 1).  

Figure 1: Top view example of the game showing five tiles with the following features: swamps (pale brown),  fields (dark brown), seas (blue), bushes (green) and building lots (white square). Other features that  are shown in clockwise order from the left: four piles of question cards (green, blue, red and brown),  two piles of the triangular tiles, a box with building blocks and some colored building blocks such as  first aid posts and the tiles representing natural disasters  After placing the new tile, that player chooses a blue, red, green or brown card with a true/false, short answer,  performance and open essay question respectively. This question is read aloud by a competitive peer player. If  the answer or performance is deemed as being correct by the peers, the player keeps the question card. If not,  the  card  is  placed  aside.  As  soon  as  a  player  has  collected  a  blue,  a  red  and  a  green  card,  he  is  allowed  to  station a first aid post. Building is only allowed on a specific feature on the tile marked by a white square. If  this feature is present on the newly placed tile, the player may opt to station a first aid post in exchange for  the three collected cards. In a later round the player can transform his first aid post to a hospital in exchange  for a brown question card.     To  overcome  concerns  about  peer  evaluation  reliability  and  validity,  the  final  decision  had  to  be  made  via  consensus by three peers, increasing the objectivity of the peer assessment.    The outcome of the game (number of first aid posts and hospitals) was not used as assessment score, due to a  factor of luck (i.e. the chance of drawing a tile with a white square) and sabotage (by natural disaster). Instead  a summative individual score was generated by comparing the amount of individually collected question cards  (representing the level of acquired knowledge) to the number of play rounds.   A more detailed description of the game rules and course is described in our previous study (Charlier, 2011).  

3.2 Game‐based learning as a vehicle to teach first aid content: A randomized experiment  The  goal  of  this  study  was  to  evaluate  the  learning  effectiveness  of  our  board  game  for  acquiring  first  aid  knowledge.  We  compared  this  to  a  traditional  approach  in  the  form  of  an  interactive  lecture  giving  a  PowerPoint  presentation,  encompassing  identical  learning  objectives  and  content  but  lacking  the  gaming  aspect.   

101


Nathalie Charlier, Evelien Luts and Lien Van Der Stock  3.2.1 Participants  The study was carried out in general secondary education (science programme): a total of 120 students from 4  class groups of the 8th grade of a Belgian public school (middle SES, mainly Caucasian) participated. Fifty‐five  (46%) students were female and 65 were male. The intervention took place over an 8‐week period.  3.2.2 Measurement of knowledge  To  analyze  a  learning  curve,  we  measured  the  first  aid  knowledge  of  the  students  prior  to  the  intervention  (prior‐knowledge  test),  immediately  after  (post‐test)  and  8  weeks  later  (short‐term  retention  test).  We  developed  a  paper‐and‐pencil  test  which  consisted  of  10  multiple  choice  questions.  To  assure  comparability  between the three measurement occasions 3 questions were identical, 2 questions were identical in content  but were rephrased and 5 questions were different in content but similar in level of difficulty. A scoring key for  all items of the written tests was designed in advance.   3.2.3 Results  Compared to the prior‐knowledge‐test scores, we observed ‐ immediately after the intervention ‐ significant  increases in knowledge scores as a result of both game play and the lecture. However, when we compare the  game group with the traditional method group, we found a smaller learning gain in the game group.     Two months after the intervention, the mean retention score of both groups decreased significantly compared  to  the  post  test  results.  The  retention  test  results  remained  however  significantly  higher  than  the  initial  knowledge  prior  to  the  course.  Although  the  lecture  group  obtained  a  significant  higher  learning  gain  compared to the game group immediately after the intervention, two months later we observed in this group  a higher loss in knowledge.     Our results demonstrate that – although self‐instruction by the board game alone was sufficient to teach first  aid  knowledge  to  secondary  school  students  –  the  traditional  lecture  was  in  this  case  more  effective  in  increasing student knowledge of first aid.  

3.3 Game‐based assessment: Making assessment fun  The goal of these studies was to evaluate the validity of our board game as assessment‐instrument of first aid  knowledge  (secondary  education)  and  skills  (higher  education).  Due  to  practical  and  logistical  reasons  we  limited our assessment in secondary education to knowledge only (demonstration of skills was excluded).   3.3.1 Participants  Study 1: A total of 303 secondary (grade 11 and 12) and post‐secondary (level 5) school students (237 women  and 66 men) of 11 schools in Belgium participated. The mean age was 19.80 years old (SD=6.63). All students  were enrolled in a first‐aid (FA) related course being part of their school curriculum, i.e. vocational education  related to the health sciences (such as nursing, child care, pharmacy assistant). The full study took place over  one and the same school year.    Study 2: the group consisted of 55 students taking the one‐year preservice teacher training programme during  or after their Master’s degree. The course, a FA training module (including BLS), is part of a compulsory, one‐ semester course (4 ECTS). Summative assessment – the focus of this study – took place during the last of four  sessions.   3.3.2 The intervention  In  both  studies,  we  investigated  prior  knowledge  by  setting  up  a  pre‐test  at  the  start  of  the  FA  course.  This  paper‐and‐pencil test consisted of two true/false, four short answer and three essay questions. The following  weeks the FA module was given by their regular teacher/professor, who has given a FA course at least once  before this study. The content of all FA courses was in line with the attainment targets and was derived from  the standard work of the Flemish (Belgian) Red Cross.     Within each of the two studies, we randomized the students of each class into two groups at the end of the FA  course.    In  study  1,  one  group  received  a  game‐based  assessment  (163  students)  while  the  other  one  was 

102


Nathalie Charlier, Evelien Luts and Lien Van Der Stock  subjected to a traditional test (140 students). Assessment was organized within the same class time but in two  separate rooms. In study 2, we assessed both groups by both assessment methods by means of a cross‐over  design (Charlier, 2011).    The assessments were scored by the peers. Assessment in the game format occurred while playing the game.  Assessment  in  the  traditional  test  format  occurred  at  the  end  of  the  exam.  All  copies  were  collected  and  randomly redistributed among the students. Each student assessed the written test of a peer using a mark of 0  or 1 for each item, which was consistent with the scoring procedure in the game.  3.3.3 Results  In  both  studies,  mean  scores  of  the  game‐based  assessment  did  not  significantly  differ  from  those  of  the  traditional test, suggesting that the board game can serve as a valid alternative assessment instrument both in  secondary and higher education.     In study 1, we found no significant in learning gain between boys and girls, nor in the game‐based assessment  nor in the traditional test. Also, girls in the game‐based group obtained no significant different posttest score  than girls in the control group. We observed the same for boys.    Several factors may favor the choice of the board game over the traditional exam. While traditional tests are  most  likely  to  induce  a  high  degree  of  stress/anxiety  resulting  in  a  poor  performance,  games  can  be  fun,  motivating, and challenging and therefore able to dispel some fear of examinations (Desrochers et al., 2007).    In this study, winning the game is not necessarily equivalent to an excellent performance in the assessment.  Players  who  don’t  like  playing  games  and  who  have  no  insight  or  strategy  could  have  performed  poorly  in  building their first aid posts and hospitals, resulting in a low game result. To avoid this we opted to disconnect  the results of the game play from the assessment score.    Furthermore, using a game format creates the opportunity of assessing large‐size classes simultaneously. Peer  assessment  might  be  an  alternative  to  overcome  costly  and  time‐consuming  assessment  methods.  To  overcome  concerns  of  reliability,  observation  matrices,  extensively  used  during  training,  served  as  skills  assessment instruments. Also a final decision was made by at least two peers to increase accuracy. 

4. Conclusion Although games in learning and teaching have been studied for many years now, the empirical research on the  effectiveness  of  educational  games  is  fragmented  and  results  remain  inconclusive.  The  literature  includes  research on different tasks, age groups, and types of games, making it even more difficult to compare results  and draw general conclusions. In addition, generalizations from research on the effectiveness of one game in  one learning area for one group of learners cannot be made to all games in all learning areas for all learners.      From our own experience with the board game in first aid, we suggest that when teaching concepts for the  first  time  a  lecture  method  is  recommended,  whereas,  a  game  has  a  potential  benefit  in  stimulating  initial  interest, or as a review method for previous instruction. For assessment purposes, we demonstrated that the  board game assessment resulted in comparable exam scores compared to a traditional paper‐and‐pencil test.  Given  the  positive  and  enthusiastic  atmosphere  that  we  observed  during  the  board  game  assessment,  we  would  recommend  teachers  to  try  out  a  game  in  the  assessment  process,  since  it  might  reduce  the  fear  of  examinations (Desrochers et al., 2007). 

References Annetta, L. a., Minogue, J., Holmes, S. Y., & Cheng, M.‐T. (2009). Investigating the impact of video games on high school  students’ engagement and learning about genetics. Computers & Education, 53(1), 74–85.   Boctor, L. (2013). Active‐learning strategies: The use of a game to reinforce learning in nursing education. A case study.  Nurse education in practice, 13(2), 96–100.   Antonietti, A., & Cantoia, M. (2000). To see a painting versus to walk in a painting: An experiment on sense‐making through  virtual reality. Computers and Education, 34(3), 213‐223.  Charlier, N. (2011). Game‐based assessment of first aid and resuscitation skills. Resuscitation, 82(4), 442‐6.  Charlier, N., & De Fraine, B. (2013). Game‐based learning as a vehicle to teach first aid content: a randomized experiment.  Journal of School Health, in press. 

103


Nathalie Charlier, Evelien Luts and Lien Van Der Stock  Colombo, D., Fritsch, A., Ordovas, K. G., Spode, A., & Scroferneker, M. L. (1998). Playing with cellular and humoral  immunity. Biochemical Education, 26, 20–21.  Cowen, K. J., & Tesh, A. S. (2002). Effects of Gaming on Nursing Students’ Knowledge of Pediatric. Journal of Nursing  Education, 41(11), 507–509.  Da Rosa, A. C. M., Moreno, F. D. L., Mezzomo, K. M., & Scroferneker, M. L. (2006). Viral hepatitis: An alternative teaching  method. Education for health (Abingdon, England), 19(1), 14–21.   Desrochers, M. N., Pusateri Jr., M. J., & Fink, H. C. (2007). Game assessment: fun as well as effective. Assessment and  Evaluation in Higher Education, 32, 527‐53.  Eagles, J. M., Calder, S. A., Nicoll, K. S., & Sclare, P. D. (2001). Using simulated patients in education about alcohol misuse.  Academic Medicine, 76, 395.  Eckert, G. U., Da Rosa, A. C. M., Busnello, R. G., Melchior, R., Masiero, P. R., & Scroferneker, M. L. (2004). Learning from  panel boards: T‐lymphocyte and B‐lymphocyte self‐tolerance game. Medical teacher, 26(6), 521–4.   Fukuchi, S. G., Offutt, L. a, Sacks, J., & Mann, B. D. (2000). Teaching a multidisciplinary approach to cancer treatment during  surgical clerkship via an interactive board game. American journal of surgery, 179(4), 337–40.   Gee, J. P. (2005). Learning by design: Good video games as learning machines. E‐Learning, 2 (1), 5–16.  Gordon, J. A., Wilkerson, W. M., Shaffer, D. W., & Armstrong, E. G. (2001). Practicing medicine without risk: students’ and  educators’ responses to high‐fidelity patient simulation. Academic Medicine, 76, 469.  Hubal, R. C., Kizakevich, P. N., Guinn, C. I., Merino, K. D., & West, S. L. (2000). The virtual standardized patient. Stud Health  Technol Inform, 70, 133‐8.  Kenny, R. F., & McDaniel, R. (2011). The role teachers’ expectations and value assessments of video games play in their  adopting and integrating them into their classrooms. British Journal of Educational Technology, 42(2), 197‐213.  Khan, M. N., Telmesani, A., Alkhotani, A., Elzouki, A., Edrees, B., & Alsulimani, M. H. (2011). Comparison of jeopardy game  format versus traditional lecture format as a teaching methodology in medical education. Saudi medical journal,  32(11), 1172–6.  Moy, J. R., Rodenbaugh, D. W., Collins, H. L., & Dicarlo, S. E. (2000). Who wants to be a physician? Reviewing pulmonary  physiology. Advances in physiology education, 24(1), 30–37.  Ogershok, P. R., & Cottrell, S. (2004). The pediatric board game. Medical teacher, 26(6), 514–7.   O’Leary, S., Diepenhorst, L., Churley‐Strom, R., & Magrane, D. (2005). Educational games in an obstetrics and gynecology  core curriculum. American journal of obstetrics and gynecology, 193(5), 1848–51.   Papastergiou, M. (2009). Digital game‐based learning in high school computer science education: impact on educational  effectiveness and student motivation. Computers and Education, 52, 1‐12.  Patel, J. (2008). Using game format in small group classes for pharmacotherapeutics case studies. American journal of  pharmaceutical education, 72(1), 21.   Piaget, J. (1952). Play, dreams and imitation in childhood. Journal of Consulting Psychology, 16(5), 413‐414.  Prensky, M. (2001). Digital game‐based learning . New York: McGraw‐Hill.  Price, S., & Rogers, Y. (2004). Let’s get physical: The learning benefits of interacting in digitally augmented physical spaces.  Computers and Education, 43(1–2), 137‐151.  Rondon, S., Sassi, F. C., & Furquim de Andrade, C. R. (2013). Computer game‐based and traditional learning method: a  comparison regarding students’ knowledge retention. BMC medical education, 13(1), 30.   Roubidoux, M. A, Chapman, C. M., & Piontek, M. E. (2002). Development and evaluation of an interactive Web‐based  breast imaging game for medical students. Academic radiology, 9(10), 1169–78.   Squire, K. (2002). Cultural framing of computer/video games. International journal of computer game research, 2 (1).  Sward, K. A, Richardson, S., Kendrick, J., & Maloney, C. (2008). Use of a Web‐based game to teach pediatric content to  medical students. Ambulatory pediatrics : the official journal of the Ambulatory Pediatric Association, 8(6), 354–9.   Vahed, A. (2008). The Tooth Morphology Board Game : An Innovative Strategy in Tutoring Dental Technology Learners in  Combating Rote Learning, 467–479.  Van de Velde, S., Heselmans, A., Roex, A., et al. (2009). Effectiveness of non‐resuscitative first aid training in laypersons: a  systematic review. Ann Emerg Med, 54(3), 447‐457.   

104


Specification and Design of a Generalized Assessment Engine for  GBL Applications  Yaëlle Chaudy, Thomas Connolly and Thomas Hainey   University of the West of Scotland, Paisley, Renfrewshire, UK  Yaelle.chaudy@uws.ac.uk  Thomas.connolly@uws.ac.uk  Thomas.hainey@uws.ac.uk    Abstract: The interest towards the introduction of Games‐Based Learning (GBL) in education is increasing. Using computer  games  to  assist  the  learning  process  offers  a  wide  range  of  possibilities  inconceivable  in  a  traditional  classroom.  Assessment of the learner during game‐play represents a key challenge for GBL. This task is time consuming and requires  both  technical  and  educational  knowledge.  However,  careful  consideration  of  the  integration  of  assessment  in  GBL  is  crucial as assessment has a very important role in teaching and learning; it is essential for teachers to assess how much  their students have achieved the learning goals of a lesson and learners rely on assessment to receive feedback on their  work.  This  paper  discusses  the  specification  of  a  generalized  assessment  engine  that  could  be  integrated  into  any  GBL  application. This paper first reviews the literature on traditional assessment and approaches to assessment in GBL. Next,  the paper analyses the characteristics of a range of existing GBL applications. Using these characteristics, the literature on  assessment  and  the  outline  GBL  assessment  model  proposed  by  Hainey  et  al.  (2012),  a  refined  assessment  model  is  presented. Finally, based on the refined assessment model this paper proposes a specification for a generalised assessment  engine, provides an outline design and discusses the implementation of this design.    Keywords: games‐based learning, assessment, assessment integration, assessment engine, assessment model 

1. Introduction A  teaching  and  learning  process  is  incomplete  without  assessment.  Indeed,  assessment  is  essential  to  determine whether the teachers achieved their teaching goal and the learners achieved their learning goals.  For GBL application developers, the integration of assessment raises several issues. Firstly, careful specification  of  the  learning  goals  is  essential;  a  developer  needs  to  define  what  learning  outcomes  are  being  assessed.  These learning outcomes can be as simple as “translation of colours in French” or “multiplication tables”, and  as  complex  as  “logical  reasoning”  or  “team  work”.  Secondly,  it  is  important  to  determine  what  form  the  assessment will take, whether it will be a multiple choice quiz or a pervasive assessment throughout the game‐ play. Then the developer will need to choose the type of assessment to be performed in the game: formative  and/or summative. Finally, feedback should be provided; this may be positive, coming as a confirmation of the  learner’s action or answer; negative, correcting an inappropriate response or it might also be triggered by a  lack of motivation or a difficulty with the game rules. Feedback could also be external to the game, coming at  the end as a form of debriefing. For each of these issues, this paper will develop the associated educational  concepts,  introducing  learning  outcomes,  formative  and  summative  assessment,  and  feedback.  Next,  and  based on a review of the literature on the integration of assessment and feedback in GBL, and on an analysis of  various  existing  GBL  applications,  we  will  propose  a  refined  assessment  model  for  Hainey  et  al.’s  (2012)  framework and will discuss the specification of a generalised assessment engine that can be used within GBL  applications. 

2. Assessment and its integration in GBL  2.1 Learning outcomes  Kennedy,  Hyland  and  Ryan  (2007)  propose  two  different  approaches  to  education.  Firstly,  the  traditional  teacher‐centred approach where the teacher defines the content and plans and assesses the lesson. Secondly,  the  student‐centred  approach  that  is  based  on  learning  outcomes.  The  European  Qualifications  Framework  (EQF)  (European  Commission,  2008)  promotes  the  latter  approach  and  defines  learning  outcomes  as  statements of what a learner knows, understands and is able to do on completion of a learning process. They  are defined in three terms:  ƒ

Knowledge, the  outcome  of  the  assimilation  of  information  through  learning.  Knowledge  is  the  body  of  facts, principles, theories and practices that are related to a field of work or study. In the EQF, knowledge  is described as theoretical and/or factual; 

105


Yaëlle Chaudy, Thomas Connolly and Thomas Hainey  ƒ

Skill, the ability to apply knowledge and use know‐how to complete tasks and solve problems. In the EQF,  skills are described as cognitive or practical; 

ƒ

Competence, the  proven  ability  to  use  knowledge,  skills  and  personal,  social  and/or  methodological  abilities,  in  work  or  study  situations  and  in  professional  and  personal  development.  In  the  EQF,  competence is described in terms of responsibility and autonomy. 

Similar, albeit less explicit, definitions can be found in the literature (e.g. Bingham, 1999; Gosling and Moon,  2001; Donnelly and Fitzmaurice, 2005). It is highly beneficial for any teaching/learning process, including GBL,  to carefully define the learning outcomes before working on the content. 

2.2 Summative and formative assessment  Assessment  can  be  classified  in  two  categories,  summative  and  formative.  Garrison  and  Ehringhaus  (2007),  state  that  “Summative  Assessments  are  given  periodically  to  determine  at  a  particular  point  in  time  what  students know and do not know” and that “Formative Assessment informs both teachers and students about  student understanding at a point when timely adjustments can be made”. The main difference is, therefore,  the aim of the assessment. The first approach is essentially for grading purposes and validation of knowledge  while  the  second  one  contributes  actively  to  the  learning  process  proposing  ways  to  improve.  Robert  Stake  (cited in Scriven 1991, 19) proposes a culinary metaphor: “When the cook tastes the soup, that’s formative and  when the guest tastes the soup, that’s summative”. 

2.3 Feedback Feedback  is  crucial  to  the  assessment  process;  it  plays  an  important  part  in  formative  assessment  and  contributes  to  the  learner’s  motivation.  Fleming  and  Levie  (1993)  introduce  and  illustrate  five  types  of  feedback options. They stress that the option has to be chosen according to the level of the learner and the  stage of the learning:  ƒ

Confirmation: Simple statement of the correctness of the answer is given: “Your answer was incorrect”. 

ƒ

Corrective: Confirmation of correctness and expected answer are given: “Your answer was incorrect. The  correct answer was ‘Jefferson’”. 

ƒ

Explanatory: Confirmation of correctness, explanation and expected answer are given: “Your answer was  incorrect because Carter was from Georgia. Of all those listed only Jefferson called Virginia ‘home’”. 

ƒ

Diagnostic: Confirmation  of  correctness  and  activities  to  undertake  to  improve  are  given:  “Your  answer  was  incorrect.  Your  choice  of  ‘Carter’  suggests  some  extra  instruction  on  the  home‐states  of  past  presidents might be helpful.” 

ƒ

Elaborative: Confirmation of correctness and elaboration are given: “Your answer, ‘Jefferson’, was correct.  The University of Virginia, a campus rich with Jeffersonian architecture and writings, is sometimes referred  to as Thomas Jefferson's school.” 

Hattie and Timperley (2007) propose a model feedback which introduces three questions effective feedback  should  answer:  “Where  am  I  going?  (What  are  the  goals?),  How  am  I  going?  (What  progress  is  being  made  toward the goal?) and Where to next? (What activities need to be undertaken to make better progress?)”.  

2.4 Assessment integration in GBL  Games‐based  learning  applications  integrate  the  assessment  process  in  many  different  ways.  Some  may  choose to  embed quizzes  into  the game whereas  others  monitor  every  action  the  learners  perform  to  draw  probabilistic conclusions on their achievement of the learning goals. Resulting from our last literature review  (Hainey et al., 2013), we introduce six main approaches for assessment integration in GBL applications:  ƒ

Monitoring of states: Monitoring the states of a game‐play allows the system to perform both summative  and formative assessment by associating those states to a probability of achieving a learning goal. States  can  be  as  general  as  ‘level  completed’  or  ‘answer  given’  but  they  can  also  show  a  more  detailed  knowledge of the game‐play with ‘location visited’, ‘non‐player character met’ or ‘content accessed’.  

ƒ

Quests: The  assessment  of  learning  is  part  of  the  game  as  a  particular  quest  type.  Each  quest,  when  completed, can then be assessed. A non‐player character can give hints if the task is too complicated. The  assessment quests can be ‘search the Internet’, ‘create content’ or ‘match description’. 

106


Yaëlle Chaudy, Thomas Connolly and Thomas Hainey  ƒ

Use of  an  assessment  model  or  profile:  The  assessment  is  based  on  an  existing  assessment  model  or  profile.  The  models  commonly  used  are:  Gagné’s  nine  events  of  instruction  (Gagné,  1965)  and  IMS  Question & Test Interoperability (Martínez‐Ortiz et al. 2006). 

ƒ

Non‐invasive assessment: The assessment is undertaken without the stress inherent to the assessment as  the student is unaware assessment is taking place. In many cases, the game also adapts according to the  student’s  performances  (e.g.  triggering  an  intervention  from  a  non‐player  character).  The  pervasive  assessment can be performed using, for example, Bayesian networks (Shute, Masduki and Donmez, 2010)  or Petri nets (Thomas, Labat, Muratet and Yessad, 2012). 

ƒ

Quizzes: Quizzes  are  integrated  at  various  stages  of  the  game.  The  quizzes  can  be  of  various  types,  for  example, multiple choice, true/false and fill in the blanks. 

ƒ

Peer assessment: This includes informal peer assessment in a forum, for instance, or giving a special status  for some of the players enabling them to provide the others with feedback. 

3. Analysis of existing GBL applications  The  first  analysis  undertaken  focused  on  GBL  applications  that  perform  the  integration  of  assessment  with  quests  or  quizzes.  Ten  web‐based  games  from  various  projects  have  been  analysed  to  find  common  characteristics  and  to  study  their  choices  according  to  the  notions  introduced  in  Section  2.  The  aim  of  the  analysis  is  to  identify  the  commonalities  and  highlight  the  differences  between  these  games.  Table  1  summarises  the  analysis  of  the  GBL  applications  investigated.  In  Section  5  of  this  paper,  a  specification  of  a  generalised assessment engine will be given based on these games; the third example, Startup challenge 3, has  been chosen to be used as the illustration. This game is short and simple; it will provide an ideal base to easily  illustrate the rules described. However, the engine is generalisable to any of the applications stated here.  Table 1 : Analysis of existing GBL applications    Startup: Challenge 1  (startup.neues‐lernen.de 2009)  The player hires the team  selecting appropriate roles, skills  and candidates.  Startup: Challenge 2  (startup.neues‐lernen.de 2009)  The player builds a path from an  initial word to a final one using  association of ideas.  Startup: Challenge 3  (startup.neues‐lernen.de 2009)  The player asks potential buyers  questions and sells them  appropriate products.  Startup: Challenge 5  (startup.neues‐lernen.de 2009)  The player completes a project’s  to do list giving tasks to different  people.  Startup: Challenge 6  (startup.neues‐lernen.de 2009)  The player divides his  advertisement budget according  to a population. 

Learning Outcomes  Competence: Hiring  a team  Skills: Data  extraction from  project specification  Skill: Guessing  words  Knowledge: Most  common letters in  the English language  Competence: Selling  a product  Skill: Interpretation  of clients’ answers 

Formative / Summative  Summative: Score displayed  at the end, calculated  based on final team chosen 

Feedback No 

Summative: Score displayed  throughout the game‐play,  updated after every choice  the player makes 

Confirmation Feedback when too  many mistakes:  “Failed, choose  another path”  No 

Competence: Tasks  distribution  Knowledge:  Different roles and  tasks to be done  Competence:  Dividing effectively  the budget  Skill: Analysis of the  population 

Summative: Score displayed  at the end, based on the  associations “person / task” 

No

Summative: Score displayed  at the end, based on the  division of budget 

No

CHERMUG (Boyle et al. 2012)  The player performs a  quantitative and a qualitative  study. 

Competence: Performing a study  Knowledge:  Terminology of a  quantitative /  qualitative study 

Formative: Each answer  selected is confirmed or  corrected and further  explanation is given 

Confirmation to  elaboration  Expected answer not  given 

107

Summative: Score displayed  at the end, based on the  pairs “client / product” 


Yaëlle Chaudy, Thomas Connolly and Thomas Hainey    EnerCities  (Knol and De Vries 2011)  The player builds his own  sustainable city.  3rd world farmer  (3rdworldfarmer.com 2006)  The player controls a family of  third‐world farmers.  Climate Challenge  (bbc.co.uk 2007)  The player, president, makes  political decisions to stop global  warming in 100 years.  Stop Disaster  (stopdisastersgame.org 2007)  The player is responsible for a  village; he has to reduce the  damage caused by a disaster  about to happen. 

Learning Outcomes  Competence:  Building a  sustainable city  Skill: Management  of resources  Competence:  Surviving and  making the farm  and family grow.  Competence:  Stopping global  warming  Skills: Political  decisions and  strategies  Competence:  Preparing a village  for a disaster  Skill: Dividing a  budget to build  shelters, hospitals,  etc. 

Formative / Summative  Both summative and  formative: A lot of  information is displayed  during the game‐play Score  updated in real time  Mostly summative due to  the nature of the game;  there is no correct answer.  Score based on wealth,  health, education, etc.  Formative: For every turn,  the decisions made change  the goals (e.g. CO2, water,  economy, popularity).  Score based on these goals 

Feedback Feedback is given if  the level of a resource  is low or if a goal is  achieved 

Summative: At the end of  the game‐play the disaster  occurs and the final result is  shown, based on measures  taken by the player 

Elaborative feedback  (e.g. why building a  hospital was a good  idea) 

The newly calculated  score represents a  feedback 

The new values for  the goals represent a  feedback 

4. Proposed assessment model  Taking  into  account  the  different  approaches  to  assessment  and  the  implementations  of  assessment  in  the  literature review we have updated the preliminary model and framework proposed by Hainey et al. (2012) for  assessment integration for serious games based on the Input/Process/Output Game Model (Garris, Ahlers and  Driskell, 2002). Table 2 provides a description of each of the phases in the model. Figure 1 shows our proposed  assessment integration model for serious games.   Table 2: Description of the phases  Phase 

Planning  

Design

Game‐ play

Debriefing

Description Specification of the overall learning outcomes  Specification of the instructional content in terms of what particular instructional content should be  integrated to correspond with the overall learning outcomes.  Specification of the overall assessment strategy. Should the overall strategy be to facilitate formative  assessment, summative assessment or a combination of both? What information, from the game‐ play, should be used for assessment?  The design phase involves integrating the pedagogical content with the assessment involving subject  matter experts with the game characteristics and possibly technical standards. The implementation  of the assessment and how this should be displayed e.g. text, graphics, animation; integration of  different quest types, utilisation of adaptation and assessment models in middleware, micro‐ adaptive non‐invasive assessment of competencies, quizzes, after action reviews and the monitoring  and upgrading of states. One issue that should be addressed at this stage is to what degree  formative assessment should be implemented.  During the course of the game‐play learners will use their judgement, reflect and behave in reaction  to the content and the assessment. Embedded formative assessment is integrated into the game  and is therefore inside the game‐play cycle and possibly also summative assessment at periodic  optional stages. External formative and summative assessment can be optionally performed outside  of the game cycle. Formative assessment can take the form of constructive feedback from peers and  instructors, and summative assessment can be paper‐based tests. Summative assessment would not  be as frequent and would take place at key points. Both types of assessment could possibly alter the  game to adapt to the player’s performances.  When the game is complete participants can reflect during a debriefing period with peers and  instructors. External summative assessment could optionally take place as at the end of a learning  unit. On completion of the cycle, the learning objectives should be achieved. 

108


Yaëlle Chaudy, Thomas Connolly and Thomas Hainey 

Figure 1: Preliminary assessment integration model for GBL applications 

5. A generalised assessment engine  It  quickly  became  clear  that  designing  and  developing  a  generalised  assessment  engine  for  use  in  GBL  applications  would  represent  a  useful  contribution  to  the  area.  Indeed,  it  would  allow  GBL  application  developers  to  save  a  considerable  amount of  time  and  cost,  not  only  implementing  the  assessment  process  into  their  game  but  also  thinking  it  through.  One  of  the  goals  of  the  assessment  engine  is  to  provide  game  developers with a tool for assessment as well as with guidelines on how to perform the best assessment for  their game. Importantly, an assessment engine would also allow the separation of the GBL application and its  assessment, making the whole process more flexible and quicker and easier to change the score calculation of  the game.    After the analysis presented in Section 3, various patterns emerged about how the assessment is performed in  existing  GBL  applications.  The  literature  review  (Hainey  et  al.  2013)  and  the  summary  in  Section  2,  provide  starting points on how an ideal assessment should be carried out. The assessment engine specification relies  on the modified framework proposed in Section 4 and will include the following: 

109


Yaëlle Chaudy, Thomas Connolly and Thomas Hainey  ƒ

A Domain‐Specific Language (DSL) to be used as an assessment configuration descriptor. 

ƒ

A generalised assessment engine with algorithm and DSL parser.  

ƒ

A communication protocol between the GBL application and the engine. 

5.1 A DSL for the assessment configuration file  5.1.1 What is a DSL and why use one?  A DSL is a programming language defined for a specific purpose. It has its own semantic and syntactic rules.  Using a DSL for the description of the game assessment would enable developers to quickly and easily define  their assessment without having to implement it with a general‐purpose programming language (GPL).    In  their  paper,  Mernik,  Heering  and  Sloane  (2005)  outline  the  key  issues  for  the  development  of  a  DSL  and  present situations where introducing a DSL is beneficial. They highlight the difficulty of DSL development as it  requires knowledge in both domain and programming languages. Out of the patterns discussed where DSL is  successfully used, the most relevant to our study is “task automation”. This pattern presents the introduction  of  a  DSL  as  a  way  to  automating  common  and  repetitive  tasks.  In  the  scope  of  this  paper,  defining  a  generalised  assessment  engine  that  would  make  the  assessment  process  quicker  and  more  effective,  development of a DSL seems to be an advantageous option. It would embed the domain (assessment in GBL)  knowledge  into  the  programming  language;  expertise  of  assessment  integration  would  be  situated  in  the  engine itself and no longer in the game. The GBL application developer would still have to define the game’s  assessment but could do so in an easier and quicker way, using our DSL to write an assessment configuration  file.  5.1.2 What model for the DSL?  We are at the early stages of the specification and design of the DSL, the preliminary language we propose is  based on the educational concepts presented in Section 2, the model in Section 4 and the systematic literature  review published in a previous paper (Hainey et al., 2013). The feature diagram presented in Figure 2 exposes  the  semantics  of  the  preliminary  DSL,  values  in  bold  with  a  grey  background  are  terminal  names  of  the  language.  Further  description  of  the  various  components  follows,  along  with  an  example  of  the  language  in  use. The DSL itself can be seen as a guideline to the assessment process. Its intention is to encourage the GBL  application developers to include, in their games, details of the assessment they might have omitted if they  were  implementing  it  themselves.  However,  in  order  to  make  the  DSL  more  usable,  a  number  of  the  components of the language were made optional. They are indeed omitted in numerous GBL applications as  shown in the analysis in Section 3. 

Figure 2: Feature model of the DSL 

110


Yaëlle Chaudy, Thomas Connolly and Thomas Hainey  Learning Goals. It is crucial for the objects of the assessment to be part of the configuration; learning goals are,  therefore, the first component of the language. The name (id) of a goal is the only mandatory parameter but a  developer  can  choose  to  give  a  description  of  the  learning  goal  (text)  and  a  starting  value  (integer,  default  value is zero). The final score is, by default, the sum of the values of the learning goals but can also be defined  explicitly. All learning goals are fully defined in this component and their names will be available for use as a  reference in the following blocks.    Feedback.  Section  2  states  the  importance  of  feedback  in  the  learning/teaching  process;  it  is  natural  to  see  them appear in the language as a component. Besides a name (id) and a message (text), a feedback can have a  type  (default  value  is  neutral)  and  can  be  final  (default  value  is  false),  meaning  that  when  the  feedback  is  triggered, the game ends. A piece of feedback is only defined once here and its name is used as a reference in  the following blocks.    Actions. This component contains the logic of the assessment and this is where we declare how the values of  learning goals are updated. The user defines the meaningful actions of the game from an assessment point of  view.  He/she  gives  them  a  name  (id),  parameters  if  needed  and,  then,  decides  how  many  points  should  be  added  to  a  particular  goal  (by  default  the  first  one)  according  to  the  value  of  the  parameters.  The  terminal  name  “others”  can  be  used  to  define  every  parameter  value  not  declared  in  the  configuration  file.  The  Reactions  block  allows  the  user  to  specify  rules  for  sending  feedback  according  to  the  parameters  received  with  the  action.  If  the  feedback  is  specific  to  an  action,  the  names  of  the  parameters  can  be  used  in  angle  brackets and will be replaced by the corresponding value when the feedback is sent.    Feedback Model. In this last part, the general feedback model of the game is defined, this time the trigger of  the feedback is not an action but a broader concept such as the reaching of a limit (superior or inferior) for a  learning goal value or a significant inactivity. The developer defines the meaningful concepts for the game and  associates the feedback to be sent.    Figure  3  represents  the  assessment  configuration  file  that  could  be  defined  for  the  Startup_EU  challenge  3  presented in Section 3. We intentionally added feedback in order to illustrate the totality of the DSL.  

5.2 The assessment engine and the communication  5.2.1 Parsing of the DSL  In order to use the assessment configuration file written in our DSL, the assessment engine needs to parse it  and  generate  the  appropriate  classes  and  instances.  Firstly,  two  classes,  Feedback  and  LearningGoal  are  created and the first two blocks of the configuration file are used to instantiate the appropriate objects. In our  example, we would have only one object of type LearningGoal and five objects Feedback. The lists of objects  created  are  attached  to  the  main  class  as  parameters  and  two  methods  are  created  to  search  them:  getGoalByName  and  getFeedbackByName.  This  main  class  has  one  more  parameter,  the  final  score  of  the  game.  According  to  the  description  defined  in  the  configuration,  a  method,  updateScore,  is  created.  In  our  example we would have the score taking the value of the learning goal association as it is the only goal. Then,  for every action defined in the DSL, a method is created with its name and parameter(s). This method tests the  parameter(s),  comparing  them  with  the  value  in  the  configuration,  and  updates  the  goal  value(s)  and  final  score  accordingly.  The  last  method  created,  sendFeedback,  is  responsible  for  sending  feedback  to  the  GBL  application. Figure 4 shows the class diagram generated after parsing the previous configuration file (Figure 3).   5.2.2 Architecture of the solution  In terms of architecture, the two main options for implementation are a library and a web service. We have  chosen  the  latter  option  for  various  reasons.  Firstly,  a  web  service  offers  more  flexibility  in  terms  of  programming language used for the GBL application development; we do not have to restrict the language as a  web  service  can  be  called  from  any  type  of  application.  Secondly,  and  on  a  longer‐term  basis,  it  offers  the  possibility of creating a repository in which all the sessions of game‐play could be recorded. This would enable  data  mining  for  detection  of  issues  with  the  game  and  with  learning  and  patterns  of  learning/game‐play  amongst players globally, potentially for all games that use the assessment engine.   

111


Yaëlle Chaudy, Thomas Connolly and Thomas Hainey 

Figure 3: Example of assessment configuration file using the DSL 

Figure 4: Class diagram generated after parsing of the configuration file  The  architecture  is  built  by  invocation  of  the  game  creator  as  illustrated  in  Figure  5.  At  the  creation  of  the  game, the developer will define the configuration file and send it to the engine. The engine will then parse the  configuration  file  and  generate  a  web  service  capable  of  processing  a  specific  comunication  protocol  to  perform the game’s assessment. The engine also allocates resources for the game repository. The engine will  then return the id the game should use to invoke the correct web service. Once the id is received, the game  can be implemented using the web service and communication protocol. 

112


Yaëlle Chaudy, Thomas Connolly and Thomas Hainey 

Figure 5: Overview diagram ‐ creation of the game  During the game‐play, the GBL application will communicate with the web service created. It will first request a  session id for that particular game‐play, using start(). Then, it will send messages for every meaningful action.  If  defined,  it  can  receive  feedback  from the  engine  at  any  stage  of the game‐play.  Finally,  it  will  receive  the  notification of the end of the game. The sequence diagram, Figure 6, shows the communication protocol used  with our example. All the information extracted from the game‐play is stored in the repository created in stage  1. 

Figure 6: Sequence diagram of the communication game/engine 

6. Conclusion This paper has summarised the important concepts of assessment in education and discussed the integration  of assessment in GBL based on a previous literature review. From an analysis of existing GBL applications, and  a  refined  assessment  integration  model,  we  have  proposed  a  preliminary  specification  for  a  generalised  assessment  engine  that  could  be  integrated  into  any  GBL  application.  The  solution  presented  relies  on  a  domain‐specific language (DSL) for the configuration of the game assessment, an engine able to parse the DSL  and compute the assessment and a communication protocol between these two elements. The design of the 

113


Yaëlle Chaudy, Thomas Connolly and Thomas Hainey  DSL  and  the  communication  protocol  are  presented  and  the  architecture  of  the  engine,  a  web  service,  is  described. Future work will include a refinement of the design and implementation of the engine, as well as a  deployment and test on existing games and later the creation of a game using the engine from the start. 

Acknowledgements This work has been co‐funded by the EU under the FP7, in the Games and Learning Alliance (GaLA) Network of  Excellence, Grant Agreement nr. 258169 and the EU Lifelong Learning Programme under contract 518060‐LLP‐ I‐2011‐1‐UK‐COMENIUS‐CMP (StartUp_EU ‐ Be a High Tech Entrepreneur).  

References 3rdworldfarmer.com (2006). 3rd World Farmer: A simulation to make you think. [online] Available at:  http://www.3rdworldfarmer.com/ [Accessed: 24 Apr 2013].  Bbc.co.uk (2007). BBC ‐ Science & Nature ‐ Climate Challenge. [online] Available at:  http://www.bbc.co.uk/sn/hottopics/climatechange/climate_challenge/ [Accessed: 24 Apr 2013].  Bingham, J. (1999). Guide to Developing Learning Outcomes. The Learning and Teaching Institute Sheffield Hallam  University, Sheffield: Sheffield Hallam University  Boyle, E., van Rosmalen, P., MacArthur, E., Connolly, T. M., Hainey, T., Johnston, B., Moreno Ger, P., Manjón, B. F., Kärki, A.,  Pennanen, T., Manea, M., and Starr, K. (2012). Cognitive Task Analysis (CTA) in the Continuing/ Higher Education  th   Methods Using Games (CHERMUG) Project. 6  European Conference on Games‐based Learning (ECGBL). 4 – 5  October 2012, Cork, Ireland.   Donnelly, R and Fitzmaurice, M. (2005). Designing Modules for Learning. In: Emerging Issues in the Practice of University  Learning and Teaching, O’Neill, G et al. Dublin: AISHE.  European Commission. (2008). The European Qualifications Framework for Lifelong Learning (EQF). Luxembourg: Office for  Official Publications of the European Communities.  Fleming, M. and Levie, W. (1993). Instructional message design: principles from the behavioral and cognitive sciences. 2nd  ed. Englewood Cliffs NJ: Educational Technology Publications, p.219‐222.  Gagné, R. M. (1965). The conditions of learning and theory of instruction New York, NY: Holt, Rinehart & Winston.  Garris, R., Ahlers, R. and Driskell, J.E. (2002). Games, motivation, and learning: A research and practice model. Simulation &  Gaming, 33(4), 441–467.  Garrison, C., & Ehringhaus, M. (2007). Formative and summative assessments in the classroom. National Middle School  Association.  Gosling, D. and Moon, J. (2001). How to use Learning Outcomes and Assessment Criteria. London: SEEC Office  Hainey, T., Connolly, T.M., Baxter, G.J., Boyle, L. and Beeby, R. (2012). Assessment Integration in Games‐based Learning: A  Preliminary Review of the Literature, paper presented at 6th European Conference on Games Based Learning, Cork,  Ireland, 4‐5 October 2012.  Hainey, T., Connolly, T.M., Chaudy, Y., Boyle, L., Beeby, R. and Soflano, M. (2013). Assessment integration in serious games.  In Psychology, Pedagogy and Assessment in Serious Games. (In press)   Hattie, J. and Timperley, H. (2007). The power of feedback. Review of Educational Research, (77), p.81‐112.  IMS Question & Test Interoperability (QTI) Specification (2012). IMS Global Question and Test Interoperability (QTI)  Specification. [Online] Available at: http://www.imsglobal.org/question/ [Accessed: 17 Apr 2013].  Kennedy, D., Hyland, Á., & Ryan, N. (2007). Writing and using learning outcomes: a practical guide. Cork, Ireland: University  College Cork.  Knol, E., & De Vries, P. (2011). EnerCities‐A Serious Game to Stimulate Sustainability and Energy Conservation: Preliminary  Results. eLearning Papers, (25).  Martínez‐Ortiz, I., Moreno‐Ger, P., Sierra, J.L., and Fernández Manjón B. (2006). <e‐QTI>: A Reusable Assessment Engine.  Advances in Web Based Learning – ICWL 2006, Lecture Notes in Computer Science, 4181 p. 134‐145.  Mernik, M., Heering, J. and Sloane A.M. (2005). When and how to develop domain‐specific languages. ACM Computing  Surveys (CSUR), 37 (4), p.316‐344.  Nyquist, J. B. (2003). The benefits of reconstructing feedback as a larger system of formative assessment: A meta‐analysis.  Unpublished Master of Science thesis, Vanderbilt University.   Scriven, M. 1991. Beyond formative and summative evaluation. In Evaluation and education: At quarter century. 90th  yearbook of the National Society for the Study of Education, edited by M. W. McLaughlin and D. C. Phillips, 18‐64.  Chicago: University of Chicago Press.  Shute, V.J., Masduki, I. and Donmez, O. (2010). Conceptual Framework for Modelling, Assessing and Supporting  Competencies within Game Environments. In Tech., Inst., Cognition and Learning, Vol. 8, pp. 137–161  Startup.neues‐lernen.de (2009). StartUp_EU. [online] Available at: http://www.startup.neues‐lernen.de/ [Accessed: 25 Apr  2013].  Stopdisastersgame.org (2007). Stop Disasters. [online] Available at: http://www.stopdisastersgame.org/ [Accessed: 24 Apr  2013].  Thomas, P., Labat, J‐M., Muratet, M., and Yessad, A. (2012). How to Evaluate Competencies in Game‐Based Learning  Systems Automatically? In Lecture Notes in Computer Science, Volume 7315, Intelligent Tutoring System. 

114


Safer Internet: Enhancing Good Practices on the Internet Through  Games Based Learning for Greek Elementary School Students  Vasiliki  Choleva1,  Loukas  Koutsikos1  Simeon  Zourelidis1,  Vlassios  Filis2,  Dimitris  Metafas3  and Charalampos Patrikakis3  1 ICT in Education, National and Kapodistrian University of Athens, Athens, Greece  2 Department of Informatics & Telecommunications, National and Kapodistrian University  of Athens, Athens, Greece  3 Department of Electronics, Technological Education Institute of Piraeus, Piraeus, Greece  vikyhol@hotmail.com   loukaskoutsikos@yahoo.gr  zourelid@otenet.gr  v‐Filis@yahoo.com  dmetafas@teipir.gr  bpatr@teipir.gr    Abstract:  The  Internet  today  has  become  an  integral  part  of  children’s  and  young  people’s  lives.  They  are  the  biggest user groups of online and mobile technologies all over the world. Children of Elementary School are often, because  of  their  age,  unprotected  against  traps  on  the  Internet,  such  as  cyber  bullying,  cyber  stalking  or  sharing  their  personal  information online. Today's Education and especially the Elementary School system should be considered as an ally as far  as  safer  Internet  issues  are  concerned.    This  paper,  presents  the  implementation,  by  elementary  school  students,  of  a  game about the ways of the Internet. The specific game was developed by the students themselves through Kodu, which is  a  visual  programming  tool  especially  designed  for  introducing  children  to  programming  principles.  The  aforementioned  were held as part of their participation in an official innovating Educational Program entitled: “Safer Internet: Connect with  Respect”.  Seventeen  students  (eleven  boys  and  six  girls),  guided  by  their  teacher,  produced  a  game  scenario  about  the  dangers  of  the  Internet  and  ways  to  avoid  them.  This  educational  framework  introduces  children  to  the  safety  of  the  Internet through the excitement of creating technology.     Keywords: online interaction, cyber bulling, safer Internet, visual programming 

1. Introduction and motivation   Types  of  media  where  everyday  people  can  publish  and subscribe  to  what  others  publish  have  changed  the  real world. The explosive growth of social media, smart phones and digital devices transforms children’s daily  life  at  home  and  at  school.  An  increasing  number  of  children  under  the  age  of  13,  use  tablets  and  smart  phones, download applications or join Facebook, usually unprotected and without their parents’ permission.     Cyber  bullying  has  become  more  common  in  society,  particularly  among  young  people.  There  are  many  incidents of young people who have been lured into meeting someone, previously unknown to them whom,  who they contacted initially online and subsequently been harmed.    Among the educational community there is a need to propose a way to educate children‐ particularly at young  ages‐to take care, detect and avoid the risks associated with being online and using the Internet.    An  educational  game  created  by  children  for  children  is  the  best  way  to  promote  the  self‐motivation,  cooperation, active participation of the students and the development of their creativity and imagination, in  order to guide them into an Internet journey with safety and awareness.    Greek  Curriculum  suggests  using  Educational  Visual  Programming  Environments  such  as  Logo  ‐  like  Programming  Environments  (Easy  logo,  Turtle  Art,)  or  others  like  Scratch,  Kodu  and  Game  Maker  which  provide attractive interface and develop programming skills by designing and building their own game.    Kodu  is  the  visual  programming  tool  that  has  been  selected  as  it  has  a simple  and  icon  based  language  and  fully  supports  the  various  disciplines  and  the  objectives  of  ICT  literacy  in  the  modern  Curriculum.  It  also  introduces  students  to  the  creative  side  of  programming  and  as  Matthew  MacLaurin,  Kodu’s  lead  designer,  says “the core of Kodu is simulation design; the programming is secondary to that” (Lerner, 2009). 

115


Vasiliki Choleva et al. 

2. Educational approach  Social  networks  have  proved  to  be  dangerous,  especially  for  the  children  and  the  adolescents.  Modern  research  has  proved  that  a  big  percentage  of  these,  does  not  hesitate  to  give  personal  information  in  the  internet that can remain always there and anyone can have access.    Even  though  the  vast  majority  of  the  students  use  the  Internet  at  their  homes,  at  their  private  space,  the  parents can’t effectively control them.  Children constitute the generation of digital technology and most of  the times their knowledge is superior to their parents.    School plays an important role in informing, educating, guiding and advising students on safety issues in the  use of the Internet.    School  should  inform  students  about  the  dangers  that  they  face  from  the  leak  of  their  personal  data,  the  electronic markets and the fake web sites which aim at misguiding them.  School should “teach” them not to  believe everything or anyone on the Internet.     The teachers owe to inform, to educate and to make students capable of facing the dangers that derive from  the use of the Internet. This educational role shouldn’t involve theoretical lessons which are rather boring but  activities, projects or educational software which are interesting and motivating.    The  ever‐increasing  technological  changes  offer  new  opportunities  in  the  educational  process  and  allow  the  use of new means of knowledge representation and the learner’s child’s participation in the learning process.  Learners  need  attractive  and  interactive  media  and  tools,  so  that  their  involvement  with  the  Information  Technology makes the learning experience more exciting.    This new approach emphasizes creative pedagogy and requires student’s active participation by designing and  building animations, stories or their own games. Children of young ages (mainly elementary school children),  whose  cognitive  skills  are  being  formed,  develop  their  creative  abilities  as  they  think,  design  their  own  scenario, create and play their own game.     Children  respond  to  the  gaming  culture  (Salcito,  2009)  and  as  teachers,  we  could  inspire  students  through  some core concepts of gaming, like collaboration, creativity, action or extensive involvement (Prensky, 2007),  for learning.    Above  all,  these  learner‐centered  pedagogical  approaches  through  modern  Educational  Programming  Languages  (pSkills,  2010)  focus  on  developing  the  programming  skills  through  learning  activities,  which  are  attractive to students and prepare them to apply their skills in later courses of programming, as they move on  to more advanced platforms. Besides, the mission of games with visual programming language is not to teach  children how to write code, but how to think like programmers (Wilson, 2009). 

3. Educational framework  The educational framework aims to introduce children of elementary schools to the ideas of the Internet and  the way access to it and its services in a responsible way by creating a game for them, for their friends and for  their classmates about the risks of being online and using the Internet.    The  teaching  subject  was  “The  potential  risks  of  the  internet”  and  the  visual  programming  tool  Kodu  was  selected for teaching the subject in real class conditions, on a case study with sixth grade elementary school  students. 

3.1 Methodology As modern learning models require the active and constructive participation of the learners, the educational  intervention was based on the following axes:  ƒ

Cooperative learning as the teaching method 

ƒ

Assure Learning Model Lesson into the teaching process. 

116


Vasiliki Choleva et al.  Assure  is  an  Instructional  Designed  Model  that  is  based on  Gagne’s  Events  of  Instruction  and  is  intended  to  ensure effective teaching using Technology and Tools in the classroom (Smaldino & al., 2005). Assure identifies  six major steps in an instructional planning process as it shows at the table below.    Table 1: Assure lesson plan template into the teaching process  6th Grade (7th school of Ag. Paraskevi)  17 students; 11boys/6 girls  Cooperative learning skills  Programming skills  Development of creativity and imagination  Learning of composing stories  Creation of a digital game based on students’  scenario  Security over the internet (privacy protections,  security, user education, informed consent and  delighted users)  Cooperative learning  Kodu programming environment  Introduction to Kodu programming environment  (installation, tool palette, samples of other  games, examples of the code)  Creating Groups  Designing Kodu world (characters and objects)  Programming Characters  Direct observation  Evaluation form of the teaching process  (completed by the students)  Questionnaires (completed by the participants  after the implementation)  Presentation and Feedback (introduce the game  to students, parents and teachers on the last day  of the school year) 

Analyze learners  State standards and objectives 

Select instructional methods, media and materials  Utilize technology, media and materials 

Require learner participation 

Evaluate and revise 

3.2 The educational intervention  The educational intervention began in December 2012 and was completed in April 2013.     Inspired  by  the  Jesse  Schell's  "The  Art  of  Game  Design:  A  book  of  lenses"  the  teacher  and  the  students  discussed  the  topic  of  the  "Safer  Internet".  From  this  discussion  the  students  came  up  with  the  idea  of  a  "labyrinth"  which  non‐surprisingly  was  expressing  their  feeling  about  the  topic.  Following  a  spiral  approach,  the  teacher  was  guiding  the  students  in  designing  the  elements  of  the  game,  the  game  mechanics  and  the  goals  such  as  to  be  concrete,  achievable  and  rewarding,  while  the  students  were  enriching  their  "labyrinth"  theme. The game managed to generate a strong experience exactly because its theme was designed according  to the students' perspective and captured their feeling.    Though the process of game design was based on the prior planning of the general game concept, the students  were allowed to express themselves and also to comment on the ideas introduced before proceeding with the  implementation.  This  approach  allowed  for  a  better  communication  of  the  links  between  the  virtual    ‐  electronic world objects (Kodus, lightnings) to the real world situations and corresponding hazards and safety  tools (viruses, protection software).    By  the  5th  of  February  (Safer  Internet  Day)  students  had  finished  the  posters  and  the  final  scenario  of  the  game and the selection of the storyboard took place. They had finished the list of the ideas to improve their  game. They also had used the Kodu Game Lab Community in order to observe how other schools have used  Kodu Programming Environment in their learning program.      

117


Vasiliki Choleva et al. 

Figure 1: The final game scenario 

Figure 2: Some characters of the Labyrinth 

      

Figure 3: Safer internet day‐posters  They started to create the game world and were enhanced to program the characters and the objects. 

       

Figure 4: Examples of programming characters of the game  After  the  game  was  implemented,  the  students  were  called  to  create  some  accompanying  material  (in  the  form of a video) explaining the rationale, their views and thoughts on security over the Internet, and a guide to  other students for the rules of the game “The Labyrinth”. 

4. The description of the game  The  design  and  implementation  of  the  final  outcome  that  was  created,  the  digital  game  named:  “The  Labyrinth”, derived from the principles that were reported at the section of the Methodology.    The  game  world  is  a  labyrinth  whose  corridors  represent  the  chaotic  Internet  connections.  The  player  is  a  student  who  needs  to  use  the  Internet  in  order  to  write  his  school  assignment.  At  the  entrance  of  the  Labyrinth stands his own home while his school is at the exit. The player can handle “tools” that are in his way 

118


Vasiliki Choleva et al.  out of the labyrinth. Those “tools” are representations of the means intertwined with the actual Internet world  (such as the blue lighting that is used as a firewall against the Red Kodus malware). 

Figure 5: An overview of the game world  The following table lists the characters introduced in the game, as well as their representations.   Table 1: The characters that appear in “The Labyrinth”  Active Characters (A.C.) 

Representations

The Yellow Kodu (Main Character) 

School student who surfs over the Net to seek for  information in order to write his essay  Crackers of minor hazard 

The Red Kodus  The Black Kodus 

Crackers of major hazard 

The Stick‐Guards 

Recurring characters acting as player’s assistants  against the dangers of the Net. 

Discs

Packages of Information on the Net (e.g. Images, Video  and Documents) 

The Lightings 

Internet Protection tools (firewall) 

The Mines & Rover Robots 

Hazardous internet threats ‐ Malware (Viruses,  Trojans, Worms) 

When the game starts the hero stands invisible at the entrance of the labyrinth, just next to his home. At that  time  the  main  character  (Yellow  Kodu)  remains  invisible  just  for  2  seconds  and  becomes  visible  just  after  entering the labyrinth. The main idea is to provoke the real life emotion of entering the Internet world through  the lure of a labyrinth.     While moving onwards, through the labyrinth, he finds some useful packages of information (images, videos  and documents) for his school paper and faces the various threats of the game. When the user navigates to  unsafe  websites  (by  bumping  onto  the  Red  and  Black  Kodus),  those  unknown  internet  users  ask  for  his 

119


Vasiliki Choleva et al.  personal  data  in  order  to  let  him  download  all  the  useful  information  he  has  found  or  in  order  to  offer  delightful presents.    When  the  hero  passes  over  them  and  downloads  the  useful  data  without  offering  any  personal  information  they reveal their real purposes as they let viruses (mines), Trojans and worms (Rover robots). The player has to  get the necessary Internet protection programs (lightings) or ask for his teacher’s help (Stick ‐ Guard), in order  to repulse those attacks.  

     

Figure 6: The Black Kodu asks for personal                           Figure 7: The Teacher helped our Hero  As far as the Black Kodus are concerned, it’s worth mentioning that they represent the worst enemy that the  hero encounters, as they are armed with viruses, Trojans and worms. In order to face their attacks, the player  has  to  ask  for  the  assistance  of  the  Stick‐  Guard  Teacher.  This  idea  is  an  initial  children’s  thought,  as  they  planned the game aiming to mark a basic Internet navigation principle; avoid sharing personal information and  data with unknown users of the Net, as well as address to a “significant other” (Andersen et.al, 2002), such as  the teacher or a parent for assistance.    Merits  to  be  noted,  that  as  the  player  moves  further  inside  the  labyrinth  the  difficulty  of  the  enemies  increases. Furthermore, the gained points depend on the difficulty of each enemy as the player gains only 100  points for the easy Red Kodus, but 200 points for the more difficult Black ones. More bonus points are gained  when the player:  ƒ

Uses the firewall internet protection program (50 points), and 

ƒ

Downloads successfully the useful packages of information (getting the discs‐ 50 points) 

       

Figures 8: Firewall (Blue Lighting) and teacher against internet threats  The player wins on approaching his school, after having acquired all the necessary information for his essay. If  the  player  gets  to  his  school  lacking  useful  packages  of  information,  he  is  asked  to  return  “online”  and deal  with outstanding issues. On the other hand the player can lose in two cases:    A. By the end of seven minutes, and    B. On the depletion of health after a large number of hazardous attacks with malware by the Red and Black  Kodus. 

120


Vasiliki Choleva et al. 

Figure 9: The winner message 

                     Figure 10: The game over message 

5. Evaluation and future work  In  order  to  evaluate  the  effect  that  our  approach  had,  after  the  completion  of  the  implementation  of  the  game,  having  allowed  the  students  to  work  on  the  concepts  (and  links  to  game  features)  introduced  in  our  approach as regards safety over the internet, we have processed the collected answers. The results indicate  that all the children (100%) stated that they wouldn’t share personal information, such as name, age or home  address to other unknown users online, 76% of them wouldn’t take part in online contests if they weren’t sure  about their reliability and 71% would ask the opinion of a parent or their teacher when they find themselves in  a state like this.    On the other hand as far as the Kodu programming environment is concerned the students (88%) stated that  they liked the Greek version, asked for more characters such as animals and weapons (82%) and 76% would  like  to  be  taught  in  school  as  accompanying  material  for  the  various  school  disciplines  (e.g.  mathematics,  history, ICT).       Last but not least almost all the children that took part in this survey (94% positive review) indicated that they  enjoyed working together on the design of the game.    Our intention is to further evaluate the work done, and to test the general effect that our proposal could have  in the future use of skills and experience learned by the students, outside the specific scope of internet safety.  This includes the reuse of concepts and practices in the design of other games or even using the concept of  games to approach other educational goals.  

6. Conclusions The  education  community  needs  the  creation  of  supporting  structures.  These  structures  should  aim  at  the  continuous briefing of students on the secure use of the Internet and the possible dangers.    The teachers should offer not only the necessary knowledge but also the attitude towards the safer use of the  Internet.      This  attitude  can  be  developed  through  the  inter‐thematic  approach  of  various  cognitive  domains  where  students  will  cooperate  in  challenging  “real  life”  simulations  and  activities  and  will  use  their  fantasy,  their  creativity and their curiosity.  In this way, learning will become appealing and effective, just as it happens when  the children use or create digital games.    The  paper  focuses  on  the  development  of  digital  applications  by  utilizing  the  potentials  of  the  visual  programming tool, Kodu, in order to propose some good practices for teaching young children “surfing” over  the Internet with security, in a pleasant and more effective way.    The response of the children that took part in this project is related to the wider effort in the Greek society to  prevent cyber bullying or other kind of mistreatment against minor users of the Internet. Such an example is  the television and radio campaign named “Safer Internet” held by the Greek Center for Safe Internet.      The overall education intervention that was carried out aims to indicate the value of Game Based  Learning as  a good practice that can be applied in the classroom, as well as to share the experience of new opportunities  for learners, into the teaching process. 

121


Vasiliki Choleva et al.  As  Kafai  (2009)  has  stated:  game  making  activities  offer  an  entry  point  for  young  gamers  into  the  digital  culture,  not  just  as  consumers  but  also  as  producers.  Thus,  we  have  to  offer  to  learners  the  excitement  to  create technology. 

References Andersen, S., Chen, S. and Miranda, R. (2002) Significance Others and the Self.  Self and Identity, Vol 1, pp 159‐168  Gee, J.P. (2005) Why Video Games Are Good for your Soul: Pleasure and Learning, Common Ground, Australia  nd Jonassen, D. (2000) Computers as Mind tools for Schools Engaging Critical Thinking, 2  edition, Prentice Hall, Ohio.  Kafai, Y.B. (2006) Playing and Making Games for Learning:  Instructionist  and Constructionist Perspectives for Game  Studies. Games and Culture, Vol 1, No. 1, pp 36‐40.  Lerner, E. (2009) “Kodu doesn’t have realistic graphics, huge explosions, or even a way to win. But it just might change the  way we think about the world”, [on line], http://seedmagazine.com/content/article/serious_fun/P1/  Morrison, G. R.  and Lowther, D. L. (2005).  Integrating computer technology into the classroom, 3rd edition, Prentice Hall,  New Jersey.  Morrison, G. R., Ross, S. M., Kalman H. K. and Kemp, J. E. (2011). Designing Effective Instruction, 6th edition, John Wiley &  Sons, New Jersey.  Prensky, M.  (2007)   Digital Game‐Based Learning, Paragon House.  pSkills (2010) “Programming Skills Development in Secondary Education by means of Modern Educational Programming  Languages”, [on line], http://pskills.ced.tuc.gr  Roblyer, M. D. (2006) Integrating educational technology into teaching, (4th ed), Prentice Hall, New Jersey.  Salcito, A. (2009) “Integrating Kodu and gaming into the classroom”, [on line],  http://blogs.msdn.com/b/microsoftuseducation/archive/2009/07/09/integrating‐kodu‐and‐gaming‐in‐the‐ classroom.aspx  Smaldino, S., Russel, J.,Heinich, R. and Molenda, M. (2005) Instructional technology and media for learning, Prentice Hall,  New Jersey.  Wilson, C. (2009) “Logo on Steroids: The new video game Kodu will teach you (or your kid) about programming. It’s also  actually fun”, [on line],   http://www.slate.com/id/2222546/ 

122


Using Game Mechanics to Measure What Students Learn  Jill Denner1, Linda Werner2, Shannon Campe1 and Eloy Ortiz1  1 Research Department, ETR (Education, Training, Research), Scotts Valley, California, USA  2 Computer Science Department, University of California, Santa Cruz, California, USA  jilld@etr.org  linda@soe.ucsc.edu  shannonc@etr.org  eloyo@etr.org     Abstract:  Despite  the  growing  popularity  of  teaching  children  to  program  games,  little  is  known  about  the  benefits  for  learning. Making a game involves formulating complex problems, designing systems, and understanding human behavior,  but these constructs have proven difficult to measure. In addition, studies of what children learn often ignore the social  context in which game programming occurs. In this article, we propose that game mechanics can be used as a window into  how the children are thinking and we describe a strategy for using them to analyze students’ games. We describe how the  game mechanics categories were identified, and the results of the game analysis, including variation in the mechanics used  by  students  working  alone  or  with  a  partner.    The  study  involved  sixty  10‐14  year  old  students  in  the  US  who  spent  10  hours learning to use the Alice programming environment, and 10 hours designing and creating their games, alone or with  a  partner.  Forty  games  were  coded  for  five  game  mechanics  that  require  the  programmers  to  think  in  ways  that  are  dynamic, time dependent, or complex. The results suggest that students were most likely to include mechanics that engage  the  player  and  programmer  in  thinking  about  dynamic  systems,  and  least  likely  to  include  reasoning  that  resulted  in  a  conditional change in game state based on time. Working with a partner resulted in a broader range of mechanics, which  suggests  a  deeper  understanding  of  how  to  formulate  problems,  design  systems  to  represent  them,  and  consider  the  interaction of the player with that system.  The findings contribute to efforts to assess what novice programmers learn by  creating games, and suggest that the analysis of game mechanics is a useful strategy for assessing the range of complex  problem  solving  during  game  design  and  programming.  The  findings  can  also  contribute  to  efforts  to  create  developmentally appropriate instructional approaches that engage students in complex problem solving.    Keywords: creating games, children, assessment, complex problem solving, game mechanics 

1. Introduction The field of games and learning has exploded in the last decade, but most of this work focuses on game play,  rather  than  on  the  creation  of  games.  A  growing  number  of  freely  available  and  novice‐friendly  game  authoring  tools  has  led  to  increased  interest  in  the  educational  benefits  of  computer  game  programming  (CGP).  Despite  this  interest,  little  is  known  about  what  novices  learn  from  CGP,  due  in  part  to  assessment‐ related  challenges.  In  this  article,  we  describe  a  strategy  for  assessing  whether  CGP  can  engage  students  in  computational thinking, which involves formulating as well as solving complex problems.    st The ability to solve complex problems (CPS) is a characteristic found in most lists of essential 21  century skills  (Computer Science Teachers Association 2011). CPS involves tasks that are dynamic (each action changes the  environment),  time  dependent,  and  complex  (require  a  collection  of  decisions  that  determine  later  ones)  (Quesada, Kintsch, & Gomez 2005). Efforts to study these features have focused on how students attempt to  solve problems, but we argue that the design of a complex problem is particularly relevant to computer‐based  CPS. Designing and programming a game is what Jonassen (2000) has described as a ‘design problem;’ it is ill‐ structured, which means the student defines the goal, the solution path, and how to evaluate the solution. The  task of programming a game offers the opportunity for students to engage in CPS tasks, but it also allows them  to create complex problems (for the game player).     We  examine  CPS  in  the  context  of  middle  school  students  making  computer  games.  The  “problem”  is  the  situation  that the game creator  has formulated  for  the  player  to  deal  with.  For  example,  games  can include  situations that are dynamic, where the task environment is a system that is influenced by and influences the  player’s actions. In addition, games can include features that are time dependent; for example, the challenge  of a game is increased by a time limit in which the tasks must be completed. Finally, games can be complex in  that  a  decision  or  series  of  decisions  during  game  play  determine  the  available  game  play  decisions  and  outcomes. 

123


Jill Denner et al. 

1.1 Computational thinking  To  assess  how  students  design  complex,  computer‐based  problems,  we  draw  on  recent  research  on  computational  thinking  (CT).  Wing  (2006)  stated  that  “CT  involves  solving  problems,  designing  systems,  and  understanding human behavior, by drawing on the concepts fundamental to computer science” (p. 33). But CT  is not only about solving problems, it is about designing or formulating problems (Barr and Stephenson 2011)  including creating models and simulations, and programming computer games (Lee et al. 2011). In this article,  we extend this work to look at aspects of CT that involve formulating complex problems, designing systems,  and understanding human behavior.      The aspect of CT that involves engaging students in the formulation of complex problems is situated within the  theoretical perspective of constructionism. In this view, learning is the process of knowledge construction in  the context of social and cultural participation (Kafai 2006). Learning about complexity requires students to be  actively engaged in design and modeling activities (Hmelo, Holton, & Kolodner 2000); when making a game,  students define the narrative, goals, rules and choices to be negotiated by the player. The programmer must  not only know how to add code, they must also consider the design features‐‐how the player will interact with  the game (Peppler & Kafai 2007), the outcomes of player action, what feedback will result, and the goal of the  game (e.g., how the player will win or lose). This process of creating interactivity requires problem posing and  testing (rather than just problem solving), a process that is linked to increased flexibility in thinking, problem  solving skills, and conceptual understanding (Smith & Cypher 1999; Silver 1994).     The second aspect of CT in game programming involves designing and thinking in terms of systems, which is a  key aspect of complex problem solving (Fisher, Greiff, & Funke 2012). Systems thinking requires knowledge of  how individual parts work, as well as an understanding of how they interact to form a whole system (Shute,  Masduki, & Donmez 2010; INCOSE 2006). Students must first imagine the system, then put the pieces together  in a way that embodies the rules or laws (a logic) for how the system will run, including opportunities for the  player to interact since the user is an integral piece of the system they are building.     The third aspect of CT involves understanding human behavior. In the field of Game Studies, the term “game  mechanics” is used to describe how the player interacts with the game rules, including the sets of rules that  make  games  interactive  and  fun  (or  not)  to  play.  Game  mechanics  are  the  actions,  behaviors,  and  control  mechanisms  that  are  available  to  the  player  (Hunicke,  LeBlanc,  &  Zubeck  2004);  engaging  with  game  mechanics  moves  the  game  play  along  (Sicart  2008).  The  game  designer  must  engage  in  complex  problem  solving to create rules, interactions between the rules, and the mechanisms through which the player interacts  with the game.      In  this  article,  we  focus  on  CT,  an  aspect  of  CPS  that  includes  the  coordination  of  multiple  interconnected  features  by  automating  a  system  that  others  can  play.  We  propose  that  computer  games  made  by  children  provide a window into how they are thinking because making a game requires not only programming, but the  ability to design and coordinate the pieces of a system, and to consider the perspectives of the people who will  play the game. The games provide evidence of the extent to which students were able to formulate a problem  and  build  a  model  of  that  problem  as  a  system  of  interconnected,  complex  pieces  rather  than  as  isolated  elements. 

1.2 Game mechanics as indicators of CPS  Building  on  prior  research,  we  have  identified  several  game  mechanics  that  require  player  thinking  that  is  either dynamic, time dependent, or complex. The five mechanics are: player controlled movement, feedback,  conditional change in game state, multiple outcomes, and an entertaining player experience. The inclusion of  these  mechanics  reflects  the  game  creators’  understanding  of  the  importance  of  the  close  relationship  between the game software or program and the player’s experience with this program. The breadth and depth  of the game creator’s consideration of the player is an indication of his or her level of CPS. We include more  detail about these five indicators below.    The  game  creator  must  consider  the  ways  in  which  the  player’s  actions  create  a  dynamic  system  that  can  evolve  independently  of  the  creator’s  intentions.  For  example,  there  may  be  opportunities  for  player‐ controlled  movement  of  the  camera,  an  object,  or  a  character  that  is  linked  to  advancing  game  play.  In  addition,  the  creator  can  make  a  responsive  system,  which  gives  visual  or  auditory  feedback  in  response  to 

124


Jill Denner et al. 

player action,  which  requires  an  understanding  of  how  the  system  works  (Jacobson  &  Wilensky  2006).  For  feedback  to  work,  the  game  creator  must  make  the  challenge  or  goal  of  the  game  clear,  and  coordinate  a  change in game state that comes in response to the player’s actions.     Game programming creates opportunities for the game creator to reason about time dependence, such as the  order in which the player negotiates tasks. For example, the inclusion of a conditional change in a game state  requires the player to negotiate multiple interrelated decisions (each dependent on the previous one) to play  the game. It may mean that the player must complete a series of tasks (e.g., find the waterfall, fill the tank  with water) before they can move on in the game (e.g., extinguish house fires), or click on all the fish before  time  runs  out.  This  feature  creates  tension  because  the player  must  race  the  clock,  find  a  hidden  object,  or  avoid an enemy in order to reach their goal. Players are motivated to act because they want to release that  tension by achieving a particular goal (Sicart 2008).    Finally, game creators can create complex tasks for the player. Games with only one outcome (e.g., the player  ends up in the same situation regardless of what they do) require less complex problem solving. However, in  games with multiple outcomes, the coordination of these different parts of the system requires identifying and  creating  different,  interconnected  paths.  In  addition,  game  designers  also  make  choices  about  whether  and  how to evoke entertaining or fun player experiences, by creating opportunities for the player to achieve a new  level, including humor, or causing something to happen in the game that challenges the player’s expectations  (Sicart 2008), and by using dialogue or a change of scenes or perspective to move the game play along.      Few  studies  of  complex  problem  solving  consider  the  role  of  social  interaction.  There  are  clear  benefits  of  social interaction for students’ cognitive development (Howe, Tolmie, Greer, & Mackenzie 1995; Rogoff 1991),  performance (Barron 2000; Eseryel et al. 2012; McDowell, Werner, Bullock, & Fernald 2006), and persistence  (Uribe, Klein, & Sullivan 2003).  Partners may encourage each other to summarize and explain what they know,  respond to immediate feedback, take time to work through what they do not understand, and ask questions‐‐ all high level thinking skills that improve performance (Palincsar & Brown 1984). An in‐depth examination of  the social and cultural practices that influence CPS is beyond the scope of this study, so instead we will explore  whether CPS looks different in the games made by students working alone or with a partner.      In  summary,  this  article  describes  a  strategy  for  assessing  the  complex  problem  solving  that  is  required  to  design and program a playable computer game and the results of that assessment, including variation across  games made by students working alone or with a partner. 

2. Methods Students in four technology elective classes at a public middle school in California used Alice 2.2, a drag‐and‐ drop 3D programming environment with pre‐defined objects and operations (Dann, Cooper, & Pausch 2009).   They  spent  ten  hours  learning  to  use  Alice  by  following  step‐by‐step  written  instructions,  and  10  hours  programming games that were supposed to include: a goal, interactivity, and instructions. Participants were  between  10‐14  years  old  (mean=12);  37%  female,  45%  white,  37%  Latino/a,  and  73%  spoke  English  or  primarily English at home. There was a range of parent education: 27% had mothers had a high school degree  or less, and 38% had mothers who completed a university degree. The classes were randomly assigned to a  pair programming or solo programming condition.     The  analysis  focuses  on  40  games  by  60  students  (20  by  pairs,  and  20  by  solos)  using  an  artifact  analysis  approach  that  is  similar  to  that  done  by  others  of  Alice  programs  (Rodger  et  al.  2009),  of  Scratch  programs  (Maloney  et  al.  2008),  and  of  Kodu  programs  (Stolee  &  Fristoe  2011).  Undergraduate  computer  science  students  were  trained  to  score  games  in  three  of  the  five  game  mechanics:  player‐controlled  movement,  conditional  change,  and  an entertaining player  experience.  Each game was  analyzed by  at  least  two  people,  and  discrepancies  were  discussed  and  resolved.  The  two  additional  mechanics  (feedback  and  multiple  outcomes) were scored by the first and third authors. The first author independently coded 20% of the games  and the one discrepancy was resolved by discussion. The coding categories are described in Table 1.          

125


Jill Denner et al. 

Table 1: Game mechanics  Game Mechanic  Player‐controlled movement 

Feedback

Conditional change in game  state  Multiple outcomes  Player experience 

Definition and Examples  Player controls an object that moves the game play along.  Use arrow keys to find  hidden objects  Use letter keys to navigate a vehicle through a set of rings  Game reaction as a result of player action.  Click on the objects and they disappear  When the character gets close to an object, it speaks  Player must negotiate multiple interrelated tasks within game.  Collect objects before the timer runs out  Move an object while avoiding an obstacle  The game progresses toward different endings.  Opportunity to win or lose  Evokes a fun, active experience through humor, changes in scenes and/or  dialogue (not including instructions) that moves the game play along. 

A key  aspect  of  these  mechanics  is  that  they  all  are  designed  to  evoke  player  actions  that  move  game  play  along. For example, games had a conditional change in game state when the creator programmed something  to  happen  as  a  result  of  a  timer  running  out,  or  if  the  proximity  function  within  a  ‘while’  or  ‘while/when  something is true’ loop results in a player losing when they get too close to an enemy. The inclusion of multiple  outcomes is designed to make the game progress toward more than one possible ending. Games were coded  as having a win state even if there was no feedback that they had won, as long as the directions and goal were  clear  (e.g.,  the  player  was  told  that  if  they  move  the  bunny  across  the  forest  and  avoid  the  hawks  they  will  “save the bunny” but no “win” message appears when the bunny disappears from sight).  

3. Results In this section, we will describe what the data reveal about students’ complex problem solving, including which  of  the  five  game  mechanics  was  most  common,  and  which  were  difficult  for  students  to  make  execute  successfully. Then we will describe the CPS scores (a combination of the five mechanics). As Table 2 shows, the  dynamic systems mechanics (feedback and player‐controlled movement) were most common. Games made by  pairs had more mechanics (65 across the 20 games), than games made by solos (56 mechanics across the 20  games).  One  mechanic  was  more  common  in  games  made  by  students  working  alone:  player‐controlled  movement, and the least common mechanic overall was conditional change in game state.  Table 2: Number of games with each mechanic  Game Mechanic  Pairs  Solos  Total  Player‐controlled movement  10  17  27  Feedback  20  15  35  Conditional change in game state  8  7  15  Multiple outcomes  14  10  24  Player experience  13  7  20  Total  65  56  121 

To generate an overall CPS score, games were assigned a 1 for each mechanic that was present and executable  at least once, and a zero if it was either absent or did not work correctly. The number of indicators coded as  “present”  were  summed  to  make  a  CPS  score  that  ranged  from  1‐5;  a  score  of  five  suggests  the  creators  engaged in a broader range of CPS. As shown in Table 3, there was great variation in the number of mechanics  used in each game. Only four games (all made by pairs) had all five of the game mechanics, and two games had  only one (both made by solos). The average for all games was 3.03 mechanics.    Table 3: Number of games with each complex problem solving score  CPS score  Pairs  Solos  Total  1  0  2  2  2  7  8  15  3  4  2  6  4  5  8  13  5  4  0  4  Average  3.3  2.8  3.0 

126


Jill Denner et al. 

Table 4 provides examples of what each of these game mechanics looked like in a selection of games, whose  scores range from 3‐5. The first row contains the game title, and a description of the goal of the game.    Table 4: Examples of mechanics in four games 

Game Mechanic  Player‐ controlled  movement  Feedback 

Conditional change in  game state  Multiple  outcomes 

Player experience 

M808 Super Tank  Battle: find and blow  up cars before timer  runs out.  Move tank through  city.  When the cars are  clicked on, text says  BOOM, fire animation  appears  and printed counter  increments.    Must locate and  destroy all 7 cars  before timer runs out.  If player destroys all 7  cars in time, there is a  “win” message. If not,  there is a “lose”  message.  None 

Defeat the Dragon:  answer questions to  save the forest and  princess    None 

Jet through Rings:  navigate a jet through  the rings 

Fairy Game: escape the  shark by finding the  right fairy 

Move jet through  rings. 

Move the male fairy to  run over dinosaurs. 

Characters talk and  dragon shrinks after a  response entered. 

Pressing key ‘C’ gives  player a cockpit view;  counter increments  when pass through  rings. 

Text indicates if right or  wrong when clicks on  fairies; dinosaurs  disappear when they  get close. 

None

Must move jet  through all the rings. 

“Win,” “lose,” or  “thanks for playing” (if  player chooses the  “not ready” button in  the beginning).  Dialogue between  characters. 

If jet goes through all  the rings, the player  passes. If not, they  are asked to repeat  the game.  None 

Must guess the correct  character in time, or  restart.  If player clicks on the  right fairy, they go to  the next scene, if it is  the wrong fairy, there is  a “try again” message.  Scenes change,  dialogue including  hints. 

To illustrate these game mechanics, we describe Fire Truck Frenzy, one of the four games that included every  type  of  mechanic.  The  goal  is  to  extinguish  house  fires  within  a  given  amount  of  time;  the  player  uses  the  arrow keys to move the fire engine to a waterfall, load it up with water, and then steer it to each house. The  player  experience  is  enhanced  by  text  displayed  when  the  engine  is  close  enough  to  the  waterfall  (i.e.,  the  engine says “I’m full!”) and when it is close to a house (i.e., “I’m empty again”) which prompts the player to  return to the waterfall for more water. This game includes conditional logic that requires the player to take  certain actions in a particular order, within a certain amount of time that eventually leads to a win or lose (i.e.,  a  change  in  game  state).  If  the  player  extinguishes  all  the  house  fires  in  the  set  amount  of  time,  a  congratulatory message appears. If the player does not extinguish all the fires before the timer runs out, all the  houses  disappear,  meaning  they  burned  up  (i.e.,  the  player  loses  by  not  successfully  completing  the  game  goal). 

4. Discussion This article contributes to efforts to describe and assess what children learn by programming computer games.  We show the viability of using game mechanics to measure complex problem solving. The findings suggest that  students most frequently used mechanics with pieces involving feedback so that a player’s actions result in a  dynamically  changing  environment,  and  required  player‐controlled  movement  to  move  the  game  forward.  Creating these mechanics requires students to engage in aspects of computational thinking that include using  abstraction and algorithmic thinking, while coordinating a system of interconnected features that engage and  respond to human behavior (Lu & Fletcher 2009).     This  assessment  approach  can  also  identify  the  reasoning  processes  that  were  difficult  for  the  game  programmers. Like others have found, the students were less likely to effectively integrate dynamic, non‐linear  effects of agents in a complex system (Jacobson & Wilensky 2006) such as mechanics involving a conditional  change  in  game  state  with  multiple,  interconnected  pieces,  and  those  in  which  the  order  or  the  amount  of  time  taken  for  a  player’s  tasks  are  important.  While  making  any  game  can  engage  students  in  abstract  reasoning,  the  findings  suggest  that  a  limited  number  are  creating  and  making  use  of  different  and  interconnected levels of abstraction, another key feature of CT (Lu & Fletcher 2009). 

127


Jill Denner et al. 

In this article, we proposed an overall CPS score, but there are limitations to looking at the data in this way. To  illustrate,  we  provide  two  interpretations  for  why  only  60%  of  the  games  had  a  win/lose  state,  which  is  described  as  a  typical  feature  of  a  game  (Juul  2003).  One  interpretation  is  that  it  is  difficult  for  12  year  old  students to create a problem where attempts to resolve it move the player to one of multiple, interdependent  outcomes. Another interpretation is that not having multiple outcomes (e.g., no way to win) was not a lack of  CPS,  but  rather  a  choice.  For  example,  in  a  study  of  the  Storytelling  version  of  Alice,  Kelleher,  Pausch,  and  Kiesler (2007) found that some students prefer to make a game that tells a story instead of one that involves  competition and winning or losing.     The findings show the importance of considering social context when assessing what students learn from CGP.  Working with a partner resulted in a broader range of mechanics, which suggests a deeper understanding of  how  to  formulate  problems,  design  systems  to  represent  them,  while  also  considering  the  potential  human  behaviors of the players.  This is consistent with a large body of research that shows how social interaction on  open ended tasks promotes new ways of thinking and problem solving (Rogoff 1991). The most common game  mechanic  for  students  working  alone  (player‐controlled  movement)  involves  event  programming,  which  in  Alice  requires  the  least  amount  of  coordination  across  the  pieces  of  the  programming  environment.  This  is  because  Alice  scaffolds  the  creation  of  the  event  handler  (with  automatic  creation  of  underlying  code)  and  facilitates understanding of this mechanism by showing the code in a separate window.      Limitations  of  this  study  include  the  constraints  of  the  Alice  programming  interface.  Eseryel,  Guo,  and  Law  (2012) state that complex problem solving requires students to have an accurate “mental model they build to  depict  the  cause‐and‐effect  relationships  among  the  factors  affecting  the  complex  problem  situation….they  need a good interface to lead them to identify the problem, collect necessary and all the resources that they  need”  (p.  263).  In  this  study,  we  only  analyzed  games  made  with  the  Alice  2.2  programming  environment  because they were made in our second year of program implementation, after our instructional materials had  improved  and  the  teachers  were  more  experienced.  However,  we  expect  that  the  games  made  using  Storytelling  Alice  will  be  more  likely  to  include  a  fun  player  experience  because  it  is  much  easier  to  change  scenes  than  in  Alice  2.2,  and  there  are  more  objects  with  built‐in  methods  that  can  be  used  for  humorous  situations, such as robots, clowns, and a school lunch lady. In addition, we chose to exclude games that had  limited interactivity or too many bugs to be playable. Therefore, our results are not intended to indicate what  middle school students are capable of; instead, they are intended to illustrate a strategy for assessing CPS.    The  findings  have  implications  for  assessment  and  instruction.  The  game  mechanics  categories  may  prove  useful  when  analyzing  games  created  in  other  programming  languages  to  understand  what  students  learn.  While the underlying programming language constructs from which the mechanics are built are dependent on  the  language  or  environment  (Denner,  Werner,  &  Ortiz  2012;  Werner,  Campe,  Denner  2012),  some  of  the  mechanics  may  be  generalizable  to  other  applications.  A  second  potential  contribution  of  the  analytic  approach described in this paper is for instruction. Educators want developmentally appropriate instructional  approaches  that  engage  students  in  complex  problem  solving;  structuring  game  design  around  these  categories could address this need. 

Acknowledgements This research is funded by a grant from the US National Science Foundation 0909733.  

References Barr, V. and Stephenson, C. (2011) “Bringing Computational Thinking to K‐12: What is Involved and What is the Role of the  Computer Science Education Community?”, ACM Inroads, Vol 2, No. 1, pp 48‐54.  Barron, B. (2000) “Problem solving in video‐based microworlds: Collaborative and individual outcomes of high achieving  sixth grade students.”, Journal of Educational Psychology, Vol 92, pp 391‐398.  Computer Science Teachers Association (2011) “National Standards for K–12 Computer Science”, [online],  http://csta.acm.org/Curriculum/sub/K12Standards.html   Denner, J. Werner, L. and Ortiz, E. (2012) “Computer Games Created by Middle school Girls: Can They be Used to Measure  Understanding of Computer Science Concepts?”, Computers and Education, Vol 58, No. 1, pp 240‐249.  Eseryel, D., Guo, Y. and Law, V. (2012) Interactivity Design and Assessment Framework for Educational Games to Promote  Motivation and Complex Problem‐solving Skills. In D. Ifenthaler, D. Eseryel, and X. Ge (Eds.), Assessment in Game‐ based Learning: Foundations, Innovations, and Perspectives, pp 257‐286. Springer, New York.  Hmelo, C.E., Holton, D.L. and Kolodner, J.L. (2000) “Designing to Learn about Complex Systems”, The Journal of the  Learning Sciences, Vol 9, pp 247‐298. 

128


Jill Denner et al. 

Howe, C., Tolmie, A., Greer, K. and Mackenzie, M. (1995) “Peer Collaboration and Conceptual   Growth in Physics:  Task Influences on Children’s Understanding of Heating and Cooling”, Cognition and Instruction, Vol 13, pp 483‐503.  Hunicke, R., LeBlanc, M., and Zubek, R. (2004) “MDA: A Formal Approach to Game Design and Game Research”,  Proceedings of the Challenges in Game AI Workshop, Nineteenth National Conference on Artificial Intelligence.  INCOSE (2006) “A Consensus of the INCOSE Fellows”, [online], International Council on Systems Engineering,  www.incose.org/practice/fellowconsensus.aspx.   Jacobson, M.J. and Wilensky, U. (2006) “Complex Systems in Education: Scientific and Educational Importance and  Implications for the Learning Sciences”, The Journal of the Learning Sciences, Vol 15, pp 11‐34.  Jonassen, D.H. (2000) “Toward a Design Theory of Problem Solving”, Educational Technology Research & Development, Vol  48, pp 63‐85.  Juul, J. (2003) “The Game, the Player, the World: Looking for a Heart of Gameness”, Paper read at Level Up: Digital Games  Research Conference Proceedings, Marinka Copier & Joost Raessens (Eds.), 30‐‐45 Utrecht: Utrecht University.  Kafai, Y.B. (2006) “Constructionism”, In R.K. Sawyer (Ed.), The Cambridge Handbook of the Learning Sciences, pp 35‐46.  Cambridge University Press, New York.  Kelleher, C., Pausch, R. and Kiesler, S. (2007) “Storytelling Alice Motivates Middle School Girls to Learn Computer  Programming”, Paper read at the SIGCHI conference on Human factors in computing systems. ACM, New York, NY,  USA, 1455‐1464.  Lee, I., Martin, F., Denner, J., Coulter, B., Allan, W., Erickson, J., Malyn‐Smith, J., & Werner, L. (2011) “Computational  Thinking for Youth in Practice”,  ACM Inroads, Vol 2, No. 1, pp 32‐37.  Lu, J.J. and Fletcher, G.H.L. (2009) Thinking about Computational Thinking. Paper read at SIGCSE, Chattanooga, TN.    Maloney, J., Peppler, K., Kafai, Y., Resnick, M. and Rusk, N. (2008) “Programming by Choice: Urban Youth Learning  Programming with Scratch”, Paper read at SIGCSE, Portland, Oregon, March.    McDowell, C., Werner, L., Bullock, H. and Fernald, J. (2006) “Pair Programming Improves Student Retention, Confidence,  and Program Quality”, Communications of the ACM, Vol 49, No. 8, pp 90‐95.  Palincsar, A.S. and Brown, A.L. (1984) “Reciprocal Teaching of Comprehension‐fostering and Monitoring Activities”,  Cognition and Instruction, Vol 1, pp 117‐175.  Peppler, K. and Kafai, Y. B. (2007) “What Videogame Making can Teach us about Literacy and Learning: Alternative  Pathways into Participatory Culture”, In Akira Baba (Ed.), Situated Play: Proceedings of the Third International  Conference of the Digital Games Research Association (DiGRA) pp 369‐376. Tokyo, Japan: The University of Tokyo.  Quesada, J., Kintsch, W. and Gomez, E. (2005) “Complex Problem‐solving: A Field in Search of a Definition?”, Theoretical  Issues in Ergonomics Science, Vol 6, pp 5‐33.   Rodger, S., Hayes, J., Lezin, G., Qin, H., Nelson, D., Tucker, R., Lopez, M., Cooper, S., Dann,W. and Slater, D. (2009)  “Engaging Middle School Teachers and Students with Alice in a Diverse Set of Subjects”. In Proceedings of the 40th  ACM technical symposium on Computer science education. ACM, New York, NY, USA, pp 271‐275.   Rogoff, B. (1991) “Social Interaction as Apprenticeship in Thinking: Guided Participation in   Spatial Planning”, In L.B. Resnick, J.M. Levine, and S.D. Teasley (Eds.), Perspectives on socially shared cognition, pp 349‐364.  American Psychological Association, Washington DC.  Shute, V. J., Masduki, I. and Donmez, O. (2010) “Conceptual Framework for Modeling, Assessing, and Supporting  Competencies within Game Environments”, Technology, Instruction, Cognition, and Learning, Vol 8, No. 2, pp 137‐ 161.  Sicart, M. (2008) “Defining Game Mechanics”, The International Journal of Computer Game Research, Vol 8.  Silver, E.A. (1994) “On Mathematical Problem Posing”, For the Learning of Mathematics, Vol 14, No. 1, pp 19‐28.  Smith, D.C. and Cypher, A. (1999) “Making Programming Easier for Children”, In A. Druin, The design of children's  technology, pp 201‐222. Morgan Kaufman, San Francisco.  Stolee, K. and Fristoe, T. (2011) “Expressing Computer Science Concepts through Kodu Game Lab”, In Proceedings of the  42nd ACM technical symposium on Computer science education. ACM, New York, NY, USA, pp 99‐104.  Uribe, D., Klein, J.D. and Sullivan, H. (2003) “The Effect of Computer‐mediated Collaborative Learning on Solving Ill‐defined  Problems”, Educational Technology Research & Development, Vol 51, pp 5‐19.  Werner, L., Campe, S. and Denner, J. (2012) “Children Learning Computer Science Concepts via Alice Game‐programming”,  Paper read at SIGCSE, Raleigh, N. Carolina, USA.  Wing, J.M. (2006) “Computational Thinking”, Communications of the ACM, Vol 49, pp 33‐35. 

129


Combining Game Based Learning With Content and Language  Integrated Learning Approaches: A Case Study Utilizing QR Codes  and Google Earth in a Geography‐Based Game  Kyriaki Dourda, Tharrenos Bratitsis, Eleni Griva and Penelope Papadopoulou  Early Childhood Education Department, University of Western Macedonia, Florina, Greece  kdourda@gmail.com  bratitsis@uowm.gr  egriva@uowm.gr   ppapadopoulou@uowm.gr    Abstract: In this paper the GBL educational approach is combined with that of Content and Language Integrated Learning  (CLIL) within the context of an educational geography computer game, utilizing QR Codes and Google Earth for teaching  English  Language  to  Greek  Primary  School  students.  This  integration  provides  a  motivational  and  cognitive  basis  for  language  learning,  since  it  represents  a  meaningful,  contextualized  activity  and  on  the  other  hand,  gives  students  the  chance  to  expand  their  cognitive  skills  and  use  more  sophisticated  language.  The  proposed  game  was  utilized  in  the  context of a pilot case study which immersed 11 to 12‐year‐old students in problem solving challenges regarding the use of  geography in realistic contexts. Its purpose is not only to develop content knowledge but also to observe and enhance the  learning  strategies  that  students  use  while  learning  a  foreign  language.  In  attempting  to  solve  these  problems,  students  were engaged in eight‐week collaborative work, involving six levels of gameplay by following hints, provided by QR codes  images.  The  findings  of  this  case  study  suggest  how  foreign  language  learning  can  successfully  take  place  within  a  geography  game‐based  learning  environment,  and  they  underscore  the  efficacy  of  approaching  GBL  in  terms  of  performance.  Students’  performance  was  evaluated  through  knowledge  tests  and  various  complex  tasks  throughout  the  game play, involving writing, reading and oral skills. In general, students showed positive attitudes towards the game and  the post‐test results have significant differences compared to those of the pre‐test, in terms of vocabulary acquisition in  the  foreign  language  and  geography  knowledge.  The  results  also  showed  that  the  collaboration  required  by  this  game,  allowed the students to interact in a controlled environment, where they undertook roles and responsibilities. To this end,  the  findings  will  make  an  important  contribution  to  the  empirical  evidence  of  GBL  particularly  with  regards  to  its  application in primary education.    Keywords: QR codes, Google Earth, CLIL, language learning, GBL 

1. Introduction   The  present  case  study  is  a  follow  up  of  a  previous  research  proposal,  in  which  an  idea  of  combining  the  educational approaches of GBL and CLIL as a basis for foreign language learning was described (Dourda et al.,  2012). GBL, which supports and facilitates the learning process in a more comfortable environment, and CLIL,  which  is  believed  to  help  students  improve  specific  language  terminology  by  centering  on  meaning,  were  effectively implemented in the context of the present case study (Anderson et al, 2008; Dalton‐Puffer & Smit,  2007).  In  this  paper,  the  first  results  of  the  study  are  presented,  focusing  especially  on  language  learning  aspects, such as vocabulary and reading skills as well as the learning strategies, followed by the students. In  addition, content knowledge and collaboration also move into focus.    The  main  focus  of  the  study  was  English  Language  Teaching,  through  an  interdisciplinary  approach  which  involves gaming, geography, problem solving and critical thinking. A detective game was designed and utilized  as means of introducing geography related content in order to provide hints for the detection of a criminal.  The case study was conducted with the participation of 17 students from a public primary school, in Greece.  Thus, 11 to 12‐year‐old students were introduced to geographical information, as well as to post task activities,  in a foreign language, while attempting to solve a mystery, by combining data within a game context. The aim  of the study was to explore the teaching potential deriving from the combination of GBL and CLIL approaches  in order to produce an authentic, meaningful and enjoyable learning context.     The  paper  is  structured  as  follows;  initially  the  theoretical  background  is  presented,  discussing  the  GBL  and  CLIL teaching approaches within the Foreign Language teaching context. Then, the research methodology and  results are presented, before the concluding discussion. 

130


Kyriaki Dourda et al. 

2. Theoretical background  2.1 GBL in foreign language (FL) learning context  As  researchers  have  continuously  urged  foreign  language  educators  to  seek  alternatives  to  traditional  instruction,  during  the  last  decade  the  GBL  educational  approach  keeps  increasing  in  the  foreign  language  learning  context,  utilizing  the  ability  of  games  to  make  language  education  entertaining  and  to  provide  learning environments that contextualize knowledge and immersive experiences for learners (Anderson et al,  2008; Meyer, 2009).    GBL in particular embodies the philosophy of “learning through a grammar of doing and being” and provides  students  with  opportunities  for  authentic  learning  (Squire,  2006).  Through  various  kinds  of  software,  GBL  assists students in language learning, while developing their problem solving and critical thinking skills through  engagement  and  iterative  feedback  that  are  crucial  to  the  learning  process  (Donmus,  2010).  Moreover,  GBL  approach  to  foreign  language  learning  provides  more  effective  learning  compared  to  traditional  methods,  develops positive attitudes in students and increases the retention process (Donmus, 2010).     GBL  also  provides  the  opportunity  for  Content‐based  Learning  (CBL),  as  “games  are  not  necessarily  about  memorizing or providing correct answers”, but rather about the comprehension of the content provided in the  game and the application of various learning strategies (Sørensen & Meyer, 2007).  

2.2 Content and language integrated learning (CLIL) in FL context  According  to  Eurydice  (2006)  the  acronym  CLIL  is  used  to  describe  that  school  situation  whereby  “a  foreign  language  is  the  vehicle  to  teach  certain  subjects  in  the  curriculum  other  than  the  language  lessons  themselves”. The CLIL approach serves as a tool for the promotion of the foreign language teaching and has  been praised on many different grounds. First of all, the primacy of meaning over form is considered to have  positive  effects  on  the  affective  dimension,  reducing  target  language  anxiety  and  increasing  interest  and  motivation in the learners (Dalton‐Puffer & Smit, 2007). Secondly, it is thought that CLIL is effective, because  by being able to comprehend and reason about a content in a foreign language, students have the chance to  improve  themselves  in  specific  language  terminology  and  generally  to  expand  their  cognitive  skills  (Lasagabaster,  2008).  Furthermore,  learning  a  foreign  language  through  content  provides  an  opportunity  to  teach academic tasks and higher order thinking skills which is not only beneficial for foreign language students,  but also necessary for their overall success in school (Troncale, 2002).    What  is  at  issue  in  this  paper  is  clearly  the  role  of  reading  and  lexicon  in  language  teaching,  which  seem  to  benefit more from the CLIL approach. Tsai & Shang (2010) have shown that utilizing CLIL instruction enhances  students’ reading comprehension as well as critical thinking ability. The greatest gain in terms of the language  system, however, is undoubtedly produced in the lexicon, as through studying content subjects in the foreign  language CLIL learners obtain larger vocabularies of subject‐specific terms (Dalton‐Puffer, 2002).  

2.3 Foreign language learning strategies  Gallo‐Crail & Zerwekh (2002), define learning strategies as “the special thoughts or behaviors that individuals  use  to  help  comprehend,  learn,  or  retain  new  information”.  For  them,  learning  strategies  are  important  to  language learning because they enhance students’ own learning, and students use them for active, conscious,  and purposeful self‐regulation of learning     According  to  Oxford  (2003)  learning  strategies  can  be  classified  into  six  groups:  cognitive,  metacognitive,  memory‐related,  compensatory,  affective,  and  social.  The  main  focus  of  the  present  case  study  is  on  the  cognitive strategies (which relate to how students think about their learning and enable them to manipulate  the language material in direct ways), the memory‐related strategies (which relate to how students remember  language),  the  social  strategies  (which  involve  learning  by  interaction  with  others)  and  compensatory  strategies (which enable students to make up for limited knowledge).    Moreover,  both  reading  and  vocabulary  are  considered  to  be  fundamental  to  foreign  language  competence  and often constitute the greatest difficulty for learners. This study aims at examining their use of reading and  vocabulary learning strategies (and whether an optimum way to deploy learning strategy training exists). With 

131


Kyriaki Dourda et al.  a  special  focus  on  a  hypertext  approach  to  foreign  language  reading,  content  knowledge  can  be  acquired  gradually  and  incrementally  through  repeated  exposures  to  the  various  tasks  in  the  game  context.  This  can  lead  to  richer  content‐specific  vocabulary  use  (efficiency  that  can  be  achieved  by  simultaneous  twofold  learning‐reading and vocabulary), and the more learner‐based nature of the foreign language acquisition. For  instance, by exposing learners to an amount of unknown geography‐related vocabulary, the aim is to attempt  to enhance the strategy of inferring word meaning from context, which seems to be ineffectively used by the  learners.  Besides,  Coady  (1993)  emphasizes  the  importance  of  vocabulary  building  as  an  integral  part  of  reading, viewing it as a strategic skill, necessary to be included in reading instruction (Kusumarasdyati, 2006). 

3. Case study  The  purpose  of  the  current  case  study  was  to  improve  sixth‐grade  primary  school  students’  geographical  knowledge and English vocabulary through a combination of GBL and CLIL settings. Moreover, an attempt was  made to enhance and identify the learning strategies that students use while learning a foreign language, since  their effective use is believed to be “one of the most important skills that students need to master in order to  achieve success in language learning” (Gallo‐Crail & Zerwekh, 2002).     Taking into account the aforementioned theoretical grounds, a game combining the benefits of GBL and the  CLIL  methodology  was  designed,  in  order  to  create  a  learning  environment  for  acquiring  geography‐related  content, using  the  English  language  as  a  medium.  The  totality  of  the game‐play  involved  interacting  directly  with  language,  mostly  through  reading  and  writing.  The  expected  outcome  of  this  case  study  was  for  the  students  to  develop  the  ability  to  identify  information  in  order  to  solve  a  problem,  identify  resources  to  be  used for gathering information (provided by the QR Codes), make decisions, analyze and present solutions in a  written  form.  Students  were  also  encouraged  to  engage  positively  in  the  learning  process  by  directing  their  own  learning,  by  being  active,  reflective  and  critical  learners,  by  extending  learning  beyond  the  presented  situation into new areas whereby some transfer of skills, abilities, knowledge and strategies may take place. 

3.1 Game description  This section of the paper focuses entirely on a more thorough description of the game itself, as the didactical  concepts, the design principles and the game’s technological platform have already been analyzed (Dourda et  al., 2012)      “Whodunit” (for "Who done [did] it?") is a plot‐driven, web‐based detective game, suitable for 11‐12 years old  students.  The  game  is  structured  around  six  stations/levels  (landmarks  around  the  globe)  in  the  form  of  missions, which comprise hypermedia learning material and relevant questions of progressive difficulty levels.  In  each  mission,  the  students  have  to  solve  a  number  of  problems,  presented  to  them  as  open‐ended  questions. The learning material encompasses websites with texts and images, relevant to both geography and  a  detective  story.  To  successfully  complete  the  game,  students  have  to  accomplish  all  six  missions  and  to  collect all clues that the suspect leaves behind. They are initially placed in their hometown (realistic context),  where they undertake the role of a detective, following the traces of a notorious criminal, Mr. X. Within each  level, the detective should correctly answer all the questions ‐ sent to the Chief’s e‐mail or written on paper ‐  posed to them, gaining the corresponding points in order to obtain a special key, granting them the right to  proceed  to  the  next  level.  The  final  goal  is  gather  all  the  clues  and  the  necessary  information  about  Mr.X’s  identity,  thus  arresting  him  by  travelling  at  the  location  he  is  hiding  in.  The  character  design  and  narrative  environments  of  the  game  were  constructed  in  such  a  way  as  to  foster  students’  intrinsic  motivation  and  sustain their persistent participation in the game playing process.     The  game  is  entirely  web‐based  and  consists  of  three  different  sites  –  the  Diary,  the  Chief’s  office  and  the  Internet. The Diary is the place where the detective writes information about Mr. X’s moves, gathers important  evidence about his identity and describes the geographical location and the natives that inhabit this location  (Figure 1).     The Chief’s office is the place where the detective informs the Chief via letters, e‐mails, telegrams, post cards  etc.  about  Mr.  X’s  whereabouts,  provides  the  evidence  gathered  and  the  clue  for  the  next  location  to  be  investigated (Figure 2).    

132


Kyriaki Dourda et al. 

Figure 1: Screenshot: Detective’s Diary – Investigation in the Amazon Rainforest 

Figure 2: Screenshot: Chief’s Office – Letter to the Chief  The Internet refers to the site where the detective searches for information about the geographical location  he/she is going to travel next (Figure 3). Each time the students investigate a specific location, they take the  opportunity to refine their search by gathering information about the geographical position, the climate, the  local people as well as the flora and fauna of each location.    The main goal of the game is to follow the track of Mr. X around the world, provided by clues hidden in QR  Codes. This allows the students to “travel”, visiting famous geographical sites/locations and world attractions:  the Sahara Desert, the Amazon Rainforest, the Grand Canyon, the Great Barrier Reef, the Himalayas and the  Caspian Sea (Figure 4).    

133


Kyriaki Dourda et al. 

Figure 3: Screenshot: Internet – information about the Sahara Desert 

Figure 4: Screenshot: Himalayas Mountain Range ‐ QR code hint pinned on Google Earth  The  location  clue  discloses  the  whereabouts  of  Mr.  X,  implying  his  next  trace  around  the  world.  When  the  information is clear to the students, they can search the location on Google Earth and find the pinned QR Code  that leads them to the appropriate website with further information. However, if the information is indirect  and the students are unable to recognize their next destination, the QR‐Code hints help them find the precise  location.     In the various locations, students need to conduct some detective work in order to unveil the trace of Mr. X.  Through investigating each location and with the help of the natives, important information is collected and  listed  in  the clue  log  (Diary).  The narrative  frame  of  the game  invites  engages  the  students  in  a  challenging,  English speaking world. In this sense, English is learned through a way that is not unfamiliar to the students,  but allows them to participate on a confident basis in the game. As described in section 2.2, by conducting all  the  prescribed  activity  in  the  foreign  language,  students  are  able  to  obtain  larger  vocabularies  of  subject‐ specific  terms  display  “greater  fluency,  quantity  and  creativity  and  show  the  kind  of  higher  risk‐taking  inclination often associated with good language learners” (Dalton‐Puffer, 2002). The game provides a familiar  and motivating context for the learning activity. 

134


Kyriaki Dourda et al.  Moreover,  students  can  visit  their  journals,  created  for  the  game,  to  check  and  review  the  cases  and  the  various evidences. By writing in a journal students will be able to assess their own activities, to see how they  are doing and to evaluate their decisions and actions (metacognitive awareness) (Figure 5). Students/players  level  up  by  solving  the  mystery  cases,  investigating  more  clues,  and  hunting  for  Mr.  X  around  the  world.  Additional rewards will be offered after accomplishing various tasks.  

Figure 5: Screenshot: An example of a team’s journal 

3.2 Research methodology  The presented case study immersed seventeen students (11 to 12‐year‐old) attending a Greek Public Primary  School  in  problem  solving  challenges.  Students,  who  were  chosen  randomly,  were  engaged  in  eight‐week  collaborative work, involving six levels of gameplay.     First a survey of both students’ digital habits and learning preferences was conducted to establish a contextual  baseline on which to place the study. The survey indicated that all the students were computer proficient and  frequent users of computer games. Moreover, for the purposes of the study a knowledge test ‐ consisted of 30  multiple‐choice  questions  to  measure  students’  performance  in  geography  and  English  vocabulary  ‐  was  conducted by the researcher according to the requirements of the educational game. The knowledge test was  completed  twice,  once  before  the  implementation  of  the  game  and  once  after  it  had  been  completed.  The  researcher used the same pre‐ and post‐tests to ensure the reliability of the test in terms of format, content  and  cognitive  levels.  After  the  implementation  of  the  game,  a  satisfaction/feedback  questionnaire  was  also  distributed to the participants.    After  the  pre‐test,  the  researcher  introduced  the  game  to  the  students  and  asked  them  to  form  groups  of  three (one team only consisted of two members). Each team member undertook a role, such as the manager,  the  computer user,  and  the  journal  keeper.  The  students were  informed  that  the  game  process  involved  45  minutes  of  instruction  and  one  hour  of  playing.  Instruction  consisted  of  multimedia  presentations  (Prezi),  in  order for them to be introduced to each game level’s content and familiarized with the relevant geographical  knowledge  and  unknown  English  vocabulary,  necessary  for  them  to  proceed  with  the  game.  The  instructive  session was implemented in a game‐like format that seemed to motivate the students. After each instruction,  students accessed the game online in the school computer laboratory.     By completing each game level, the students were asked to respond to various complex tasks whose purpose  was  to  assess  and  evaluate  their  content  and  language  knowledge.  Students’  evaluation  began  after  each  game  session,  including  a  variety  of  complex  tasks  that  emerged  students  to  write  (on  paper  or  online)  e‐ mails/letters and conduct reports, describing their experience from each mission around the world, either by  the  detective’s  or  the  indigenous  inhabitant’s  perspective.  Other  tasks  also  required  from  the  students  to  record  a  video  of  themselves  talking  in  English  about  their  progress  in  the  game,  and  even  communicate 

135


Kyriaki Dourda et al.  through  a  message  application  on  a  mobile  phone  with  the  Chief  (Figure  6).  In  that  way,  it  was  possible  to  obtain  immediate  data  about  their  performance  in  Geography,  their  improvement  in  English  vocabulary  as  well as reading and writing skills and, moreover, the various language learning strategies they used. 

Figure 6: Screenshot: An example of a post task (evaluation)  

3.3 Research hypothesis  The  research  hypothesis  is  that  the  implementation  of  such  a  teaching  approach  will  have  the  following  beneficial influences on the students’: (a) geography knowledge, (b) English vocabulary and reading skills, (c)  the use of foreign language learning strategies, (d) collaboration, (e) satisfaction with the game. 

4. Results Through the game the playing process became a “serious” activity and the students achieved both the game  and  the  learning  objectives.  The  results  are  based  both  on  acquired  quantitative  and  qualitative  data.  Student’s familiarity with the computer (games), their satisfaction with the game and their language learning  preferences were collected through questionnaires (quantitative data). Summative performance in the game  collected through the pre‐ and post‐tests (quantitative data). Student’s use of learning strategies was obtained  through  observation,  the  researcher’s  and  students’  journal,  video  recording  as  well  as  through  the  various  tasks the students achieved after each gameplay (game logs). 

4.1 Student learning outcome  The  first  research  question  examined  the  difference  of  students’  performance  in  the  pre‐  and  post‐test  in  terms of content knowledge. The post‐test scores revealed a significant improvement for all the students as  their scores were higher (Figure 7). Specifically, the improvement of the students’ scores for the pre‐test to the  post‐test  was  about  30%  (average  value).  No  significant  difference  was  found  among  the  participants,  in  correlation with their familiarity with computers, as they were all computer proficient.     As far as the second research question is concerned, qualitative data obtained through observation, journals,  video‐recording  and  evaluation  tasks,  showed  that  students’  vocabulary  was  improved.  The  researcher  also  noted  the  fact  that  students  completed  the  post‐test  without  asking  for  help  in  order  to  understand  the  meaning of some questions or answers, as opposed to the pre‐test, where they faced difficulties due to the  number of unknown words. Apart from that, students’ reading skills also improved through their continuous  exposure to texts in the game. After the first two levels they started scanning for information, inferring word  meaning from the context and as they progressed in the game they overcame any hindrance in the form of  unfamiliar words. 

4.2 Student language learning strategies  The  study  also  focused  on  identifying  the  learning  strategies  used  during  unintentional  vocabulary  learning.  Moreover an attempt was made to assess the relationship between strategy use and vocabulary performance.  As far as vocabulary learning is concerned, results indicate that certain learning strategies are more effective in 

136


Kyriaki Dourda et al.  acquiring new vocabulary words and that students have preferences in the strategies they use to learn these  words  in  the  foreign  language  (Figure  7).  Data  was  collected  through  questionnaires,  video‐recording  and  researcher’s journal. 

Figure 6: Total correct answers per student in pre‐ and post‐test  

Figure 7: The language learning strategies students used in the study  More specifically, all the students preferred and used the memory strategies throughout the game. Students  tended to retrieve information and understand unknown vocabulary via creating mental linkages, associating  unknown with known words and using their imagination. Cognitive strategies were used by the 65%  of the  students  (11  out  of  17    students),  and  mainly  by  skimming  and  scanning  in  order  to  find  information  in  the  texts, translating them into their mother tongue, using resources (e.g. Google, online dictionaries) and taking  notes in their journal. Social strategies were preferred by the 77% of the students (13 out of 17 students), as  most of them were motivated to cooperate with their peers in order to achieve a common goal in completing  the game successfully. They were also often asking questions for clarification or even correction both to their  peers and the researcher. Compensation strategies, which were mainly noted in the researcher’s journal and  video recordings, were widely used by all the students in order to overcome their limited knowledge in English.  Students preferred to use gestures or facial expressions, to coin words and use a circumlocution or a synonym.  Moreover,  they  were  using  clues  in  order  to  guess  the  meaning  of  what  they  were  reading  and  frequently  asking for help either by their peers or the researcher, as well as often switching to their mother tongue.    However,  data  is  still  under  analysis  and  as  the  results  indicate  that  students  used  more  than  one  learning  strategy  during  the  game  process,  it  would  be  interesting  to  examine  in  which  cases  exactly  and  how  often  each strategy was used. 

4.3 Student collaboration  Allowing  students  to  collaborate  with  peers  is  another  issue,  explored  in  this  study.  As  students  worked  in  groups,  they  were  actively  responsible  for  their  own  learning  processes.  Information  retrieved  from  observation,  the  researcher’s  journal  and  video‐recordings  showed  that  students  engaged  in  collaborative 

137


Kyriaki Dourda et al.  learning.  The  game  process  engenders  teamwork,  communication  and  collaborative  spirits  among  the  students. None of the teams identified a team leader, but instead all members acquired a role, such as that of  the computer operator, the manager and the journal keeper.  

4.4 Student satisfaction   Furthermore, after the interventions, students’ views on the application they had used were elicited through a  feedback/satisfaction questionnaire. All students reported satisfaction and enjoyment from their engagement  with  the  game  and  commented  that  they  were  able  to  learn  through  playing.  Over  60%  of  the  students  commented  that  the  game  improved  their  knowledge  in  English  and  Geography  and  almost  80%  found  the  game  challenging,  interesting  and  exciting.  In  addition,  10  out  of  17  students  reported  collaboration  and  teamwork  as  one  of  the  most  positive  aspects  of  the  game  process.  Moreover,  according  to  researcher’s  journal,  throughout  the  whole  gameplay,  students  were  drawn  to  the  game,  especially  to  its  attractive  illustrations. 

5. Conclusion   This  paper  has  suggested  a  game‐based  concept  for  teaching  a  foreign  language  based  on  a  case  study  implemented  in  a  Greek  primary  school.  The  results  suggest  that  the  use  of  foreign  language  learning  strategies as well as the geography‐related content were facilitated and improved. In addition, reading skills,  lexicon,  motivation  and  collaboration  were  enhanced.  The  reason  that  this  game  was  selected  for  the  described  approach  is  the  fact  that  it  includes  authentic  material  with  a  meaningful  purpose,  no  confusing  graphical  interface  or  complicated  control  schemes.  Instead  it  utilizes  technological  tools  (such  as  Google  Earth, QR Codes and websites) that can be easily manipulated by educators without any specific technological  knowledge. Moreover, it can be applied in all levels of education in order to teach a variety of subjects and  enhance  a  range  of  learning  skills.  Therefore  it  comprises  an  ideal  educational  tool  to  be  implemented  in  a  range  of  different  learning  contexts  and  used  for  a  variety  of  teaching  purposes.  Thus  this  paper  can  also  operate as guide for educators, willing to apply such approaches and techniques in their classes but are not  very technically competent. The core idea is a game approach, based on an idea which is close to the students’  interests, enriched with authentic and meaningful content, within the context of the subject to be taught.    Furthermore,  an  important  issue  that  is  implied  through  this  paper  and  should  be  taken  into  serious  consideration is the urgent need to change teaching methods in order to enhance the skills that future citizens  will  need  in  a  digital  society.  According  to  Prensky  (2005)  teachers  should  learn  to  use  computer  games  as  tools  that  provide  engaging  and  effective  learning  experiences  for  students.  However,  teachers  with  little  experience  in  the  use  of  computer  games  are  reluctant  to  use  them  (Gros,  2007).  For  this  reason,  it  is  important to design guides that can explain the merits of games to teaching staff and enable them to use them  in a way that is oriented far more towards the acquisition of the knowledge required by the school curriculum  (Gros, 2007).     Future work includes the transformation of the aforementioned game into a more interactive one, perfectly  suited  for  additional  speaking  and  listening  activities  and  grammar‐focused  activities  through  the  implementation of post‐playing tasks designed around the content of the game. Moreover, as recently GBL has  also been proposed for adult education, a new form of interactive content is worthy of exploration for learning  purposes. 

References Anderson, T.A.F., Reynolds, B.L., Yeh, X. and Huang, G. (2008) "Video Games in the English as a Foreign Language  Classroom", Second IEEE International Conference on Digital Game and Intelligent Toy Enhanced Learning, pp.188‐ 192.  Dalton‐Puffer, C. (2002) “Content and language integrated learning in Austrian classrooms: applied linguistics takes a  look”, VIEWS, Vol. 11, No. 1, pp 4‐26.  Dalton‐Puffer, C. and Smit, U. (2007) “Introduction”, In C. Dalton‐Puffer and U. Smit (eds.), Empirical Perspectives on CLIL  Classroom Discourse, Franktfurt, Vienna: Peter Lang., pp 7‐23, [online], Available:  http://www.univie.ac.at/Anglistik/Dalton/SEW07/Dalton‐Puffer%20&%20Smit%202007.pdf (accessed on 17/04/12).  Donmus, V. (2010) “The use of social networks in educational computer‐game based foreign language learning”, Journal of  Procedia – Social and Behavioral Sciences, Vol 9, pp 1497‐1503.  Dourda, K., Bratitsis, T., Griva, E. & Papadopoulou, P. (2012). "Combining Game Based Learning with Content and Language  Integrated Learning Approaches: A Research Proposal Utilizing QR Codes and Google Earth in a Geography‐Based 

138


Kyriaki Dourda et al.  Game". Proceedings of the 6th European Conference on Games Based Learning, ed. Dr Patrick F., Waterford Institute  of Technology, Cork, Ireland, p.115.   Eurydice Report (2006) Content and Language Integrated Learning (CLIL) at school in Europe, European Commission,  [online], Available: http://www.eurydice.org/index.html (accessed on 17/04/12).  Gallo‐Crail, R., and Zerwekh, R. (2002) “Language learning and the Internet: Student strategies in vocabulary acquisition”,  In C. A. Spreen (Ed.), New technologies and language learning: Cases in the less commonly taught languages  (Technical Report #25; pp. 55–79), Honolulu, HI: University of Hawai‘i, Second Language Teaching & Curriculum  Center.  Gros, B. (2007) “Digital Games in Education: The Design of Games‐Based Learning Environments”, Journal of Research on  Technology in Education, Vol 40, No. 1, pp 23‐38.  Kusumarasdyati (2006) “Vocabulary Strategies in Reading: Verbal Reports of Good Comprehenders”, Paper presented at  The Australian Association for Research in Education Conference, Adelaide, 2006, [online], Available:  http://pdffinder.net/Vocabulary‐Strategies‐in‐Reading:‐Verbal‐Reports‐of‐Good‐Comprehenders.html (accessed on  17/04/12).  Lasagabaster, D. (2008) “Foreign Language Competence in Content and Language Integrated Courses”, The Open Applied  Linguistics Journal, 2008, Vol 1, pp 31‐42.  Meyer, B. (2009) “Designing serious games for foreign language education in a global perspective”, in A Méndez‐Vilas, J  Mesa González, J Mesa González & A Solano Martín (eds.), Research, Reflections and Innovations in Integrating ICT in  Education, Formatex, Vol. 2, pp. 715‐719.  Oxford, R. L. (2003) “Language learning styles and strategies: An Overview”, Heinle & Heinle  Thompson International, pp 1‐ 25, [online], Available: http://web.ntpu.edu.tw/~language/workshop/read2.pdf (accessed on 17/04/12).  Prensky, M. (2005) “Engage or Enrage me”. What today’s learners demand, [online], Available:  http://net.educause.edu/ir/library/pdf/erm0553.pdf (accessed on 17/04/12).  Sørensen, B.H. and Meyer, B. (2009) “Serious Games in language learning and teaching – a theoretical perspective”,  Proceedings of the 3rd European Conference on Games‐Based Learning, ed. / Maja Pivec, pp. 263‐270.  Squire, K. D. (2006). From content to context: Videogames as designed experience. Educational Researcher, 35(8), 19‐29.  doi: 10.3102/0013189x035008019  Troncale, N. (2002) “Content‐Based Instruction, Cooperative Learning, and CALP Instruction: Addressing the Whole  Education of 7‐12 ESL Students”, [online], Available: http://journals.tc‐ library.org/index.php/tesol/article/viewFile/19/24, (accessed on 17/04/12).  Tsai, Y. and Shang, H. (2010) “The impact of content‐based language instruction on EFL students' reading performance”,  Asian Social Science, Vol. 6, No. 3, pp 77‐85. 

139


The Design and Evaluation of a Multiplayer Serious Game for  Pharmacy Students  Maciej Dudzinski 2, Darrel Greenhill 2, Reem Kayyali 1, Shereen Nabhani 1, Nada Philip 2,  Hope Caton 2, Sonya Ishtiaq 1 and Francis Gatsinzi 1  1 School of Pharmacy and Chemistry, Faculty of Science, Kingston University, London, UK  2 School of Computing and Information Systems, Faculty of Science, Kingston University, UK  k0926455@kingston.ac.uk  Abstract: Educational computer games are increasingly being used in higher education and offer the potential of greater  engagement,  improved  results  and  simpler,  centralised  updating  of  teaching  material.  However  the  evidence  for  the  usefulness of such technologies is not yet conclusive. Consequently there is a need for improved design and evaluation of  educational games. The aim of this study is to identify a successful game design for a multiplayer serious game to be used  in learning. The design is being developed and evaluated through the creation of a game called ‘Pharmacy Challenge’ to  allow  small  groups  of  pharmacy  students  at  Kingston  University  (KU)  to  simultaneously  revise  certain  aspects  of  the  pharmacy  curriculum  in  timed  quiz‐based  challenges.  The  game  is  a  web  application  with  both  single  and  multiplayer  modes that can be run from a web browser on phones, tablet devices and PCs. All activities performed by players including  time of access, time to answer and questions answered can be stored in data logs for future analysis. A pre‐intervention  survey conducted on students’ perceptions on educational gaming informed the design of the game, which indicated that  most students tend to play games on mobile devices. The game was then trialled on a group of around 60 mostly female  students on a module running on years 3 and 4 of the pharmacy course over a week long period which could be played at  any time of the day. Following the trial a post‐intervention survey was used to assess the students’ perception of the game.  Students  found  the  game  interesting,  stimulating  and  helpful  and  they  identified  its  potential  to  motivate  them  and  to  facilitate  their  learning  Positive  responses  indicate  that  games  can  be  a  valuable  addition  to  pharmacy  curriculum.  The  successful introduction of the game into the pharmacy curriculum demonstrates the value of education games in learning  and student engagement.   Keywords: serious games, mobile learning, pharmacy students, educational games, multiplayer game, web game 

1. Introduction Serious games  or  educational  games  are  nowadays  a  trending  topic  in  the  educational  sector.  They  provide  new  ways  for  schools  to  motivate  their  pupils  and  drive  them  towards  better  grades.  (Kapp,  2012;  Cuenca‐ Lopez, et.al. 2010)   The  rise  in  the  web  and  mobile  market  in  the  recent  years  allows  for  creation  of  prototypes  that  would  let  pupils stay connected while studying and share learning experience with their peers. Currently educators have  broader  set  of  tools  when  it  comes  to  creating  educational  games.  (Huang,  et.al.  2013;  International  Communication Union 2012)  This study focused on the use of web games in order to facilitate learning of pharmacy students at Kingston  University  (KU).  It  is  a  part  of  the  one  year  MSc  by  Research  programme  and  involves  a  collaboration  of  students  and  academics  from  both  computing  and  pharmacy  faculties.  The  intention  of  the  authors  was  to  create and evaluate a prototype of a game that would allow students to revise certain aspects of pharmacy  curriculum.  They  could  do  that  on  their  own,  or  choose  to  play  with  their  friends.  The  goal  was  to  make  it  usable on any platform with an access to the browser. The questions used in the game would be based on the  British National Formulary (BNF), which is a drug formulary listing all prescribed medicines available in the UK.  In order to find the answer to the multiple choice questions (MCQ) students would have to search the BNF. In  that way the game would help students search the BNF more quickly and efficiently, as well as prepare them  for future exams and professional practice. Open timed exams using the BNF as a source of reference is one of  the key exams that pharmacy students need to pass within their degree and later to enable their registration  as pharmacists.  The study involved various stages and was designed according to research guidelines. 

140


Maciej Dudzinski et al. 

Conceptual Model  What?

Outcomes Implementation ‐ Stability – bug free game ‐ Scalability to add new questions and expand the game ‐ Compatibility with many devices, platforms, browsers ‐ Sustainability – self running, no need for administration work

Question: “Can educational games improve pharmacy students’ performance and information retention?”

How? Strategy: ‐ Carry out a literature review on the subject of educational games research ‐ Prepare a game design ‐ Develop a game prototype ‐ Test the prototype on a small group of students ‐ Improve the prototype and release it for the evaluation period ‐ Gather both qualitative and quantitative data through pre- , post- questionnaires and knowledge quizzes, semistructured interviews and gameplay data logs ‐ Analyse the results

Service ‐ ‐ ‐ ‐

Functional – provides useful information and explanations Effective – helps to revise Easy to use – clear instructions, intuitive navigation and good user interface Available at any time or in any place

User ‐

‐ ‐ ‐ ‐

Performance Improvement in terms of knowledge gain, faster decision making and more correct answers Higher motivation to study Confidence boost Satisfaction from fun activity i.e. play Satisfaction from social activity

2. Literature review   The  literature  review  identified  40  articles  that  focused  on  such  topics  as  the  concept  of  play  and  games,  gamification,  perceptions  on  games,  gender  differences  in  gaming,  the  concept  of  flow,  learning  theories,  previous related studies, game design and research guidelines.    Early findings suggest that students want to see that their knowledge is relevant and can be applied in practical  situations.  They  point  out  the  importance  of  effective  feedback  as  a  drive  to  successful  learning.  (Cuenca‐ Lopez, Martin‐Caceres. 2010)     There  is  a  growing  interest  in  educational  gaming  research.  The  current  perceptions  on  games  are  mostly  favourable across Europe. There are mixed views coming from the member of academia, but the trends are  slowly changing and games are considered an ‘important part of intellectual development and socialisation of  the individual’. To counter the negative views on gaming, it is important to emphasise the educational value of  e‐learning and establish a connection between the application and its long term effects on students’ academic  performance. (Kapp, 2012; Hwang, Wu, 2012; Huang, et.al. 2013)    There  are  certain  gender  differences  when  it  comes  to  views  on  games  and  genres  preferences.  Males  are  spending  more  times  on  games  than  females  and  they use  media  for entertainment  purposes  mostly,  while  females  mostly  for  communication  and  schoolwork.  (Liu,  2011;  Huang,  et.al.  2013)  Moreover,  males  prefer  action, adventure, racing and role playing games, while females prefer social, logic, quiz, and simulation and  arcade games. (Liu, 2011; Appel, 2012) There are also differences regarding competiveness, anxiety levels and  mental load. Females tend to report higher anxiety levels and mental load when playing a competitive game.  In general players are reporting higher anxiety and mental load when the time is limited, thus it is advisable to 

141


Maciej Dudzinski et al.    extend decision time in order to let the players use their skills best. (Hwang, Hong, Cheng, Peng, Wu, 2012;  Appel, 2012; Huang, et.al. 2013)    A concept of flow is described with regard of full immersion into an act of play that brings higher concentration  and full attention of the individual. Such a state might be beneficial for education games and game designers  should  aim  to  induce  this  effect  on  their  players.  Such  a  game  should  be  easy  to  use,  providing  continuous  stimulation,  maintain  players’  interest  with  varying  output  while  being  mostly  fun.  (Robles,  Gonzales‐ Barahona, 2012; Ryu, Parsons, 2012)    There  are  many  studies  involving  the  use  of  games  in  the  educational  sector.  Most  studies  focus  on  motivations, perceptions and attitudes of students regarding educational games. Less focus was put on specific  fields where such games can be used and practical experiments that could be evaluated to test effectiveness of  such  games.  (Hwang,  Wu,  2012)  Regarding  the  educational  games  in  the  pharmacy  area,  there  were  few  attempts with medical games identified with one pharmacy card game that could be considered a prototype to  a  proper  computer  game.  (Hwang,  Wu,  2012;  Hwang,  Sung,  Hung,  et.al.  2012;  Akl,  Pretorius,  Erdley,  et.al.  2010)    Regarding the game design guidelines, it was noted that the game should provide measurable feedback to the  player  and  allow  room  for  failure  in  order  to  induce  ‘trial‐and‐error’  approach.  Also  the  feedback  should  be  frequent  and  targeted  to  allow  student  to draw  conclusions  from  the actions  taken. It  is  possible  to  include  optional hints for the players to assist them with difficult tasks. To avoid cluttering the screen they could be  provided in textual, visual, or auditory forms.  (Cuenca‐Lopez, Martin‐Caceres. 2010; Melero, Hernandez‐Leo,  2012; Wu, et.al. 2012)    Current  findings  don’t  prove,  or  disprove  the  case  of  games  effectiveness  in  the  classroom.  (Akl,  Pretorius,  Erdley,  et.al.  2010;  Young,  et.al.  2012)  There  is  a  need  for  better  designed  studies  that  would  accurately  measure changes in students’ performance and document correctly this data, using various data sources and  using relevant control groups for comparisons. An inclusion of time coded data logs is necessary in order to  analyse  students’  behaviours  in  multiplayer  games.  (Akl,  Pretorius,  Erdley,  et.al.  2010;  Young,  et.al.  2012;  Chueng, Hew, 2009; Wu, et.al. 2010) Furthermore, it is important to note that games should be an optional  form of study and shouldn’t replace traditional lectures. (Robles, Gonzales‐Barahona, 2012)    Game Design    The  game  is  an  MCQ  quiz  challenge  that  allows  pharmacy  students  to  play  on  their  own,  or  with  other  students. Students can play the game by visiting the game’s website and logging in using an anonymous name.  A player is automatically allocated to the empty slot and can start playing the game.    At the start of the game the player is given 50 points that can be used to bet on the answers. The mechanics  are similar to those of Blackjack as each player can double the bet, or lose it depending on their answer.    Each round the player is given an MCQ question with 5 possible answers. The player has to choose the right  answer  and  select  the  amount  of  points  to  bet.  The  player  has  the  maximum  of  3  minutes  to  answer  the  question.  After  the  bets  are  placed  the  outcome  of  the  round  is  presented  and  scores  updated.  After  each  round, the player is notified about the section in the BNF booklet where the right answer can be found. The  player  can  bet  any  amount  of  points  to  a  maximum  of  500  points.  More  points  are  awarded  if  the  player  answers the question under 30 seconds and if they answer the question under 60 seconds a smaller bonus is  added to the overall score.    Players can communicate with each other using the chat box that is visible in the top‐left corner of Figure 1.  Each player has a random avatar assigned to help them distinguish themselves from each other.    All questions are stored in a MySQL database on the university server. Original questions were first written in  an  XML  format  and  then  inserted  into  a  database  using  a  PHP  script.  When  player  requests  the  question  a  JQuery request is called to the appropriate PHP script that draws random question from the server and returns  it to the player encoding the data into the JSON object that can be read by the client with JavaScript. 

142


Maciej Dudzinski et al.  Client  side  logic  is  controlled  by  JavaScript  files  with  an  addition  of  JQuery  library.  They  handle  the  communication  with  the  server  and  they  call  PHP  scripts.  To  maintain  connection  with  the  database  a  “Longpolling” technique is used by which an open connection is maintained with the server for 60 seconds and  the server’s database is probed for any changes. When a change in any state is identified, new data packet is  sent to the players in order to synchronise them.    If there is no change in the game state during the polling period, the client is notified of the fact and the old  connection is closed and new one is established again by the client.     The  front  end  of  the  game  is  handled  by  the  HTML  and  CSS  files,  which  provide  consistent  output  among  devices and browsers. Certain fixes were required in order to accommodate the game for all major platforms,  and more attention was required in order to make it usable on mobile platforms. To help manipulate changes  on the screen, JQuery function were used in order to inject HTML code to the website and provide dynamic  experience. 

Figure 1: Screen shot from the prototype 

3. Methodology The study was divided into 3 sections, each section listed was ethically approved by KU ethics committee:    Pre‐intervention research and planning  ƒ

Completing a  literature  review  in  order  to  identify  good  practice,  related  work,  as  well  as  research  guidelines and students perceptions. Only the most recent journals were taken into consideration and the  keywords used were Serious Games, Educational Games, Pharmacy Education, Mobile Games, E‐Learning. 

ƒ

Needs assessment questionnaire was distributed among all years of pharmacy students at KU in order to  gather  their  views  on  educational  games,  playing  games  and  their  learning  preferences.  Their  answers  were analysed and used to design the game. 

ƒ

The preliminary  data  helped  to  shape  the  look  and  functionality  of  the  game  and  the  prototype  was  created and evaluated by a small group of students using a semi‐structured interview. All their answers  were recorded and analysed to further improve the game. 

Evaluation period  ƒ

Before the  game  was  released  to  the  students  a  BNF  knowledge  quiz  was  taken  by  a  sample  of  71  students.  It  was  an  open  book  MCQ  quiz  that  was  distributed  in  classroom.  Those  students  would  take  similar quiz after playing the game over a 1 week period. The data collected would indicate of any changes  in their performance. 

ƒ

The game was released to the pharmacy students from year 3 and 4 for a one week testing period. During  that time the students could access the game at any time, whether at school, or home and could play it as 

143


Maciej Dudzinski et al.    much as they wanted to. Each session played was registered in the data logs to further analyse students’  behaviour.  Post‐intervention perceptions  ƒ

After the evaluation period the students from year 3 and 4 were given a post perception questionnaire  that gathered their opinions on the game and its effect on their learning.  

ƒ

The initial sample of 71 students took the post BNF knowledge quiz. 

ƒ

All data gathered will be analysed and used in order to produce an MSc thesis. 

4. Evaluation results  Pre‐intervention questionnaire    A quantitative pre‐intervention questionnaire was distributed to a sample of 442 Pharmacy students (year 1‐4)  at Kingston University and 251 responses were gathered (response rate of 56.8%). The mean age was 23 years  old  and  the  group  was  formed  of  36%  male  and  64%  female  students.  The  questionnaire  consisted  of  20  questions  that  probed  students  about  their  educational  preferences,  as  well  as  game  features  preferences,  their perceptions on educational games and their background.    Questions regarding game preferences, games usage and study patterns:  ƒ

Most students prefer to study individually (62.9%, n=158) and only a few (14.6%, n=39) prefer to study in  Groups of 3‐4, and (13.8%, n=31) like to study in Pairs. 

ƒ

A majority of students prefer to keep their game score anonymous during a multiplayer session (69.7%,  n=175). Those that were willing to share their score were in a minority (27.1%, n=68). 

ƒ

There were mixed views regarding usability of the educational games. 41.8% (n=105) of students said that  they ‘Seem useful’, 19.5% (n=49), of students said that they ‘Never played any’ and 17.9% (n=45) said that  they are ‘Not sure’. 

ƒ

Regarding the usage of mobile applications for learning ;55.8% (n=140) of students used them and 38.6%  (n=97) said that they never used any. 

ƒ

When asked  what  device  they  play  games  mostly  on  the  students  answered  mobile  devices  (42.2%,  n=106) and PC (33.1%, n=83). Other devices such as Consoles (10.4%, n=26) and Tablets (5.2%, n=13) were  in a minority. 

ƒ

The favourite genre of the students were Quiz/Puzzle games (26.7%, n=67), Sport games (25.1%, n=63),  then Action/Adventure games (21.9%, n=55). 

ƒ

Most of the students do not play the games at all in their free time (31.1%, n=78), while 21.5% of them  (n=54)  said  they  play  them  few  times  a  week  and  21.5%  (n=54)  play  them  once  every  two  weeks.  Only  7.6% of those students (n=19) said that they play games every day. 

ƒ

When asked  about  the  features  they  would  like  to  see  in  an  educational  game;  students  stated  that  personal feedback is most important (30.9%, n=78), then a chat feature (15.7%, n=39) and social network  support (13.7%, n=34). 

Statements regarding the views on educational games and learning:   Table  1:  Responses  to  questions  related  to  educational  games  and  learning  5  point  Likert  scale  where  1  is  ‘Strongly disagree’ and 5 is ‘Strongly Agree’.  Statement  Games can be a constructive use of my time  Games can be used to enhance my learning  Games could decrease the time it takes for me to learn  Games incorporated into my learning, would enhance my motivation to learn  Feedback through grades/marks/scores enhances my learning  I learn better when I am in control of when I am learning  Social media sites and mobile device applications had a positive influence on my  education 

144

Mean response  3.55  3.85  3.49  3.78  4.31  4.13  3.23 

Std. Deviation  1.058  .907  1.008  .902  .749  .880  1.093 


Maciej Dudzinski et al.  Sub analysis     There was a statistical significance when comparing the results using Pearson chi square test for the following  issues:  ƒ

There were gender differences regarding motivation to study.(p‐value .004). Females are motivated more  by grades than males, while males were more motivated by competition. Another point was that males  are more likely to share their scores and performance indicators than females (p‐value .014). 

ƒ

There were different views on games usability amongst different age groups (p‐value .021). Over 30’s and  18‐20’s are least likely to agree that games are a constructive use of their time. What’s more, comparing  the  answers  on  educational  games  experience  indicates  that  over  30’s  are  the  least  experienced  group  and  18‐20’s  are  the  most  experienced  group  (p‐value  .042)  with  games.  18‐20’s  mostly  view  them  as  boring and they are unsure about their positive effects on their education. The most e‐games friendly age  group was 21‐24’s. 

Pre‐intervention interview session    Based on the data gathered a prototype of the game was created. A small group of students were invited to  for  a  short  playing  session  after  which  they  were  each  interviewed  and  asked  their  opinions  during  a  semi‐ structured interview, which was voice recorded.    The main themes gathered from students about the prototype are as follows:  ƒ

It is useful as it forces students to use the BNF to find the answer 

ƒ

It is interactive and social 

ƒ

It reinforces the knowledge, but it also helps to identify any gaps 

ƒ

It builds confidence and speed needed for professional practice 

ƒ

When learning is fun it results in higher attention and better learning outcomes 

ƒ

It simplifies and breaks down large topics 

ƒ

It encourages competition between students 

ƒ

It is a good preparation for exams 

ƒ

Students asked for more feedback 

ƒ

Minor technical glitches were noted 

Knowledge quiz    Prior to and after the game evaluation period, a knowledge quiz was taken by all Pharmacy students involved  in  the  study.  It  was  an  open  book MCQ  test  based on  the  BNF    that  was  testing  similar  knowledge  areas  to  those  included  in  the  game. Comparing  the  results  from both quizzes  indicated  that there  was no statistical  difference in the scores obtained.    Post‐intervention questionnaire    A post‐intervention questionnaire was distributed to a sample of 250 Pharmacy students (year 3‐4) at Kingston  University and 91 responses were gathered (response rate of 27.7%).     The mean age was 25 years old and the group was formed of 35% male and 65% female students.     The  questionnaire  was  formed  of  12  questions  that  asked  students  on  their  experience  with  the  game  and  their opinions on educational games.    General results  ƒ

64.8% of students played the game (n=59)  

ƒ

59.3% of students said that they would use the game again to help them with future work (n=54) 

145


Maciej Dudzinski et al.    ƒ ƒ

60.4% of  students  stated  that  it  would  be  beneficial  to  have  a  similar  game  concept  used  for  other  modules (n=55)  Most students played the game 3‐5 times (23.1%, n=21) or twice (18.7%, n=17). 

Perceptions: Table  2:  Responses  to  the  question  related  to  effects  of  the  game  on  students’  performance  5  point  Likert  scale where 1 is ‘Not at all’ and 5 is ‘A lot’   

Statement How much did the game improve your  pharmacy skills? 

N

Minimum

Maximum

59

1.00

5.00

Mean Std. Deviation 3.0678 

1.09646

Table 3: Responses to the questions related to perceptions after playing the game 5 point Likert scale where 1  is ‘Strongly disagree’ and 5 is ‘Strongly Agree’.    Statement  I really enjoyed playing the game  The game was very stimulating  The game motivated me to do well in my studies  I learnt something new from playing the game  The game was challenging  The feedback the game provided was very helpful  I found the game satisfying  The goals/aims of the game were clear  I would play the game again  User interface was clear and well designed  The game was boring /pointless 

N MinimumMaximum Mean Std. Deviation 58  1.00  5.00  4.2586 .78495  57  1.00  5.00  4.0877 .93122  58  1.00  5.00  3.8103 .99924  58  1.00  5.00  4.1897 1.05060  57  1.00  5.00  4.1053 .93892  57  1.00  5.00  3.2982 1.25307  58  1.00  5.00  3.7586 .94238  57  1.00  5.00  3.7719 1.05251  58  1.00  5.00  4.2586 .82845  55  1.00  5.00  3.2545 1.30835  58  1.00  4.00  1.6034 .81520 

Data Logs    Each  game  session  was  recorded  in  the  data  logs  and  stored  as  a  text  file  on  the  server.  The  data  gathered  includes  sessions  played between  9th  and 23rd  April  2013.  Only  logs  of  the  file  size greater  than 400kb  were  taken into consideration, as they provide data on player activities over multiple rounds.    During that time 222 sessions were played and 2872 questions were answered in total. The mean number of  sessions taken by each player was 2 and the mean number of questions answered by each player was 26.    Each  log  includes  information  on  the  date  and  time  the  session  was  played  at,  which  questions  were  attempted by the student, what were their answers, how long it took them to answer those questions, what  was their score and how did they bet on their answers.    General results    Analysing initial sample of 500 questions brought following results:  ƒ

77% (n=384) of answers given by the students were correct, 19.2% (n=95) were incorrect and on 3.4% of  cases the student ran out of time (n=17) 

ƒ

Students mostly played the game between 12am‐6am (35.9%, n=178), then between 6pm‐ 12am (28.2%,  n=140). The least likely time for students to play is 6am to 12pm (16.1%, n=80). 

ƒ

Mostly students  took  between  60‐120  seconds  to  answer  a  question  (28%,  n=139),  then  0‐15  seconds  (19.6%, n=97), then 30‐60 seconds (19%, n=94). 

ƒ

55% (n=273) of students acquired the score within the minimal category of 0‐1000 points. 27% (n=134) of  students acquired a score of 1000‐3000 points. 12.7% (n=63) of students acquired 3000‐6000 points and  only 0.6% (n=3) of students acquired 9000‐12000 points. 

146


Maciej Dudzinski et al.  ƒ

The bets that students could place on their answers range from 0 to 500 points. 44.8% (n=273) of students  placed bets in the range of 0‐50 points and 25.8% (n=128) of students placed bets in the range of 400‐500  points. The ranges of 50‐100, 100‐200 and 200‐400 points have percentages close to a 10%. 

Sub analysis    The following statements were identified with positive correlation (p‐value <.001)  ƒ

As the time taken to answer increases students are more likely to give a wrong answer  

ƒ

Most incorrect answers are given when player chose to bet between 0‐50 points. 

ƒ

Most correct answers are given when player chose to bet between 400‐500 points. 

ƒ

Players who took between 120‐160 seconds to answer the question are most likely to bet between 0‐50  points (p‐value .001). 

5. Discussion and conclusions  The study was part of the MSc by Research programme at Kingston University. Its purpose was to design and  evaluate  an  educational  game  that  would  help  pharmacy  students  revise  their  curriculum.  Before  the  evaluation students had mostly positive views regarding educational games. There were a lot of students who  never  played  such  games  before,  especially  among  older  students.  Students  were  enthusiastic  about  a  new  learning  method  and  were  open  to  try  it  out.  The  prototype  session  feedback  indicated  that  the  game  was  attractive to students and it could facilitate their learning.     The evaluation period generated a much useful data that saw students using the game extensively, even after  the  evaluation  was  finished.  Students  were  driven  to  get  higher  scores  and  were  playing  the  game  over  multiple sessions in order to answer all questions. The post perceptions indicate that students enjoyed playing  the game and found it interesting. They mostly agreed that it helped them with their studies and they would  like to see similar concept used in other modules. Their responses were mostly positive and there is still room  for improvement in the feedback given to them and clarity of the user interface.    The results gathered from the knowledge quizzes indicate that there wasn’t any significant change in students’  performance after playing the game. This is mostly due to the fact that students were given only one week to  play the game and it was voluntary. A longer evaluation would be required, but it was not possible within the  time frame of the MSc programme and the term times at KU. Also a more consistent student body would be  required, that could play the game over the specified amount of time.    The data logs provided useful insight into students’ behaviour and answering patterns. It might be beneficial  for  future  studies  to  identify  players  by  their  student  ID  in  order  to  compare  their  game  usage  to  their  academic  performance.  Also  it  important  to  make  sure  that  the  data  logs  can  be  easily  imported  into  the  analysis software. If this process can be automated it would greatly speed up the time it takes to analyse the  results.  To conclude the study presented involved a significant cohort of pharmacy students and sought their opinions  and preferences regarding use of educational games in their field of expertise. The initial response gathered  indicates that students are willing to try new learning methods and they have mostly positive views on using  technology to support their learning. The prototype was tested by students and their feedback indicates that  further  work  is  required  in  order  to  improve  it  in  terms  of  usability  and  functionality,  but  they  also  acknowledge  the  educational  value  it  possessed.  Furthermore  students’  reaction  to  the  game  was  mostly  positive  and  they  used  it  moderately  over  the  evaluation  period.  The  post  perceptions  indicate  that  the  students  found  the  game  interesting,  managed  to  learn  something  with  it  and  it  would  be  beneficial  to  improve it and test next iterations of the game. The result gathered on academic performance didn’t show any  significant difference. The evaluation duration might have an effect on the results, with students not having  enough time to try out the game and benefit from it. Judging by the feedback from the students it is clear that  games  have  a  potential  to  motivate  students  and  turn  the  competitive  play  into  a  positive  force  that  can  improve their skills, but it is challenging to effectively measure and isolate the factors that affect learning.  A  well designed methodological research is required to capture those effects in an academic setting.   

147


Maciej Dudzinski et al.    Further studies can help to identify effective usage for educational games. Multiplayer gaming is an important  factor in that process. It would be advisable to create more prototypes that would record complex multiplayer  interactions in various contexts. The presented study used Web 2.0 technologies for its turn based gameplay,  but  it  would  be  beneficial  to  focus  on  real  time  multiplayer  games  that  could  engage  students  more  and  provide higher immersion. The further experiments could try to develop a prototype using next generation bi‐ directional communication technologies such as WebSockets. The use of WebSockets, or similar technologies,  would allow for creation of the new type of educational games enabling students to interact more with their  peers in a real time challenges. Another important point is to bring educational games to handheld devices. It  would be interesting to extend the use of educational games to not only PC devices but to unite the gameplay  across many platforms through for example the HTML 5 games. It would be possible for users to play together  on  any  device  and  without  the  need  to  be  at  home.  It  is  a  challenge  on  its  own  due  to  compatibility  and  connection  issues  on  mobiles,  partial  technology  support  and  devices  variety.  Furthermore  future  studies  should have  longer  evaluation  periods  and focus  on  measuring changes in  students’  academic  performance.  The presented study allowed for anonymous use of the game, but it would be more effective to identify each  student in order to find any correlations between the time spent on playing and the academic performance of  the individual. The better integration of the study into the curriculum will result with clearer and more reliable  output. New prototypes will help to find the right path to creating effective educational games for students. 

References Akl Elie A., Pretorius Richard W., Erdley Scott W., and others(2010),”The effect of educational games on medical students’  learning outcomes: A systematic review”,Medical Teacher Vol.32  Appel Markus (2012), “Are heavy users of computer games and social media more computer literate?”, Computers &  Education Vol.59  Cuenca‐Lopez Jose M., Martin‐Caceres Myriam J. (2010), “Virtual Games in Social Science education”, Computers &  Education Vol.55  Chueng W.S., Hew K.F. (2009), “A review of research methodologies used in studies on mobile handheld devices in K‐12  and higher education settings”, Australasian Journal of Educational Technology  Huang, W.‐H.D., Hood, D.W., Yoo, S.J. (2013), “Gender divide and acceptance of collaborative Web 2.0 applications for  learning in higher education”, The Internet and Higher Education Vol.16  Hwang Gwo‐Jen,Wu Po‐Han (2012),“Advancements and trends in digital game‐based learning research: a review of  publications in selected journals from 2001 to 2010”, British Journal of Educational Technology Vol.43  Hwang Gwo‐Jen, Sung Han‐Yu, Hung Chun‐Ming, Huang Iwen, Tsai Chin‐Chung (2012),”Development of a personalized  educational computer game, based on students’ learning styles”,Educational Technology Research and  Development Vol.60  Hwang Ming‐Yueh, Hong Jon‐Chao, Cheng Hao‐Yueh, Peng Yu‐Chi, Wu Nien‐Chen (2012), “Gender differences in cognitive  load and competition anxiety affect 6th grade students’ attitude toward playing and intention to play at a  sequential or synchronous game”, Computers & Education Vol.60  International Telecommunication Union (2012) “Measuring the Information Society ‐ Executive Summary”, available at:  http://www.itu.int/ITU‐D/ict/publications/idi/material/2012/MIS2012‐ExecSum‐E.pdf  Kapp Karl (2012), “Games,Gamification, And The Quest For Learner Engagement”, T+D  Vol.66  Liu, E.Z.F (2011),”Avoiding internet addiction when integrating digital games into teaching”,Social Behaviour and  Personality Vol.39  Melero J., Hernandez‐Leo D. (2012), “Considerations for the design of mini‐games integrating hints for puzzle solving ICT‐ related concepts”,12th IEEE International Conference on Advanced Learning Technologies   Robles Gregorio, Gonzales‐Barahona Jesus M. (2012), “A synchronous on‐line competition software to improve and  motivate learning”, IEEE Global Engineering Education Conference  Ryu H., Parsons D. (2012),”Risky business or sharing the load? ‐ Social flow in collaborative mobile learning”, Computers  & Education Vol.58  Wu W.‐H., Chiou W.‐B., Kao H.‐Y. , Alex Hu C.‐H., Huang S.‐H. (2012), “Re‐exploring game‐assisted learning research: The  perspective of learning theoretical bases”, Computers & Education Vol.59   Young M.F., Slota S., Cutter A.B., Jalette G., Mullin G., Lai B., Simeoni Z., Tran M., Yukhymenko M. (2012), “Our princess is  in another castle: A review of trends in serious gaming for education”, Review of Educational Research Vol.82 

148


Cheating and Creativity in Pervasive Games in Learning Contexts  Stine Ejsing‐Duun, Thorkild Hanghøj and Helle Skovbjerg Karoff  Research Lab: IT, Learning & Design (ILD), Institute for Communication, Aalborg University,  Copenhagen, Denmark  sed@hum.aau.dk  thorkild@hum.aau.dk  karoff@hum.aau.dk    Abstract: The frames that set the boundaries of play in pervasive games are ambiguous, thus players must negotiate what  is part of the play when playing these games. This negotiation demands and develops creativity among players. The main  contribution of this paper is to show how pervasive game designers and facilitators (e.g. game masters and/or teachers) of  pervasive  games  can  use  the  ambiguity  and  potential  cheating  in  emergent  play  situations  as  a  driver  for  promoting  creative  learning  processes.  More  precisely,  game  facilitators  need  to  respond  to  the  on‐going  negotiations  of  different  situational frames so that players are productive in relation to the goals of the game and the learning objectives. The paper  outlines what pervasive games are and presents a case involving a pervasive game on global coffee trade. Next, we develop  a  theoretical  framework  that  allows  us  to  analyse  how  both  players  and  facilitators  need  to  be  creative  during  a  game  session in order to play and to facilitate the game and especially how to manage ambiguity. Finally, we discuss the results  of our analysis and suggest perspectives for further studies.     Keywords: creativity and learning, pervasive games, rules, framing, cheating, design and facilitation 

1. Introduction In  contrast  to  screen‐based  digital  games,  where  rules  are  mostly  controlled  by  a  computer,  the  rules  of  pervasive games are more reliant on players’ continual negotiation – both among players and between players  and the game system. Thus, what is play and what is not play becomes ambiguous for the players (Ejsing‐Duun  2011).  This  paper  explores  this  negotiation  in  relation  to  creativity  and  learning  in  pervasive  games.  More  precisely,  we  explore  how  players  create  meaning  by  dealing  with  ambiguity  when  relating  to  rules  as  they  play  a  pervasive  game  –  and  how  facilitators  must  manage  this  complex  situation  within  a  formal  learning  context.    The meaning‐making processes of play are two‐fold. On one hand, the players engage in social negotiation of  what is part of the game and thereby what are meaningful actions between game participants (Bateson 2000).  Players are creative when they extend the frame of the game – as defined by the rules – to involve what would  appear  to  be  a  non‐play  phenomenon  and  thus  imbue  this  phenomenon  with  meaning  within  the  frame  (Ejsing‐Duun 2011). Players combine content, explore and sometimes even transform the conceptual space of  the  game  and  learning  through  play.  On  the  other  hand,  game  facilitators  also  play  an  important  role  in  facilitating  meaningful  play.  Salen  and  Zimmerman  (2004)  claim  that  meaningful  play  happens  when  the  relationship  between  actions  and  outcome  are  discernible  and  integrated  into  the  game’s  context.  Players  should  also  be  able  to  translate  their  intentions  into  in‐game  behaviour  (Sweetser  and  Wyeth  2005),  which  corresponds to pursuing a pleasurable arousal and the goal of the game that, again in a learning context, has  to be aligned with the learning objectives. As we will show in the analysis, sometimes players must transform  the very game system to be able to pursue specific learning and gaming goals. 

2. Pervasive games  To  understand  the  concept  of  pervasive  games,  we  need  to  revisit  Huizinga’s  concept  of  play.  According  to  Huizinga (1950), play rules separate the play world from the ordinary world, and when players accept these  rules,  they  enter  a  separate  conceptual  space.  This  space  can  be  referred  to  as  a  magic  circle  (Salen  and  Zimmerman 2004), an area of temporary activity with its own rules that players enter of their own free will. In  Huizinga’s  definition  of  play,  players  must  agree  that  certain  actions  at  certain  places  at  a  certain  time  are  addressed  with  a  playful  approach  (1950).  These  actions  are  meaningful  within  the  frame  of  the  game.  Montola  et  al.  (2009)  argue  that  pervasive  games  differ  from  traditional  games,  because  the  players  in  pervasive games systematically blur and break these traditional boundaries of the game, “[A] pervasive game  is  a  game  that  has  one  or  more  salient  features  that  expand  the  contractual  magic  circle  of  play  socially,  spatially,  or  temporally”  (Montola  2005,  p.  3,  Montola  et  al.  2009,  p.  12).  In  games  that  expand  spatially,  players  never  know  where  they  will  encounter  game  content.  A  game  is  only  spatially  expanded  if  the  play 

149


Stine Ejsing‐Duun, Thorkild Hanghøj and Helle Skovbjerg Karoff  space is uncertain, and if the game is affected by the spatial context of the player. Pervasive games can also  expand temporally by interweaving the game into everyday life. Another aspect of pervasive games is that the  duration  of the  game  is  uncertain.  In  other  words,  the players  never know  when  the  game  will  end  or  even  when it is on. Finally, social expansion is concerned with “playership”, i.e. who is and is not part of the game.  Pervasive games expand in at least one of the three ways described and thus do not explicitly limit themselves  as separate from their surroundings. Players are not necessarily aware of what is and is not part of a game, and  pervasive games exploit this ambiguity (Montola 2005).    Pervasive games do not need to involve technology, because expansions are possible without using technology  (Montola 2005, Montola et al. 2009). Tough Road, the game analysed in this paper, however, uses technology  to  expand  game  space  into  everyday  space.  A  pervasive  game  that  mixes  role  playing  elements,  storytelling  and educational content, Tough Road is partially facilitated by a game master and partially by a digital game  engine.  Coffee  Road,  the  small  Danish  organisation  that  designed  Tough  Road  uses  new  media  and  communication strategies, “to engage people in the fight against global poverty” (Coffe Road 2013). In order  to achieve this aim, Tough Road has been designed as a technologically supported role‐playing game aimed at  Danish upper secondary students and allows players to understand the dynamics of coffee trade from a global  perspective.     At the start of the game, which is designed to be played by three to five classes or roughly 75‐135 players, each  player is provided with a character description that represents one of the following seven roles: farmer, trader,  exporter, coffee company, café owner, banker and financial dealer. In the game, eight or more farmers have  the  option  of  creating  cooperatives,  which  may  offer  them  better  prices  when  selling  their  “coffee  bags”.  Based  on  their  roles,  the  players  can  interact  with  each  other  at  their  local  school,  which  is  divided  into  different areas corresponding to the different roles, e.g. farm villages, banks, the financial market etc. In order  to simulate the complexity of global coffee trade, the game is supported by a digital game engine that keeps  track  of  most  of  the  transactions  within  the  game.  During  the  game,  the  game  engine  allows  the  game  facilitators to trace the dynamic rise and fall of, for example, coffee prices, interest rates, company stocks and  capital  reserves.  Several  facilitators  are  necessary  due  to  the  complexity  of  the  game  and  are  typically  comprised of the main game facilitator, a technical game facilitator and a handful of volunteers who are often  interested  in  non‐governmental  organisation  issues  involving  global  trade.  Moreover,  local  teachers  at  the  participating schools are required to introduce the topic of global trade prior to the game session and to help  provide a detailed introduction to the various game roles. At the end of the game, which consists of ten rounds  and  lasts  a  whole  day  (six  to  seven  hours),  the  winner  is  the  student  who  made  the  largest  relative  gain  in  percentage in assets.  

3. Methodological approach  Ethnographically  inspired  observations  of  four  game  sessions  conducted  at  three  different  Danish  upper  secondary  schools  were  used  to  study  Tough  Road.  In  addition  to  observations,  interviews  were  conducted  with selected game participants and game facilitators. The aim of the observations was to describe relational  patterns of interaction and framing during the course of the game sessions, for example by following selected  items, players or facilitators on their routes through the game (Hanghøj, 2011). In this way, the observations  focused less on the individual participants’ game experiences and more on the relationships and interpretive  framings between the participants –and between the participants and the game system. 

4. Theoretical framework  This paper uses the notion of frame/framing to describe two distinct aspects of meaning‐making in relation to  pervasive  games  used  in  formal  learning  contexts.  The  first  meaning  of  frame  is  related  to  the  player’s  experience of rules and enactment of the game frame. The second meaning of frame focuses on how game  players  and  facilitators  negotiate  the  frames  of  a  given  fame  in  relationship  to  the  learning  situation.  First,  however we relate creativity to framing and rules, as creativity relates to a conceptual space defined by rules. 

4.1 Game frames and creativity  Creativity can happen through combinatorial, explorative and transformative processes (Boden 2009). None of  these  processes  creates  something  out  of  nothing.  They  relate  to  forms  or  rules  in  three  different  ways:  1)  combinatorial  creativity  exploits  shared  conceptual  structures  to  create  analogies  or  metaphors.  Boden  provides the example of how Harvey described the heart as a pump and explains that the process is guided by 

150


Stine Ejsing‐Duun, Thorkild Hanghøj and Helle Skovbjerg Karoff  associative  rules  (Boden  2009).  In  a  game  the  rules  become  shared  structures,  which  players  can  use  when  relating  the  game  as  a  metaphor  to,  for  instance,  the  everyday  world;  2)  explorative  creativity  relies  on  a  culturally  acceptable  way  of  thinking,  i.e.,  a  recognised  theory  or  an  artistic  genre.  Restrained  by  a  set  of  generative rules, this conceptual space is explored when being creative in an explorative fashion (Boden 2009).  Playing  pervasive  games,  players  need  to  explore  the  conceptual  aspect  throughout  the  game  since  it  is  ambiguous;  and  3)  transformative  creativity,  defined  by Boden,  implies that  this  conceptual  space  is  altered  altogether Boden (2009). Transformative creativity means that the initial generative restrictions are altered. In  pervasive  games,  players  can  change  the  frame  of  the  game  in  a  way  that  transforms  play  and  the  players’  relationship to the surrounding world.    The  creative  processes  can  be  directed  towards  generating  fresh  ideas  or  towards  solving  (unforeseen)  problems through reflective inquiry (Dewey 1933). In this paper we are particularly interested in how players  relate to the conceptual space in the game Tough Road in relation to learning about trade and trade, as well as  how they solve problems during the game relating pervasive play to formal learning contexts. In this way, the  meaning of creativity is related not only to the actual experience of playing the game, but also to the “validity  criteria” by which particular forms of playful knowledge are seen as legitimate or illegitimate (Hanghøj 2011). 

4.2 Game frames and the player experience  Though the play is open, we play within boundaries that separate what is and is not in focus. We refer to these  boundaries as frames that enhance the elements that should be interpreted in a special way and decrease the  ones  that  do  not  have  any  particular  significance  (Bateson  2000).  The  boundaries  of  classical  single‐player  video games are often explicit as the computer program upholds the rules (Juul 2005). The time limits and the  perimeter of the game world are also often finite in these types of video games. In other words, the rules are  materialised and controlled from within the system. The boundaries of pervasive games, in contrast, are not  controlled  to  the  same  degree  as  players  do  not  always  know  which  elements  are  part  of  the  game.  These  boundaries  are  explored  and  negotiated  between  players,  which  implies  that  play  is  also  managed  from  without the system.     When we discuss the frame of a game in relation to meaningfulness, it concerns how we interpret events in  relation to the game. To understand this negotiation as an aspect of play, Bateson’s idea of framing in relation  to play is relevant in that he claims that if a situation is framed as play then the message being communicated  is  “this  is  play”  (2000).  Using  meta‐communication  in  this  way,  an  action  suddenly  does  not  mean  what  it  would  “normally”  mean.  The  frame  is  neither  physical  nor  logical,  although  it  can  be  externalized  (Bateson  2000),  as  is  the  case  in  games  that  have  a  clearly  defined  field,  for  instance,  football.  The  frame  directs  attention  to  what  is  included  in  much  the  same  way  as  a  picture  frame  does.  At  the  same  time,  it  draws  attention away from what is excluded. The frame is also a premise that tells the user about the frame that a  certain interpretation or mode of thinking applies to what is within the frame (Bateson 2000).     Instead  of  separating  play  from  actions  in  daily  life,  pervasive  players  often  connect  these  worlds  when  playing. By shifting between frames and also by re‐framing everyday elements through the frame of the game,  players connect the pervasive game to their ordinary lives (Copier 2005). In this process pervasive players must  shift focus from the everyday world to the conventions and rules of the game they have entered. Through play  the  players  translate  the  game  information  onto  the  environment,  making  it  meaningful  in  the  context  of  ordinary life. Thus, the player is “interfacing” between the pervasive game and the everyday world (Nieuwdorp  2005).    In sum, pervasive play is controlled and enacted both from within game systems through its rules, narrative  and goals, but also from without the computer system as players perform the framing through play.  

4.3 Game frames and contexts   In  addition  to framing  player  experience  from  “within”  and  from  “without”, the  meaning  of pervasive  game  frames is also related to the social contexts in which particular games are played, e.g. informal, semi‐formal, or  formal learning contexts. In order to describe the relationship between game frames and social contexts, we  draw  upon  Goffman’s  micro‐sociological  perspective  on  play  and  game  frames,  which  further  elaborates  Bateson’s  concept  (Goffman  1961,  1974).  According  to  Goffman,  any  social  situation  potentially  involves  multiple  interpretive  frames  to  be  continually  negotiated  and  re‐framed  by  social  actors.  In  this  way, 

151


Stine Ejsing‐Duun, Thorkild Hanghøj and Helle Skovbjerg Karoff  Goffman’s  frame  analysis  is  a  way  of  asking  “what’s  going  on”  within  particular  situations  such  as  game  encounters  where  game  participants  negotiate  meanings  through  the  “world‐building  activities”  of  games  (1961: 25). Expanding upon Goffman’s frame analysis, Fine explores how table‐top role‐playing games basically  operate  through  three  “basic  frames”:  person,  player,  and  persona  (Fine  1983:  183).  More  specifically,  “person” refers to the common‐sense life world of the game participant; “player” refers to the rules, structure  and  characters  of  a  given  game;  and  “persona”  refers  to  the  actual  performances  within  a  game  world.  In  order to understand how role‐playing games – and pervasive games – are enacted within educational settings,  however, it is necessary to add student as a fourth basic frame (Hanghøj 2011: 98‐99). By adding this fourth  frame, it may further be argued that game participants and game facilitators continually shift back and forth  between game goals and learning objectives when playing games in formal and semi‐formal learning contexts  (Hanghøj 2013).    The  relationship  between  the  different  framings  of  actions  in  pervasive  games  in  formal  and  semi‐formal  learning contexts can be summarised as shown in the model below in figure 1:  Learning objectives 

Within

Without

Game goals 

Figure 1: Relationship between framings of the actions in pervasive games in a learning context  The two axes illustrate how actions in pervasive play in formal and semi‐formal learning contexts are framed.  The vertical axis relates players’ actions to particular game goals and learning objectives. Correspondingly, the  horizontal  axis  describes  the  framing  in  terms  of  “agency”.  Actions  are  both  framed  by  the  game's  inherent  framework (from within) and framed from without the game system by the players.    Based  on  the  model  presented  above,  we  argue  that  player  participation  in  pervasive  games  demands  and  develops creative competences since players need to negotiate conceptual space, i.e. play spaces limited by  rules.    Valuable  learning  processes  are  presumably  supported  by  the continual  use  of  creative  combinations  within  the  frames  that  set  the  conceptual  space  of  the  game  as  well  as  by  the  exploration  and  transformation  of  these frames, not to mention the shifting that takes place between different frames, experiences and goals in  educational pervasive games. We will return to this hypothesis in the discussion. 

5. Analysis Based upon data from the four Tough Road game sessions, this analysis focuses on how facilitators and players  negotiate the frame of the game in relation to the goal of the game and the purpose of the learning situation.  The aim of the analysis is to show how game facilitators often encounter dilemmas when trying to come up  with flexible interpretations when students relatively often transgress the game rules of pervasive games.     The analysis focuses on a particular game event that emerged in the fourth Tough Road game session and was  referred to by the game participants as the failed cooperative. Designed to accommodate the particular needs  of  various  upper  secondary  schools,  each  of  the  four  game  sessions  involved  solving  numerous  practical  challenges  locally  at  each  school  in  order  to  run  the  game.  Aspects  that  had  to  be  taken  into  consideration  included,  for  example,  the  physical  set‐up  of  the  different  game  areas,  instructions  for  the  participating  facilitators and teachers and the negotiation of food and coffee prices between local school canteens and the  real‐life economy of the cafés created as a part of the game.    One of main problems in one particular game session was low student attendance (approximately 65 players)  and meant there was an insufficient number of farmers in the game to form cooperatives within each of the  different global regions of the game scenario. As the game progressed and several farmers died because they 

152


Stine Ejsing‐Duun, Thorkild Hanghøj and Helle Skovbjerg Karoff  had  insufficient  funds  to  pay  their  expenses  (e.g.  school  fees,  condoms,  the  acquisition  of  new  fields,  harvesting),  it  became  clear  to  the  farmers  that  their  inability  to  form  cooperatives  due  to  a  lack  of  players  meant  that  they  were  cut  off  from  getting  better  prices  for  their  coffee,  which  would  have  been  possible  if  they  could  have  skipped  the  coffee  traders  and  traded  directly  with  the  exporters.  One  of  the  farmers,  “Maria”,  was  especially  keen  on  forming  an  international  cooperative.  She  eventually  persuaded  the  main  game facilitator to form an unregistered international cooperative with thirteen farmers from three different  regions,  while  he  tried  to  work  out  a  technical  solution  with  the  technical  game  facilitator,  who  was  not  present at the school.    The  organisation  of  the  inter‐regional  cooperative  progressed  for  a  couple  of  game  rounds  and  involved  complicated  workarounds,  especially  for  Maria,  who  creatively  transformed  the  game  system  by  inventing  methods  of  analogue  transactions  between  farmers  and  banks  across  different  regions.  During  this  process,  several of the students playing bankers decided that the formation of the cooperative involved too much risk  as it would lead to direct competition between the different banks as well as their associated exporters and  financial dealers. Eventually, Maria’s affiliated bank framed her actions as foul play and decided to terminate  her account due to insufficient balance, which killed her in the game. A few seconds later, the farmer received  a text message on her phone stating that she had died from AIDS as she was unable to pay for her medicine.  Becoming quite frustrated upon learning about her untimely death, Maria asked the game facilitator to get her  to  get  back  into  the  game.  In  reply,  the  game  facilitator  insisted  that  since  the  cooperative  had  not  been  registered within the game system, it did not really exist and consequently had to be dissolved. Shortly after  the incident, the game facilitator quickly wrote a text message to all the players in the game, which creatively  summed up and re‐framed the event as a part of the overall game narrative, thus allowing players to associate  the incident with the game and learning objectives:     The cooperative that failed    In  spite  of  a  foresighted  farmer’s  vision  of  [creating]  a  cooperative,  it  proved  impossible  to  create  a  cooperative  across  national  borders.  It  is  a  blow  against  unions  across  the  world.  The  farmer  died  under  mysterious circumstances”.    In  a  subsequent  interview  conducted  a  few  minutes  after  her  death,  the  farmer  reflected  positively  on  her  unexpected demise by saying that “sometimes things simply must go wrong”. Moreover, she found the game  “very  exciting”  as  it  allowed  her  to  collaborate  with  other  farmers  in  order  to  raise  the  coffee  price,  which  helped  farmers  who  “were  in  a  totally  hopeless  situation”.  Later,  a  student  who  had  the  role  of  being  a  journalist in the game reported on the “failed cooperative” in the game blog. The event was also highlighted  by the game facilitator, who prepared a speech that summed up the game session by ironically telling a nice  story about “all those things that went wrong today”. In this way, the story about the failed cooperative was  re‐framed into the overall narrative of this particular game session. In this way, the game facilitator managed  to think and act creatively in two ways. First, he allowed a player (Maria) to explore and even transform the  limits of the game. Next, he re‐framed and conceptualised the episode as a part of the game that also related  to  the  learning  objectives  of  the  game,  i.e.  acknowledging  and  understanding  how  cooperatives  work  in  a  complex global economy driven by many interests with different levels of information and influence.    The failed cooperative example shows how the facilitation of pervasive games in formal learning contexts is  inextricably  tied  to  dilemmas  related  to  how  players  transgress  the  flexible  rules  of  the  game.  On  the  one  hand,  Maria’s  enthusiasm  was  clearly  valuable  to  the  game  facilitator,  both  in  order  to  let  interesting  narratives  emerge  from  the  game  interaction  and  to  create  awareness  on  how  forming  cooperatives  may  empower farmers, which is one of the overall learning objectives of the game. On the other hand, the game  facilitator had to deal with the technical constraints of the game engine, which prevented the formation of an  international  cooperative  across  different  regions  and  banks.  Moreover,  his  acceptance  of  Maria’s  international cooperative as an “illegal” solution within the game generated a cascade of new problems within  the game system. The system did not embrace Maria’s attempt to transform the rules of the conceptual space.  This points to another learning goal of the game, which is to teach students about how the influence of certain  actors  on  the  global  coffee  market  chain  is  limited.  Even  though  one  of  the  exporters  benefited  from  being  connected to the international cooperative, the two remaining exporters suffered financially from not being  part of this collaboration. Maria was clearly aware of the imbalance created by her international cooperative.  Shortly before the death of her character, she spoke to the game facilitator and when she learned that it was 

153


Stine Ejsing‐Duun, Thorkild Hanghøj and Helle Skovbjerg Karoff  impossible  to  overcome  the  technical  hurdle  of  registering  her  cooperative,  she  explained  how  “very  sorry”  she felt about having created “such a mess”. At that point in the game, the transactions of the international  cooperative had resulted in a severe financial imbalance, which caused a sense of growing frustration for both  the farmer and her co‐players. Moreover, the game facilitator found himself in an impossible position, where  he  tried  to  skirt  the  technical  hurdle  of  the  game  system  and  legitimise  the  illegal  cooperative.  Facing  imminent  chaos,  Maria  and  the  game  facilitator  were  so‐to‐speak  saved  by  the  sudden  death  of  Maria’s  character, which allowed the game session to return to a more balanced progression.    The transgression of rules surrounding the failed cooperative and the facilitator’s subsequent dilemmas are by  no means a standalone example from the Tough Road game sessions. A week after the fourth game session,  one  of  the  participating  social  studies  classes  evaluated  the  game.  Several  students,  especially  those  who  valued fair competition, were upset that “it was far too easy to cheat in the game”, for example by transferring  incorrect  amounts  of  money  or  by  gaining  insider  knowledge  from  other  characters  while  smoking  together  outside the school premises. One student mentioned how “it gets back to you, if you cheat too much”. Maria,  who  had  organised  the  international  cooperative,  praised  the  game,  as  did  other  students,  for  creating  a  “realistic”  experience,  which  allowed  her  to  “incorporate  all  those  concepts  and  different  things  that  I’ve  learned in social studies in a different way”.    The  ambiguity  surrounding  the  flexible  rules  illustrates  an  important  premise  about  the  facilitation  of  the  Tough  Road  pervasive  game.  Namely,  that  no  one  –  not  even  the  game  facilitator  or  the  technical  game  facilitator – had a full overview of the unexpected events that emerged during the game sessions. One of the  teachers who acted as co‐facilitator for the third game session even described the game as a monster since no  one had a clear idea of where the game would end. This teacher valued the chaotic and unpredictable aspects  of the game positively as it forced students into unknown territory. By contrast, another teacher emphasised  how the overwhelming amount of information needed for playing the game, especially the banker roles and  the financial dealers, made it too difficult for weaker students to grasp the complexity of game.  

6. Discussion By using Boden’s categories, the analysis of the game episode suggests how the players dealt with ambiguity.  They creatively combined their existing knowledge to be used “without” the pervasive game system (e.g. what  they have been taught in class about global trade and what it meant to be a coffee farmer from Java etc.). The  players imaginatively explored the conceptual game space through their actions by learning what was within  the frame of the game, for instance, whether it was meaningful or acceptable for farmers to sell their coffee  directly to exporters. Players even resourcefully transformed the play space by reinventing parts of the system  as was the case with Maria’s failed cooperative.    When players meet a complex game system such as Tough Road, which works as a conceptual space but has  limits  that  remain  open  to  interpretation,  they  need  to  work  creatively  as  they  interact  with  the  rules.  We  argue that this demands and develops creative competencies. As the topic of the game requires that players  understand the dynamics of global coffee trade, they must interact creatively with these dynamics and learn  about  them  from  within  the  game  system.  In  this  way,  Tough  Road  allows  players  to  learn  about  trade,  cooperation and (eschewed) power. In order to fulfil the goals of the game, the facilitator must allow players  to  experiment  with  the  contingent  dynamics  of  the  topic  of  the  game  and  understand  how  these  premises  create a conceptual space. Consequently, players learn about the premises and conceptual space by exploring  the rules and the frames of the game.     The failed cooperative example shows how the game facilitator continually tried to legitimise new and relevant  possibilities within the game, even though it entailed transforming the game rules. The important point here is  that  the  transformation  of  the  game  rules  was  permitted  as  long  as  they  adhered  to  the  overall  learning  objectives. Thus, the Tough Road game sessions studied provide numerous examples of banal cheating such as  when  exporters  tried  to  buy  coffee  directly  from  the  farmers  even  though  this  was  not  allowed  until  the  farmers had formed cooperatives. Upon discovering this, one of the game facilitators punished the exporters  by ignoring their further requests for help with the game. The game facilitator also insisted on the rule that no  trader or farmer should know what was actually happening on the stock market in the game – because this is  also the case in the real world as well. By insisting on these rules, he helped sustain the conceptual space of  the trade dynamics. 

154


Stine Ejsing‐Duun, Thorkild Hanghøj and Helle Skovbjerg Karoff  Seen in a broader perspective, these examples show that facilitators of pervasive games continually have to  evaluate and respond to students’ creative re‐framing of game events as complex and unpredictable incidents  emerge.  Being  able  to  embrace  actions  that  allow  players  to  creatively  combine,  explore  and  transform  the  conceptual space demands knowledge about the educational concepts being taught and an understanding of  the game dynamics in relation to it. In addition the game rules need to actually relate to the dynamics of the  conceptual space.  

7. Conclusion The main contribution of the paper is to show how pervasive game designers and facilitators (game masters  and/or teachers) of pervasive game may benefit from the ambiguity in play and potential cheating by using the  ambiguity  as  a  driver  for  creative  learning  processes.  Pervasive  games  can  provide  players  with  tools  to  transform  the  frame  of  the  game  to  relate  it  to  their  well‐known,  everyday  life  world,  which  may  promote  creativity  among  players.  However,  game  facilitators  need  to  facilitate  these  negotiations  so  that  they  are  productive in relation to both the goals of the game and the learning objectives. This leads us to the hypothesis  that pervasive games are well‐suited for fostering creative learning processes, an avenue that should be the  subject of further study. 

References Bateson, G. (2000). "A Theory of Play and Fantasy." Steps to an Ecology of Mind, Chicago, University of Chicago Press.  Boden, M. A. (2009). Computer models of creativity. AI Magazine, 30(3), 23.  Coffe Road (2013) 'http://www.toughroad.dk/', [online], available: [accessed 16‐06‐13]  Copier, M. (2005). "Connecting Worlds. Fantasy Role‐Playing Games, Ritual Acts and the Magic Circle." de Castell, S and  Jenson, J. (eds.). Changing Views: Worlds in Play: Proceedings of the 2005 Digital Games Research Association  Conference, Vancouver, University of Vancouver.  Dewey, J. (1933 [1986]). How We Think. A restatement of the relation of reflective thinking to the educative process. J. A.  Boydston (ed.), John Dewey. The Later Works (Vol. 8), Carbondale, Southern University Press.  Ejsing‐Duun, S. (2011). Location‐Based Games: From Street to Screen. Danmarks Pædagogiske Universitetsskole, Institut for  Didaktik, Center for Playware, Copenhagen, Aarhus University.  Fine, G. A. (1983): Shared Fantasy. Role‐Playing Games as Social Worlds, Chicago, The  University of Chicago Press.  Goffman, E. (1961). “Fun in Games”. Encounters, London, The Penguin Press, pp. 15‐72.  Goffman, E. (1974). Frame Analysis: An Essay on the Organization of Experience, New York, Harper & Row.  Hanghøj, T. (2011). Playful Knowledge. An explorative study of educational gaming, Saarbrücken, LAMBERT Academic  Publishing.  Hanghøj, T. (2013). "Game‐Based Teaching: Practices, Roles, and Pedagogies." In: de Freitas, S. Ott, Popescu M. M. &  Stanescu, I. (eds). New Pedagogical Approaches in Game Enhanced Learning: Curriculum Integration, Hershey, PA, IGI  Global.  Huizinga, J. (1950). Homo Ludens. A study of the play element in culture, New York, Roy Publishers.  Juul, J. (2005). Half‐Real: Video Games between Real Rules and Fictional Worlds, MIT, The MIT Press.  Montola, M. (2005). "Exploring the Edge of the Magic Circle: Defining Pervasive Games." DAC 2005 Conference, IT  University of Copenhagen, DAC 2005 Conference.  Montola, M., Stenros, J. and Waern, A. (2009). Pervasive Games: Theory and Design, Morgan Kaufmann Publishers Inc.  Nieuwdorp, E. (2005). "The Pervasive Interface: Tracing the Magic Circle." DiGRA 2005 Conference: Changing Views –  Worlds in Play, Vancouver, University of Vancouver.  Salen, K. and Zimmerman, E. (2004). Rules of Play. Game Design Fundamentals, MIT, The MIT Press.  Sweetser, P. and Wyeth, P. (2005). "GameFlow: a model for evaluating player enjoyment in games." Comput. Entertain. Vol  3, No 3, pp. 3‐3.   

155


Supporting Teachers in the Process of Adoption of Game Based  Learning Pedagogy  Valérie Emin‐Martinez1 and Muriel Ney2  1 S2HEP, Institut Français de l’Education ‐ ENS Lyon, Lyon, France   2 Laboratoire d’Informatique de Grenoble, CNRS, Grenoble, France  valerie.emin@ens‐lyon.fr  muriel.ney@imag.fr    Abstract:  In  an  attempt  to  address  the  difficulty  to  integrate  Game‐Based  Learning  (GBL)  in  the  teaching  practices,  this  paper  proposes  a  model  for  the  process  of  teachers’  adoption  of  games,  based  on  a  first  research  work  which  led  to  a  structured question matrix designed to foster teacher reflection on key issues that arise during this process. We focus on  formal  education  and  consider not  only  digital  (educational)  games  but also  other  game‐like  activities  such  as  role‐plays  and  simulations.  In  tackling  the  matter  of  adoption,  this  paper  addresses  a  key  issue:  How  does  the  adoption  process  unfold  when  teachers  introduce  games  in  their  classes  for  the  first  time?  To  answer  this  question,  Roger’s  “Diffusion  of  Innovations” theory was used as the conceptual framework for analysing a case study. The case study took place in France  with a group of six high school teachers who introduced three different games, in teams of two. We also provide different  tools to support the adoption process: resources, activities, questionnaires, pedagogical scenario, patterns of activities and  scenarios. Our efforts to support teachers’ adoption and use of GBL are not designed to offer a one‐size‐fits‐all solution.  Rather, they are aimed at providing tools to foster reflection and facilitate the adoption process. It is hoped that this work  will help overcome some teachers’ resistance to GBL, and this will be the subject of further verification.     Keywords: game based learning in teaching practices, teacher adoption, serious games, technology enhanced learning,  pedagogical scenarios 

1. Introduction Although  Game‐Based  Learning  (GBL)  and  digital  learning  games  have  been  promoted  and  encouraged  in  recent  years  for  formal  learning,  teachers  still  find  it  difficult  to  integrate  this  approach  and  tools  in  their  current  teaching  practice  (ProActive 2010).  This  study  concerns  teachers  involved  in  integrating  games  into  their class, not only digital games but other game‐like activities such as role‐plays, simulations, etc. This work  was  initiated  as  part  of  the  activities  of  the  European  Team  Game  Enhanced  Learning  (GEL  http://www.gel.itd.cnr.it/)  funded  by  the  European  Network  of  Excellence  STELLAR  (De  Freitas  et  al  .  2012).  This team consisted of six partner institutions also members of the Network of Excellence on serious games  (GALA Games and Learning Alliance http://www.galanoe.eu/).    Teachers involved in Game‐Based Teaching (GBT) have to choose a content adapted to the use of a game, to  browse, test and select games, to design a pedagogical scenario, to facilitate the flow of the game, to ensure  learning  and  assessment...  These  tasks  represent  a  heavy  burden  for  teachers  who  are  new  to  game‐based  learning and lead them to reflect on several issues (Hanghoj & Brund 2010, Kebritchi 2010): Why teaching with  a  game,  what  type  of  game,  what  skills  will  students  develop,  how  to  teach  with  a  game,  how  to  assess  learning ... ? Answering these questions may help a teacher to create an educational potential around a game,  because the learning does not come directly from a commercial game, which only provides the context for the  learning experience.     These  issues  are  addressed  in  the  literature  from  different  perspectives:  factors  related  to  the  intention  to  adopt games (Grove et al. 2012), the reasons and motivations for adopting games (Wastiau 09), different types  of  games  (Garris  2002,  De  Freitas  et  al.  2006,  Casares  et  al.  2010),  different  issues  of  pedagogy  ‐  scenario  design, assessment, etc. ‐ (Pivec 2009, Sandford et al. 2006 Wastiau 09). There are also comprehensive guides  for  teachers  who  want  to  introduce  games,  such  as  reports  of  national  and  european  projects:  Proactive  (PROACTIVE  2010),  Schoolnet  (Felicia  2009,  Wastiau  2009,  Blamire  2010),  and  Futurelab  (Ulicsak  &  Wright  2010).  These  reports  provide  guidelines  for  teachers  to  develop  scenarios,  choose  an  appropriate  game,  conduct a session including a game and example of games that have already been used and evaluated.    In a previous work (Ney & al. 2012) we have realised a structured question matrix to identify a set of relevant  questions for teachers to consider in preparation for adopting GBT approach. The first step in producing the  question matrix was a literature search to ensure suitable scope and focus. Subsequently an empirical study 

156


Valérie Emin‐Martinez and Muriel Ney  was conducted with teachers to gauge the matrix’s usefulness for practitioners new to GBT and its soundness  when set against the experience of those who had already used games in class. The resulting matrix (Ney &  al. 2012)  includes  the following  six  sets  of key  issues  that  are  further detailed  in  a  number  of  questions:  (A)  teacher motivation and needs, (B) learners' characteristics (as a group or individually), (C) contents and game  features to address teachers' needs (game motivational factors, etc), (D) practical needs (from the institution,  colleagues, etc), (E) design of the pedagogical scenario and (F) assessment and capitalization issues.     Therefore one can find in the literature many resources devoted to teachers. One may also study the process  of  integrating  games  itself,  from  initial  awareness  of  game‐based  learning  and  teaching  to  appropriation  of  such a pedagogy and finally to its regular use. 

2. Research question and theoretical framework  The prime purpose of this research is to model the process of game adoption for individual teachers. A theory  widely  used  to  analyse  the  adoption  of  an  innovation  in  various  fields  is  the  Rogers’  theory  of  diffusion  of  innovation (Rogers 1962, 2003). An innovation is defined as an idea, practice or object perceived as new by an  individual or a group. Diffusion is the process by which the innovation is communicated and adopted by the  members  of  a  social  network.  In  our  case,  the  innovation  is  the  introduction  in  learning  activities  of  game‐ based  approaches  including  the  use  of  digital  games.  Here  we  leave  aside  the  sociological  aspects  of  the  diffusion of innovation in a group, and we focus on the relationship between the individual teacher and the  innovation.     Rogers’  theory  has  been  applied  to  various  applications  in  educational  technology  (Berger 2005,  Martins 2004),  including  serious  games.  In the  latter case,  there  is  for  instance  the  study  of  (Kebritchi 2010)  that focused on the factors that facilitate or inhibit the adoption process.    Rogers describes the “innovation‐decision” (or adoption) process in five stages, as shown in Figure 1 below.  

Figure 1: A model of stages in the innovation‐decision process (Rogers 2003, p 163)  During  the  knowledge  stage  the  individual  becomes  aware  of  the  innovation  without  having  the  goal  of  its  adoption.  Three  types  of  knowledge  are  proposed  in  this  theory:  awareness‐knowledge  (knowing  about  the  existence  of  the  innovation),  how‐to‐knowledge  (knowing  how  it  works),  principles‐knowledge  (knowing  the  underlying principles). In the persuasion stage, the individual begins to focus on the possible adoption of the  innovation  and  to  actively  seek  information  (see  innovation  attributes  in  Table  1).  He/she  forms  an  opinion  and  this  gives  an  emotional  dimension  to  this  stage.  The  decision  stage  is  when  the  individual  engages  in  activities (analysis, debate, testing, etc.) to assess the advantages and disadvantages of the innovation; these  lead to the final decision to adopt or reject it. Then, the implementation stage leads the individual (who may or  may  not be  the  one  to  have  made  the  adoption  decision)  to  introduce  the  innovation  in  daily practice.  This  implementation  opens  the  way  to  reflection  about  the  innovation’s  positive  and  negative  effects  and  evaluation of its usefulness in terms of the cost/benefit ratio. Finally, a confirmation stage takes place whereby  individuals obtain information that reinforces their choice (adoption or rejection) and the sustainability of this  choice. This stage involves both the individual and the group that will seek to confirm this choice.    In addition to these five stages, Rogers' theory also describes this process in terms of five elements: the types  of innovator (innovators, early adopters, early majority, late majority and laggards), the perceived attributes of  the  innovation  (different  ways  in  which  innovation  can  be  perceived  ‐  see  Table  1),  the  communication  channels (how the innovation is transmitted from one individual to another), the social system (the group of  individuals involved, how they are related, their roles, institutions, etc.) and temporal factors (the duration of  each stage of the process and the rate of diffusion among members of a group). 

157


Valérie Emin‐Martinez and Muriel Ney  The  “perceived  attributes  of  an  innovation  are  one  important  explanation  of  the  rate  of  adoption  of  an  innovation”  (Rogers  2003,  p  206),  it  explains  “49  to  87  percent  of  the  variance  in  rate  of  adoption”  (Rogers  2003, p 206). Table 1 lists these attributes and their definition by Rogers.  Table 1: Perceived attributes of innovations (Rogers 03)   Relative advantage  Compatibility  Complexity  Triability  Observability 

“is the degree to which an innovation is perceived as being better than the idea it  supersedes”.  “is the degree to which an innovation is perceived as consistent with the existing values, past  experiences, and needs of potential adopters”.  “is the degree to which an innovation is perceived as relatively difficult to understand and  use”.  “is the degree to which an innovation may be experimented with on a limited basis”  “is the degree to which the results of an innovation are visible to others”. 

3. Case study in France  3.1 Description, context and method  The Scen@TICE team at the French Institute of Education comprises researchers and teachers of sciences and  technology dedicated to the topic of innovative pedagogical scenarios using digital technologies. In 2011/2012  the  team  conducted  field  research  on  the  use  of  serious  games  to  teach  sustainable  development  with  a  multidisciplinary group of teachers. This experiment involved six teachers from three schools in three different  locations who worked in pairs with students from 14 to 16 years old. The subject matters were engineering,  technology and biology. These teachers were compensated for their research work; they are regular users of  ICT both for themselves and in the classroom, and are motivated by active pedagogies. Using Rogers’ terms,  we can qualify these teachers as “early adopters” or even “innovators”.    The Scen@TICE team worked in several ways: plenary (focus group) meetings were held in Lyon to compare  experiences and scenarios produced in each institution and discipline; several meetings in each school helped  implement a common scenario by pairs of teachers.    Monitoring was done remotely: by exchanging emails, conference calls, shared documents on a web platform  and scenario design with the online scenario editor ScenEdit (Emin 2010).     At  the  end  of  the  year,  we  carried  out  interviews  using  a  double  interview  technique  (Clot,  95).  The  interviewee was told to imagine that the interviewer was also a teacher and was intending to introduce games  in  class.  The  interviewed  teacher  was  prompted  to  tell  the  “colleague”  (played  by  one  researcher)  anything  considered important for someone who is going to use games for the first time. Each of the six teachers was  interviewed  from  20  to  45  minutes.  The  answers  were  recorded,  transcribed  and  analyzed.  In  order  to  also  have the point of view of teachers involved in GBT, we have interviewed two teachers who are experienced  users of games in class and have been using them for several years, including board games or card games and  who  have  designed  long‐lasting  games.  We  call  them  “experienced  teachers”.  The  six  others  were  using  a  game in class for the first time. Therefore practices and beliefs of the teachers were variable. 

3.2 Results   First,  we  used  the  interviews  to  analyze  teachers'  perception  of  game‐based  learning  and  teaching  with  the  aim  to  identify  how  each  of  the  five  Rogers'  attributes  translates  in  the  case  of  GBL.  For  that,  we  extracted  verbal indicators of these attributes in teachers’ discourses (see Table 2). Furthermore, we suggest (Table 2,  third column) factors that may help a teacher get a positive perception of GBL, and in turn a better likelihood  of adoption. Table 2 aims to be a reflexive tool for anybody who wants to support teachers in adopting GBL.    Moreover, by counting the questions that were mentioned spontaneously by almost all teachers (at least 7 out  of 8), we obtain an “a posteriori” profile of our sample of teachers: the teachers share the motivation to use a  GBL  pedagogy  to  solve  a  specific  educational  problem  (but  different  from  one  teacher  to  another)  and  to  target specific learning goals (2 of the 11 motivations of our question matrix, Ney & al. 2012). They look at the  curriculum coverage of the game and its scientific validity and use games that include competition and goals  among all the motivational factors (Mariais & al. 2010). They use existing games and work with other teachers.  They  tackle  issues  about  assessment.  By  contrast,  factors  that  were  never  mentioned  by  any  of  our  eight 

158


Valérie Emin‐Martinez and Muriel Ney  teachers  were:  ‐  use  a  game  with  the  aim  to  foster  creativity  and  imagination  ‐  or  with  the  aim  to  prepare  students for the digital society of tomorrow, ‐ choose a game that uses chance and mystery as motivational  factor  ‐  or  a  game  that  proposes  emotionally  rich  experiences,  and  ‐  create  a  new  game  using  a  model  (authoring tool).   Table 2: Perceived attributes of innovations and corresponding indicators in GBL   Perceived  Attributes of  Innovations  Relative  advantage  Compatibility 

Teacher’s perception (verbal indicators) 

External factors that may favour a positive  perception from teachers 

Motivation (teacher and learner), perceived  benefit and cost compared to usual practice  Audience issues, values, beliefs, needs,  pedagogical approaches used in the past 

Teacher motivation and needs and game features  that answer to these needs.  Game mechanisms and motivational factors  (competition, collaboration, gain etc).  Specificities of the learners.  Recommendations, assistance, tutorial, work in  groups of teachers 

Complexity

Perceived complexity of the game rules, of  the scenario 

Triability

Teacher tries the game as a learner. 

Observability

Perceived effect of the innovation in  learner’s knowledge or behaviour 

Evaluation version of the game, easy  identification of domain knowledge and rules of  the game  Evaluation report of past experiences with this  game 

Then if  we  look  at  what  the  two  experienced  teachers  have  brought  to  our  analysis,  by  contrast  to  the  six  novices, we find the following: they are the only ones to adapt existing games to their needs or to create new  games and they evoke the time constraint. They work in larger teams that may include teachers from other  schools (e.g. via forums), or some of their students. These teachers have moved over the years in the adoption  process (Figure 1).     The  analysis  of  these  interviews  raised  other  points  of  discussion  that  could  be  investigated  further.  First,  adoption of GBT may depend on the discipline. For example, the adoption of games for teachers in Biology is  coming  “naturally”  through  inquiry  or  observations  of  the  natural  world  (real  or  virtual).  In  History  and  Geography,  a  special  entry  is  the  treatment  of  societal  issues,  also  possible  in  Biology  (e.g.  on  themes  like  ecology, energies, sexuality ...). In Technology, it is the methodological skills (e.g. problem solving) and debates  on values (e.g. sustainable development) that seem to favour adoption of games.     Another  issue  discussed  in  the  interviews  is  the  one  of  the  acceptance  of  games:  students  themselves  can  reject it, but also colleagues, parents, and the institution. Another point is that not all teachers agree on the  fact  that  the  game  will  help  students  with  learning  difficulties:  for  some  teachers  this  is  the  case,  because  games  can  highlight  abilities  not  usually  favoured  at  school,  for  other  teachers  these students  will  spend  all  their time playing without stepping back and learn. On the other hand, good students can also reject games  because there are not anymore in a position to use their winning strategies.    Teachers have also stressed the need to provide clear rules to students, but also to take the time to explain  this  change  in  their  pedagogy.  Finally,  it  seems  to  be  necessary  to  test  the  game  by  putting  oneself  in  the  position of the player, which can be difficult for teachers who are not regular digital games players.    In a second phase, we have used the stages of the theory of Rogers as a reading grid to analyze a posteriori the  case as it unfolded over time.     Table  3  lists  the  different  tasks  performed  by  teachers  from  the  Scen@Tice  team  and  links  them  to  Rogers’  adoption process.     Finally,  we  analyze  the  case  both  through  the  lens  of  Rogers’  attributes  of  innovation  (Table  2)  and  stages  (Table 3):         

159


Valérie Emin‐Martinez and Muriel Ney  Table 3: Table of tasks performed by teachers and stages of adoption of Rogers  Tasks  Design of scenarios using active pedagogies  Exploratory research of serious games related to the class  curriculum, list of games that can be exploited in the  classroom  Choice of 4 serious games to test and analyse using a co‐ designed grid  Final choice of 3 games for classroom use (Ecoville, mission  PlasTechnologie, Climate Challenge), feedback on the grids,  individual testing of the 3 games and feedback  Preparation of the scenario to implement an existing game,  reflection on the implementation of the monitoring of the  sequence, choice of pedagogical approach: problem based  learning approach  Collection of impressions about the question matrix on  serious games design proposed by the researchers of the  European project GEL  Reflection on the success criteria of the sequence (related to  learning objectives)  Back to the scenario apriori, refining pedagogical phases  Implementation of the game with classes, questionnaires to  students  Analyzing the results of experiments with students, analysis  of students’ questionnaires  Model the learning scenario and propose a learning  sequence  Interviews (double interview technique) 

Period 2010‐2011  school year  September 

September‐ October November 

November

Mode  

Adoption stages  Knowledge 

Individual distance work  with wiki  Distance work  in pairs  Sharing  experience and  findings via  skype meeting  Focus group  presential 

Persuasion

Decision Decision 

Implementation

November

Focus group  presential 

Implementation

December‐ January 

Focus group  presential then  Distance work  in pairs  Distance work  in pairs  Focus group  presential  Distance work  in pairs  Individual  interviews 

Implementation

December‐ March  April‐May  June  June ‐ July 

Implementation Confirmation  Confirmation  Confirmation 

ƒ

relative advantage : this criterion could refer to the increased motivation expected of students and to the  teacher’s motivation to do something new and "better" compared to previous practice (lab work, project‐ based  pedagogy,  inquiry‐based  pedagogy).  This  emerged  from  the  knowledge  stage  and  the  first  focus  group about the questionnaire. 

ƒ

compatibility: the  game  (and  the  GBL  approach)  must  remain  in  line  with  the  values  of  teachers  and  students, the curriculum and the quality of graphics they are used to; hence a pre‐selection of candidate  serious  games  was  performed  during  the  persuasion  stage  (examples  from  the  interviews:  teacher  rejection of a game involving killing humans or produced by an oil company, choosing a game because it  questions  the  social  pillar  of  sustainable  development,  or  rejection  by  some  students  of  a  competitive  game). This notion of values present in Rogers’ theory but absent in Kebritchi (2010) seems to be in our  case a crucial attribute that may lead to adoption or rejection of a game, and maybe of GBL. 

ƒ

complexity: the game should be  simple and intuitive for the learners, the teacher must have ready access  to the game’s domain knowledge to assess its scope and depth. Complexity is also about: changing role  (teacher becoming a player or a facilitator), different experience from one learner to another etc. Working  in  pairs,  teachers  were  able  to  assess  these  aspects  of  complexity  during  the  persuasion  stage  before  deciding to use the game in the classroom. 

ƒ

trialability: teachers must be able to quickly assess the game, especially in terms of knowledge; the rules  should be simple and fair (in the sense that they apply to everyone in the same way). Each teacher was  able to assess a number of pre‐defined criteria in knowledge and persuasion stages. 

ƒ

observability: the  benefits  of  using  a  game  in  classroom  must  be  clear  and  visible  in  terms  of  student  motivation  and  impact  on  learning.  In  the  implementation  stage,  students’  answer  to  the  questionnaire  clearly showed the positive impact on their motivation. A student self‐assessment phase and a teacher‐led  integration  phase  both  helped  to  highlight  student  learning  that  was  not  obvious  from  the  students'  answers to the questionnaire. Observability could be assessed in the confirmation stage during the focus  group,  but  also  at  the  beginning  of  the  process  in  the  stages  of  knowledge  and  persuasion  by  studying 

160


Valérie Emin‐Martinez and Muriel Ney  various serious games portals and websites. This way one can find field results obtained with a particular  game or with serious games in general. 

4. Discussion In our experiment, we could show how the five stages of Rogers translate for adoption of game‐based teaching  (GBT). This study is not about proving that these five stages occur during the innovation process of adopting  GBT, but rather to describe what happens in each stage and how this can be used to accompany the process  especially with a group of teachers.     In the stage of knowledge, in our case teachers first became familiar with using active pedagogies based on  technologies.  It  is  a  cognitive  stage.  There  is  a  predisposition  of  individual  teachers  who  feel  a  need  either  coming from daily practice (e.g. when teaching complex or domains inaccessible to observation, to motivate  inattentive learners, Ney & al. 2012) or just because of GBL awareness (the innovation creates the need). In  our case, it is the researchers that suggested to use a game in class. This does not mean that the teachers have  decided to adopt games, but that they agreed to collaborate with researchers by the mean of GBL.     In the persuasion stage, in our case teachers performed an exploratory search of serious games in their field of  teaching  and  consistent  with  the  curriculum.  In  this  stage,  teachers  can  look  for  information  on  GBL  and  games, anticipate mentally on how they would apply it in their class. It is an affective stage. The teacher forms  a favourable or unfavourable attitude towards GBT. An attitude is usually consistent with behaviour and action  and  the  choice  to  adopt  the  innovation  will  follow  from  a  favourable  attitude,  but  not  always.  However,  a  teacher  that  does  not  build  a  favourable  attitude  often  wrecks  the  following  implementation  stage.  Concerning our experienced teachers the persuasion stage took place since they are convinced of the value of  games whatever the difficulties they still encounter in class.     In the decision stage, in our case teachers tested thoroughly different games and filled a co‐designed analysis  grid. Teachers tried to get familiar with some games by testing them on themselves or with a small group of  students. The trial can be only a discussion with colleagues. Then follows the decision to use GBL and may be  also a particular game.    In the implementation stage, in our case teachers defined a pedagogical scenario that describes the integration  of  the  game  in  a  problem‐solving  approach.  They  defined  success  criteria  based  on  the  learning  goals  and  implemented this scenario in their class.     Until  now,  the  process  was  a  mental  exercise,  now  the  innovation  is  put  into  use  and  this  can  lead  to  behaviour’s  change  in  teachers.  They  face  a  certain  degree  of  uncertainty  inherent  in  GBL.  Depending  on  individual trait they will live with it or try to remove it. This will in turn give more or less freedom to learners.  We  note  that  none  of  our  teachers  have  mentioned  chance  and  mystery  as  a  motivational  factor  for  using  games  or  use  games  to  favour  creativity,  imagination  or  emotionally  rich  experiences.  These  are  very  interesting features of GBL if one look at recent research project calls that seem to be under used by teachers  today. At the implementation stage may occur re‐invention (a concept introduced by Rogers), the degree to  which  the  innovation  is  changed  or  modify:  minor  or  major  reductions  or  even  modifications  of  the  game  scenario or the game itself. It is common for teachers in the process of appropriation of an innovation or any  kind  of  resources  to  re‐invent  it.  A  teacher  needs  to  experience  it  before  it  gives  it  to  students.  This  customization allows adapting the innovation to the local school and changing conditions. Innovations that are  more complex are more likely to be re‐invented (Rogers 2003). In the last stage of confirmation, in our case  teachers analyzed their students' answers to questionnaires on motivation and learning, and they redesigned  their  scenario  for  the  following  year  taking  into  account  the  challenges  and  improvements  proposed  in  the  focus group. For experienced teachers the confirmation phase had taken place before this study as they had  been  using  games  regularly  for  several  years.  One  of  them  even  said:  “Since  I've  been  using  games,  I've  introduced  humour  and  contextualized  pupils'  activities  everywhere  /.../  it  has  changed  my  practice.”  The  confirmation stage may be used to reduce a dissonant state, i.e. an uncomfortable state of mind generated by  the  innovation  during  the  implementation  stage.  Rejection  of  GBT  can  come  with  replacement  by  another  pedagogy  or  with  disenchantment.  The  latter  may  be  due  to  a  perceived  relative  advantage  compare  to  previous  practice  that  is  not  adequate  or  to  misuse  of  the  game  or  scenario.  Another  reason  of  teachers  rejecting games may be that they fear of loosing control and time and of the freedom GBL gives to learners. 

161


Valérie Emin‐Martinez and Muriel Ney 

5. Conclusion This  study  tries  to  provide  a  better  understanding  of  the  process  of  GBL  teacher  adoption,  from  the  first  knowledge  on  games  for  learning,  to  forming  an  attitude  towards  it;  from  the  decision  to  adopt  it  and  implement it in class to regular uses. We adopted a dynamic perspective and studied the process over a period  of one school year with a group of six teachers. This led us to suggest a number of steps one could take to  support  teachers  over  time.  This  is  just  a  first  step  towards  modelling  this  adoption  process.  However,  our  study  is  limited  since  the  teachers  involved  were  all  collaborating  with  the  research  team,  and  this  could  generate bias in the findings. The next step would be to follow a wider “independent” teacher population to  obtain more balanced and reliable feedback. 

Acknowledgements   Thanks  to  those  participating  in  and  collaborating  with  the  Game  Enhanced  Learning  Theme  Team  (GEL)  founded via Stellar Network of Excellence and a special thanks to participating teachers from France and Italy.    Disclaimer  ‐  This  work  was  partially  supported  by  the  European  Network  of  Excellence  STELLAR  under  the  Information and Communication Technologies (ICT) theme of the 7th Framework Program for R&D (FP7). This  article  does  not  represent  the  opinion  of  the  European  Community,  and  the  European  Community  is  not  responsible for any use that might be made of its content.  

References Berger, J. I. Perceived consequences of adopting the internet into adult literacy and basic education classrooms. Adult Basic  Education, 15, 103–121, 2005.  R. Blamire, “Digital Games for Learning: Conclusions and recommendations from the IMAGINE project”. European  Schoolnet, novembre 2010.  http://recursostic.educacion.es/blogs/europa/media/blogs/europa/informes/IMAGINE%20Conclusions%20and%20r ecommendations%202010‐3.pdf (last access july 2013)   Clot, Y. « La compétence en cours d’activité », Education permanente, n° 123, 1995.  De Freitas, S., Earp, J., Ott, M., Kiili, K., Ney, M., Popescu, M., Romero, M., Usart, M., Stanescu, I. Hot Issues in Game  Enhanced Learning: The GEL Viewpoint. Procedia CS (PROCEDIA) 15:25‐31, 2012.  De Grove, F., Bourgonjon, J., & Van Looy, J. « Digital games in the classroom? A contextual approach to teachers' adoption  intention of digital games in formal education ». Computers in Human Behavior, 2012.  Emin V., Pernin J.‐P. and Aguirre J.‐L. ScenEdit: An Intention‐Oriented Authoring Environnment to Design Learning  Scenarios. In Wolpers M., Kirschner P., Scheffel M., Lindstaedt S., and Dimitrova V., (Eds) Sustaining TEL: From  Innovation to Learning and Practice, vol. 6383 of Lecture Notes in Computer Science, pp. 626‐631. Springer Berlin /  Heidelberg, 2010.   P. Felicia, “Digital Games in Schools: A handbook for teachers”, European Schoolnet, mai 2009. (last access july  2013)http://www.academia.edu/193030/Digital_Games_in_Schools_A_handbook_for_teachers   Garris, R. Ahlers, R. Driskell, J. E. « Games, motivation and learning: A research and practice model ». Simulation & Gaming,  33 (4), 2002, p. 441‐467.  Hanghøj, T., & Brund, C. E. « Teacher Roles and Positionings in Relation to Educational Games ». ECGBL 2010 Proceedings.  ed. / Bente Meyer. Reading, UK : Academic Publishing Limited, 2010, p. 115‐122.  Kebritchi, M. Factors affecting teachers adoption of educational computer games: A case study. British Journal of  Educational Technology, 41(2), 256‐270, 2010.  Mariais, C., Michau, F. and Pernin, J‐P. « The Use of Game Principles in the Design of Learning Role‐Playing Game  Scenarios », ECGBL 2010 Proceedings. ed. / Bente Meyer. Reading, UK : Academic Publishing Limited, October 2010,  p. 462‐469.  Martins, C. B. M. J., Steil, A. V. & Todesco, J. L. Factors influencing the adoption of the Internet as a teaching tool at foreign  language schools. Computers & Education 42, 353‐374, 2004.  Ney, M., Emin, V., Earp, J., Paving the Way to Game Based Learning: A Question Matrix for Teacher Reflection. Procedia CS  (PROCEDIA) 15:17‐24, 2012.  Pivec, P. Game‐based learning or game‐based teaching? British Educational Communications and Technology Agency  (BECTA), corp creator, 2009  ProActive public deliverable “Production of creative game‐based learning scenarios: a handbook for teachers”, 2010.   Rogers, E. M. Diffusion of innovations ‐ First Ed., Free Press, New York, 1962.  Rogers, E.M. Diffusion of Innovations ‐ Fifth Ed., Free Press, New York, 2003.  Ulicsak M. and Wright M. Games in Education : Serious Games. Futurelab, 2010.  http://media.futurelab.org.uk/resources/documents/lit_reviews/Serious‐Games_Review.pdf (last access march  2013)   Wastiau, P., Kearney, C., & Van den Berghe, W. How are digital games used in schools? European Schoolnet, 2009.  http://games.eun.org/upload/gis‐synthesis_report_en.pdf (last access july 2013) 

162


Cognitive Walkthrough for Learning Through Game Mechanics  David Farrell and David Moffat  Glasgow Caledonian University, Glasgow, UK  david.farrell@gcu.ac.uk  d.c.moffat@gcu.ac.uk    Abstract: Whilst widely advocated, Games Based Learning (GBL) is still an unproven discipline. Results vary and there is no  consensus  for  how  best  to  teach  a  set  of  learning  objectives  using  games.  Designers  may  base  their  approach  on  reasonable pedagogical principles but the process of design is still driven largely by intuition and greater resembles craft  than  science.  Humans are  notoriously  poor  at  unsupported  methodical  thinking  and  relying so  much  on  intuition  carries  great  risk  in  GBL  design.  Cognitive  Walkthrough  (CW)  is  a  technique  that  improves  our  ability  to  predict  how  a  user  will  understand  an  interaction.  Whilst  CW  is  long  established  in  user‐interface  design,  it  should  be  considered  a  general  purpose technique for crafting experiences where a designer must predict the general thinking process of a user. Extending  CW to GBL can help designers expose and question their implicit assumptions and can be used during design to lower risk  or  during  evaluation  to  understand  results.  Extensions  of  CW  should  map  to  the  GBL  pedagogical  approach  chosen  to  provide  the  most  cognitive  support.  We  present  an  extension  of  Cognitive  Walkthrough  for  Learning  Through  Game  Mechanics  and  apply  it  to  the  previously  evaluated  e‐Bug  Platform  game  to  understand  why  one  section  achieved  significant knowledge change and another did not. We found each section to assume several steps of logical understanding  by users but those in the unsuccessful section were unreasonable assumptions. The new technique described in this paper  explains  hitherto  puzzling  results  and  identifies  the  strengths  and  weaknesses  of  game  mechanics’  contributions  to  learning.    Keywords: games based learning, cognitive walkthrough, game design, constructive alignment, game mechanics, Serious  Games 

1. Introduction Whilst there is much enthusiasm for using games in education, most claims have not been confirmed in studies  (Foster and Mishra 2009). Conclusions about learning in games differ (Mitchell & Savill‐Smith 2004; Kirriemuir  & McFarlane 2004) and many evaluations of Game Based Learning (GBL) are weak and unreliable (Wideman et  al  2007).  In  order  to  improve  GBL,  it  is  necessary  to  build  on  sound  pedagogical  design  principles  (Freitas  2006), but game design is more of a craft than science and it is not clear how to do this. Some have attempted  to  integrate  educational  theories  into  game  design  for  specific  pedagogical  approaches  like  Problem  Based  Learning  (Kiili  2007),  while  others  propose  identifying  reliable  learning  mechanic  patterns  that  can  then  be  easily integrated into games as required, without particular change to a game designer’s process (Plass et al  2011). For most GBL designers however, pedagogical principles act as guidelines rather than reliable processes  and much is left to designer intuition. If a GBL game must help a player learn something new, the difference  between  the  designer’s  expertise  and  the  players’  means  that  it  is  easy  for  a  designer  to  make  incorrect  assumptions  about  what  a  player  will  and  will  not  understand.  Outside  of  extensive  playtesting  (expensive  both  in  terms  of  time  and  cost),  there  are  few  techniques  available  to  designers  to  bridge  this  “gulf  of  understanding” (Norman and Draper 1986), mitigate risk and increase the chances that the desired learning  outcomes will be achieved.    The  lack  of  reliable,  practical  techniques  to  support  GBL  pedagogy  design  is  paired  with  a  similar  problem  when evaluating a completed design, or a finished game. It is not obvious how we can systematically analyse  GBL  to  determine  how  closely  it  adheres  to  a  given  pedagogical  approach.  Assuming  that  pedagogy  driven  design was implemented in good faith across a whole game, it is further not clear how one can understand  why results vary from section to section.     An examination of the e‐Bug platform game serves as an example of the evaluation problem. The design team  attempted to make decisions on sound pedagogical principles based on work by Koster (2005), Squire (2004),  and Shaffer (2006) that suggested successful ways that games teach. However, after development, the game  was  evaluated  for  knowledge  change.  Of  the  21  Learning  Outcomes  assessed,  3  achieved  statistically  significant knowledge change (Farrell et al 2011). The evaluation speculated on potential reasons for this but  could draw no clear conclusions or suggest what changes should have been made to improve the results   

163


David Farrell and David Moffat  The  Human  Computer  Interaction  (HCI)  technique  Cognitive  Walkthrough  (CW)  may  be  a  suitable  tool  for  addressing both of these concerns. This paper argues for wider adoption of CW in GBL and suggests that CW  may be extended to any pedagogical approach to improve consistency both in designing GBL and in evaluating  and  understanding  knowledge  change  results.  As  a  proof  of  concept,  we  present  one  extension  of  CW  for  Learning Through Game Mechanics (CWLTGM) and use it to interpret the e‐Bug Platform Game results. The  CWLTGM offers plausible reasons for the differences and supports the promise of the benefit of extending and  applying CW to GBL. 

2. The e‐Bug platform game  e‐Bug  was  a  European  Commission,  DG‐SANCO  funded  project  that  aimed  to  improve  young  people’s  understanding  of  microbes,  hygiene  and  antibiotics,  with  the  ultimate  aim  of  reducing  antibiotic  misuse.  As  part of e‐Bug, two games were designed that could be included in, or work independently of, curricula across  18  partner  countries  in  Europe.  One  of  those  games  was  the  e‐Bug  Platform  Game,  designed  for  primary  school children aged 9‐11. Because the game’s goal was to teach the player, it was important that it be based  on good pedagogy. 

2.1 Designing e‐Bug to be pedagogically sound  It is not obvious how best to teach through games. Indeed, it is likely that there will never be a one‐size‐fits‐all  solution,  but  rather,  different  pedagogical  approaches  will  be  adopted  depending  on  the  type  of  learning  required. Each approach is motivated by a particular belief about the likely effect of interaction with the game.     The  game’s  pedagogical  approach  was  inspired  by  work  by  Koster  (2005),  Squire  (2004),  and  Shaffer  (2006)  that  explored  how  players  construct  knowledge  by  noticing  how  a  game  responds  to  their  actions.  These  scholars  highlight  the  role  of  game  mechanics  in  constructivist  learning.  Game  mechanics  are  “rule  based  systems  /  simulations  that  facilitate  and  encourage  a  user  to  explore  and  learn  the  properties  of  their  possibility space through the use of feedback mechanisms” (Cook 2006). They are used to define the way the  system behaves, and as a result, the things the player learns.     However, even though Squire found that players of Civilization learned about history by interacting with game  mechanics, the game wasn’t teaching the same content as school curricula and so is ultimately inappropriate  as a teaching tool.     Constructive  Alignment  (Biggs  1996)  offers  a  way  to  take  advantage  of  constructivist  understandings  of  learning whilst being compatible with curricula. In a Constructively Aligned process, a teacher understands a  learner’s existing knowledge, and the desired learning outcomes, and then attempts to deliberately align an  experience  to  allow  the  learner  to  construct  new  knowledge  as  a  result.  Whilst  unaware  of  Constructive  Alignment at the time of designing e‐Bug, the designer’s intuition was based on the same concept. In this case,  by  crafting  game  mechanics  to  create  a  game  experience  that  would  allow  the  player  the  opportunity  to  achieve  the  learning  objectives.  For  e‐Bug,  the  scientist  domain  experts  and  teachers  identified  Learning  Outcomes (LOs) and the designer attempted to convert each LO into a game mechanic that would highlight its  meaning in a game context. For example, as Figure 1 shows, to teach that “We use good microbes to make  things like bread and yogurt”, a game mechanic was introduced that allowed the player to push a Lactobacillus  bacterium into a glass of milk, which would then turn into a glass of yogurt. 

Figure 1: Constructivist game mechanics supporting learning about microbes & yogurt 

164


David Farrell and David Moffat 

2.2 Evaluating e‐Bug  To evaluate the effectiveness of e‐Bug, in‐game pre‐post tests were inserted on either side of each section of  the game. Data was collected during school visits and via the e‐Bug website which allowed access to the game.  The evaluation (Farrell et al 2011) used 1736 players (62 from schools and 1674 online). McNemar’s test was  used to assess paired data, applied to individuals with a change in response from ‘wrong’ or ‘don’t know’ to  correct,  or  vice  versa.  Of  the  21  LOs  targeted  by  the  game,  only  three  achieved  statistically  significant  knowledge  change:  we  use  good  microbes  to  make  things  like  bread  and  yogurt  (P<0.001,  x2=14.46);  if  you  cannot  see  a  microbe  it  is  not  there  (P=0.02,  x2=5.60);  soap  can  be  used  to  wash  away  bad  bugs  (P=0.02,  x2=5.28).     The fundamental causes of variance between successful and unsuccessful parts of the game are not obvious.  The same domain experts, teachers, and development team worked on all sections of the game and used the  same constructivist, game mechanic oriented, constructively aligned process to create all sections. It is likely  that some kind of “designer error” is responsible for the difference in effectiveness, but lacking GBL specific  analysis  tools,  it  is  necessary  to  look  to  more  established  fields,  such  as  HCI,  for  techniques  that  can  be  adapted to suit the domain‐specific needs of Serious Games. 

3. Cognitive walkthrough for GBL   Cognitive Walkthrough (CW) is an evaluation technique that helps an expert (who may also be a designer) to  think like their target user through a structured process. This process encourages first thinking about the user  and defining the system, and then takes a step‐by‐step approach to examining the design while the evaluator  tries to imagine the user’s response. Because design is typically iterative, perhaps with several prototypes, CW  can  be  applied  during  early  design  phases  where  problems  in  a  design  can  be  discovered  prior  to  implementation.  CW  is  also  applicable  in  evaluating  a  final  design  to  assess  the  suitability  for  a  particular  audience.    Although  adaptations  of  CW  exist  (e.g  Antona  et  al  2007  for  Universal  Access  assessment  of  interactive  systems and  Novick 1999 for operating procedures), it is still predominantly seen as a technique exclusively  for use in HCI, typically for interface design. The value of CW however, is not derived from anything unique to  interface design, but rather lies in exposing a designer’s hidden biases and implicit assumptions, and by helping  experts think like users. The limitations on unstructured, analytical thinking in humans are well established and  it  seems  intuitive  that  CW‐based  procedures  could  be  of  great  benefit  in  any  area  where  a  designer  must  predict how a user will think.     GBL is a natural domain for such a technique since there exist so few tools to support effective GBL design and  since  so  much  is  left  to  designer  intuition.  CW  has  been  used  in  GBL  to  examine  socio‐emotional  learning  (Dormann  2008)  and  to  support  reflection  processes  (Kiili  2008),  but  it  has  not  yet  been  recognised  as  an  approach  that  can  help  the  wider  GBL  design  community  improve  learning  in  their  games,  nor  has  it  been  applied in GBL evaluations to understand the meaning of successes and failures.     Given the success of CW in traditional HCI and the similarity of the design process across both fields, it is likely  that GBL design would benefit from the introduction CW or CW‐like processes.    Of  course,  GBL  is  not  one  monolithic  approach  (Foster  &  Mishra  2009);  different  games  are  expected  to  be  effective for a wide variety of reasons, so it is necessary to first understand the expected pedagogical process  in a particular game, and then extend CW to best support that process. As such, we would expect there to be  several GBL CWs, each designed to mirror the assumptions underpinning the pedagogical approach, and draw  designer attention to the potential cognitive mistakes that she may make.    As  a  proof  of  concept,  the  CW  extension  described  here  attempts  to  make  explicit  the  implicit  assumptions  and intuitions that guided the e‐Bug design approach and is applicable to GBL where the player is expected to  learn  by  interpreting  her  interaction  with  game  mechanics.  We  then  apply  the  extended  CW  to  understand  why two superficially similar sections of the e‐Bug Platform Game differed in effectiveness. 

165


David Farrell and David Moffat 

4. Cognitive walkthrough for learning through game mechanics  A  typical  CW  (Wharton  &  Rieman  1994)  has  two  phases.  In  the  Defining  Input  phase,  the  evaluator  decides  how to define their user. This phase also serves to document the exact process the user is expected to take to  complete the task, whether or not the system has been built. The second phase is the Walkthrough of actions.  The  evaluator  examines  each  required  action  from  the  perspective  of  the  user,  asking  a  set  of  predefined  questions designed to help estimate the likelihood of the user successfully completing the task.    When carrying out the walkthrough, the evaluator categorises each step as a success or a failure and provides  detail  on  their  reasoning.  Results  may  be  summarised  in  a  table,  perhaps  with  recommendations  of  appropriate action.    In extending CW for Learning through Game Mechanics (CWLTGM), each of the standard steps is mapped to a  GBL equivalent. Then, the final question in the Walkthrough is significantly expanded to become an iterative  process  that  is  intended  help  the  evaluator  predict  whether  or  not  it  is  reasonable  to  expect  the  player  to  learn. This final stage is where the majority of the benefit of CWLTGM lies. 

4.1 Defining Input stage  As  with  a  traditional  CW,  the  Defining  Input  stage  of  CWLGM  is  used  to  identify  the  target  users  and  to  describe the interactions required for success.    The first three parts describe the user and the system. The final part describes the intended interactions that  the player should learn from. 

Figure 2: Mapping the defining input parts of CW to learning through game mechanics  As illustrated in Figure 2, the key difference between CW and CWLTGM at this stage is that the focus is not on  what the player is trying to achieve, but rather on what the designer wants the player to learn.     The  Walkthrough  part  of  the  CWLTGM  uses  the  player  and  system  description  to  ask  whether  the  list  of  actions that defines the intended experience is likely to result in successful learning. 

4.2 Walkthrough stage  As in the previous stage, the first three parts of the Walkthrough stage are mainly contextualised for the GBL  setting. These function very similarly to a traditional CW. They serve to ask whether or not the user will carry  out the correct actions, but they don’t try to ascertain whether or not this results in learning.    The key contribution and main benefit of CWLTGM lies in Step 4. 

166


David Farrell and David Moffat 

Figure 3: Mapping the walkthrough stage of CW to CWLTGM   If the evaluator reaches this step with no ‘failures’, one can assume that the player is interacting successfully  with the GBL as a game. In order to better estimate the success of learning, one must examine closely the list  of actions identified in the Defining Inputs stage and decide whether it is likely that the user will understand  the meaning these are intended to convey.    For any GBL game, the designer must have assumed that the player would understand the meaning implied by  her actions. But these assumptions may be misplaced. The purpose of the fourth step is to draw attention to  these assumptions and allow the designer a chance to spot potential mistakes or areas where it is unlikely that  the player will understand the intended meaning of an interaction.   4.2.1 Step 4 of the walkthrough stage  Step 4 is broken down into a series of sub steps. 

Figure 4: Step 4 of CWLTGM broken down into sub‐steps  Step 4‐1:  List every logical connection that must be made by the player in order to learn through playing this  part of the game.    The purpose of this step is to transform the ‘list of actions’ created during the Defining Input stage into a set of  logical inferences required for the player to learn from these actions.  For each action, the evaluator should ask questions like:   ƒ

Which game entities must the player recognise as having subject domain meaning?  

ƒ

Which game entity interactions must the player recognise as having subject domain meaning? 

Generally, the evaluator must try not to miss any ‘leaps’ of logic, but rather detail each small logical link that  the player must make in order to complete the chain of inferences expected to lead to learning.    Step 4‐2:  For each of the logical links identified, consider again whether it disguises two or more actual steps  of logic, and if so split into smaller steps.    

167


David Farrell and David Moffat  Naturally, the evaluator is prone to the same kinds of mistakes of assumption and expectation as a designer.  However,  by  pausing  and  re‐examining  each  step  of  logical  inference,  we  provide  an  opportunity  for  an  evaluator to spot mistakes.     Step 4‐3: Consider each of the logical links and ask whether it is reasonable to expect the player to make that  connection.    With close reference to the player description created earlier, the evaluator should ask questions like:  ƒ

Will the player understand the visual metaphors? 

ƒ

Will the player read and understand required text? 

ƒ

Will the player’s attention be drawn to the correct elements? 

ƒ

Will the player understand that the meaning of game interactions has a subject domain application? 

For  each  of  the  logical  links,  the  evaluator  should  write  a  few  sentences  about  the  likelihood  of  the  player  making or missing this connection. Links can be categorised as low risk if it is likely the player will make the  connection;  moderate  risk  if  the  player  should  make  the  connection,  but  there  is  enough  doubt  to  warrant  further attention; high risk if it is unlikely that the player will make the connection. 

4.3 Summarising findings  As  with  a  traditional  CW,  the  evaluator  summarises  findings  in  a  fashion  relevant  for  the  next  stage  of  a  project.     If  used  during  the  design  process,  results  of  CWLTGM  applied  to  a  design  can  motivate  actions  prior  to  expensive development. High risk areas should be redesigned as they are fundamentally flawed ‐ the redesign  should  aim  to  support  the  player’s  understanding  of  the  broken  chain  of  logic.  Moderate  risk  areas  are  assumed  to  be  successful,  but  by  identifying  uncertainty  at  this  stage,  focus  groups  and  preliminary  assessments can be used to confirm expectations.     In a final evaluation phase, it may be too late to alter a game, but by examining successful and unsuccessful  parts, we gain greater insight into our practice and share results with the community. 

5. Applying CWLTGM to the e‐Bug platform game  We applied the CWLTGM in an evaluation role to see if it could explain confusing results. Two sections of the  game  were  chosen  that  appear  to  be  very  similar  in  their  implementation,  pedagogical  approach,  and  complexity and yet differ in their effectiveness of improving knowledge in players. The CWLTGM resulted in a  lengthy report, the key findings of which have been discussed in this section. For brevity many of the details  have  been  summarised.  It  is  worth  noting  however,  that  much  of  the  value  of  CWLTGM  lies  in  attention  to  detail absent in the summary. The first section chosen was aimed at teaching “soap can be used to wash bad  bugs from hands.”  This section was successful in changing knowledge (P=0.02, x2=5.28). In this ‘Soap Section’  of the game, the player can press a button to throw some soap. If the soap hits one a ‘bad bug’ it is washed  away with a suitable animation. 

Figure 5: The player throws soap at bad bugs, which are washed away 

168


David Farrell and David Moffat  The second chosen section was aimed at teaching two LOs: “Our bodies have natural defences that protect us  from infection.”; “Most coughs and colds get better without medicine.”  This “Natural Defences” section of the  game was not successful in achieving knowledge change (P=0.21, x2=1.6 and P=0.74, x2=0.11 respectively).     The  difference  in  performance  of  these  sections  was  surprising  since  they  both  employ  very  similar  game  mechanics. In this section, the player can press a button to throw a white blood cell. If they hit a virus, it is  killed  with  a  suitable  animation.  At  design  time,  it  appeared  as  though  these  two  sections  were  almost  identical, with only the “bullet” differing between them.  

Figure 6: The player throws white blood cells at a virus which is killed  The player was expected to understand the meaning of their actions, not just in terms of ‘shooting’ an enemy,  but also in subject‐domain terms of ‘washing away’ or ‘killing’ microbes.    For both sections, the first three steps of the CWLTGM were considered ‘successful’. Players could reasonably  be expected to perform the actions (throwing items at bugs) required to finish the level. The analyses diverged  in Step 4. 

5.1 Walkthrough of learning: Soap section  For the successful Soap Section, the game actions were converted into the following inferences:  ƒ

The player must realise that the environment in which they play represents a human hand. 

ƒ

The player must understand that she isn’t “firing bullets” but rather throwing soap. 

ƒ

The player must realise that the game’s placement of bad bugs on skin represents the reality that we have  harmful bugs on our skin. 

ƒ

The player must realise that the bad bugs are being washed away by the soap. 

ƒ

The player must realise that the bad bugs are bugs, and not aliens or other enemies. 

ƒ

The player must realise that this doesn’t just happen in the game; it represents reality in that soap is used  in real life to remove microbes from the hand. 

ƒ

The player must understand holistically that washing her hands will remove harmful bugs. 

Each of these steps of required logical inference was examined for ‘risk’ of the player not understanding the  semantic meaning behind their actions.     When condensing the findings for this paper, it became apparent that most of the logical links above depend  on  the  results  of  one  question.  “Would  the  combination  of  the  introductory  text  and  the  art  chosen  for  the  game element referred to in the logical step be sufficiently communicative to reasonably expect the player to  make the logical inference?”    The  majority  of  the  inferences  in  this  section  were  considered  low  risk  and  only  three  were  considered  moderate risk.    Link 5 requires that the player read and understand some text that may be misunderstood.   

169


David Farrell and David Moffat  Links  6  and  7  identify  a  possible  “gulf  of  meaning”  where  the  player  may  restrict  her  interpretation  of  the  game’s meaning to its fiction.  

5.2 Walkthrough of learning: Natural defences section  At the end of Step 4‐2, the following logical inferences were identified:  ƒ

Player must realise that the environment they are playing in represents "inside a human body". 

ƒ

Player must realise that the bad bugs are microbes (viruses) and not aliens etc. 

ƒ

Player must  realise  that  the  game's  placement  of  the  virus  inside  the  body  represents  the  real‐world  concept of a human being infected with a virus. 

ƒ

Player must understand that she isn't just shooting bullets, or throwing soap, but rather is throwing white  blood cells. 

ƒ

Player must realise that the bad bugs when hit by the WBC are being killed. 

ƒ

Player must realise that "white blood cells" are the body's natural defences. 

ƒ

Player must realise that this doesn't just happen in the game; it represents reality in the sense that white  blood cells kill infections. 

ƒ

Player must realise that most “coughs and colds” are viruses. 

ƒ

Player must understand holistically that this means that their body can kill most infections like colds and  flu’s by itself. 

Only links  1,  2,  and  5  were  considered  low  risk.  Links  7  and  9  were  considered  moderate  risk  due  to  the  potential gulf of meaning mentioned previously. The other links were categorised as high risk.     Whilst  the  specifics  of  each  failure  are  important  for  this  particular  design,  they  generally  failed  for  four  reasons:  ƒ

the player was considered unlikely to recognise the artwork as representing the desired domain concept  from sight alone because the concept is new to the player (e.g. white blood cells); 

ƒ

the introductory  text  was  unlikely  to  be  understood  (25  sentences  over  5  screens,  each  shown  for  5  seconds); 

ƒ

the language  used  in  the  game  is  not  consistent  with  the  test  question  asked  (e.g.  the  game  referred  viruses, yet the quiz refers to “coughs and colds”); 

ƒ

there were too many new concepts being introduced to reasonably expect the player to understand the  semantic mappings. 

6. Discussion and further work  The  sections  of  the  game  analysed  were  designed  by  the  same  team  of  scientists,  teachers  and  game  developers,  with  the  same  process  and  with  the  same  pedagogical  underpinnings  and  were  expected  to  be  equally  effective.  It  was  a  surprise  to  see  such  a  degree  of  variance.  The  results  of  the  walkthrough  were  genuinely  surprising.  It  seems  ridiculous  in  hindsight  to  have  expected  the  Natural  Defences  section  to  succeed, but we did and could not understand, to our satisfaction, the reason for the difference. By definition,  you cannot design a game to teach without some idea for how it is going to do so, but it is very difficult for  people to find and critique their biases, implicit assumptions and logical fallacies. CW is a very simple tool but  it offers a way to support one’s critical thinking and help the expert designer to identify these mistakes.    We applied the CWLTGM in an evaluatory role against two sections of one game. Future work should assess its  usefulness  in  understanding  the  results  of  other  games  that  also  teach  through  game  mechanics.  Similarly,  whilst it is expected that applying a CW during the design phase should reduce risk, this should be investigated  further.    CW  is  a  general  approach  and  the  CWLTGM  presented  here  is  only  really  applicable  to  games  that  use  a  constructively aligned, game mechanic based approach to teaching through play. Other extensions should be  proposed and evaluated for supporting other types of learning in games. 

170


David Farrell and David Moffat 

7. Conclusion We argue that Cognitive Walkthrough (CW), which is currently widely regarded as an interface usability tool,  should be adopted as a cognitive support tool for Games Based Learning (GBL) and other domains that rely on  predicting how a user will think. Using CW during the design process can expose hidden flaws in reasoning of  the  design  team.  Using  CW  in  an  evaluation  of  a  game can  provide  plausible  reasons  for  knowledge  change  results that might help understand why an element of a design was or was not successful. Because different  pedagogical approaches in GBL are based on different expectations of effects, CW is best considered a general  approach that should be extended to fit a pedagogy’s underlying theoretical basis. We presented a proof of  concept  of  this  idea  with  an  extension  of  Cognitive  Walkthrough  for  Learning  Through  Game  Mechanics  (CWLTGM).  We  applied  our  CWLTGM  to  the  e‐Bug  game  that  has  been  evaluated  for  knowledge  change  to  understand  why  two  sections  that  appeared  to  be  very  similar,  had  differing  results.  The  results  suggested  several  plausible  and  unexpected  reasons  why  one  section  failed  to  achieve  significant  knowledge  change,  whilst the other succeeded. Future work is necessary to establish the general validity of the technique and its  usefulness during design. 

References Antona, M., Mourouzis, A. and Stephanidis, C. (2007). Towards a Walkthrough Method for Universal Access Evaluation.  Proceedings of the 4th international conference on Universal access in human computer interaction: coping with  diversity, pp. 325–334.  Biggs, J. (1996). Enhancing teaching through constructive alignment. Higher Education, 32, pp 1‐18, [online], Available  http://www.springerlink.com/index/l2q3820h2436l607.pdf [17 July 2013]  Cook, D. (2006). What are game mechanics?, [online], Available http://www.lostgarden.com/2006/10/what‐are‐game‐ mechanics.html [17 June 2013].  Dormann, C. and Biddle, R. (2008). Understanding Game Design for Affective Learning. Fututre Play 2008, pp 41–48.  Farrell, D., Kostkova, P., Weinberg, J., Lazareck, L., Weerasinghe, D., Lecky, D. M., and McNulty, C. a M. (2011). Computer  games to teach hygiene: an evaluation of the e‐Bug junior game. The Journal of antimicrobial chemotherapy, 66  Suppl 5, v39–44. doi:10.1093/jac/dkr122  Foster, A. N., and Mishra, P. (2009). Games, Claims, Genres, and Learning. Handbook of Research on effective electronic  gaming in education, pp 33–50, [online], http://punya.educ.msu.edu/publications/foster‐mishra‐08.pdf [17 July  2013].  Freitas, S. D. (2006). Learning in Immersive worlds A review of game‐based learning. Bristol, UK: Joint Information Systems  Committee (JISC) Report. [online], Available  http://www.jisc.ac.uk/media/documents/programmes/elearninginnovation/gamingreport_v3.pdf [17 June 2013]  Kiili, K. (2007) “Foundation for Problem‐Based Gaming”, British Journal of Educational Technology – Special issue on Game‐ Based Learning, Vol 38, No. 3, pp 394‐404.  Kiili, K. (2008). Reflection walkthrough method: designing knowledge construction in learning games, Proceedings of 2nd  European Conference on Games Based Learning, Catalunya, Spain, pp. 237–241.  Kirriemuir, J. (Ceangal), and McFarlane, A. (University of B. (2004), Literature Review in Games and Learning, Futurelab  Report, Bristol.  Koster, R. (2005). A Theory of Fun for Games Design. Paraglyph Press.  Mitchell, A., and Savill‐Smith, C. (2004). The use of computer and video games for learning: A review of the literature.  Development. Learning and Skills Development Agency, [online], Available http://dera.ioe.ac.uk/5270/1/041529.pdf  [17 June 2013]  Novick, D. Using the cognitive walkthrough for operating procedures. Interactions, 6(3):31‐37, 1999  Plass, J., Homer, B., Kinzer, C., Frye, J., and Perlin, K. (2011). Learning Mechanics and Assessment Mechanics for Games for  Learning. Games for Learning Institute White Paper, [online], Available http://g4li.org/wp‐ content/uploads/2011/11/G4LI‐White‐Paper‐01‐2011‐Learning‐Assessment‐Mechanics.pdf [17 June 2013]  Shaffer, D. W. (2006). How computer games help children learn, Media, Vol. 1, pp. 256, Palgrave Macmillan.  doi:10.1057/9780230601994  Squire, K. (2004). Replaying history: Learning world history through playing Civilization III. Indiana University, Indianapolis,  [online], Available http://website.education.wisc.edu/kdsquire/dissertation.html [17 June 2013]  Wharton, C., Rieman, J., Lewis, C. and Polson, P. (1994), The Cognitive Walkthrough: A practitioner’s guide, In J. Nielsen &  R. L. Mack (Eds.), Usability inspections methods, New York: Wiley, pp 105‐140.   Wideman, H. H., Owston, R. D., Brown, C., Kushniruk, A., Ho, F., and Pitts, K. C. (2007). Unpacking the potential of  educational gaming: A new tool for gaming research. Simulation & Gaming, 38(1), pp 10–30.  doi:10.1177/1046878106297650  Norman, D. A., and Draper, S. W. (Eds.) (1986). User centered system design: New perspectives on human‐computer  interaction. Hillsdale, NJ: Lawrence Erlbaum Associates 

171


Global Math: Development of Online Platform for Mathematical  Thinking Games  Toru Fujimoto1, Keiichi Nishimura2, Kaoru Takahashi3, Masahiro Yachi4, Kiyoshi Takahashi4  and Yuhei Yamauchi3  1  Center for Research and Development of Higher Education, The University of Tokyo,  Tokyo, Japan  2  Tokyo Gakugei University, Tokyo, Japan  3  Interfaculty Initiative in Information Studies, The University of Tokyo, Tokyo, Japan   4  Benesse Corporation, Tokyo, Japan  tfujimt@he.u‐tokyo.ac.jp  knishi@u‐gakugei.ac.jp  kaorutkh@iii.u‐tokyo.ac.jp  yachi@mail.benesse.co.jp  kiyoshi@mail.benesse.co.jp  yamauchi@iii.u‐tokyo.ac.jp    Abstract: While some gaming portals provide learning‐based games, most of them either merely showcase games without  offering any function for user feedback for the developers or do not provide open access to individual developers, even if a  website has functions for data collection. Therefore, it is difficult for individual developers and small independent teams to  obtain user feedback for making enhancements in their games in the prototyping phase. The purpose of this research is to  develop  and  evaluate  an  open  online  platform  system  to  host  mathematical  thinking  games.  Through  a  joint  research  project  in  collaboration  with  the  University  of  Tokyo  and  Benesse  Corporation,  we  have  developed  the  ‘Global  Math’  platform, which is an open online platform to host mathematical thinking games for Indie game developers and students  interested in developing learning games. The platform features the ‘Global Math API’, which enables game developers to  obtain play log data by simply registering and embedding certain JavaScript codes. The API offers an interface that stores  play log data in the Global Math platform database. The platform offers data‐analytic functions to monitor how the games  are played and received by audiences. As a formative assessment of the platform in terms of usability and effectiveness,  four teams of undergraduate students who study game design participated in a game design project using the platform.  The  teams  worked  on  the  project  for  two  months  and  uploaded  four  game  prototypes  successfully.  The  survey  findings  indicate  that  the  students  found  that  this  project  offered  them  an  opportunity  to  think  about  different  aspects  of  game  design that they had not considered previously, and they found it appealing to develop mathematical learning games. It  showed that developing mathematical games can be engaging for students as long as they are provided with the necessary  resources. The survey also indicates that more instructional and technical support for developers is necessary to use the  functions of the platform.     Keywords: mathematical games, game‐based learning, game platform, embedded assessment, social media 

1. Introduction Foreign attendees at international conferences have often asked us questions such as ‘Why do Japanese game  developers and researchers not get involved in the serious games field?’ In contrast to other countries where  the serious gaming movement has recently gained recognition from people outside the gaming industry, the  emerging  field  of  serious  gaming  has  not  grown  significantly  in  Japan.  In  contrast  to  the  success  of  the  Japanese game industry, companies working in serious games are struggling to sustain themselves.     The Ministry of Economy, Trade and Industry of Japan released a report entitled ‘Game Industry Strategy: A  Vision for the Development and the Future of the Game Industry’ in 2006 (METI 2006). It proposed a vision for  the  future  of  Japan's  game  industry  that  would  help  its  survival  in  the  global  competition  and  receive  the  widespread  support  of  Japanese  society.  The  use  of  games  for  purposes  beyond  entertainment,  e.g.,  to  address  social  issues  such  as  education,  social  welfare  and  healthcare, has  been considered  as  a  strategy  to  realize this vision.     In spite of some joint efforts conducted by the industry, academia and government to promote this business  outside the entertainment market since the release of the report by linking the game industry and other fields  beyond entertainment, such efforts have been sporadic and not as successful as expected. The grants funded 

172


Toru Fujimoto et al.  are  not  adequate  to  attract  skilled  game  developers.  The  typical  project  budget  for  serious  games  in  Japan  tends  to  be  less  than  $100,000  per  title,  which  is  far  below  the  average  development  cost  for  commercial  game titles. Thus, the size of the project is usually small, and such projects find it difficult to attract and sustain  public attention. Moreover, the academic research base for serious games has not yet been established, and  there are remarkably few researchers who concentrate mainly on this field. Therefore, it is difficult for young  researchers  to  pursue  an  academic  career  in  game  studies.  Due  to  the  lack  of  a  support  system,  even  if  independent  game  developers  aspire  to  develop  games  in  order  to  address  social  issues,  they  have  limited  opportunities to acquire the necessary support for the completion of their project. Moreover, if they release a  product, no effective means exist by which they can attract audiences for most low‐budget games.     To address these issues, we considered a platform system to support game developers that would make the  development  process  more  effective  and  would  reach  their  audiences.  While  some  learning  games  portal  websites  exist,  most  of  them  either  merely  showcase  games  without  offering  any  functions  to  obtain  user  feedback  for  the  developers  or  are  not  openly  accessible  by  individual  developers  even  if  a  website  has  functions for data collection. Therefore, it is difficult for individual developers and small independent teams to  gain user feedback so as to improve their games in their prototyping phase.     Our research intended to solve this problem by developing an open online platform system to host games for  learning.  Through  a  joint  research  project  in  collaboration  with  the  University  of  Tokyo  and  Benesse  Corporation,  we  developed  the  Global  Math  platform,  which  is  an  open  online  platform  for  Indie  game  developers and students interested in developing learning games to host mathematical thinking games. This  paper reports the development and formative evaluation of the platform.  

2. Design of the platform   2.1 Issues in mathematical education  We designed the game platform system focusing on mathematical thinking skills. We were concerned that the  low  achievement  level  of  students  in  mathematics  would  be  a  significant  issue  in  mathematics  education  (Ministry of Education, Culture, Sports, Science and Technology 2009). Students with high mathematics anxiety  tend to feel demotivated while learning mathematics. Learning activities in mathematics classes, such as taking  examinations,  increase  overall  anxiety  (Richardson  &  Suinn  1972),  which  may  contribute  to  mathematics  avoidance and poor performance (Rounds & Hendel 1980). A combination of high anxiety and low interest in  mathematics generally forms a tough barrier that prevents students from adequately learning mathematics.     Researchers consider that digital games can be a powerful and alternative tool to build learning environments  for mathematical‐problem solving and engage learners in mathematical thinking activities (Van Eck & Dempsey  2002, Devlin 2011, Ke & Grabowski 2007, Kebritchi & Hynes 2010). Yoshizawa pointed out that students tend  to  stumble  and  dislike  mathematics  because  of  the  lack  of  clarity  in  the  actual  functioning  of  abstract  mathematical  concepts  (Yoshizawa  2006).  Because  it  is  difficult  for  novice  students  to  acquire  an  understanding of mathematical concepts without being able to connect concrete examples with the concepts,  it may be necessary to provide them with learning opportunities that link actual examples with mathematical  knowledge.  By  using  digital  games,  learners  can  participate  in  playful  activities  that  help  them  engage  in  challenging tasks supported by immediate and active feedback from the game system.  

2.2 Issues in development of games for mathematics   While many games have been developed and released for mathematical education, it has still not become a  key  approach  for  learning.  As  previously  mentioned,  it  is  virtually  impossible  for  a  small‐budget  project  to  develop  a  game  of  excellent  quality,  evaluate  its  effectiveness  and  promote  it  so  as  to  attract  public  recognition within the short project term. For this, a crucial issue was determined to be the lack of a common  platform  which  offers  the  opportunity  to  reach  a  wider  audience  and  obtain  feedback  based  on  a  measurement  standard  for  game‐based  mathematical  education.  It  is  difficult  for  entertainment  game  developers  to  align  appropriate  learning  goals  with  fun  elements  in  the  game  because  they  are  usually  not  experts  in  pedagogy.  Therefore,  we  prepared  not  just  development  guidelines  for  technical  matters  but  a  design  guideline  on  learning  contents.  By  offering  such  a  platform,  we  expected  that  games  developed  by  small project teams would have a greater chance of providing learners with better learning experiences. 

173


Toru Fujimoto et al. 

2.3 Design features of the platform  In  this  study,  we  considered  the  target  users  of  the  game  platform  to  be  undergraduate  students  and  independent  game  developers  who  are  interested  in  developing  learning  games.  The  platform  system  consisted  of  several  elements:  1)  a  web‐content  management  system  that  accepts  registration  and  configuration by game developers and showcases the game applications, 2) a play log database that stores the  actions  by  learners  during  their  game  play,  3)  the  Global  Math  API,  which  enables  the  developers  to  obtain  play log data by registering and embedding some JavaScript codes in the game and 4) a monitoring system to  provide  game  developers  with  analytics  information  based  on  play  log  data  (see  Figure  1  for  the  system  overview).  

Figure 1: Overview of the Global Math platform system  The platform currently supports Flash‐ and HTML5‐based gaming applications. Once registered, developers can  register  their  own  games  on  the  administration  page  free  of  charge.  Their  applications  need  to  include  the  Global Math API to collect play log data. The API offers an interface that stores play log data in the database.  The platform offers data analytics functions to monitor how the games are played and received by audiences.  The API consists of a set of codes for exchanging game data and user profile data between the platform and  game application. The play log data is communicated in the JavaScript Object Notation (JSON format. When a  person starts playing, the game application sends a request to the platform database to call a unique session  ID  for  identifying  the  start  and  end  of  a  gaming  session.  During  a  single  session  of  gaming,  the  game  tracks  users’ actions on the basis of the method defined by the developer. Instead of providing fixed methods, the  API offers flexibility to be able to define and register one’s original property on the basis of their evaluation  needs and interests. For example, if a developer wants to count how many times players use a certain item,  he/she  can  define  it  by  using  the  request  method.  If  the  item  is  named  Apple,  the  syntax  for  the  same  is  ‘A3.request ({"item": "Apple", "location": {"stage": "2‐3", "position": 120}});’. The data collected during gaming  is stored in the platform’s database by these data transaction methods. Game developers can refer to these  data on the administration page. Figure 2 shows the overview of data collection structures and the items to be  collected during the game play.    We applied the framework of evidence‐centred assessment design (Mislevy et al. 1999) to coordinate target  skills on mathematical thinking and actions during the game play and developed a user monitoring system to  enable  ‘stealth  assessment’  (Shute  2011).  We  developed  a  tentative  competency  model  which  focused  on  mathematical  thinking  skills  for  1)  finding  numerical  and  logical  rules,  2)  gaining  insights  into  the  complex  process and 3) classifying things based on the player’s logical insights. The model was resolved into component  elements based on skills, and it explained what types of tasks and actions in the game are relevant to these  skills. For example, ‘finding numerical and logical rules’ may be relevant to the following tasks in the game: 1‐

174


Toru Fujimoto et al.  1) within given items, identifying uniqueness and difference to obtain clues to solve problems, 1‐2) dividing a  problem  into  smaller  units  to  make  it  solvable,  1‐3)  determining  the  relationship  between  items  and  the  pattern  of  changes  on  the  basis  of  the  given  condition,  1‐4)  ensuring  that  the  relationships  and  rules  are  enacted and where these are in effect. These concepts were explained in the design guidelines offered to the  game developers. 

Figure 2: Overview of Play Log Data Collection  The  prototype  of  the  platform  and  the  design  guideline  documents  were  developed  and  evaluated.  The  remainder of this study examines the initial results of the formative evaluation and discusses how the platform  supported game developers.  

3. Evaluation   3.1 Methods  For a formative assessment of the platform in terms of usability and effectiveness, we conducted a user test.  Four teams consisting of undergraduate students (n = 13; 11 males and 2 females) who study game design at  the  Tokyo  University  of  Technology  participated  in  the  game  development  project  using  the  platform.  They  volunteered to join the project as an extracurricular opportunity. In the beginning, we provided them with a  design guideline document to inform them about the implementation of the Global Math API into their game  applications. We also provided them a document with instructions on how to align learning goals and game  play.     Starting in January 2013, the student teams started to work on the project, during which a proposal meeting,  mid‐term presentation and final presentation were held consecutively. After the end of the two‐month project  term,  the  teams  uploaded  four game prototypes  on  the platform  in  March  2013. Following  the  final  project  presentation,  we  conducted  a  survey  with  the  students  to  assess  their  experiences  during  the  development  process. The survey questionnaire consisted of ten multiple‐choice questions and seven free‐answer questions  on their experience of the project, including the usefulness of design guideline documents, their interest in the  mathematical games and the user‐interface of the platform.  

175


Toru Fujimoto et al. 

3.2 Game examples  The  students  successfully  developed  four  mathematical  thinking  games  on  the  basis  of  the  provided  development  guidelines.  Brief  descriptions  of  the  games  are  as  below  (see  Figures  3  &  4  for  the  example  screenshots of the games developed by the students).   ƒ

Logi‐mon: It  is  a  strategic  action  puzzle  game  which  challenges  players  by  using  a  logical  puzzle  and  a  limited number of available hands to defeat enemies. The players have to put the hands in the right order  to go through battles within a certain time period. The game is named after the popular entertainment  game and anime television series ‘Poke‐mon’.  

ƒ

The Kansu‐Makyu  (The  Functional  Magic  Pitch):  It  uses  a  baseball  pitch  as  a  metaphor  to  describe  the  curve  of  mathematical  functions.  Learners  can  learn  the  concept  of  mathematical  functions  by  aiming  baseballs at targets, which are done by adjusting coefficients in a function. To hit all targets on the field,  the player has to estimate the correct coordinates and angles before throwing the ball. With the increase  in the level, it includes quadratic and trigonometric functions.  

ƒ

Koi Yori Shouko (Evidence Superior than Love): This is a propositional logic quiz game targeted especially  at  girls.  Players  have  to  guess  true/false  answers  in  a  young  male  student  character’s  statements  by  referring to logical clues.  

ƒ

Saki Yomi  Tantei  (A  Look‐Ahead  Detective):  This  is  a  minesweeper‐type  of  logical  puzzle  game  in  which  players exactly locate an enemy’s hiding position on the map through logical clues that they receive.  

Figure 3: Screenshot of Logi‐mon 

3.3 Survey results  The  survey  results  (Figure  5)  indicated  that  most  students  found  the  project  engaging  and  wished  to  participate  in  such  a  project  again,  even  though  they  thought  this  project  was  harder  than  other  previously  participated  game  development  projects.  The  project  seemed  to  offer  them  an  opportunity  to  think  about  different aspects of game design that were not considered previously, and they found it appealing to develop  mathematical learning games. The open platform environment enabled them to check other projects online, 

176


Toru Fujimoto et al.  which participants found encouraging. However, the results also indicated that the instructional and technical  design  guideline  documents  were  not  as  helpful  as  anticipated.  The  document  needs  to  be  more  detailed.  Because  this was  a  short‐term  project,  we  found  that  it  was  also  beneficial  to  provide  students  with  instant  support  from  developers  so  that  they  could  update  their  games  faster  without  consuming  time  for  unnecessary confusion.  

Figure 4: Screenshot of The Kansu‐Makyu  The following are the comments of students on how this project offered them a positive experience: ‘It was  truly  a  delightful  experience  for  me  as  we  learned  a  lot  about  programming  and  beyond.  This  experience  would  be  helpful  for  our  game  production  in  the  future’.  ‘Through  this  project,  I  understood  the  difference  between  entertainment  game  development  and  educational  ones.  We  could  use  of  our  knowledge  such  as  user‐centred design and specification planning, which I learned through entertainment game design’. ‘I am so  satisfied  with  the  project  as  this  was  totally  a  unique  experience  for  me.  We  appreciate  that  you  made  this  kind of platform which enables us to release our games worldwide. This is extremely difficult for students like  us. I got to understand mathematical knowledge more deeply as well.’ 

When I first heard about this project, it  sounded interesting This project was harder than my  previous projects

Somewhat disagree

This project made me think about the  dfferent aspects of games

Neither

I want to participate in this type of  game development project again

Somewhat agree

This project was a good opportunity  to  consider mathematical thinking skills

Strongly agree

It was encouraging to see  how other teams progressed The technical information in the design  guideline document was helpful. 

(n = 13)

The instructional design guideline document was helpful.  0%

20%

40%

60%

80%

100%

Figure 5: Summary of the participant survey 

177


Toru Fujimoto et al. 

4. Conclusion Although  this  study  did  not  provide  conclusive  results,  the  formative  evaluation  indicates  that  the  game  platform  could  work  as  a  hub  to  connect  game  developers  interested  in  develop  mathematical  games  and  engage  them  in  a  development  project.  We  did  not  expect  that  the  students  would  enjoy  such  a  platform.  They  started  studying  game  design  because  they  wanted  to  develop  entertainment  games.  Developing  educational games, especially mathematical games, tends not to be such a popular area of focus for students.  However, this project showed that developing mathematical games can be engaging for them as long as they  are provided with the necessary resources.     The  study  also  indicated  that  the  open  platform  can  be  a  stage  on  which  developers  can  compete  and  demonstrate their skills to a broader audience. In general, few opportunities exist to reach a broad audience to  gain  feedback  for  user  testing.  It  is  also  difficult  to  compare  different  game  prototypes  because  they  are  unlikely to share common measurement standards for objective evaluation. The Global Math platform offers  measurement tools to enable such a comparison.     There are some overall limitations in this study. First, because the data was collected from a limited number of  participants  in  a  formative  evaluation,  the  results  did  not  provide  concrete  evidence  that  showed  the  effectiveness of this platform. Second, the provided design guideline documents were not developed in detail.  The  Global  Math  API  was  not  fully  developed  to  analyse  the  details  of  play  log  data.  It  requires  further  developments to demonstrate its potential. Finally, substantial measurement of and further research on the  platform is required on a large scale so that it is fully effective.  

Acknowledgements This  study  was  conducted  as  a  research  project  of  the  Benesse  Department  for  Educational  Advanced  Technology  (BEAT)  at  the  University  of  Tokyo.  We  especially  thank  Professors  Yoshihiro  Kishimoto  and  Koji  Mikami at the Tokyo University of Technology for their support on the student project.  

References Devlin, K. (2011) Mathematics Education for a New Era: Video Games as a Medium for Learning. AK Peters Ltd, Natick, MA.  Ke, F. and Grabowski, B. (2007) Game Playing for Math Learning: Cooperative or Not? British Journal of Educational  Technology, Vol 38, No 2, pp 249–259.  Kebritchi, M. and Hynes, M. (2010) Games for Mathematics Education. In A. Hirumi (Ed.) Playing Games in School: Video  games and Simulations for Primary and Secondary Education (pp 119–145). Washington DC: International Society for  Technology in Education.  Ministry of Economy, Trade and Industry. (2006) Game Industry Strategy: A Vision for the Development and the Future of  the Game Industry.  Ministry of Education, Culture, Sports, Science and Technology. (2009) White Paper on Education, Culture, Sports, Science  and Technology. Retrieved from http://www.mext.go.jp/b_menu/hakusho/html/hpab200901/1305844.htm   Mislevy, R.J., Steinberg, L.S. and Almond, R.G. (1999). Evidence‐Centered Assessment Design. Retrieved from:  http://www.education.umd.edu/EDMS/ mislevy/papers/ECD_overview.html  Richardson, F. and Suinn, R. N. (1972) The Mathematics Anxiety Rating Scale: Psychometric Data. Journal of Counseling  Psychology, Vol 19, pp 551–554.  Rounds, J. B and Hendel, D. D. (1980) Measurement and Dimensionality of Mathematics Anxiety. Journal of Counseling  Psychology, Vol 27, No 2, pp 138–149.  Shute, V. J. (2011) Stealth Assessment in Computer‐Based Games to Support Learning. In S. Tobias and J. D. Fletcher (Eds.),  Computer Games and Instruction (pp 503–524). Charlotte, NC: Information Age Publishers  Van Eck, R. and Dempsey, J. (2002). The Effect of Competition and Contextualized Advisement on the Transfer of  Mathematics Skills in a Computer‐Based Instructional Simulation Game. Educational Technology Research and  Development, 50(3), 23–41.  Yoshizawa, M. (2006) Classification of Students' Stumbles while Learning Mathematics. Japan Journal of Mathematics  Education. Vol 88, No 3, pp 24–28.   

178


What Can Play Theory Tell us About Computer Games for Young  Children?    Georgy Gerkushenko1 and Svetlana Sokolova2  1 CAD, Volgograd State Technical University, Volgograd, Russian Federation  2 Preschool and primary education, Volgograd State Socio‐Pedagogical University,  Volgograd, Russian Federation.   mail@gerkushenko.ru  svetlana@gerkushenko.ru     Abstract: Play‐based learning is defined as a context for learning through which children organize and make sense of their  social  worlds,  as  they  interact  actively  with  people,  objects  and  representations.  Young  children’s  play  allows  them  to  explore,  identify,  negotiate,  take  risks  and  create  meaningful  ideas.  Children  who  are  constantly  engaged  in  play  experiences have much more developed memory skills, language development and self‐regulation than children who lack  the  play  activity.  The  purpose  of  the  paper  is  to  find  out  what  the  most  important  factors  are  for  teachers’  selection  computer  programs  for  kindergarten  classroom  activities.  Whether  the  factors  concern  the  theory  of  children’s  play  development? Do kindergarten teachers need the scaffolding program for their choice of computer games for using in the  classroom? What should be the essence of the program? Preliminary study made by authors in Russian Federation shows  the lack of teacher’s computer literacy. This situation leads the absence of computer games or incompetent using them in  pedagogical work with children. By studying general characteristics of play we identify the main criteria which can be used  for  choosing  appropriate  game  for  classroom  activities.    For  instance,  choosing  a  game  teacher  should  answer  the  question,  if  this  computer  game  allows  children  to  create  their  own  scenarios,  rules  and  characters  of  the  play  or  if  it  enables  children  acting  in  an  imaginary  situation?  The  paper  gives  an  overview  of  the  computer  games  for  preschool  children  used  in  Russian  kindergartens;  it  also  contains  the  scaffolding  features  on  using  computer  games  for  children’s  development. It summarized the problems and recommendations to scaffolding process for teachers who are interested in  using computer games for effective children’s development.    Keywordss: early childhood education, play‐based learning, kindergarten teachers’ training, computer games, scaffolding 

1. Introduction One of challenges facing today’s kindergarten teachers is the constant pressure to teach more academic skills  at a progressively younger age reducing the time for traditional Early Childhood activities. In contrast with this  fact  psychologists  and  education  researchers  stress  play  as  preschool  children  leading  type  of  activity,  providing  necessary  skills  and  effective  socialization  (Vigotsky,  1977,  Elkonin,  1978,  Zaporozhets,  1978).  Intellectual and social benefits of play as children’s activity have been documented widely (Lester & Russell,  2008, Vigotsky, 1977). Children engaged in play experiences are more likely to have well‐developed memory  skills, language development, and are able to regulate their behavior, leading to enhanced school adjustment  and academic learning (Bodrova & Leong, 2005).     Following  Bodrova  and  Leong  (2003)  nowadays  young  children  spend  less  time  at  home  playing  with  their  peers and more time playing alone, in the classroom they tend to rely on realistic toys and props, and have a  hard time using their imaginations to invent a substitute for a prop they do not have. According to long time  play  observation  in  kindergarten  classrooms  in  Russia,  China  and  France  made  by  authors  of  this  article  children have frequent problems to try a new topic or plot, preferring instead to act out the familiar scenarios  of family, school, or hospital. Unfortunately, play that exists in many of today’s kindergarten classrooms does  not  fit  the  definition  of  mature  or  well‐developed  play.  Even  5‐  and  6‐year‐old  children  who  according  to  famous Russian psychologists Vygotsky and Elkonin should be at the top of their play performance often show  immature  play  signs  more  typical  for  toddlers.  Bodrova  and  Leong  (2008)  underline  that  important  factors  influencing such a serious situation with children’s development are following: increasing adult‐directed forms  of  children’s  learning  and  recreation;  proliferation  of  toys  and  games  that  limit  children’s  imagination,  substitution of real play by “play impostors”.     Analysis of the software for children shows the huge opportunities that computer games have for intellectual,  emotional  and  social  development,  as  well  as  for  children’s  learning  (Verenikina,  2003).  As  we  suppose  the  main  goal  for  contemporary  early  childhood  education  practice  is  finding  a  balance  between  uncontrolled  children’s playing computer games and adult‐directed activities for using computer programs to train or even 

179


Georgy Gerkushenko and Svetlana Sokolova  drill  children’s  academic  skills.  According  to  the  theory  of  play  and  children’s  development  phenomena  computer  games  and  gaming  platforms  first  of  all  should  make  an  emphasis  on  make‐believe  play  and  take  into account the stages of play. Moreover, Susan Haugland (1992) underlines that adults play an essential role  when  computers  are  used  successfully  with  young  children.  Meanwhile  the  survey  showed  the  problem  of  negative  attitude  of  significant  amount  of  the  Russian  kindergartens  teachers  to  computer  games  and  their  using in the classroom (Sokolova&Gerkushenko, 2002).  The present paper is based on the idea of scaffolding  children’s play by means of planed including of computer games into kindergarten classroom activities. As the  benefits  of  computer  games  in  teaching  and  learning  are  more  or  less  evident  for  teachers  and  parents  a  variety  of  learning  theories  has  been  applied  to  examining  the  educational  value  of  available  software.  However,  in  the  literature,  there  is  a  lack  of  examination  of  kindergarten  teachers’  competency  in  using  computer games for children’s play development. 

2. Motivation   In 2011 International Center for the Childhood and education of Volgograd State Socio‐Pedagogical University  started  the  project  “Childhood  without  borders”.  One  of  the  objectives  of  the  project  was  to  support  innovative practices in preschool education. The project had a number of subprojects which were oriented to  different  areas  of  children’s  development.  One  of  subproject  realized  cooperatively  with  Volgograd  State  Technical  University  was  dedicated  to  using  Information  and  Communication  technologies  in  kindergarten.  Main participants were teachers from municipal kindergartens. Totally 10 kindergartens were involved in the  project. The essence of this subproject was in complex analysis of using computer games in kindergarten for  improvement of children’s development. The area of problems we investigated was the competent scaffolding  of children’s play activity as the necessary tool for their learning and development.     The  necessity  of  the  research  can  be  explained  with  the  results  achieved  in  2002  when  we  define  the  kindergarten teachers’ attitude to computer games for children. We found that on average 90% of surveyed  kindergarten  teachers  had  negative  attitude  to  computer  games  for  young  children.  The  interviews  showed  that  teachers  first  of  all  were  concentrated  on  possible  harm  that  computer  games  can  bring  to  children’s  physical  development.  They  were  afraid  that  computer  games  can  damage  children’s  eyesight  (88%),  cause  their  psychological  dependence  (49%),  damage  social  skills  like  adapting,  cooperative  communication  etc.  (35%)  (Sokolova&Gerkushenko,  2002).  Such  negative  tendencies  in  teachers  opinions  were  received  as  teachers  supposed  first  of  all  the  situations  of  uncontrolled  children’s  gaming,  secondly  the  situations  when  children  play  computer  games  during  their  boring  time,  thirdly  the  examinees  teachers  mentioned  on  individual  games  where  there  is  no  possibility  to  cooperate  with  a  peer.  Most  of  the  interviewed  teachers  (75%) never used computer games in their classroom supposing such a play activity as a redundant one and  unfit for didactic goals.     Ten years have passed and contemporary kindergarten teacher uses computer technologies much often than  before. But still now computer games are not assessed by kindergarten teachers as learning tools. They prefer  to use such games for physical diseases correction or for diagnostic reasons. Meanwhile Papert (1998) stresses  that computers have an impact on children when the computer provides concrete experiences, children have  free access and control the learning experience, children and teachers learn together, teachers encourage peer  tutoring, and teachers use computers to teach powerful ideas. According to these ideas and the theory of play  as the most powerful learning tool for preschoolers, the hypothesis of the present study we conclude in the  statement  that  kindergarten  teachers’  deliberate  analysis  of  the  play  component  of  computer  games  could  provide  the  enhancement  of  classroom  activities  quality  by  the  developmentally  appropriate  choices  of  computer games. 

3. Methods The  research  was  carried  out  in  Volgograd  city  over  a  two‐year  period  2011‐2012  and  involved  50  Russian  kindergarten teachers who used computer software in education process. It aimed firstly to answer research  questions:   ƒ

What are  the  most  important  factors  for  selection  computer  programs  by  teachers  during  children’s  classroom activities? Whether the factors concern the theory of children’s play development? 

ƒ

Do kindergarten teachers need the scaffolding program for their choice of computer games for using in  the classroom? What should be the essence of the program? 

180


Georgy Gerkushenko and Svetlana Sokolova  The methods chosen to carry out the research concerned theoretical and empirical studies. Leading theoretical  research  we  used  methods  of  analysis,  synthesis  and  classification.  The  empirical  studies  included  teachers’  narrative interviews, the questionnaire analysis, and the experiment.     For answering the research questions we used combination of open and closed type of questionnaires where  teachers could choose the variant of answer or could write their own answer. The second goal was planned to  achieve by organizing kindergarten teachers’ learning community for analysis the scaffolding methodology of  children’s play development with support of computer game programs.   The structure of research participants is shown in the Table 1.  Table 1: The structure of kindergarten teachers  Amount of teachers  4‐5 y.o.  5‐6 y.o.  classroom  classroom  10 

40

Less than  30 y.o.  5 

Teachers’ age  30‐40 y.o  More than  40 y.o.  18 

27

Experience of work  Less  5‐10  More  than 5  years  than 10  years  years  2  5  43 

4. Theoretical studies  4.1 Play‐based learning in preschool age   Play‐based learning is a context for learning through which children organize and make sense of their social  world,  relate  actively  with  people,  objects  and  representations.  There  is  a  long  standing  tradition  in  play  research that focuses on play itself in its multiple forms, recognizing it as a distinct child‐initiated activity with  its own unique contributions to child development. Jean Piaget (1962) and Lev Vygotsky (1978) were among  the  first  who  link  play  with  children’s  development.  Roskok  and  Christie  (2001)  underline  that  play  is  not  a  singular  construct  but  rather  a  continuum  of  playful  behaviors  that  children  engage  in  the  context  of  Early  Childhood classrooms, encompassing a set of behaviors that vary in terms of the degree of adult guidance and  support. During the growing process new levels of play appear when children move from infancy to preschool  age.  There  are  several  classification  schemes  for  the  play  of  young  children.  Piaget  (1951)  described  three  stages of play, in which children’s ability to think symbolically corresponds to the structure of the play. The first  level  is  associated  with  the  sensorimotor  stage  and  is  called  functional  or  practice  play  and  consists  of  repetitive  motor  movements  with  or  without  objects.  Second  level  concerns  symbolic,  or  pretend,  make‐ believe  play.  The  last  stage  of  Piaget’s  classification  contains  games  with  rules,  which  is  based  on  children’s  understanding and following rules in play activities. Parten (1932) described four categories of children’s play:  nonsocial  play,  parallel  play,  associative  play,  and  cooperative  play.  Those  two  last  levels  of  play  represent  higher  levels  of  interaction  when  children  actually  play  together,  doing  similar  things  and  coordinating  their  actions (Parten, 1933, in Dockett and Fleer, 1999).    An essential characteristic of child’s play is pretending which is an action and interaction in an imaginary, “as  if”  situation,  it  usually  contains  some  roles  and  rules  and  the  symbolic  use  of  objects  (Leontiev  1981,  Nikolopolou 1993).The investigation of the relationship between the quality of play and children’s educational  outcomes  discovers  that  mature  (well  developed)  play  is  the  most  powerful  tool  for  children’s  learning  and  development. Bodrova and Leong (2003) define several quality characteristics of mature play such as:  ƒ

Imaginary situations when children assign new meanings to the objects and people in a pretend situation.  When children pretend, they focus on an object's abstract properties rather than its concrete attributes.  They  invent  new  uses  for  familiar  toys  and  props  when  the  play  scenario  calls  for  it.  In  doing  so,  they  become aware of different symbolic systems that will serve them later when they start mastering letters  and numbers. 

ƒ

Multiple roles  which  are  not  stereotypical  or  limited;  the  play  easily  includes  supporting  characters.  For  example,  playing  "hospital"  does  not  mean  that  the  only  roles  are  those  of  doctors.  Children  can  also  pretend to be an ambulance driver or a phone dispatcher. When children assume different roles in play  scenarios,  they  learn  about  real  social  interactions  that  they  might  not  have  experienced  (not  just  following commands but also issuing them; not only asking for help but also being the one that helps). In  addition,  they  learn  about  their  own  actions  and  emotions  by  using  them  "on  demand."  Understanding  emotions  and  developing  emotional  self‐control  are  crucial  for  children's  social  and  emotional  development. 

181


Georgy Gerkushenko and Svetlana Sokolova  ƒ

Clearly defined rules. As children follow the rules in play, they learn to delay immediate fulfillment of their  desires. Thus, mature play helps young children develop self‐regulation. To stay in the play, the child must  follow the rules. 

ƒ

Flexible themes which are flexible enough to incorporate new roles and ideas previously associated with  other  themes.  When  children  play  at  a  more  mature  level,  they  negotiate  their  plans.  By  combining  different themes, children learn to plan and solve problems. 

ƒ

Extensive use of language by children to plan their play scenario, to negotiate and act out their roles, to  explain their "pretend" behaviors to other participants, and to regulate compliance with the rules. As the  repertoire of roles grows, so do children's vocabulary, mastery of grammar and practical uses of language,  and metalinguistic awareness. 

ƒ

Not limited length of play which can last for many days as children pick up the theme where they left off  and continue playing.  Creating,  reviewing, and  revising the  plans are  essential  parts of  the play. Staying  with  the  same  play  theme  for  a  long  time  allows  children  to  elaborate  on  the  imaginary  situation,  integrate new roles, and discover new uses for play props. 

The theoretical analysis of the research papers of Lev Vygotskiy’s(1977), his student Daniil Elkonin (1978) and  his follower Elena Bodrova (2010) on outcomes of children’s development through game‐based activity gave  us  opportunity  to  make  a  list  of  principal  ways  in  which  computer  games  could  influence  children’s  psychological development.     ƒ

Motives. Computer games can affect child’s motivation. Effective play scaffolding gives good opportunity  to  develop  motives  from  the  forms  of  affective  immediate  desires  to  a  hierarchical  system  of children’s  goals. Evidently it is more productive if the software gives possibility to children fix their planning results in  graphic form (written or painted).  

ƒ

Decentering. Computer games can facilitate cognitive decentering. As a play role is the basement of such a  decentering it is demonstrated in appearing of a role name and a role speech. This ability to take the role  provides  the  possibility  of  new  relationship  form  such  as  “I  am”  –  “I  am  in  role”  where  children  can  understand the difference between their actual position and the position of the objects, whose role they  are playing. 

ƒ

Mental development. Computer games can advance the development of mental representations. Such a  development  takes  place  as  the  result  of  a  child  separating  the  meaning  of  objects  from  their  physical  form. In ordinary games it happens from using replicas to substitute for real objects, through using new  objects which can perform the same function as the prototype, to such a substitution which takes place in  the child’s speech with no objects present.  

ƒ

Self‐regulation. Computer games can foster the development of children’s deliberate behavior.  It happens  because  of  the  necessity  to  follow  the  rules  of  a  game.  Later,  this  deliberateness  extends  to  mental  processes such as memory and attention.  

4.2 Classification of educational computer games for preschool children  Educational game‐based computer programs for preschool children are oriented for 3 to 8 years old users and  according  to  developers  are  made  with  the  ideas  that  play  is  the  main  activity  for  that  age  category.  Classification of educational computer games is needed both for teachers and games developers. Teachers can  find easily the necessary program if headings give answers for such questions as “The games for 3‐4 years old  children”,  “The  games  for  speech  development”,  “Programs  with  animals  images”  etc.  Moreover,  for  developers such classifying is helpful for their professional analysis of educational games market. Our analysis  of  educational  computer  programs  existed  in  Russian  computer  market  highlights  following  big  groups  of  children’s computer games:  ƒ

Developmental games.  These  programs  can  be  described  as  “open”  type  ones,  where  the  goal  is  not  defined  clearly  and  games  become  tools  of  children’s  creativity  and  self‐expression.  First  of  all  these  games are good for development of common cognitive abilities such as analysis, synthesis, critical thinking  and others which are the basement of many kinds of human activities.  Secondly, they can be a very strong  tool  for  development  children’s  imagination  and  emotions.    Such  developmental  games  have  a  big  potential  for  using  them  in  education  process  of  kindergartens  being  basement  of  lessons  or  other  children’s extended activities (Perlmutter, 1985, Haugland, 1992).  

182


Georgy Gerkushenko and Svetlana Sokolova  ƒ

Learning games.  These  game  programs  are  made  especially  for  didactic  goals  and  can  be  described  as  “closed”  ones.  Children  are  supposed  to  solve  any  learning  task  in  a  form  of  play.  These  are  games  for  early mathematic learning, learning letters and sounds of language, writing through reading and reading  through writing, for learning some ecological knowledge etc. 

ƒ

Games – experimentations. Goals and rules here are not defined very clear and are hidden in the game’s  plot or in in the management tools. To succeed a child need to discover the goal and the mode of action  by searching and solving problematic situations.  

ƒ

Games for entertainment. Such games do not have any goals by the first sight; they give opportunities to  have some fun and to see the result of the game as a “micro cartoon”.   

ƒ

Computer games for diagnostic. In spite of the fact that all developmental and learning games could be  defined  as  diagnostic  games,  there  are  special  computer  programs  which  can  be  identified  as  psycho  diagnostic and validated methods. Those programs fix and memorize given parameters, then process and  memorize the results. Further, the results could be shown on the display or be printed for interpretation  by  psychologist.  Moreover  variants  of  interpretation  can  be  programmed  and  given  by  computer  automatically.    Results of diagnostic can be given as recommendations to kindergarten staff or parents.  Also  these  types  of  programs  can  be  computer  methods  of  express  diagnostic  of  different  systems  of  child’s organism; they provide opportunities to define pathologies very fast. Empirical analysis shows that  such programs can be used in kindergartens for: diagnostic children’s general cognitive skills; evaluation of  development psychological functions: memory, attention etc.; diagnostic of creative abilities of children;  identifying  readiness  of  children  to  kindergarten  life;  identifying  readiness  of  children  to  school  life;  express diagnostic of child’s fatigue during computer usage.  

ƒ

Computer games  for  therapy  and  correction.  Kindergarten  specialists  use  such  games  to  correct  or  cure  some  physical  or  mental  diseases.  In  inclusive  kindergartens  there  are  very  useful  game‐programs  for  blind and deaf children, autistic children and others.   

5. The empirical study  5.1 Assessing kindergarten teachers’ potential in using game‐based software  Before assessing the situation with using computer software in work with children we made a short survey on  the  teachers’  understanding  of  children’s  play  activity  essence  to  contextualize  our  present  research.  The  questionnaire included three dedicated questions on the importance of play in preschool age, essence of play,  using of play in kindergarten classroom activities.     1). Answers to the first question “Do you think play is important for children’s development?” were as follows:  100% of teachers are sure that play is very important for children and it is very good way for learning.    2). The second question was open when teachers could answer using their own ideas. The investigation on the  teachers’ thoughts of children’s play showed that:    5% of examinees think that play is children’s activity during their spare time;     10% of interviewed teachers suppose that play is every activity made by children including gardening, painting  etc.    30% of teachers think that play essence is fun and pleasure;    55% of kindergarten teachers are sure that essence of play is in pretending. 80% from these teachers prefer to  organize “as if” situation for children to achieve the curriculum goals and only 20% try to be a part of children’s  imaginary situations give children opportunity to create their play freely.    3).  Asking  the  questions  “Do  you  use  play  organizing  your  classroom  activities?  What  types  of  play  do  you  organize?” we collected following data:    100%  of  teachers  use  play  in  their  classroom.  They  told  that  almost  all  activities  that  they  organize  with  children they do in the form of play.  

183


Georgy Gerkushenko and Svetlana Sokolova  100%  of  interviewed  teachers  organize  didactic  play  with  children  where  learning  goals  are  defined  clearly,  rules  are  necessary  to  accomplish.  Didactic  games  used  in  kindergarten  can  be  organized  like  board  games,  word games or games with objects.     Thus,  the  findings  can  be  summarized  as  follows:  1.  Teachers  mean  different  things  by  “play”.  2.    The  relationship of play to learning activity was articulated by all examined kindergarten teachers. 3. Even when  teachers  said  about  importance  of  play,  or  that  play  leads  to  learning,  they  were  usually  referring  to  an  understanding of play as a highly scripted, teacher‐directed activity.    The situation of multiple visions of teachers on the play essence on the one hand and the teachers’ confidence  in  importance  of  play  activity  for  children’s  learning  on  the  other  hand  determine  the  character  of  the  experimental work.    First  stage  of  our  experiment  was  dedicated  to  defining  whether  teachers  used  computer  software  in  education process and if they used it what kind of software it was. To collect the data we prepared a combined  type questionnaire where teachers should mark whether they use computer for children’s education and then  write the preferable software for classroom usage. The result is shown in the Table 2. Our statistics indicates  that 40% of teachers do not use at all computer software for organizing children’s activities. As it is very big  percent of research participants we organized further analysis of such a result reasons. We drafted open type  questionnaire  where  teachers  had  to  write  the  main  reason  of  avoiding  the  computer  games  in  organizing  classroom  activities  (Table  3).  Meanwhile  60  %  of  kindergarten  teachers  use  different  computer  software  during  classroom  activities.  Teachers  indicated  PowerPoint  presentation  as  the  most  useful  in  working  with  children. Much less teachers used computer games in their pedagogical work with children. Moreover no one  of  them  used  developmental  games  and  games‐experimentations.  In  the  interview  they  marked  difficulties  they faced during planning such game‐based activity, especially in the situation when game goals are not clear  and there is a big possibility of unexpected results of the game.  Table 2: Using software by kindergarten teachers  Computer software  Do not use computer software  Use computer software: 

Teachers (%)  40%  60% 

1. 2.  3. 

Power Point presentation  Multimedia resources (audio, video)  Computer games for diagnostic 

92% 15%  12% 

4. 5. 

Computer games for therapy and correction  Computer games for learning 

18% 56% 

Table 3: Reasons of avoiding computers by kindergarten teachers in their classroom activity  Reasons  Absence of computers in the classrooms  Forbiddance of using computers in the classroom from the  parents  Forbiddance of using computers in the classroom from the  kindergarten leaders  Low level of computer literacy  Absence of time  Deficit of methodical information 

Teachers (%)  63%  0,5%  0,5%  21%  4%  11% 

Analyzing the teachers’ questionnaires we concluded that three causes of avoiding computer games and other  software are the most popular in teachers’ answers. First of all a number of kindergarten classrooms are not  equipped  with  computers,  so  teachers  have  no  experience  in  using  computer  games  in  education  process.  Secondly some of the teachers (21%) confessed very low level of computer literacy. Teachers from 45 to 55  years old predominated in this group of respondents. They marked problems of using internet services (54%),  anxiety during computer usage (2%), limited computer skills by using MS Word (34%) or even inability to use  the  computer  (10%).  Also  big  percent  of  teachers  (11%)  felt  lack  of  methodical  guidance  of  using  different  computer games in education of preschool children.    

184


Georgy Gerkushenko and Svetlana Sokolova  Meanwhile  the  teachers  who  marked  computer  games  in  the  list  of  software  were  involved  in  further  diagnostic  process  and  had  to  define  criteria  of  choosing  digital  games  for  children.  We  used  method  of  narrative  interview  to  receive  data  on  teachers’  experience  in  using  computer  software  in  their  work  with  preschoolers.  Approximately  50  teachers  were  interviewed  during  5  month.  Such  a  qualitative  method  provided  us  opportunity  to  make  a  wide  analysis  of  teachers’  priorities  in  organizing  children’s  education.  There is an example of the interview with  the teacher whose priority is speech therapy. “Due to curriculum  limitation of time for using computer software in work with children till 5‐10 minutes a day I personally use  computer  games  only  as  one  stage  of  a  lesson.  Using  special  computer  logopaedic  software  “Igry  dlia  Tigri  (games  for  Little  Tiger)”  makes  my  lessons  much  interesting  than  before.  These  games  are  oriented  to  overcome children’s speech problems. Comparing traditional language correction methodic with this software  I  find  computer  programs  more  effective  and  dynamic  because  of  its  interactive  and  game‐based  form  of  exercises.  My  computer  literacy  gives  me  possibility  to  make  computer  presentations  for  children’s  speech  correction goals.  In my presentations I use graphic, text, sound and video tools noticing on the one hand the  increasing  of  demands  to  educational  presentations  and  on  the  other  hand  the  increasing  of  services  for  presentations creators. The advantage of presentation is in ease of making. I can scan pictures from the books  or  find  images  in  internet  and  then  just  put  them  like  slides  in  MS  PowerPoint.  So  the  information  that  I  prepare  for  children  becomes  colorful  and  interesting.  In  my  opinion  bright  visibility  is  the  main  factor  for  choosing  any  computer  technologies  because  animation  and  moments  of  surprise  make  correction  process  expressive and interesting for children”.     Analysis  of  teachers’  interviews  showed  that  all  factors  for  choosing  software  indicated  by  teachers  can  be  organized in a small list.  ƒ

57% of teachers defined bright visibility of information as the main factor for choosing software; 

ƒ

23% examinees choose software guided by variety of learning tools; 

ƒ

10% are  interested  in  cooperation  skills  development  and  are  guided  by  the  possibilities  of  software  in  initiating of children’s group work;  

ƒ

10% of teachers seek the compatibility of the software services with kindergarten curriculum aims.  

The received  results  of  the  narrative  interview  showed  the  orientation  of  teachers  on  extrinsic  side  of  organizing  activity  (90%)  instead  of  intrinsic  one based  on  play  development.  We  could  conclude  rather  low  level of investigated teachers in using game‐based software. This situation showed the importance of special  guiding work to involve teachers in competent analysis and future using of computer software for children’s  game‐based learning.  

5.2 Discussion on scaffolding of teachers’ choosing computer games for children’s play  development  Further  empirical  study  we  organized  in  accordance  with  Epstein  (1993)  ideas,  who  identified  four  critical  components  of  teachers’  training:  practical  experience,  workshops,  models  and  mentors,  and  supervisory  follow‐up. The essence of experiment as a research method is in changing of one or several components of the  object environment. The object of our research was not a person but the process of using computer games in  kindergarten classroom activity. We implemented Epstein’s model for the scaffolding program.     As  the first step, teachers explored software that could be developmentally appropriate for their classrooms.  During this first stage of the experiment that continued 3 month teachers had to review 2 popular computer  games for preschool children as potential for classroom usage. We did not provide any criteria for reviewing  and gave teachers opportunity to use their practical experience in creating the criteria on the one hand and  one the other hand during this time teachers accumulate the new experience in games evaluation. Thus, this  stage allowed all teachers in spite of their previous experience to summarize and structure their own ideas and  experience in the area of computer games for young children.     The second stage of the experiment included discussion on the potential learning objectives of the activities  that  teachers  could  use  to  integrate  particular  software  in  their  classrooms.  Teachers  participated  in  workshops  that  integrated  the  developmental  theory  and  research  regarding  computer  use  with  hands‐on  experiences. During  the  seminars  every  teacher  presented  the  experience  on  reviewing  the  games.  The  analysis  of  presentations  showed  the  stable  continuity  of  teachers’  orientation  on  extrinsic  side  of  games 

185


Georgy Gerkushenko and Svetlana Sokolova  analysis  (60%)  instead  of  intrinsic  one  based  on  children’s  play  development  (40%).  The  list  of  reviewing  criteria consisted of following statements:  ƒ

40% of respondents marked the interesting plot of a game as the criteria for game evaluation;  

ƒ

35% used as the criteria the colorful of a game picture; 

ƒ

60% of  teachers  put  on  the  first  place  the  learning  potential  of  a  game:  the  mathematic  skills  development, language learning etc.  

ƒ

25% were  oriented  on  the  possibilities  of  several  children’s  communication  during  evaluated  games  playing; 

ƒ

15% of  teachers  paid  attention  to  possibilities  of  changing  game  components  like  plot,  environment  or  game heroes according to children’s imagination.  

On the third stage of experiment we added the guidance service for teachers‐participants of the research. We  organized kindergarten teachers’ learning community on the base of Volgograd Socio‐Pedagogical University in  the International Center for the Childhood and education to achieve the collective analysis of existing situation  with  game‐based  kindergarten  learning.    The  community  included  more  than  50  teachers.  Teachers  were  divided  into  several  work  groups  for  working  on  creation  the  data  for  scaffolding  of  children’s  play  development  by  using  computer  games.  Each  group  should  continue  analyzing  previously  chosen  developmental  computer  games  for  5‐7  years  old  children.  The  groups  were  organized  according  to  the  working place of its participants. Each group presented one kindergarten and consisted of 5 teachers.     Before started the group work we organized a workshop where discussed with teachers the play theories and  in brainstorming way teachers tried to formulate and then discuss the common list of principal ways in which  computer games could influence children’s psychological development. Aiming to help kindergarten teachers  in  games  evaluation  we  made  a  table  of  helpful  criteria  for  choosing  developmentally  appropriate  games.  Making the table we took in mind the main characteristics of play development: general characteristics of play,  and  theories  of  play  (Table  4).  The  table  had  a  mission  to  help  teachers  avoid  the  extrinsic  approach  to  computer games choosing.   Table 4: Criteria of choosing computer games for children  Characteristics of play  Play is a spontaneous, self‐initiated and self‐regulated  activity.  Play includes a dimension of pretend.   

Play consolidates learning that has already taken place  while allowing for the possibility of new learning in a  relaxed atmosphere. 

In play children achieve a mental representation of social  roles and the rules of society. 

Criteria for teachers  This computer game allows children to freely engage in  play.  It provides a freedom of choice.  This computer game allows children to create their own  scenarios, rules and characters of the play.  This computer game enables children acting in an  imaginary situation?  This computer game has the potential to develop new  concepts and skills. What are the concepts and skills?  This computer game allows for and nurtures the active  participation of the child.  This computer game engages the child in problem‐ solving and self‐discovery.  This computer game involves and develops use of  symbolic meaning.  This computer game provides children with an  opportunity to act out and explore the roles and rules of  functioning in adult society.  This computer game allows for group work and  collaboration? 

The teachers presented the results of collective research on monthly seminars and shared ideas in web activity  on  the  internet  page  of  the  International  Center  for  the  Childhood  and  education.  Each  seminar  topic  concerned  one  play  characteristic  and  corresponding  criteria  of  computer  games  analysis.  The  groups  were  mixed and consisted of teachers who worked with computer software in their classrooms and who did not use  any software before the experiment. The results of teachers’ researching activity are presented below.    

186


Georgy Gerkushenko and Svetlana Sokolova  1. There is a difference between “real” games and computer games in visual separating the meaning of objects  from their physical forms. For comparing play activity in real and virtual reality we used terms computer game  and  “real” game  to  underline  the  realistic  or  nonrealistic  nature of  actions.  In  computer  games  actions  take  place in imaginary reality  but with real feelings of players. The oral speech loses the main role in creation and  supporting of imaginary situation because every situation detail is seen on the screen.  The potential of child’s  cognitive  development  could  be  reduced  also  due  to  absence  of  symbolic  substitutions  necessity  in  most  computer game programs. It occurs because technologies allow children to create any objects in virtual space  of a game. These factors cause risks that play actions realized in computer games do not become generalized  and  minimized  as  they  do  in  “real”  games.  To  avoid  these  risks  kindergarten  teacher  can  organize  special  scaffolding of mental representations development by including speech actions (oral and written) on different  computer game situations in classroom activities; also it can be helpful if teacher combines computer and real  playing on one topic to create symbolic objects as substitutions of the real ones.    2. Analysis of computer software for children highlighted another difference of imaginary situations in “real”  and computer games. The giant difference lies in nature of the situation. In computer games that we studied  the situation was created by the game developers not by children. Children can play within the frameworks of  created situation but cannot principally change it. If they play social situation with computer as a partner they  should follow computer guided program of relationships. It can significantly narrow down the developmental  potential  of  playing  activity.  Scaffolding  program  can  include  group  playing  of  one  situation  when  children  share  their  ideas  on  the  scenario  development,  plan  actions  in  cooperative  way,  and  the  most  important  continue the computer game scenario in “real” play where they are absolutely free in their imagination.    3. The stage of preliminary orientation in computer games acts not on the semantic level but on the level of  actions. Awareness of the action mode before its starting is the feature of child‐computer relationship. That is  why  knowing  of  the  rule  and  actions  modes  should  exist  in  child’s  mind  before  computer  playing  and  scaffolding program should include preliminary discussion of future play rules, kinds of actions and modes of  manipulating.     4. The main problem of using computer games for education goals lies in the plane of taking the role. In most  computer games the plot is defined externally. Therefore the roles are imposed with graphic images, actions  modes even names. Sometimes the role prototype is not defined and should be created in playing process. In  case of such “independent” existence of a role there are two variants of interrelation:  ƒ

Identification with a role, transferring the part of “I am” on the computer game hero and further playing in  the form of the hero management.  

ƒ

Partnership with a game hero, cooperative playing with the new friend.  

5. Computer technologies give opportunity for trying both types of interrelations with the game hero. For the  first  type  the  games  should  show  the  game  situation  directly  “from  the  player’s  eyes”.  For  the  cooperative  playing with game personage there are games where situations provide the view to the personage “from the  outside”.  It  is  evident  that  the  second  type  of  games  should  be  chosen  by  teachers  for  education  and  development  goals  because  appearing  in  the  game  of  other  person  will  enable  children  to  develop  coordination of their cognitive perspectives with their learning partners and teachers.    After cooperative analysis of the group research results teachers were involved in focus group interview. They  discussed  the  new  ideas  they  obtained  during  the  experiment,  assess  the  new  experience  and  its  future  application in the classroom activity.   ƒ

75 %  of  teachers  noticed  the  new  skills  in  organizing  integration  between  educational  areas  with  the  computer games tools; 

ƒ

16% of respondents were surprised by discovering of learning possibilities of computer games – journeys; 

ƒ

25% noted the importance of the scaffolding program designed to support the process of choosing and  using computer games in kindergarten classroom activity. 

ƒ

78% of teachers marked the increasing of their activity in implementing computer games in kindergarten  education practice. 

187


Georgy Gerkushenko and Svetlana Sokolova  ƒ

68% of  respondents  noted  the  enhancement  of  classroom  activities  quality  by  guided  implementing  of  computer games: increasing of children’s play plots, the enrichment of plays scenarios, the enhancement  of children’s experimentation. 

ƒ

100% of  teachers  were  satisfied  with  learning  community  working  and  underlined  its  impact  into  their  professional development. 

6. Conclusion   This  paper  discussed  the  problem  of  preschool  children’s  play  development  by  using  opportunities  of  computer games. Study of the play‐based learning features in preschool age showed that play‐based learning  is a context for learning through which children organize and make sense of their social world, relate actively  with  people,  objects and  representations. The  main  idea  of  the  paper  is  in  understanding of  a play as  not  a  singular  construct  but  rather  a  continuum  of  playful  behaviors  that  children  engage  in  the  context  of  Early  Childhood classrooms, encompassing a set of behaviors that vary in terms of the degree of adult guidance and  support.  Special  scaffolding  actions  made  by  teachers  are  necessary  due  to  crucial  importance  of  children’s  development outcomes obtained through game‐based activity. Such outcomes include establishing of motives  hierarchy,  cognitive  decentering,  mental  representations  and  others.  To  be  a  competent  user  of  computer  games  developmental  tools  teachers  need  special  scaffolding  program  which  supports  them  on  the  way  of  realizing the developmentally appropriate education.      The  research  included  several  stages.  On  the  first  stage  aimed  to  clarify  the  factors  influencing  teachers’  choices of computer games the questionnaire allowed to define that all the teachers’ factors are not oriented  directly  to  development  of  children’s  play  activity.  This  fact  determined  the  orientation  for  further  research  work  united  more  than  fifty  kindergarten  teachers  from  Volgograd  city.  Next  stages  had  experimental  character  and  were  associated  with  involving  teachers  to  professional  learning  community  for  analyzing  computer games for children. Teachers passed several steps from independent analysis of games to scaffold  analysis oriented to the development of children’s play activity. The results showed that teachers were in need  of special scaffolding program. The essence of this program was in sequence of organized teachers activities:  practical experience, workshops, models and mentors, and supervisory follow‐up. The big role in this program  played the professional learning communities of teachers provided the atmosphere of creation, exchange of  experience and cooperation.  After the experiment all teachers increased their computer literacy and acquired  their own competent position on the question of using computer games with preschool children. Moreover,  implementing the computer games to kindergarten classrooms in the framework of the experiment provided  the improvement of the quality of children’s education. Thus we can conclude that  deliberate analysis of the  play  component  of  computer  games  made  by  kindergarten  teachers  can  really  provide  the  enhancement  of  classroom activities quality by the developmentally appropriate choices of computer games. 

References Barton, E., Wolery, M. (2008) “Teaching pretend play to children with disabilities: A review of the literature”, Topics in Early  Childhood Special Education Vol 28, No.2, pp 109‐125.   Bodrova, E., Leong, D. (2010) “Curriculum and play in early child development”. Encyclopedia on Early Childhood  Development [online]. Montreal, Quebec: Centre of Excellence for Early Childhood Development, pp 1‐6.  http://www.child‐encyclopedia.com/documents/Bodrova‐LeongANGxp.pdf   Bodrova, E., Leong, D. (2003) “The Importance of Being Playful”, Educational leadership.  April, Vol 60,  No. 7  http://pdonline.ascd.org/pd_online/substitute/el200304_bodrova.html   Dockett, S. and Fleer, M. (1999) Play and pedagogy in early childhood. Marrickville, NSW, Harcourt Brace.   Elkonin, D. (1978) Psychologija igry [The psychology of play]. Moscow: Pedagogika.   Epstein, A. S. (1993) Training for quality. Ypsilanti, MI: High/Scope Press. ED 370 674.  Fleer, M. (2009) “Supporting scientific conceptual consciousness or learning in a roundabout way in play‐based contexts”,  International Journal of Science Education, Vol 31, No. 8, pp 1069‐1089.   Ginsburg, H. (2006) “Mathematical play and playful mathematics: A guide for early education”. In: Singer, D. Golinkoff, R.,  Hirsh‐Pasek, K. (Eds). Play = Learning: How play motivates and enhances children’s cognitive and social ‐ emotional  growth, New York, NY: Oxford University Press.  Haugland, S. W. (1992) The effect of computer software on preschool children's developmental gains. Journal of Computing  in Childhood Education, 3(1), 15‐30. EJ 438 238.  Leontiev, A.N. (1981) Problemy razvitiya myshlenia [Problems of the development of the mind]. Moscow, Progress  Publishers.  Nikolopolou, A. (1993) Play, cognitive development, and the social world: Piaget, Vygotsky, and beyond. Human  Development. Vol 36, pp 1–23. 

188


Georgy Gerkushenko and Svetlana Sokolova  Novoselova, S.L. (2003) “V chem problema informatizacii doshkol’nogo obrazovania?” [Problems of preschool education  informatization], Detskiy sad ot A do Ya [Kindergarten from A to Z], No.1, pp 6‐13.  Parten, M. (1932) “Social participation among preschool children”, Journal of Abnormal and Social Psychology, Vol 27, pp   243–369.   Papert, S. (1998) Technology in schools: to support the system or render it obsolete. Milken exchange on education  technology [online].  http://www. mff.org/edtech/article.taf?_function=detail&content_uid1=106 . U.S. Congress.  Washington, DC.  Perlmutter, M. (1985) Social influence on preschool children’s computer activity. National Institute of Education,  Washington, DC.   Piaget, J. (1951) Play, dreams, and imitation in childhood. London: Routledge.  Rogers, S., Evans, J. (2007) “Rethinking role play in the reception class”, Educational Research, Vol 49. No 2, pp 153–167.  Roskos, K., Christie, J. (2001) “Examining the play–literacy interface: a critical review and future directions”, Journal of Early  Childhood Literacy, Vol 1. No.1, pp 59–89.  Saracho, O., Spodek, B. (2006) “Young children’s literacy‐related play”, Early Child Development and Care, Vol 176. No. 7,  pp 707‐721.   Sokolova, S. Gerkushenko, G. Dvoryankin, A. (2002) “Informacionnie y communicacionnie tehnologii v doshkol’nom  obrazovanii [Information and communication technologies in Early Childhood education]”. Proceedings of the  conference on Information technologies in education, technology and medicine: Volgograd. Vol 1. Volgorad State  Technical university press.  Uren, N, Stagnitti, K. (2009) “Pretend play, social competence and involvement in children aged 5‐7 years: The concurrent  validity of the Child‐Initiated Pretend Play Assessment”, Australian Occupational Therapy Journal, Vol 56, No. 1, pp  33‐40.  Verenikina I. (2003) Child’s Play: Computer Games, Theories of Play and Children’s Development. Australian Computer  Society, Inc.  Vygotsky, L. S. (1956) Izbrannye psychologicheskije Trudy [Psychological studies]. Moscow: RSFSR Academy of Pedagogical  Sciences.  Vygotsky, L. S. (1977) Play and its role in the mental development of the child. In M. Cole (Ed.), Soviet developmental  psychology. White Plains, NY: M. E. Sharpe.  Wood, E. (2009) Conceptualizing a pedagogy of play: International perspectives from theory, policy, and practice. In:  Kuschner, D, From children to red hatters: Diverse images and issues of play. Lanham, MD: University Press of  America.  Zaporozhets, A. V. (1978) Printzip razvitiya v psichologii [Principles of development in psychology]. Moscow: Pedagogika.     

189


Role Game Playing as a Platform for Creative and Collaborative  Learning  Lisa Gjedde  Dept. for Learning and Philosophy, Faculty of Humanities, Aalborg University Copenhagen  Denmark  lg@learning.aau.dk    Abstract:  Game‐based  learning  may  present  a  way  of  creating  immersion  and  engagement  for  the  learner  through  simulated  experiences  in  a  narrative  environment,  and  may  support  the  development  of  21st. century  skills  of  communication,  collaboration,  creativity  and  critical  thinking.  Role  playing  games  have  had  a  long  history  of  usage  in  language learning and as a multidisciplinary activity in schools during theme weeks. Through the concept of serious digital  games, which offers learning through digital simulations and immersion in virtual worlds, game‐based learning has been  deployed increasingly in education where games have been used for specific subjects. The use of live role‐game playing in  schools offers novel and innovative ways to work with the game genre, with the teachers contributing as game authors and  game masters. A current project on live action role‐game playing  looks at how role‐game playing can be used to present  an entire curriculum within a narrative framework  in order to enhance the learners’ motivation and zest for learning while  developing    21st  century  learning  skills.  The  exploration  of  how  live  action  role‐game  playing  can  function  as  an  overarching framework for learning may offer fresh insights into game‐based learning in terms of multimodality, flexibility  in the design of games and the role and interactivity of the learner and teacher. A unique residential school dedicated to  teaching all subjects in grades 9‐10 through live role‐game play was studied for a year. The study employed qualitative and  processual methodologies in order to capture the interactions between students' learning experiences and the role‐game  based  learning  designs  as  well  as  the  way  they  constitute  a  creative  and  collaborative  learning  environment.  This  paper  presents  the  preliminary  results  of  the  project  and  discusses  its  implications  for  design  and  redesign  of  learning  environments in the schools along with the roles of learners and teachers in the development of game‐based learning as a  framework for creative, inclusive and collaborative learning.    Keywords: role game play, game‐based learning ,creative learning through role game play, situated and contextual  learning using role game play, role game play as a framework for the curriculum 

1. Introduction Game‐based  learning  offers  the  learner  the  potential  of  creating  immersion  and  engagement  through  simulated  experiences  in  a  narrative  environment  in  support  of  the  development  of  21st.  Century  skills  of  communication, collaboration, creativity and critical thinking. By means of the concept of serious digital games  ‐ which offer learning through digital simulations and immersion in virtual worlds (Dede 2009) – game‐based  learning has been used increasingly in educational settings (Spires,Turner et al 2008).    The use of Live Action Role‐game Playing (LARP) in schools, with teachers contributing as game authors and  game  masters,  offers  novel  and  innovative  ways  to  work  with  the  game  genre.  A  current  study  of  narrative  game‐based  learning  at  a  residential  school  in  Denmark,  Østerskov  Efterskole,  examines  how  LARP,  in  combination  with  other  game‐based  approaches,  can  be  deployed  to  present  an  entire  curriculum  nested  within a narrative framework. Among the issues being explored here is how LARP may enhance the learners’  motivation and zest for learning and to develop 21st. century skills (Bellance 2010).    The  low‐tech  analogue  approach  to  games  makes  it  possible  to  experiment  with  many  different  ways  of  integrating  games  into  the  curriculum.  It  offers  accessible  ways  of  testing  the  workings  of  games,  and  the  embedding of the curriculum in a narrative framework as it is driven both by the dynamics of the unfolding  participatory  scenario  and  the  dynamics  of  the  game  with  its  rule‐based  environment.  LARP  as  a  genre  also  brings  forward  design  considerations  for  narrative  game‐based  learning  that  may  prove  relevant  to  the  development of designs for digital games and their pedagogical framing for their application in public schools.    The  research  project  is  designed  in  three  phases,  exploring  the  pedagogical  potential  of  educational  LARPs  (edu‐LARP)  and  how  they  can  afford  a  creative,  engaging  and  inclusive  learning  environment.  Phase  one  involved observation of the implementation of a series of edu‐LARPS at Østerskov Efterskole that served as the  narrative  and  game‐based  frame  for  the  curriculum  of  an  entire  school  year.  Phase  two  explored  the  implementation  of  two  edu‐LARP  learning  designs  framing  the  entire  curriculum  in  a  municipal  school  for  a  period of six weeks, involving grades six, eight and nine. In the third phase, the models of game‐based learning 

190


Lisa Gjedde  designs  that  evolved  during  the  first  two  phases  will  be  developed  further  and  implemented  by  practicum  teaching  students  in  a  number  of  municipal  schools.  This  paper  will  focus  on  presenting  some  of  the  preliminary results from phase one of the research project. It will discuss the use of edu‐LARPs at Østerskov  Efterskole  in  relation  to  concepts  of  creative  learning,  intrinsic  motivation  and  inclusion,  as  well  as  the  underlying designs that frame the learning experiences. 

2. Background While much research has been conducted on implementing serious games in education, there is a dearth of  research‐based  knowledge  on  the  use  of  narrative  game‐based  learning  as  a  general  platform  for  delivering  the curriculum. By exploring the LARP approach, the research aims to provide a baseline for developing models  and learning designs for the use of role game play in the public schools that is both inclusive and creative in its  approach to learning. The point of departure for the project was the need to develop new forms of learning  which both allow for the inclusion of pupils with special needs in the regular classroom, and offer adaptable  challenges  for  the  entire  student  spectrum  ranging  from  the  academically  weak,  a  middle  group  and  the  academically strong.  It calls for new forms that are motivating and engaging, as well as easily adaptable in a  way  that  many  digital  resources  are  not,  due  to  cost  and  development  time.  There  is  a  need  for  the  development  of  a  learning  environment  that  allows  students  to  participate  creatively  and  actively  in  the  learning process, doing so according to their different abilities, backgrounds and preferred approaches.    Many pupils find it difficult to gain sufficient competencies from their schooling and they risk leaving school  without the necessary basic skills and with no desire to go further in education. The Danish Government's so‐ called flying squad research group, set up in early 2010, points to a lack of knowledge and research into what  techniques  and  approaches  work  in  the  classroom  and  of  how  to  produce  effective  educational  design.  Its  general  conclusion  was  that  there  is  a  need  to  strengthen  the  knowledge  base  for  public  school  teaching  Nordahl et al.(2010). Therefore, there is an identified need to develop knowledge about new learning methods  and  approaches  that  allow  students  to  acquire  academic  skills  while  experiencing  a  meaningful  learning  context  that  provides  the  opportunity  to  participate  creatively  and  productively.  LARP  is  one  method  to  explore these relationships and to work creatively. As a genre, it is familiar to the general public as part of the  leisure  facilities  offered  to  children  and  youth  in  Denmark  and  many  children  have  taken  part  in  it  through  local Role‐Playing clubs and events hosted by national television. Also, there is a well‐establish Nordic scene  for LARP, as a creative and artful mode of expression based on narrative scenarios (Montola & Stenros 2004).    In  2006  a  group  of  game  enthusiasts,  some  with  LARP  backgrounds,  founded  the  residential  Østerskov  Efterskole, which bases its entire pedagogical approach on the use of narrative game‐based learning, described  in Hyltoft (2008). Denmark has a well‐established tradition for about 15% of the learners in grade 9 or 10 to go  to  a  residential  school,  termed  “Efterskole”  or  “Afterschool”.  At  Østerskov  Efterskole,  all  subjects  are  embedded in and taught by means of a narrative game‐based environment, based on LARP. All the academic  goals are met through a curriculum planned and implemented as narrative game‐based learning. Furthermore,  the  school  includes,  with  very  promising  results,  about  30  percent  students  with  autism,  ADHD  or  other  diagnosed special educational needs, in the Game‐based teaching, together with students with high academic  and social functioning. The school is now in its eighth year of the program with a constant number of 80‐90  pupils. 

Figure 1: Learners and teachers in a Live Action Role Play at Østerskov Efterskole 

191


Lisa Gjedde 

3. Exploring creativity in live role game playing  A point of departure for the research was the need for developing learning designs that empower the learners  and enable them to practice 21st century learning skills. Of particular interest in this project is the ability to  participate in creative collaboration and to provide a framework for inclusive learning.     A  hypothesis  of  the  research  is  that  role‐game  playing,  as  a  platform  for  learning,  affords  learners  the  opportunities for creative learning linked to intrinsic motivation. A further hypothesis is that this may be linked  with  the  adaptive  aspects  of  the  LARP  genre  that  furthers  social  creativity  through  a  participatory  culture,  being able to be easily adapted by the teachers to the learners’ level and afford differentiation. The edu‐LARP  approach to creative learning may afford meaningful learning contexts through the use of narrative and game‐ elements. Their potentials for differentiation can provide a more engaged learning experience for gifted and  challenged learners alike.     This  present  research  highlights  the  area  of  LARP  as  a  framework  for  learning.  The  schools  two  teams  of  teachers have conceived, planned and written the scenarios in creative processes. The learning environment  they  are  providing  is  integrating  ICT  with  new  media  as  tools  within  the  analogue  game  environment.  One  main  focus  for  this  project  has  been  to  explore  the  implications  of  role‐game  playing  for  the  learners’  experience  and  construction  of  learning,  of  their  creativity  and  their  appropriation  of  the  potentials  for  creative  learning.  It  is,  therefore,  a  goal  for  the  project  to  realize  an  understanding  of  the  possibilities  and  models  that  can  underpin  the  development  of  educational  designs  through  the  use  of  LARP,  serving  as  a  framework for learning.    An  example  of  an  edu‐LARP  produced  by  the  teachers,  and  refined  through  many  iterations  ‐  is  a  scenario  based on Jules Verne’s story Around the World in 80 days. In this LARP the learners plays ladies and gentlemen,  and are organized in teams of   different competing nationalities. On this journey the goal for the teams is to  be  the  first  to  circumnavigate  the  world  in  less  than  80  days  in  order  to  win  the  grand  prize.  Their  journey  takes them to many destinations where once they arrive in the capital of a particular country  they need to  solve tasks  integrating the subject content of languages, geography, history and math. By solving the problems  they may raise sufficient funds to buy tickets for further travels either by train, boat, plane or even a hot‐air  balloon.     A well designed holistic LARP, succeeds by integrating the curriculum into the game, while the learners work  to  deal  creatively  with  the  challenges  and  social  interactions  that  are  part  of  the  game.  The  learners  are  challenged to draw on domain‐relevant skills, both with respect to the game’s integrated subject matter and  to  the  Role  Game  Play  itself.  At  the  same  time  they  are  motivated  intrinsically  by  the  game‐play  and  the  narrative. The design of the games opens up for students’ expression through creative writing. For example, a  team might be tasked to help a group of merchants in Singapore by devising a plan for getting rich, drawing on  knowledge gained about local customs, infrastructure, etc.     Likewise, knowledge of natural science helps the team navigate a hot‐air balloon safely back to England.  The  use  of  these  concepts  learned  within  an  emergent  narrative  in  order  to  solve  a  problem,  is  a  creative  endeavor as is the participatory performance of it.     Creative processes, interactions and expression in the LARP can happen at several levels:  ƒ

At the  level  of  embodiment  (immersion):  building  a  character,  and  expressing  the  character  through  costume, gestures and voice.  

ƒ

At the level of story : (epic)  ‐ the emergent narrative development of the drama 

ƒ

At the  level  of  game:  (ludic)  following  the  rules,  receiving  feed‐back  through  progression,  obstructing  competitors from other nationalities/teams 

ƒ

At the  meta‐level  –  (mindful)    becoming  aware  of  the  underlying  game‐rules  being  empathic  about  the  rules, roles and story unfoldment and even trying to tweek them. 

192


Lisa Gjedde 

Figure 2: Model of levels of creative expression in LARP 

4. Designing for creative learning in narrative game‐based environments  An  important  aspect  of  the  game‐based  learning  environment  is  the  sense  of  immersion  it  may  offer  the  learners  through  participation  in  an  emergent  interactive  story.  This  can  be  observed  in  the  perspective  of  situated  (Lave  &  Wenger  1991,  Lave  1991,  Wenger  1998)    (Barab  &  Plucker  2002)  and  embodied  learning  (Johnson 2008).    Immersion here is to be understood as the interaction between the learner and the environment, engaging all  senses in an integrative mind/body experience, facilitating embodied and dynamically situated learning. The  narrative  immersion,  supported  by  the  game‐based  learning  environment,  may  therefore  be  conducive  to  embodied learning, bringing into play all the senses and supporting exploration of the possible universes that  can lead to creative learning.    According  to  the  seminal  creativity  researcher  Eduardo  de  Bono  (1992),  who  has  focused  on  strategies  for  creativity  and  cognition,:  "Possibility  is  the  key  to  creativity".  Thus  the  interaction  within  a  new  possible  narrative world of the learning games each week of the school year is a potential framing that may engender  cognitive flexibility and creativity.    The cognitive scientist and psychologist Maggie Boden, who has explored creativity in relation to the human  mind, defines three modes  of creativity: “a) combining ideas in novel ways b) exploring conceptual spaces and  c) transforming conceptual spaces‐‐" in short, any disciplined way of thinking that' s familiar to (and valued by)  a  certain  social  group"(  Boden  2004).  The  concept  of  learning  through  Live  Action  Role  Play  is  an  enlarged  space compared to the conceptual space of the ordinary classroom and it opens up for the transformation of  the conceptual space.     In LARP there exist many basic elements that can be combined and recombined. The narrative scenarios draw  on and present familiar stories that can then be tweaked by the single characters playing the roles in emergent  interactive  narratives  embodying  knowledge  in  different  modalities  (Kress,  G.R.  and  Van  Leeuwen,  T.  2002)  and at different levels.    Amabile, one of the leading creativity theorists, points in her componential theory of creativity (1996, 2012) to  the importance of the context in a creative environment, and suggests that: four components are necessary  for any creative response: three components within the individual – domain‐relevant skills, creativity‐relevant  processes, and intrinsic task motivation – and one component outside the individual – the social environment  in which the individual is working.”    Amabile states that creativity development is contingent on intrinsic motivation coupled with skills. 

193


Lisa Gjedde  In this study, we are looking both at creativity in relation to intrinsic motivation and skills and to creativity as it  unfolds in a social context that is geared towards supporting and enhancing it.    Vygotsky  (2004)  defines  creative  activity  as:  “when  one  combines,  alters,  and  creates  something  new,  no  matter how small". We have been looking at the creative processes as they unfold, not necessarily producing  creative  artifacts,  but  rather  as  the  intrinsically  driven  processes  of  exploration,  coupling  the  learning  of  concepts with the creation of new meanings from multiple perspectives of the roles. This connection with the  narrative framework allows for multiple perspectives of the learner who is provided with the opportunity of  viewing  it  through  the