Stapstenen - onderzoek stap voor stap - Inkijkexemplaar

Page 1

em pl

aa r

                        

jk ex

STAPSTENEN

In ki

onderzoek stap voor stap Bart Laureys •


aa r em pl

jk ex

Fotokopieerapparaten zijn algemeen verspreid en vele mensen maken er haast onnadenkend gebruik van voor allerlei doeleinden. Jammer genoeg ontstaan boeken niet met hetzelfde gemak als kopieën. Boeken samenstellen kost veel inzet, tijd en geld. De vergoeding van de auteurs en van iedereen die bij het maken en verhandelen van boeken betrokken is, komt voort uit de verkoop van die boeken. In België beschermt de auteurswet de rechten van deze mensen. Wanneer u van boeken of van gedeelten eruit zonder toestemming kopieën maakt, buiten de uitdrukkelijk bij wet bepaalde uitzonderingen, ontneemt u hen dus een stuk van die vergoeding. Daarom vragen auteurs en uitgevers u beschermde teksten niet zonder schriftelijke toestemming te kopiëren buiten de uitdrukkelijk bij wet bepaalde uitzonderingen. Verdere informatie over kopieerrechten en de wetgeving met betrekking tot reproductie vindt u op www.reprobel.be. © Uitgeverij VAN IN, Wommelgem, 2017

In ki

De uitgever heeft ernaar gestreefd de relevante auteursrechten te regelen volgens de wettelijke bepalingen. Wie desondanks meent zekere rechten te kunnen doen gelden, wordt verzocht zich tot de uitgever te wenden.

Tweede druk, vijfde bijdruk 2017 ISBN 978-90-455-4018-4 D/2012/9442/191 Art. 630449/88997 NUR 130

Tekeningen: Mattt Baay (www.illumatie.nl) Kaftontwerp: www.frisco-ontwerpbureau.be


Leren onderzoeken

aa r

Mensen zijn van nature nieuwsgierig en willen daarom allerlei dingen weten. Elke vraag die een mens zich stelt, kun je beschouwen als een eenvoudig voorbeeld van een onderzoek. Maar niet elk onderzoek is een voorbeeld van wetenschappelijk onderzoek. Wetenschappelijk onderzoek gebeurt namelijk niet toevallig. Wetenschappelijk onderzoek verloopt op een systematische manier: het moet aan een aantal criteria beantwoorden en volgens een aantal vaste stappen verlopen.

In Stapstenen 2.0, onderzoek stap voor stap worden voorbeelden en uitleg gegeven bij de verschillende fasen en stappen van een wetenschappelijk onderzoek volgens de OVUR-methode. Deze fasen en onderzoeksstappen zijn: Onderzoeksstap

Oriëntatiefase

Oriëntatie op het onderzoeksprobleem Vormen van hypotheses betreffende het onderzoeksprobleem

Voorbereiding

Formuleren van de onderzoeksvragen Afleiden van een onderzoekbare voorspelling Bronnenonderzoek / Literatuuronderzoek Maken van een onderzoeksplan

Uitvoeren en ...

Uitvoeren van het onderzoek Verwerven van gegevens met behulp van dataverzamelingsmethode(s)

jk ex

em pl

Onderzoeksfase

Verwerken

Verwerken van de gegevens Formuleren van vragen en formuleren van conclusies

Rapporteren

Overdragen van de onderzoeksresultaten

Reflecteren

Evaluatie en bijsturen van het onderzoeksproces

In ki

Dit boek geeft je een handleiding voor een empirisch onderzoek dat zich baseert op het onderzoek van gegevens of data die tijdens de uitvoering van het onderzoek verkregen zijn. Het theoretisch onderzoek zoals dat in de disciplines wiskunde, filosofie of de theoretische fysica gebeurt en waarbij je als onderzoeker zelf een stelling of een bewijs probeert uit te werken, komt hier niet aan bod. Om wetenschappelijk te kunnen werken, is het belangrijk dat je weet wat andere onderzoekers al bestudeerd hebben en wat zij al weten. Daarom start nagenoeg elk onderzoek met een literatuurstudie. Wie aan onderzoek doet, heeft een ruime keuze aan dataverzamelingsmethodes. Meestal zal een onderzoeker verschillende methodes combineren. Door verschillende methodes te gebruiken, krijgt hij meer inzicht in het onderzoeksprobleem en doet hij bijvoorbeeld inspiratie op voor het opstellen van enquêtevragen. Vooral bij meerkeuzevragen, waarbij

3 • LEREN ONDERZOEKEN

LEREN ONDERZOEKEN• 3


alle antwoordmogelijkheden op het formulier staan, is het belangrijk dat de lijst zo volledig mogelijk is. Een belangrijk kenmerk van wetenschappelijk werk is de controleerbaarheid. Anderen moeten dus te weten kunnen komen waar jij je informatie haalde en het kunnen controleren! Een juiste bronvermelding is dus absoluut noodzakelijk.

aa r

Je onderzoek resulteert in een rapportering waarin je aan anderen laat zien wat de resultaten van je onderzoek zijn. Zelf kun je uit je rapport afleiden wat goed en minder goed verlopen is bij je onderzoek. Ook je leerkracht zal dat doen en zal je leerproces en het product van je onderzoek beoordelen. Er bestaan geen standaard (NBN-) normen voor het geven van bronvermeldingen noch voor het schrijven van een verslag, eindwerk, paper, … Stapstenen 2.0, onderzoek stap voor stap reikt een methode aan die als standaardnorm kan gebruikt worden binnen een school. Uiteraard kan je leerkracht andere of bijkomende voorwaarden stellen.

em pl

Omdat je vandaag met internet meer kunt dan ‘aan onderzoek doen’, wordt ook aandacht besteed aan de mogelijkheden die web 2.0 biedt. Onderzoekscompetentie wordt efficiënter (en leuker) als je de traditionele voordelen van web 1.0 (het klassieke internetgebruik) combineert met de kracht van web 2.0.

jk ex

Web 2.0 laat toe om informatie te analyseren, te construeren en te delen met elkaar. Web 2.0 staat voor het uitwisselen van nieuws (tekst, blog), geluid (podcasts en muziek) en beeld (foto en video) op het internet. Het betekent vooral dat je als gebruiker zelf online inhoud kunt toevoegen aan webprogramma’s zoals blogs, sociale netwerken (Facebook en Twitter), sociale nieuwssites (Digg, Scoop-it) en wiki’s (met Wikipedia als bekendste voorbeeld). Sociale media zijn dan ook bijzonder geschikt om aan de slag te gaan met het verzamelen, selecteren, verwerken en delen van informatie. Samenwerkend leren wordt met behulp van web 2.0 een stuk gemakkelijker. De resultaten van het onderzoek kun je via sociale media aan een veel breder publiek tonen. En waarom zou je niet in een blog reflecteren op je leerproces? In een weblog kun je immers nieuws, informatie en opinies schrijven met links, beeld en geluid.

In ki

Voor de eerste druk in 2007 werd dankbaar gebruik gemaakt van het lesmateriaal aangereikt in de nascholing Humane wetenschappen van het vvkso, gegeven door Tinus Daniëls, Ria Gijsens, Guido Verstraeten en Lieve Werbrouck. Wat structuur en terminologie betreft ligt de publicatie Onderzoek in humane wetenschappen van Lieve Werbrouck aan de basis van de eerste druk. In Stapstenen 2.0, onderzoek stap voor stap wordt voor de bronvermeldingen niet meer de Chicago- of humaniorastijl gebruikt maar wel het ‘auteur-jaar’ of de APA (American Psychological Association) bibliografiestijl die doorgaans ook aan hogescholen en universiteiten wordt gebruikt. Bovendien is het ook mogelijk om met een tekstverwerker bronnen te beheren en bibliografieën aan te maken in deze stijl. Collega Bruno Huysmans maakte toevoegingen voor het practicumonderzoek in de exacte wetenschappen mogelijk. 4 • LEREN ONDERZOEKEN


De auteur dankt Luc Vernaillen, pedagogisch begeleider voor het Gemeenschapsonderwijs en Agnes Claeys, Riet De Vos en Ingrid Molein, pedagogisch begeleiders dpb Gent, voor feedback en advies. Nathalie Verdonckt en Femke Beerten voor de realisatie van de eerste druk.

In ki

jk ex

em pl

aa r

Bart Laureys

5 • LEREN ONDERZOEKEN

LEREN ONDERZOEKEN• 5


INHOUDSOPGAVE LEREN ONDERZOEKEN

3

INHOUDSOPGAVE 6

ORIËNTEREN

11 11 13 13 15 16 18

em pl

Stap 1: Oriëntatie op het onderzoeksprobleem 1 Je kiest/krijgt een onderzoeksprobleem 2 Je gaat na wat de doelstelling van het onderzoek is 3 Je inventariseert de gekende informatie 4 Je bakent het onderwerp van je onderzoek af 5 Je gaat na of het onderzoeksprobleem te onderzoeken is 6 Indien gevraagd start je met het portfolio

8

aa r

HET VERLOOP VAN EEN ONDERZOEK IN STAPPEN

jk ex

Stap 2: Formuleren van onderzoeksvragen 1 Je formuleert hoofd- en deelvragen 2 Je gaat na of de vragen eenduidig geformuleerd en concreet zijn 3 Je legt de onderzoekseenheid vast 4 Je kiest de dataverzamelingsmethode(s) die je voor je onderzoek zult gebruiken

20 20 21 21 22

VOORBEREIDEN

In ki

Stap 3: Maken van een onderzoeksplan 1 Je bepaalt wat er precies onderzocht wordt en met welk doel 2 Je bepaalt de methode van je onderzoek 3 Je bepaalt waar en wanneer je gaat werken 4 Bij groepswerk maak je een taakverdeling 5 Indien gevraagd start je met het logboek

6 • INHOUD

25 25 26 26 27 29


UITVOEREN

VERWERKEN

em pl

Stap 5: Verwerken van informatie 1 Je beoordeelt en verwerkt de verkregen data 2 Je maakt een overzichtelijke voorstelling van deze data

Stap 6: Beantwoorden van de vragen en formuleren van conclusies 1 Je beantwoordt je hoofd- en deelvragen 2 Je toetst je gevonden gegevens aan literatuur of een ander onderzoek 3 Je trekt conclusies 4 Je formuleert je eigen mening

jk ex

RAPPORTEREN

Stap 7: Overdragen van informatie 1 Inleiding 2 Schriftelijke rapportering 3 Een mondelinge rapportering * Presenteer met behulp van een powerpoint 4 Posterpresentatie met mondelinge toelichting 5 Andere vormen van rapportering

In ki

33 33 37 39 41 49 58 59

aa r

Stap 4: Verwerven van informatie 1 Literatuuronderzoek * Kritisch omgaan met ICT 2 Observatie 3 EnquĂŞte 4 Interview * De zakelijke e-mail 5 Labo-experiment

61 61 62

64 64 64 65 65

67 67 67 84 85 87 90

REFLECTEREN EN BIJSTUREN Stap 8: Evaluatie van het onderzoeksproces 1 Je beoordeelt je eigen onderzoek en werkmethode (zelfevaluatie) 2 Je beoordeelt de samenwerking in groep (peerevaluatie) 3 Je reflecteert over de uitvoering van het onderzoeksplan

91 91 93 94

EINDNOTEN 97 BIBLIOGRAFIE

99 INHOUD• 7


HET VERLOOP VAN EEN ONDERZOEK IN STAPPEN ONDERZOEKSSTAP

ORIËNTEREN

Stap 1: Oriëntatie op het onderzoeksprobleem Je kiest/krijgt een concreet onderzoeksprobleem. Je gaat na wat de doelstelling van het onderzoek is. Je inventariseert de gekende informatie. Je bakent het onderwerp van je onderzoek af. Je gaat na of het onderzoeksprobleem te onderzoeken is. Indien gevraagd start je met het portfolio.

aa r

FASE

Stap 3: Maken van een onderzoeksplan Je bepaalt wat er precies onderzocht wordt en met welk doel. Je bepaalt de onderzoeksmethode. Je bepaalt waar en wanneer je gaat werken. Bij groepswerk maak je een taakverdeling. Indien gevraagd start je met het logboek.

jk ex

VOORBEREIDEN

em pl

Stap 2: Formuleren van onderzoeksvragen Je formuleert hoofd- en deelvragen. Je gaat na of de vragen eenduidig geformuleerd en concreet zijn. Je legt de onderzoekseenheid vast. Je kiest de dataverzamelingsmethode(s) die je voor je onderzoek zult gebruiken: interview, observatie, literatuuronderzoek, enquête, experiment …

Stap 4: Verwerven van informatie Je verzamelt en ordent informatie waarbij je gebruikmaakt van het literatuurrapport. Je werkt de gekozen dataverzamelingsmethode uit.

VERWERKEN

Stap 5: Verwerken van informatie Je beoordeelt de verzamelde informatie: bruikbaar, betrouwbaar, representatief. Je verwerkt de verkregen data. Je maakt een overzichtelijke voorstelling van deze data.

In ki

UITVOEREN

Stap 6: Beantwoorden van de onderzoeksvragen en formuleren van conclusies Je beantwoordt je hoofd- en deelvragen. Je toetst je gevonden gegevens aan literatuur of een ander onderzoek. Je trekt conclusies. Je formuleert je eigen mening.

8 • HET VERLOOP VAN EEN ONDERZOEK IN STAPPEN


Stap 7: Overdragen van informatie Je schrijft zelf een tekst op basis van de gevonden informatie waarin je de bevindingen van het onderzoek neerschrijft of je brengt de onderzoeksresultaten in een mondelinge presentatie, een posterpresentatie, een tentoonstelling …

REFLECTEREN EN BIJSTUREN

Stap 8: Evaluatie van het onderzoeksproces Je beoordeelt je eigen onderzoek en werkmethode (zelfevaluatie). Je beoordeelt de samenwerking in groep (peerevaluatie). Je reflecteert over de uitvoering van het onderzoeksplan.

In ki

jk ex

em pl

aa r

RAPPORTEREN

HET VERLOOP VAN EEN ONDERZOEK IN STAPPEN• 9


em pl

jk ex

In ki aa r


1

ORIËNTEREN

em pl

1 Je kiest/krijgt een onderzoeksprobleem

aa r

STAP 1 • Oriëntatie op het onderzoeksprobleem

jk ex

Meestal krijg je een praktische opdracht die vertrekt van een onderzoeksprobleem. Doorgaans is het onderzoeksprobleem in de opdracht al gegeven en kun je er direct mee aan de slag. Spijbelgedrag van leerlingen

De mate waarin jongeren betrokken worden in het gemeentelijk beleid

In ki

Soms is de onderzoeksvraag niet gegeven en zul je die uit de inleidende tekst van de studiewijzer moeten halen. Dan ga je eerst na wat precies onderzocht moet worden of wat het onderzoeksprobleem is.

Een studiewijzer 1 is een belangrijk leerinstrument bij begeleid zelfstandig leren. Het is een soort contract tussen jou en je leerkracht over wat er uitgevoerd moet worden, waar je dat moet doen, welke taken verplicht of facultatief zijn, hoe je je werk moet organiseren, welke methode(s) je moet gebruiken, wanneer je taken afgehandeld moeten zijn, hoeveel tijd je gemiddeld nodig hebt voor de verschillende onderdelen, door wie en hoe er geëvalueerd wordt.

FASE 1• ORIËNTEREN• 11


Bij een totaalonderzoek wordt mogelijk het volgende geëvalueerd en gequoteerd door de leerkracht: • de formulering van de onderzoeksvraag • het voorstel van de onderzoeksaanpak zoals neergeschreven in het onderzoeksplan • de uitvoering van het onderzoek • de interpretatie van de resultaten, het trekken van het besluit

aa r

• de voorbereiding van het onderzoek: literatuuronderzoek, meetplan, …

• de zelfevaluatie van het gevoerde onderzoek zoals neergeschreven in het reflectieverslag • het verloop van het onderzoek aan de hand van het portfolio

em pl

In de exacte wetenschappen wordt de bedoeling van een practicum duidelijk uit de studiewijzer van het practicum. De onderzoeksvraag van het practicum maakt je duidelijk wat en hoe precies onderzocht moet worden. Wat is het verband tussen de spanning over een weerstand en de stroom door die weerstand. Onderzoek het verband tussen de snelheid en de remafstand van een fiets.

Welke invloed hebben de lengte, de diameter en het materiaal waaruit een metalen draad bestaat op de weerstandswaarde van die draad.

In ki

jk ex

Lees altijd eerst heel aandachtig de volledige opdracht en herlees de opdracht regelmatig in de loop van je onderzoek! De opdracht of de studiewijzer geeft duidelijk aan wat van jou verwacht wordt en wanneer de opdracht succesvol afgewerkt is. Bewaar de studiewijzer daarom in je portfolio.

12 • FASE 1• ORIËNTEREN


2 Je gaat na wat de doelstelling van het onderzoek is Meestal kun je een onderzoeksprobleem vanuit verschillende invalshoeken benaderen. De doelstelling van het onderzoek bepaalt de invalshoek van je onderzoek en dus ook hoe je de onderzoeksvragen moet formuleren.

aa r

Wil je het probleem van het regenwoud onderzoeken of wil je onderzoeken hoe er iets aan gedaan kan worden?

Een kwantitatief onderzoek verzamelt gegevens die cijfermatig zijn en in statistieken verwerkt kunnen worden. Uit de verkregen cijfers trek je conclusies.

em pl

Hoeveel keer per jaar komt jouw gemeenteraad samen en wat is het gemiddelde aantal beslissingen per vergadering, over een jaar gespreid?

Kwalitatief onderzoek heeft te maken met de belevingswereld van mensen en wil nagaan hoe bepaalde mensen iets ervaren, waarom bepaalde mensen bepaalde dingen doen, wat de mensen (niet) willen of waarom iets is zoals het is. Je confronteert mensen met open vragen en je probeert conclusies te trekken uit de antwoorden. Hoe staan de ouders van jouw school tegenover culturele uitstappen?

jk ex

Zowel bij een kwantitatief als een kwalitatief onderzoek moet je metingen doen. Op die metingen baseer je de conclusies van je onderzoek. De resultaten van je onderzoek zijn een empirische werkelijkheid. Of je die meting juist gedaan hebt, en hoe je die metingen interpreteert, kan natuurlijk wel vatbaar zijn voor discussie.

3 Je inventariseert de gekende informatie

Om efficiënt te werken ga je eerst na wat je al over je onderwerp weet en welke informatie je zult moeten opzoeken. Omdat je tijd beperkt is, wil je graag snel vinden wat je zoekt. Stel je daarom de volgende vragen: • Wat weet je al over het onderzoeksprobleem?

In ki

• Over welke informatie beschik je reeds?

• Ken je mensen die beroepshalve of in hun vrije tijd met dit onderwerp te maken hebben? • Hoe wordt het onderwerp precies omschreven, wat wordt eronder verstaan? • Ga ik gespecialiseerde woordenboeken en gespecialiseerde literatuur raadplegen? • Welke zoekinstrumenten kunnen toegang geven tot informatie over het onderwerp?

FASE 1• ORIËNTEREN• 13


Web 2.0

aa r

In de oriënterende fase is het nuttig om eerst vrij en associatief te gaan nadenken over de probleemstelling. Je kunt best beginnen met je in te lezen over het onderwerp, bv. in een encyclopedie. Op het internet wordt dat al snel Wikipedia. In de oriënterende fase kun je Wikipedia gebruiken, maar in je verdere onderzoek moet je de gegevens uit Wikipedia kunnen staven met specifiekere gedrukte en internetbronnen. Hoe beter je weet welke informatie je zoekt, hoe gerichter je kunt zoeken op internet. Een woordspin of mindmap kan hierbij erg nuttig zijn. Je zoekt naar geschikte zoektermen (in het Nederlands, maar misschien ook in het Engels, eventueel door van de Nederlandstalige naar de Engelstalige Wikipedia te surfen). Hoe nauwkeuriger de zoektermen gekozen worden, hoe specifieker de informatie naderhand zal zijn.

In ki

jk ex

em pl

Mindmeister is een gratis online brainstorm- en mindmapprogramma. Het programma is webbased waardoor er geen software moet gedownload worden. Je start met een lege pagina met in het midden een kernbegrip. Eromheen komen begrippen die ermee te maken hebben. Omdat je werkt met steekwoorden, krijg je geen lappen tekst, maar een snel overzicht. Je vindt onderwerpen gemakkelijk terug, omdat je ze onder de meest logische categorie hebt gezet. Prentjes en links naar webpagina’s of filmpjes maken de woordspin af. Je kunt de link doormailen naar anderen en samen brainstormen. Anderen werken dan mee aan jouw woordspin. Als je gelijktijdig aan de woordspin werkt, opent zich een chatvenster. Bij een groepswerk kun je het werk zo handig verdelen onder de groepsleden.

14 • FASE 1• ORIËNTEREN


4 Je bakent het onderwerp van je onderzoek af Omdat je voor je onderzoek nu eenmaal beperkt bent in tijd en mogelijkheden waarover je beschikt, moet je het onderzoeksprobleem inperken. Dit kan op verschillende manieren: De evolutie van het geboortecijfer tussen 2000 en 2010

• door een ruimtelijke afbakening

aa r

• door de onderzochte periode te beperken

De evolutie van het geboortecijfer in jouw gemeente gedurende de voorbije vijf jaar

em pl

• door welbepaalde groepen te onderzoeken

De evolutie van het geboortecijfer in Vlaanderen gedurende de voorbije vijf jaar, bij allochtone vrouwen

• door het onderwerp toe te passen op de praktijk of op een praktijkvoorbeeld

Bij een onderzoek naar gendergelijkheid wordt een casestudy gemaakt over gendergelijkheid bij Volvo Cars in Gent.

• door een deelprobleem van het onderwerp te bestuderen

Welke verpakkingsmaterialen worden er gebruikt voor voeding?

jk ex

• door het onderwerp vanuit een specifieke of persoonlijke invalshoek te onderzoeken Onderzoek naar de ontbijtgewoonten van jongeren

Door verschillende beperkingen te combineren wordt de vraag steeds enger geformuleerd, zodat de onderzoeker zijn onderzoek goed kan afbakenen.

In ki

Het aantal vrouwelijke advocaten aan de Gentse balie sinds 1990

FASE 1• ORIËNTEREN• 15


5 Je gaat na of het onderzoeksprobleem te onderzoeken is2 Om op deze vraag te antwoorden moet je eigenlijk een reeks deelvragen stellen. Pas als je alle deelvragen onderzocht hebt, kun je weten of een onderzoeksprobleem onderzoekbaar is.

Sommige problemen zijn niet te onderzoeken.

aa r

5.1 Kan het probleem dat ik wil onderzoeken wel onderzocht worden?

em pl

Op de vragen ‘Zal Hannah Jeroen gelukkig maken?’ of ‘Is er leven na de dood?’ kan geen enkel onderzoek een zinnig antwoord geven.

De formulering van het onderzoeksprobleem moet juist zijn.

Als je de vraag ‘Is dit een mooie trui?’ verandert in ‘Vinden mijn klasgenoten deze trui mooi?’, kun je een onderzoekje starten. Op de vraag ‘Wie leeft er in onze gemeente onder de armoedegrens?’ zul je moeilijk een antwoord krijgen, terwijl je daarover wel cijfergegevens kunt vinden.

5.2 Is het onderzoek ethisch verantwoord?

jk ex

Een onderzoeker moet zich altijd de vraag stellen: schaadt dit onderzoek de privacy van de onderzochten? Of een onderzoek al dan niet ethisch verantwoord is, heeft veelal te maken met de manier waarop dat onderzoek gevoerd wordt: blijven de gegevens anoniem? Doen de onderzochten vrijwillig mee? Heeft de onderzoeker (of de opdrachtgever) eerlijke bedoelingen? Hoe garandeer je de privacy van je klasgenoten als je in je klas een onderzoek doet naar het gebruik van genotsmiddelen? Hoe ver kun je bij een observatie binnendringen in de privacy van de geobserveerde?

In ki

5.3 Is mijn onderzoeksprobleem voldoende afgebakend? Als het onderzoeksprobleem erg ruim is, wordt het onderzoek moeilijk: ofwel zal het erg duur en tijdrovend worden, ofwel zul je maar een aantal aspecten ervan kunnen belichten - en geen goed antwoord op de onderzoeksvraag kunnen geven.

16 • FASE 1• ORIËNTEREN


5.4 Is er voldoende tijd en geld voor dit onderzoek? Onderzoek kost geld: je moet je verplaatsen, telefoneren, documenten raadplegen, soms moet je een ruimte huren om proefpersonen samen te brengen enz. Onderzoek vraagt ook veel tijd.

aa r

Als je een enquête wilt afnemen van 50 personen, moet je per persoon een bepaalde tijd uittrekken, maar je moet er ook rekening mee houden dat het tijd vraagt om mensen tot medewerking te brengen en om de gegevens nadien te turven en te verwerken.

Het spreekt voor zich dat een onderzoek goedkoper en sneller zal verlopen als het goed afgebakend is.

em pl

5.5 Zijn de onderzochten bereikbaar en bereid?

Als je een onderzoek doet naar mensen, moeten die voor jou bereikbaar zijn en bereid om mee te werken aan je onderzoek. Veel instellingen weigeren medewerking als je geen 18 jaar bent. Is mijn probleem onderzoekbaar? JA

Ik kies een ander probleem of ik herformuleer het probleem.

NEEN

Ik kies een ander probleem of ik herformuleer het probleem.

NEEN

Ik perk het probleem in.

NEEN

Ik zoek oplossingen of pas mijn probleemstelling aan.

NEEN

Ik stel mijn planning of mijn begroting bij.

jk ex

Is mijn probleem ethisch verantwoord?

NEEN

JA

Is mijn probleem voldoende afgebakend? JA

In ki

Zijn de onderzochten bereikbaar en bereid? JA

Is er voldoende tijd en geld? JA

Mijn onderzoeksplan is uitvoerbaar.

Ik kan beginnen informatie te verzamelen.

FASE 1• ORIËNTEREN• 17


6 Indien gevraagd start je met het portfolio 6.1 Wat is een portfolio?

aa r

Een portfolio is van oorsprong een grote map waarin bijvoorbeeld schilders, vormgevers of reclamemakers voorbeelden van hun werk verzamelen om potentiële opdrachtgevers te overtuigen van hun kwaliteit. Zo’n portfolio is heel verhelderend. Je ziet in een oogopslag welke stijl iemand heeft, in wat voor soort opdrachten hij gespecialiseerd is en of zijn werk je aanspreekt. Het ‘moderne’ portfolio is een persoonlijke verzamelmap waarin je een selectie van werkstukken bewaart en voorziet van commentaar. Je kunt ook aangeven waarop de lezer van je portfolio in het bijzonder moet letten en waarom.

em pl

De proefenquête waarin nog een belangrijke fout staat, stop je in je portfolio om aan te tonen dat je door het enquêteren van proefpersonen die fout gevonden en verbeterd hebt.

Je kunt een portfolio samenstellen om aan te tonen:

• wat je bereikt hebt, welke bekwaamheden je verworven hebt. • welke vorderingen je gemaakt hebt.

• welk leerproces je hebt doorgemaakt.

jk ex

• waar je goed in bent, wat je sterke kanten zijn. 6.2 Inhoud en vorm3

Zonder een duidelijke structuur is het vaak moeilijk om zicht te krijgen op de inhoud van een portfolio. Een portfolio kan op verschillende manieren georganiseerd worden: per onderwerp, per doelstelling, chronologisch, per type product of naargelang jij de stukken belangrijk acht. Een portfolio bestaat doorgaans uit de volgende elementen:

In ki

• een introductie waarin je de structuur van het portfolio beschrijft • een inhoudstafel om de lezer wegwijs te maken in het portfolio • een verantwoording van de geselecteerde documenten en werkstukken • de opgenomen documenten en werkstukken: zowel taken, toetsen, oefenblaadjes, enquêteformulieren als kladblaadjes kunnen worden opgenomen • de studiewijzer

• een beschrijving van het geleverde werk (logboek en literatuurrapport) • een reflectie op de concrete leerervaring en de evolutie van het leerproces 18 • FASE 1• ORIËNTEREN


Het portfolio maakt het mogelijk om je onderzoek te volgen, bij te sturen en eventueel ook te beoordelen.

Web 2.0

In ki

jk ex

em pl

aa r

In een digitaal portfolio verzamel je eigen werk van een bepaalde periode (van één of meer vakken) en geef je een reflectie op je eigen werk. Je kunt een digitaal portfolio opstellen zodat anderen en bv. ook de leerkracht feedback kunnen geven op je portfolio. In de meeste digitale leeromgevingen zijn digitale portfolio’s ingebouwd of kunnen ze ingebouwd worden

FASE 1• ORIËNTEREN• 19


STAP 2 • Formuleren van onderzoeksvragen 1 Je formuleert hoofd- en deelvragen

aa r

Voor je je helemaal in een onderzoek stort, is het van belang dat je precies weet wat je wilt doen. Dat is niet zo eenvoudig. Het helder omschrijven van een onderzoeksvraag is moeilijk. Toch is dit van het grootste belang: het hele verdere onderzoek wordt op de onderzoeksvraag toegespitst. Als het niet duidelijk is wat je moet onderzoeken, is je onderzoeksvraag niet goed geformuleerd en moet je ze herformuleren.

em pl

Houd je onderzoeksvraag scherp: uit de vraag moet blijken wat je precies wilt weten. Als je ze te ruim of te vaag formuleert, krijg je achteraf problemen. Een goede onderzoeksvraag vertrekt van wat je al weet en helpt je meer te weten te komen. Er zijn verschillende soorten onderzoeksvragen.

• Beschrijvende of beeldvormende: Op basis van onderzoek beschrijf je een situatie of een persoon. Hoe bereidt een topatlete zich voor op de komende Olympische Spelen?

• Vergelijkende: Je probeert overeenkomsten en verschillen te ontdekken.

jk ex

Wat zijn de verschillen en gelijkenissen tussen mannelijke en vrouwelijke gedetineerden in de gevangenis van Gent?

• Verklarende: Je zoekt een antwoord op de vraag: ‘Hoe komt het dat ...?’ Hoe komt het dat er meer mannen dan vrouwen een topfunctie bekleden?

• Waardebepalende of evaluatieve: Je geeft een waardeoordeel over een onderwerp.

In ki

Geven patiënten de voorkeur aan mannelijke of vrouwelijke dokters?

• Voorspellende: Je onderzoekt hoe iets in de toekomst zal zijn. Zullen er binnen tien jaar meer vrouwelijke advocaten zijn?

• Probleemoplossende of regelgevende: Je probeert op basis van onderzoek een probleem op te lossen of daartoe bij te dragen. Hoe kunnen de faciliteiten voor kinderopvang tijdens de zomervakantie verbeterd worden?

20 • FASE 1• ORIËNTEREN


Met de vragen waar? wie? wat? wanneer? vraag je alleen naar inlichtingen. Dat zijn informatievragen, géén onderzoeksvragen.

aa r

Een onderzoeksvraag is vaak zo ruim dat je er moeilijk één antwoord op kunt geven. Bedenk daarom deelvragen die je helpen bij de verdere aansturing van je onderzoek. Stel dat je de volgende hoofdvraag hebt bedacht: ‘Wat kun je doen aan energiebesparing bij jou thuis?’, dan zou je de volgende deelvragen kunnen bedenken: Wat is er al gedaan om energie te besparen? Hoe zouden we kunnen besparen op stookkosten? Hoe zouden we kunnen besparen op elektriciteit? Kunnen we gebruikmaken van zonne-energie? Wat voor investeringen zijn er nodig? Hoeveel geld wordt er bespaard per jaar? 4

em pl

• Begrippen die in de onderzoeksvraag genoemd worden, komen in ieder geval terug in de deelvragen. • Maak drie tot vijf deelvragen. Nadat je de deelvragen hebt geformuleerd, bekijk je de onderzoeksvraag opnieuw en stel je die zo nodig bij.    • Zorg ervoor dat de deelvragen bij elkaar genomen ook daadwerkelijk een antwoord geven op de onderzoeksvraag.

jk ex

Een goed alternatief voor een hoofdvraag is een hypothese, een veronderstelling. In je onderzoek toon je vervolgens aan of de hypothese klopt of niet.

2 Je gaat na of de vragen eenduidig geformuleerd en concreet zijn De vragen moeten:

• correct geformuleerd en nauwkeurig zijn. Iedereen moet de vragen kunnen begrijpen. • ter zake zijn en effectief te maken hebben met het werk waarmee je bezig bent.

In ki

• zoeken naar een verklaring van het ‘waarom?’ (met welk doel?) en het ‘waardoor?’ (hoe komt het?).

3 Je legt de onderzoekseenheid vast Met onderzoekseenheid wordt de situatie, persoon of groep bedoeld die het voorwerp is van het onderzoek. Vaak is de onderzoekseenheid al aangegeven in de onderzoeksvraag. Als je wilt nagaan of de leerlingen van je school vinden dat er meer zitbanken op de speelplaats moeten komen, is de onderzoekseenheid ‘de leerlingen van je school’.

FASE 1• ORIËNTEREN• 21


4 Je kiest de dataverzamelingsmethode(s) die je voor je onderzoek zult gebruiken5 Er bestaan verschillende methodes om gegevens of data te verzamelen.

aa r

1 Literatuuronderzoek: gebeurt op basis van verschillende bronnen (boeken, artikels, video’s, tv- of radioprogramma’s, tijdschriften, Mediargus enz.). Er is geen direct contact met het onderzoeksobject. Nagenoeg elk onderzoek vertrekt van een literatuuronderzoek.

2 Observatie: De onderzoeker is ‘op het veld’ aanwezig. Dat houdt in dat hij mensen onderzoekt op de plaats waar ze in hun gewone doen zijn. Soms is het nodig dat hij ongemerkt aanwezig is, om te vermijden dat zijn aanwezigheid het gewone verloop zou beïnvloeden.

em pl

De leraar observeert de leerlingen in de klas tijdens het oplossen van een oefening.

3 Veldonderzoek: is verwant met observatie, maar hier doet de onderzoeker gewoon mee met de groep.

jk ex

De onderzoeker doet hetzelfde werk als de arbeiders die hij wil bestuderen.

In ki

4 Experiment: is nodig om de hypothese die ontstaan is uit studie, ondervinding of observatie aan de praktijk te toetsen. Een experiment verloopt in zes stappen (de zogenaamde empirische cyclus): • waarneming of observatie • opstellen van een hypothese • bepalen van een onderzoeksgegeven (voorspelling die onderzoekbaar is) • het eigenlijke experiment (de toetsing van het onderzoeksgegeven) • de studie van het resultaat • evaluatie die de hypothese bevestigt (verificatie) of weerlegt (falsificatie)

22 • FASE 1• ORIËNTEREN


INDUCTIE

EVALUTATIE d.m.v. falsificatie of verificatie

RESULTAAT

THEORIE/MODEL HYPOTHESE DEDUCTIE

TOETSING d.m.v. experiment

aa r

WAARNEMING

VOORSPELLING

em pl

Bij veld- of labo-experiment wordt de relatie tussen verschillende factoren onderzocht. De onderzochte factoren worden variabelen genoemd. In elk experiment is er een afhankelijke en een onafhankelijke variabele. De onafhankelijke variabele wordt door de onderzoeker gecontroleerd of gemanipuleerd; de afhankelijke variabele zal ten gevolge van die manipulatie veranderen.

Een onderzoeker heeft het vermoeden dat een gebrek aan slaap leidt tot concentratiestoornissen. Hij maakt twee groepen: de ene groep laat hij systematisch te weinig slapen, de andere groep krijgt voldoende slaap. Hij zorgt ervoor dat alle andere factoren bij de twee groepen gelijk zijn. Daarna gaat hij na of de ene groep opvallend meer concentratiestoornissen vertoont dan de andere.

jk ex

5 Psychologische test: wordt gebruikt om bij mensen persoonlijkheidstrekken, een kenmerk of een vaardigheid te meten of in kaart te brengen. Meestal worden opdrachten gegeven die door de te onderzoeken persoon worden uitgevoerd. Op basis van het gedrag dat mensen vertonen tijdens die opdrachten worden conclusies getrokken met betrekking tot het gedrag in andere situaties in het dagelijks leven. Dergelijke tests doet men onder andere om intelligentie, concentratie of reactiesnelheid … te meten. 6

In ki

6 Simulatie of rollenspel: is een nabootsing van een authentieke situatie die gedrag uitlokt in een ‘opgezette’ situatie. Je hebt een vragenlijst gemaakt en je ‘speelt’ eerst met een klasgenoot hoe je die enquête zult afnemen.

7 Enquête: een systematische ondervraging van een relatief grote groep mensen. De enquête beoogt vooral kwantitatieve informatie. In een enquête worden vooral gesloten vragen gesteld die makkelijk te beantwoorden en te verwerken zijn. Een enquête over taalontwikkeling van kinderen

FASE 1• ORIËNTEREN• 23


8 Interview: een min of meer gestructureerd vraaggesprek met een of meer mensen. Bij een interview is de vraagstelling belangrijk. Het resultaat is eerder kwalitatief. Schematisch:

Beschrijvende of beeldvormende onderzoeksvraag

Wat

Vergelijkende onderzoeksvraag

Wat is de samenhang, het verschil?

Verklarende onderzoeksvraag

Hoe wordt... bedoeld?

Open interviews Enquête Groepsgesprek

Welke ontwikkelingen, welke verwachtingen

Probleemoplossende of regelgevende onderzoeksvraag

Welke maatregelen?

Definiërende onderzoeksvraag

Welke kenmerken?

In ki

Enquête Experiment Observatie Literatuuronderzoek

Enquête Observatie Experiment

Voorspellende onderzoeksvraag

24 • FASE 1• ORIËNTEREN

Literatuuronderzoek Enquête Inhoudsanalyse Casestudy

Waarom, hoe komt het dat ... ?

jk ex

Waardebepalende of evaluatieve onderzoeksvraag

Dataverzamelingsmethode

aa r

Vraag

em pl

Onderzoeksvraag

Literatuuronderzoek Experiment Inhoudsanalyse Enquête

Observatie Analyse van bestaand materiaal Inhoudsanalyse Enquête Literatuuronderzoek


2

VOORBEREIDEN

aa r

STAP 3 • Maken van een onderzoeksplan

Een onderzoeksplan bevat: • een duidelijke titel

em pl

Voor je aan de uitvoering van het onderzoek begint, maak je een onderzoeksplan waarin je de structuur, de methode en de planning van je onderzoek vastlegt.

• omschrijving van en achtergrondinformatie over het onderzoeksprobleem • de onderzoeksvragen en de onderzoeksdoelen

• de onderzoekbaarheid van de onderzoeksvragen • de methode van je onderzoek • een planning

jk ex

• een taakverdeling bij groepswerk

1 Je bepaalt wat er precies onderzocht wordt en met welk doel

In ki

Je hoofd- en deelvragen vormen de rode draad van je onderzoek: zij moeten beantwoord worden met een bepaald doel en voor een bepaald publiek. De structuur van je onderzoek wordt dus voor een groot deel bepaald door de onderzoeksvragen. Voor je aan je onderzoek begint, bepaal je daarom eerst nauwkeurig de onderzoeksvragen en de onderzoeksdoelen. Je gaat na of de onderzoeksvragen opzoekbaar zijn. Je beslist of je alle vragen behandelt, of een keuze maakt. Je vertrekt van de onderzoeksvragen om gericht op zoek te gaan naar bruikbare informatie en om data te verzamelen. In de loop van je onderzoek kun je de onderzoekvragen aanpassen en je structuurschema bijstellen. Overweeg of de nadruk van je onderzoek moet liggen op informeren, dan wel op interpreteren of argumenteren en overtuigen. Als je onderzoeksprobleem nogal theoretisch is, gebruik je best veel voorbeelden.

FASE 2• VOORBEREIDEN• 25


2 Je bepaalt de methode van je onderzoek

aa r

Je geeft aan hoe je het onderzoek zult aanpakken: waar en hoe je informatie zult verzamelen, welke dataverzamelingsmethode(s) je zult gebruiken en wie je waarom en wanneer gaat interviewen, hoe je de enquête zult aanpakken, waar en hoe je wilt observeren ... Als het niet duidelijk is waar je moet zoeken, is je onderzoeksvraag niet goed geformuleerd en moet je eerst proberen een duidelijker beeld te krijgen van je onderzoeksprobleem.

Web 2.0

em pl

Bedenk vooraf ook hoe je de verzamelde informatie zult ordenen en bewaren. Zul je stukken overschrijven (in een schriftje of op losse steekkaarten), neem je een kopie of wordt alles verzameld in een e-map?

• Delicious is een social bookmarking tool waarmee je bladwijzers naar o.a. interessante webpagina’s, blogposts en filmpjes online kan bewaren, organiseren en delen met anderen. • Dropbox is een online opslagplaats voor bestanden als documenten, filmpjes, muziek en foto’s. Je kunt mappen in Dropbox ook delen met anderen. Omdat alle bestanden online staan, kun je ze overal raadplegen.

jk ex

• Ook met Symbaloo kun je snel en handig je weblinks organiseren en delen.

3 Je bepaalt waar en wanneer je gaat werken

Bepaal hoeveel tijd je aan het verzamelen van informatie wilt/kunt besteden en wanneer je dat zult doen. Hou rekening met openingstijden (van de bibliotheek, van de computerklas) of de beschikbaarheid van de computer thuis, met andere schooltaken, met je persoonlijke agenda …

In ki

Bepaal wanneer je de data wilt verzamelen die je nodig hebt voor je onderzoek en wanneer je ze zult verwerken. Bepaal hoeveel tijd je nodig hebt om je rapportering af te werken.

26 • FASE 2• VOORBEREIDEN


Groepswerk is zonder twijfel een heel waardevolle manier van werken, maar leidt soms ook tot ongenoegen en frustraties. Wanneer elk groepslid een unieke taak krijgt, kan dit bijdragen tot een betere realisatie van de groepsopdracht. De organisator • zorgt ervoor dat de groep aan het werk blijft.

em pl

• let erop dat iedereen meedoet en de kans krijgt iets te zeggen.

aa r

4 Bij groepswerk maak je een taakverdeling7

• duidt de spreker aan als er zaken te bespreken zijn.

• let erop dat iedereen in de groep alles goed begrijpt. Als dat niet zo is, laat de organisator de groep even stoppen en zorgt hij ervoor dat iedereen mee is. De bemiddelaar

• moedigt de groepsleden aan om mee te doen en goed samen te werken.

jk ex

• moedigt de groepsleden aan om elkaar te helpen.

• geeft de groepsleden een compliment als ze iets goed doen. • let erop dat niemand afgekraakt wordt.

De planner

• maakt een tijdsindeling van het werk.

In ki

• waarschuwt de groep als die te veel tijd besteedt aan een onderdeel. • zorgt ervoor dat de groep alle opdrachten binnen de beschikbare tijd afwerkt.

De verslaggever

• schrijft het antwoord van de groep op. • organiseert de rapportering van het groepswerk. • vat de opdracht van de groep samen om het groepsverslag in te leiden. • vertelt bij de evaluatie namens de groep wat er is gedaan, waarom en hoe er werd samengewerkt.

FASE 2• VOORBEREIDEN• 27


De bron • zorgt ervoor dat de groep de juiste informatiekaarten gebruikt. • zoekt informatie in naslagwerken of op internet.

De materiaalmeester

aa r

• zorgt ervoor dat de groepsleden die veel over het onderwerp weten aan bod komen.

• zorgt ervoor dat bij elke werktijd informatiekaarten, naslagwerken, kranten, teksten … die de groep nodig heeft, aanwezig zijn • mag van zijn plaats komen om materialen te halen of terug te brengen

De taakbewaker

em pl

• levert het werk in.

• zorgt ervoor dat de groep bij de opdracht blijft. De spion

• mag bij de andere groepen informatie gaan verzamelen.

jk ex

Een goede vergadering kan soms heel wat misverstanden en overbodig werk voorkomen. Vooral als je groep vrij groot is, is het heel belangrijk om op vaste tijdstippen te overleggen wie wat doet. Hoe groter de groep, hoe minder makkelijk je op een informele manier met elkaar kunt afspreken. Het is nuttig om een kort overlegmoment in te lassen bij het begin van een werktijd. De onderstaande vragen kunnen dan van belang zijn. • Wat loopt goed?

• Welke problemen zijn er?

In ki

• Moeten we onze planning bijsturen? • Moeten we taken herverdelen?

• Is er nood aan extra ondersteuning (leerkracht, bibliothecaris, specialist ...)? • Welke oplossingen zijn er mogelijk?

De verslaggever noteert de gemaakte afspraken in het logboek of maakt, indien het gevraagd wordt, na iedere vergadering een kort verslag dat in het portfolio wordt gestopt. Bij een groepswerk is elk groepslid verantwoordelijk voor zowel de eigen inbreng als voor het eindresultaat van de groep.

28 • FASE 2• VOORBEREIDEN


Web 2.0 • Berichtjes van maximaal 140 tekens kan je snel heen en weer sturen met Twitter. • Doodle is een online afspraken-dienst. Je moet je niet registreren. Het principe is eenvoudig: je stuurt een aantal data door waarop je kunt samenkomen en laat de deelnemers aanduiden welke data voor hen passen.

aa r

• Met Google Docs kun je documenten, spreadsheets en presentaties maken en delen. Omdat alles online wordt opgeslagen kun je ze met andere Google Account gebruikers delen en realtime online tegelijk bewerken. Je ziet elkaars wijzigingen onmiddellijk (in een kleurtje).

em pl

• In een Wiki kunnen meerdere deelnemers samen schrijven aan een webbased document. Een wiki heeft een aantal unieke kenmerken: elk stukje informatie dat is toegevoegd blijft bewaard ; de verschillende versies van een pagina kunnen vergeleken worden ; elke pagina heeft een overlegpagina waar gebruikers over de inhoud kunnen communiceren ; zoeken in een wiki kan op basis van inhoud, maar ook op basis van categorieën ...

5 Indien gevraagd start je met het logboek 5.1 Wat is een logboek?

In een logboek beschrijf je regelmatig (bij voorkeur na elk werkmoment): • wat je gedaan hebt in dat werkmoment

jk ex

• wat goed ging (en waarom)

• wat minder goed ging (en waarom)

• welke doelstelling je voor het volgende werkmoment hebt

In ki

Het gaat daarbij niet om feiten alleen, maar om jouw ideeën, jouw visie op je eigen werk en jouw werkproces. Wanneer je alleen maar feitelijk beschrijft wat je tijdens het werkmoment hebt gedaan, is dat onvoldoende. Geef heel duidelijk aan hoe of waarom jij zo denkt over wat je hebt gedaan, wat je wilt gaan doen. 5.2 Waarom moet je een logboek maken? Een logboek leert je om gestructureerd te werken. Doordat je steeds noteert hoe en waarom je tot keuzes komt, word je gedwongen om over die keuzes na te denken. Daardoor wordt je werkproces efficiënter, en daardoor ook het eindproduct. Bovendien leer je op die manier zelfstandig keuzes te maken. Daarnaast is het van groot belang voor de planning: zo kun je heel gericht per werkmoment je eigen doelstellingen formuleren. Je weet dan precies wat je binnen een werkmoment moet doen. Die werkwijze is heel belangrijk in het kader van zelfstandig leren. FASE 2• VOORBEREIDEN• 29


5.3 Soorten logboeken 5.3.1 Het voorgestructureerde logboek

Bij het begin van het werkmoment: • Wat heb ik vorige keer gedaan?

em pl

• Wat heb ik gepland voor vandaag?

aa r

Het voorgestructureerde logboek helpt je reflecteren over de manier waarop je de opdracht uitvoert en wat je erbij leert in de opeenvolgende werkmomenten. Het logboek is dan ook chronologisch onderverdeeld in drie delen, namelijk voor, tijdens en na het oplossen van de opdracht. Je moet het logboek dan ook driemaal ter hand nemen en telkens de gestelde vragen beantwoorden.

Vóór het einde van het werkmoment: • Wat is er vandaag gerealiseerd?

• Welke problemen zijn er geweest? Welke oplossingen?

• Wat is niet afgewerkt en komt volgende keer op de agenda? Wanneer de taak afgerond is:

• Wat ging goed en waarom?

jk ex

• Wat ging niet goed en waarom? • Wat ga je zeker blijven doen?

• Wat ga je de volgende keer anders doen?

5.3.2 Het logboek als agenda

In ki

Je kunt een logboek ook gebruiken als agenda om je te helpen bij de planning en de taakverdeling van een groepswerk. In zo’n logboek noteer je: • wanneer je samenkomt

• het doel van de samenkomst • wie er wat tegen wanneer zal doen • evaluatie van voorbije activiteiten • planning van toekomstige activiteiten

30 • FASE 2• VOORBEREIDEN


5.3.3 Logboek voor ervaringen en gevoelens

Dit logboek vormt een weergave van je indrukken, ervaringen en reflecties bij het uitvoeren van je opdracht. Het kan zowel gaan om zeer persoonlijke als om algemene zaken. Belangrijk doel van zo’n logboek is dat je actief nadenkt over je eigen leerproces.

aa r

Web 2.0

In ki

jk ex

em pl

Een weblog is een logboek in de vorm van een website. Je kunt er berichten of blogposts op plaatsen. Een blogpost kan bestaan uit tekst, links, beeld en geluid. Het laatst toegevoegde bericht komt bovenaan te staan. Blogger is een gratis internetdienst van Google.

FASE 2• VOORBEREIDEN• 31


em pl

jk ex

In ki aa r


Turn static files into dynamic content formats.

Create a flipbook
Issuu converts static files into: digital portfolios, online yearbooks, online catalogs, digital photo albums and more. Sign up and create your flipbook.