Issuu on Google+

Anthony Paletta Communicatie- & Multimedia Design, 2012–2013


SONGS FOR THE DEAF Een designonderzoek over het betrekken van andere zintuigen bij de muzikale perceptie.

Student: Promotoren: Jaar: Afstudeerrichting:

Anthony Paletta Katrien Dreessen & Rudi Knoops 2012-2013 Communicatie- & Multimedia Design


Voorwoord

I. Voorwoord Songs for the Deaf… Zo luidt de titel van een rocknummer van de band Queens of the Stone Age, maar het geeft ook naam aan het onderzoek dat ik voer in het kader van mijn thesis aan de MAD-faculty te Genk. Omdat ik zelf een muzikant ben was het voor mij niet moeilijk om het thema van mijn thesis te kiezen. Ik besloot om mijn liefde voor muziek te combineren met mijn opleiding Communicatie- & Multimedia Design. Dit resulteerde in een onderzoek waar er in samenwerking met een groep auditief beperkten werd nagegaan hoe een fysieke mediale toepassing de andere zintuigen — naast het gehoor — kan betrekken bij de perceptie van muziek.

Hoewel het schrijven en uitwerken van deze masterthesis geen makkelijke opgave was stond ik er niet alleen voor. Het lijkt me dan ook gepast om dit voorwoord af te sluiten met een kort dankwoord. Allereerst zou ik mijn promotoren Katrien Dreessen en Rudi Knoops willen bedanken voor hun begeleiding bij dit project. Daarnaast zou ik ook Danny Leen en Lieven Menschaert willen bedanken voor de inspirerende bijeenkomsten en om mij wegwijs te maken in de verschillende softwarepakketten. Verder zou ik ook nog Diana Elens, Jeffrey Boekestijn, Leo De Raeve, Manuel Stegen, Sofie Donne en alle testpersonen willen bedanken voor hun medewerking gedurende dit onderzoek. Ook bedank ik volgende mensen: mijn klasgenoten, collega’s, vrienden en familie, in het bijzonder mijn ouders en zus Deborah; naast jullie belangstelling in deze thesis stonden jullie ook steeds klaar om mij te helpen en aan te moedigen wanneer ik dat nodig had. Anthony Paletta, 2012-2013

3


Abstract — NL 4

II. Abstract Technologie biedt steeds vaker een oplossing voor menselijke beperkingen. Zo vormt het cochleair implantaat een gedeeltelijke oplossing voor mensen met een ernstig gehoorprobleem. Gedeeltelijk, omdat cochleaire implantaten slechts een beperkt deel doorgeven (250 tot 6 000 Hz) van het hele klankspectrum dat een gezond menselijk gehoor kan waarnemen (20 tot 20 000 Hz).

Hoewel deze bevinding wordt toegepast via inclusive design, waarbij het prototype voor een zo breed mogelijke doelgroep wordt ontworpen, ligt de focus op personen met een cochleair implantaat. Via een iteratieve en participatieve werkwijze waarbij brainstormsessies met doven en slechthorenden centraal staan wordt er aandacht besteed aan de effectiviteit, functionaliteit en gebruiksvriendelijkheid van het prototype.

Dit onderzoek gaat na in welke mate een fysieke mediale toepassing andere zintuigen kan betrekken bij de perceptie van muziek. Uit literatuurstudie en expertinterviews blijkt dat het waarnemen van de muzikale elementen pitch en melodie beperkt is bij personen met een cochleaire implantaat. Omdat melodie, naast ritme en harmonie, één van de belangrijkste muzikale elementen is, tracht het prototype de waarneming van melodie te ondersteunen door middel van haptische feedback. Uit casestudies blijkt dat de combinatie van haptische en auditieve signalen effectiever is bij het overbrengen van een boodschap dan wanneer er slechts één zintuig geprikkeld wordt.

Kernwoorden: muziek, melodie, cochleair implantaat, haptische feedback.


This thesis explores how a physical media application can involve other senses within the musical perception. Literature studies and interviews with experts affirm that this narrow frequency has a negative influence on the perception of the musical element melody (pitch). Because of the importance of melody, being one of the building blocks of music, the prototype will try to support perception by means of haptic feedback.

Via an iterative and participatory method, where brainstorm sessions with hearing impared persons play an import role, attention in this thesis will be paid to the effectiveness, functionality and usability of the prototype.

Abstract — EN

Technology offers a solution to extend our human capabilities. One example is the cochlear implant, providing a limited solution to hearing loss. Limited because the cochlear implant only detects a limited frequency range (250 – 6 000 Hz), this in contrast to a healthy human hearing organ (20 – 20 000 Hz).

Keywords: music, melody, cochlear implant, haptic feedback.

Case studies confirm that the effectiveness of perceiving a signal is stronger when using a combination of haptical and auditive signals. Although this finding is applied in a prototype by the use of inclusive design, where one designs for the broadest possible audience, the focus is on individuals with a cochlear implant.

5


Inhoudsopgave I. Voorwoord

3

II. Abstract

4

III. Inleiding en Methodologie

8

1. Muziek

12

1.1 Muzikale elementen 1.1.1 Tijdgebonden elementen 1.1.2 Klankgebonden Elementen 1.1.3 Melodie 1.1.4 Extra elementen

15 15 17 18 18

1.2 Auditief beperkten als doelgroep 1.2.1 Communiceren met auditief beperkten tijdens het onderzoek 1.2.2 Cochleair implantaat 1.2.2.1 Muzikale waarneming met een CI

19 21 21 23

1.3 Muzikale waarneming met verschillende zintuigen 29 1.3.1 Synesthesie 29

1.3.2 Meer zintuigen betrekken bij muzikale waarneming 1.3.3 EĂŠn of meerdere zintuigen aanspreken?

30 30

1.4 Haptische feedback 1.4.1 Vibrotactiele feedback

34 35

1.5 Psychofysica binnen het haptisch domein 1.5.1 De absolute drempel 1.5.2 DifferentiĂŤle Drempel 1.5.3 Tweepuntsdiscriminatie en signaaldetectietheorie 1.5.4 Sensorische aanpassing 1.5.5 Tactiele illusies en het Phi-fenomeen

36 36 36 37 38 38

1.6 Casestudies 40 1.6.1 Emoti-Chair en Haptic Chair 40 1.6.2. Haptic Feedback Mobile Music (Applicatie) 43 1.6.3. Music for deaf people en Bone Fone 43 1.6.4 Feel The Music Suit 45 1.6.5 The Multisensory Sound Lab en SenseFLoor 45


2. Prototype 2.1 Eerste prototype met led 2.1.1. Constructie 2.1.2 User testing 2.1.3 Resultaten

47 47 47 48 49

2.2 Tweede prototype 2.2.1 Constructie 2.2.2 User testing 2.2.3 Resultaten

50 50 53 53

2.3 Derde Prototype 2.3.1 Constructie 2.3.2 User testing 2.3.3 Resultaten

54 54 55 55

2.4 Finaal Prototype 2.4.1 Constructie 2.4.2 User testing 2.4.3 Resultaten Enkele reacties:

56 56 60 62 63

3. Conclusie

64

4. Bibliografie Digitale Bibliografie:

66 75

5. Bijlagen 5.1 Expert Interview – Diana Elens. 5.2 Expert Interview – Jeffrey Boekestijn. 5.3 Brainstormsessie met de Focusgroep. 5.4 Testsessie Finaal Prototype – Notities 5.5 Mail Ronald Ligtenberg

80 80 83 87 92 94


Inleiding en Methodologie

III. Inleiding en Methodologie Dit designonderzoek analyseert in welke mate een fysieke mediale toepassing andere zintuigen kan betrekken bij de perceptie van muziek. Hierbij richt men zich specifieker op de waarneming van de muzikale elementen pitch en melodie. Uiteindelijk wordt er getracht een prototype uit te werken aan de hand van inclusive design, een methode waarbij men voor een zo breed mogelijke doelgroep tracht te ontwerpen (Clarkson & Keates, 2004). De keuze voor inclusive design vloeit voort uit het maatschappelijk belang. Zo wordt er sinds januari 2013 in België een geluidsnorm opgelegd bij muziekactiviteiten (e.g. concerten en festivals) om muziekliefhebbers te beschermen tegen gehoorschade (Lne, 2013). Deze geluidsnorm zou de muzikale beleving op een negatieve manier beïnvloeden (FmiV 2013). Aanvullend op deze bevinding dat luide muziek de muzikale beleving bevordert schrijven Hoogervorst, Wieteke en Witteman (2006) dat zesenveertig procent van alle jongeren hun muziekspeler zo luid zetten dat deze permanente gehoorschade aanbrengt. Het creëren van een fysieke

8

mediale toepassing dat andere zintuigen betrekt bij de perceptie van muziek kan hierbij een mogelijke oplossing bieden. Hoewel het uiteindelijke prototype een zo breed mogelijke doelgroep zal moeten dienen, ligt de focus in dit onderzoek op personen met een auditieve beperking. Deze personen hebben namelijk het meeste baat bij het prototype. Vermits er al middelen bestaan (e.g. het cochleair implantaat) die in beperkte mate een oplossing bieden voor het waarnemen van muziek wordt er nagegaan waar er een draagvlak is voor verbetering. Dit draagvlak wordt uitgewerkt in de vorm van een mediale toepassing. Gezien er in deze thesis onderzocht wordt hoe men de perceptie van muziek kan verbeteren wordt eerst het begrip ‘muziek’ ontleed. Door middel van desk research (bestaande uit literatuurstudie en internetbronnen) wordt er een antwoord gezocht op vragen als “wat is muziek?”, “waarom genieten mensen van muziek?” en “uit welke elementen bestaat muziek?”.


Bij het definiëren van de doelgroep wordt er aandacht besteed aan de belevingswereld van doven en huidige oplossingen binnen dit onderzoeksveld, meer bepaald het cochleair implantaat. Dit implantaat, afgekort CI, is een type hoorapparaat dat een persoon in staat stelt om geluid waar te nemen door middel van een gedigitaliseerd proces (Madell & Carol, 2008). Deze uitvinding biedt een grote reeks voordelen voor de gebruiker, maar brengt ook enkele nadelen met zich mee. Om meer informatie te verkrijgen over de rol van het cochleair implantaat bij de perceptie van muziek en het verband tussen muziek en de dovenwereld wordt er naast het voeren van kwalitatieve literatuurstudies ook beroep gedaan op half-gestructureerde expertinterviews en het werken met een focusgroep. Tijdens deze expertinterviews werden er drie personen geïnterviewd.

Een eerste persoon die geïnterviewd werd was Leo De Raeve. Leo De Raeve is werkzaam als psycholoog en coördinator van de afdeling auditief beperkten in het Koninklijk Instituut voor Doven en Spraakgestoorden (KIDS) te Hasselt. Hiernaast is Leo De Raeve ook de directeur van het Onafhankelijk Informatiecentrum over Cochleaire Implantatie (Onici). De focus in dit interview lag vooral op het verkrijgen van informatie over het cochleaire implantaat en bestaande mediale toepassingen, die andere zintuigen betrekken bij de perceptie van muziek. Hiernaast was Leo De Raeve ook de persoon bij uitstek die kon vertellen hoe ik in contact kon komen met de focusgroep.

Inleiding en Methodologie

Vervolgens wordt het begrip ‘doofheid’ besproken, zodat er een beter beeld gevormd kan worden van auditief beperkten, en het verband tussen muziek en deze groep personen met een auditieve beperking.

Een tweede persoon die geïnterviewd werd was Diana Elens, muziektherapeute en muzieklerares bij KIDS. Dit interview bood een inzicht op hoe auditief beperkten omgaan met muziek en in welke mate conventionele gehoortoestellen en cochleaire implantaten in staat zijn om een correcte weergave van muziek te geven.

9


Inleiding en Methodologie

Tenslotte werd ook Jeffrey Boekestijn, de ‘Sense Director’ van stichting Skyway, geïnterviewd. Stichting Skyway is onder andere bekend door ‘Sencity’, een muziekevenement voor doven, slechthorenden en horenden waarbij alle zintuigen betrokken worden. Dit interview verschafte meer informatie over hoe men andere zintuigen kan betrekken bij de perceptie van muziek. Hoewel expertinterviews op korte termijn inzicht en waardevolle informatie kunnen verschaffen binnen een bepaald domein, is het noodzakelijk om de vergaarde informatie te valideren (Ashwin, 2011). Deze validatie is nodig aangezien de verkregen informatie een graad van subjectiviteit kan bevatten die eigen is aan de menselijke aard (Northoff, 2011). Ashwin (2011) stelt ook vast dat expertinterviews enkel gebruikt worden indien men bevindingen van experten vergelijkt. Een uitzondering hierop is wanneer men de bevindingen van een expert gebruikt om andere data te valideren. Gebaseerd op deze uitzondering worden de bevindingen van de expertinterviews verwerkt in de literatuurstudie van deze thesis in plaats van er een eigen paragraaf aan te wijden. Zoals eerder al werd aangehaald werkt men in dit onderzoek ook samen met een focusgroep. Focusgroepen

10

bestaan uit potentiële gebruikers van het prototype en worden volgens Usewell (2012) gebruikt om informatie te verschaffen en inzicht te krijgen in een bepaalde doelgroep. De focusgroep waar ik binnen dit onderzoek mee in contact kwam bestaat uit zes auditief beperkte personen die verbleven op het internaat ‘De Loft’ van KIDS. Van deze zes personen maakten vier personen gebruik van een hoortoestel en twee personen gebruikten een Cochleair Implantaat. Na een brainstormsessie met de focusgroep wordt de vergaarde informatie enerzijds gebruikt om de informatie uit expertinterviews en literatuurstudie te valideren, en anderzijds om bij te dragen aan de ontwikkeling van het prototype. Vervolgens wordt er ook een literatuurstudie gedaan over het haptisch domein omdat het tijdens het onderzoek steeds duidelijker werd dat het betrekken van de tastzin een goede aanvulling kan zijn bij de perceptie van muziek. Het theoretisch onderzoek wordt afgesloten met een onderzoek naar de state of the art door middel van casestudies. Volgens Hüttner, Renckstorf en Wester (2004) tonen casestudies aan hoe een bepaald probleem in het verleden aangepakt werd en kan men deze informatie gebruiken om tot nieuwe oplossingen te komen.


In een volgende stap wordt er gebruik gemaakt van prototyping om uiteindelijk de fysieke mediale toepassing te creëren. Prototyping is een techniek waarbij men op een snelle manier concepten kan vertalen in tastbare ontwerpen (Janssen, 2005). Deze ontwerpen zullen aan de hand van user experience tests (gebruikerstesten) geïntroduceerd worden bij de doelgroep. Volgens Usewell (2012) zijn user experience tests in staat om ontwerpfouten aan het licht te brengen en geven ze inzicht in hoe men met het prototype omgaat. De user experience tests zullen op een iteratieve manier aangewend worden waarbij de feedback van de doelgroep gebruikt zal worden om het prototype steeds verder te ontwikkelen.

Omdat men in deze thesis vertrekt vanuit een inclusive design aanpak is het volgens Clarkson en Keates (2004) nodig om het prototype te testen bij een zo breed mogelijke doelgroep. Volgens Nielsen (2000) zullen de resultaten van testgroepen groter dan 3 testpersonen geen meerwaarde bieden op vlak van betrouwbare resultaten. Omdat het volgens De Raeve (2012) zeer moeilijk is om personen met een cochleair implantaat bij elkaar te brengen, en de focusgroep slechts 2 personen met een cochleair implantaat bevat, wordt er in dit onderzoek geopteerd voor het gebruik van twee testgroepen. Eén testgroep bestaat uit een muzikant, een muziekliefhebber en een persoon met lichte gehoorschade. Bij deze testgroep wordt in een bepaalde testfase het effect van een cochleair implantaat gesimuleerd door een audiobestand te bewerken met een geluidsbewerkingsprogramma (Cubase (Steinberg, 2013)) en deze via een hoofdtelefoon te laten beluisteren. De tweede testgroep bestaat uit twee personen met een Cochleair Implantaat en één persoon met zeer ernstig gehoorverlies. Het verdere verloop van deze testsessies wordt beschreven in het hoofstuk over prototypes.

Inleiding en Methodologie

Binnen dit onderzoek ligt de nadruk op de huidige stand van zaken in het domein van (fysieke) mediale toepassingen die andere zintuigen betrekken bij de perceptie van muziek. Bij de besproken casestudies ligt de focus voornamelijk op de werking én de positieve en negatieve eigenschappen van de toepassingen. Tenslotte wordt er bij elke casestudie nagegaan in welke mate de vergaarde informatie kan bijdragen aan het prototype dat ontwikkeld wordt tijdens deze thesis.

11


Muziek

1. Muziek “Waarom is geluid de enige fysische prikkel die gevoelens opwekt? Zelfs een melodie zonder woorden bevat een gevoel. Dit is niet het geval voor kleur, geur of smaak… maar we voelen de bewegingen die geluid teweeg brengt. Deze bewegingen stimuleren actie en deze actie is een teken van gevoel.” (Aristoteles in Helmholtz, 1954, p. 251, eigen vertaling). Nog voor de mens vuur leerde maken en het wiel uitvond ontstond er een primaire vorm van muziek. Montagu (2007) is er van overtuigd dat voorgangers van de moderne mens al sinds het Paleolithicum (de Oude Steentijd) bezig waren met de creatie van muziek. Volgens Montagu gaat het zelfs zo ver dat muziek de hele evolutie van de mensheid in gang bracht. Zo stelt Montagu vast dat de eerste vormen van muziek bestonden uit het klappen van de handen. Vervolgens maakte men de overgang naar het tegen elkaar slaan van stenen, stokken of beenderen om een geluid te genereren. De scherven die ontstonden door deze voorwerpen tegen elkaar te slaan zouden volgens Choi (2009) de eerste gereedschappen kunnen zijn waarvan

12

de mens gebruik maakte. Bovendien wordt het slaan van voorwerpen tegen andere voorwerpen zelfs tot op heden gebruikt om muziek te creëren onder de naam ‘slagwerk’. Muziek is dan ook praktisch mee geëvolueerd met de mensheid. Een voorbeeld daarvan is de evolutie van bepaalde muziekinstrumenten (e.g. Gitaar naar elektrische gitaar) en de digitale revolutie die nieuwe, digitale, instrumenten teweegbracht (Vanderley & Miranda, 2006). Een eerste vraag die men zich hierbij kan stellen is ‘Waar komt de menselijke drang om muziek te maken vandaan?’. Montagu (2007) geeft als antwoord op deze vraag dat een persoon muziek maakt met de intentie om een bepaalde emotie op te roepen bij de luisteraar. Zo stelt Montagu dat de voorlopers van de Homo sapiens nog niet in staat waren om emoties verbaal over te brengen. Juslin en Sloboda (2001) bevestigen dat muziek een bepaalde impact heeft op de emoties van de luisteraar. Juslin en Sloboda stellen dat deze emoties teweeg worden gebracht door de invloed van muziek op zowel het vegetatief zenuwstelsel, welke een groot


Muziek

aantal onbewust plaatsvindende functies reguleert in het brein, als op het centraal zenuwstelsel, dat verantwoordelijk is voor het zintuiglijk waarnemen. Wright (2011) gaat hier dieper op in door vast te stellen dat het brein verantwoordelijk is voor hoe men zich voelt bij het beluisteren van muziek. Zo beweert Wright dat lage tonen en een langzaam ritme een ontspannen gevoel veroorzaken. Hoge tonen en snelle ritmes geven op hun beurt dan weer een gevoel van plezier en energie. In een onderzoek van Salimpoor (2011), waarbij men onderzocht hoe het brein reageert op het beluisteren van muziek, werd geconcludeerd dat het brein hogere dopamine waardes genereert tijdens het beluisteren van muziek. Haar onderzoek toont aan dat de meeste mensen een verwachtingspatroon hebben bij de muziek die ze aan het beluisteren zijn; indien deze patronen vervuld worden ­— of niet vervuld worden en er een verrassing optreedt — maakt het brein meer dopamine vrij. Een studie van Jolien (1975) toont aan dat dopamine een chemische stof is die onder andere verantwoordelijk is voor het opwekken van een euforisch gevoel.

Een volgende vraag die gesteld kan worden is of deze emoties voor iedereen hetzelfde zijn. Uit het gesprek met Boekestijn (zie 5.2 Expert Interview – Jeffrey Boekestijn) blijkt dat het betekenis geven aan een muzikaal nummer een persoonlijk proces is bij de luisteraar. Elens (zie 5.1 Expert Interview – Diana Elens) vult verder aan dat deze betekenisgeving aan muziek niet enkel persoonlijk, maar ook cultuurgebonden is. Cross en Tolbert (2008) bevestigen dat de betekenisgeving aan muziek een persoonlijk proces is. Volgens hen wordt de betekenisgeving aan muziek bepaald door de kwaliteit van het muziekstuk en de culturele capaciteiten van het publiek. Titon en Slobin (1996, p1) vatten dit samen in één zin: “Music is universal… its meaning is not”. Hun onderzoek wijst uit dat men muziek een esthetische, persoonlijke of sociale betekenis kan geven of een combinatie van de drie. Hoewel de betekenisgeving aan muziek een persoonlijk proces is, schrijft Fisher (2011) dat de componist bij het creëren van een muziekstuk bepaalt welke betekenis

13


Muziek 14

hij aan zijn muziekstuk wil geven. Boekestijn (2012) vertelt dat men als artiest muziek een bepaalde betekenis kan geven door gebruik te maken van de muzikale elementen. Deze muziekelementen bestaan uit pitch, beat, ritme, tempo, timbre (geluidstextuur), dynamiek (volume) en vorm (patronen in muziek) (Wright, 2011). Bridges (1994) constateert dat deze elementen er niet enkel voor zorgen dat men geluiden hoort, maar dat men effectief luistert, erop reageert en ervan geniet. Baillie, Beattie en Morton (2011) bevestigen dat deze elementen de luisteraars betrekken bij een muzikaal nummer en zo een emotie of expressie teweeg brengen. Volgens Baillie et al. is het zelden het geval dat dit alles teweeg wordt gebracht door ĂŠĂŠn muzikaal element, maar gebeurt dit door een combinatie van alle elementen. Wright (2011) is het eens met de stelling dat muziek bestaat uit een combinatie van bovenstaande elementen, maar verdiept zich in het groeperen ervan. Zo verklaart hij dat ritme (tijd), klank en melodie de fundamentele bouwstenen van muziek vormen, en dat de manier waarop deze elementen zich ten opzichte van elkaar verhouden de betekenis van elke muzikale compositie bepaalt.

Aangezien de muzikale waarneming het onderwerp is van dit onderzoek wordt er in de volgende paragraaf een blik geworpen op de verschillende muzikale elementen. Dit onderzoek beoogt geen definitie te geven van wat muziek is, maar onderzoekt in functie van de ontwikkeling van het prototype slechts enkele elementen van muziek .


Zoals voordien reeds werd aangehaald zijn er de elementen ritme, beat en tempo; deze hebben vooral te maken hebben met tijd. Anderzijds zijn er de elementen pitch, timbre, volume en harmonie die te maken hebben met klank. Het muzikale element melodie heeft zowel te maken met tijd als met klank. Verder worden deze muzikale elementen nog aangevuld met twee andere elementen: tekst en dans.

onder andere van muziek omdat het brein gestimuleerd wordt door het natuurlijk en wiskundig aspect van ritme. Levitin et al. ontdekten dat het muzikaal element ritme gelinkt kan worden aan fractals. Fractals zijn bepaalde wiskundige patronen die ook in de natuur voorkomen (e.g. het blad van een varen, waarbij het kleinste gedeelte zichzelf blijft vermenigvuldigen om een groter geheel te vormen) (Joyce, 2012).

Muzikale elementen

1.1 Muzikale elementen

1.1.1 Tijdgebonden elementen Volgens Brillenburg en Rigney (2006) bestaat ritme uit een geordende herhaling van hoorbare, zichtbare of tastbare prikkels. Hoewel er bij ritme sprake moet zijn van herhaling schrijft Neely (1998) dat ritme ook aantoont hoe lang een prikkel (bij muziek bestaat deze uit een geluid) duurt. Volgens Wright (2011) is het eenvoudig om bepaalde liedjes te herkennen louter door het ritmisch aspect. Zo stelt hij vast dat de meeste mensen het lied “Happy Birthday” zullen herkennen zelfs wanneer deze enkel geklapt wordt. Volgens Levitin, Chordia en Menon (2012) geniet men

1. http://www.kalligrafie-veertje.be/Fractals/Afb%20tekst%201/Adelaarsvaren.htm

Blad van een varen¹.

15


Muzikale elementen

Het herhalen van deze patronen in een muziekstuk creëert een bepaald verwachtingspatroon bij de luisteraar. Het vervullen van dit verwachtingspatroon resulteert in een verhoogde productie van dopamine in het brein van de luisteraar (zie 1. Muziek). Hoewel de beat te maken heeft met tijdsverdeling en timing verschilt deze toch van ritme. De beat deelt het verloop van tijd in frequente gelijke stukken (Wright, 2011). Dit kan vergeleken worden met een hartslag in rust. Net zoals een hartslag in rust gemiddeld zestig tot tachtig keer per minuut slaat, zal een beat ook een bepaald, niet afwijkend, aantal keer per minuut aanwezig zijn. Beat wordt dan ook vaak uitgedrukt in Beats Per Minute (BPM) (Campbell, 2013). De beat is echter niet altijd direct waarneembaar. Volgens Bouzeyane, Muthusamy en Muhyiddine (2011) is de beat bij een stevig rocknummer meestal hoorbaar en voelbaar door de basdrum — een grote trommel die met een voetpedaal bediend wordt door de drummer — van een drumstel. Dit in tegenstelling tot het beluisteren van klassieke muziek (e.g. een strijkkwartet) waar de beat nauwelijks hoorbaar is. Volgens Huntington (2011) heeft beat ook een grote invloed op hoe het menselijk lichaam zich gedraagt ten opzichte van muziek.

16

De beat zal er bijvoorbeeld toe leiden dat men met zijn hoofd, hand of voet mee beweegt op maat van de beat. Het tempo van een muziekstuk kan men definiëren als de snelheid waarmee een muziekstuk gespeeld wordt. Tempo wordt gemeten door middel van BPM en wordt meestal uitgedrukt met een Italiaanse benaming. Zo wordt bijvoorbeeld een muziekstuk met 40 Beats Per Minute aangeduid als “Largo” (Bouzeyane et al., 2011). Het tempo kan samen met de pitch een groot effect op de gemoedstoestand van de luisteraar hebben. Zo wijzen verschillende studies uit dat muziek met een traag tempo een luisteraar eerder droevig maakt en muziek met een snel tempo eerder vrolijk en energievol (Hunter, Schellenberg & Schimmack, 2010). Een andere studie toont aan dat men bij het luisteren van muziek met een hoger tempo ook sneller zal lopen en de hartslag mee zal verhogen (Nuria et al., 2006). Een andere studie wijst uit dat muziekstukken met een traag tempo gebruikt kunnen worden als slaaplied voor kinderen (Trehub en Schellenberg, 1995).


De pitch is een andere benaming voor de toonhoogte van een bepaalde noot. Deze wordt bepaald door het aantal trillingen per seconde, ook wel uitgedrukt in Hertz (Duckworth, 2008). Hoe hoger het aantal trillingen per seconde, hoe hoger de noot zal klinken. Het menselijke gehoor kan klanken waarnemen tussen 20 Hz en 20 000 Hz. Dit wilt echter niet zeggen dat er geen geluid bestaat buiten deze hoorbare frequenties, in tegendeel. Volgens Angliss (2003) kan men zeer lage, voor het menselijk oor onhoorbare, frequenties (infrasound) ook voelen en kunnen deze onhoorbare frequenties bepaalde gevoelens teweegbrengen. Dit betekent dat de perceptie van het element pitch in sommige gevallen gebeurt via andere zintuigen. Goldsmith (2012) haalt als voorbeeld aan dat infrasound gebruikt wordt bij het bespelen van orgels in kerken om daar een spiritueel gevoel mee op te wekken bij de kerkbezoekers. Een ander voorbeeld is het onderzoek van Angliss en O’Keeffe (2004) dat aantoont dat festivalgangers trillingen over hun rug voelen en een gevoel van kalmte ervaren wanneer een band gebruik maakt van infrasound.

De term timbre gebruikt men om de klankkleur van een bepaalde noot uit te drukken. Zo zal een nylonsnaar van een gitaar, die trilt met een frequentie van 440 Hz, totaal verschillend klinken dan een vioolsnaar die trilt met een frequentie van 440 Hz. De term timbre wordt eveneens gebruikt om uit te drukken of een noot warm of koud klinkt (Sethares, 2005).

Muzikale elementen

1.1.2 Klankgebonden Elementen

Volume, ook wel aangeduid met de term amplitude, beschrijft de intensiteit van een klank (Wright, 2011). Zo produceert het wandelen van een muis bijvoorbeeld weinig geluid terwijl het ontploffen van vuurwerk voor een luide volume zal zorgen. Harmonie bestaat uit het combineren van meerdere klanken (Guus, 2003). Harmonie kan bestaan uit de combinatie van verschillende noten die samen een akkoord vormen, of het combineren van verschillende octaven van een noot om zo meer diepgang te creĂŤren (Myers, 2006).

17


Muzikale elementen

1.1.3 Melodie Melodie is de naam die men geeft aan een verzameling van verschillende pitchen die binnen een bepaalde tijdspanne een geheel vormen. Zo beschrijft Hsiao (2006) melodie als de combinatie van ritme en pitch. Volgens Crowe (2004) zorgt de melodie er tevens voor dat een lied een zekere vorm van herkenbaarheid heeft. 1.1.4 Extra elementen Naast alle voorgenoemde elementen bestaan er volgens Boekestijn (2012) nog twee andere elementen waar men rekening mee moet houden. Een eerste belangrijk element is het lyrisch aspect (tekst) van muziek. Hoewel Gfeller et al. (2012) ermee akkoord gaan dat liedjesteksten niet gezien moeten worden als een noodzakelijk muzikaal element zijn ze het er mee eens dat liedjesteksten dikwijls gepaard gaan met muzikale geluidspatronen. Deze combinatie van woorden en muzikale geluidspatronen draagt bij aan de herkenbaarheid van een bepaald lied. Een ander element dat Boekestijn (2012) aanhaalde is dansbaarheid. Volgens Boekestijn vloeit dit element rechtstreeks voort uit de combinatie van alle

18

voorgaande muzikale elementen. Zoals men uit het woord kan afleiden bepaalt de dansbaarheid de manier waarop men op een nummer kan dansen. Zo zal de waltz doorgaans niet gedanst worden op een stevig rocknummer. Hoewel dansbaarheid geen essentieel element is van muziek zal er in dit onderzoek toch aandacht aan besteed worden bij de uitwerking van het prototype. Uit bovenstaande paragrafen kan er worden vastgesteld dat muziek uit een combinatie van verschillende elementen bestaat. Het is dan natuurlijk de vraag hoe deze data, waaruit muziek bestaat, betekenisvol kan worden weergeven bij de doelgroep. Alvorens een link te maken tussen al deze elementen en personen met een auditieve beperking, wordt er in de volgende paragraaf eerst een korte schets gemaakt van auditief beperkten als doelgroep voor dit onderzoek.


In deze thesis wordt een inclusive design aanpak gehanteerd. Dit betekent dat het uiteindelijk prototype waar deze thesis toe zal leiden voor een zo breed mogelijke doelgroep zal moeten dienen (Helen Hamlyn Research centre, 2012). Het onderzoek zelf zal specifieker gericht zijn op een beperkte doelgroep die het meeste baat heeft bij het prototype, meer bepaald slechthorenden en in het bijzonder doven met een cochleair implantaat. De termen doof en slechthorend zijn zo algemeen dat men haast vergeet dat er bepaalde gradaties van gehoorverlies bestaan. Het is dan ook belangrijk om het verschil aan te halen tussen een slechthorende en iemand die doof is. Volgens Lamoré (2010) wordt de mate van gehoorverlies uitgedrukt in decibel hearing loss. Hierbij worden doven ingedeeld in categorieën op basis van hun gehoorschade. De volgende opsomming is een indeling in decibel zoals deze voorkomt in het audiologieboek van de Nederlandse Vereniging Audiologie (Lamoré, 2010):

0 – 19 dB: Normaal Gehoor. 16 – 40 dB: Licht gehoorverlies: Men heeft moeite met het horen en/of verstaan van zachte spraak en fluisterspraak, van spraak van grotere afstand of van spraak in lawaaiige omgevingen.

Auditief beperkten als doelgroep

1.2 Auditief beperkten als doelgroep

41 – 55 dB: Matig gehoorverlies: Men heeft moeite met het horen en/of verstaan van spraak op een normaal niveau van luidheid – zelfs op korte afstand, van spraak op een normale afstand – zelfs in een rustige omgeving. Ook het geluid van een telefoon kan slecht of helemaal niet te horen zijn. 56 – 70 dB: Ernstig gehoorverlies: Men heeft moeite met het verstaan van luide spraak, het horen van sirenes van brandweer- en ziekenauto’s en het horen van het geluid van een dichtslaande deur.

19


Auditief beperkten als doelgroep

71 – 90 dB: Zeer ernstig gehoorverlies: Men heeft moeite met het horen van het geluid van een motor of van werkgereedschap. Nog wel enig spraakverstaan mogelijk, zeker in combinatie met liplezen. 90+ dB: Doofheid: Geen spraakverstaan mogelijk op basis van enkel akoestische informatie. Doof.nl (2012) maakt binnen de categorie ‘doofheid’ nog een onderscheid tussen diepdoof (vanaf 110 db) en vibratiedoof (vanaf een verlies van 120 dB). Volgens Van Herreweghe en Vermeerbergen (1998) houdt vibratiedoofheid in dat men zelfs geen vibraties meer kan “voelen” met het oor. Deze indicatieve tabel geeft enkel de gradaties van slechthorendheid en doofheid weer van personen die in de loop van hun leven hun gehoor hebben verloren. Naast deze groep mensen is er tevens een andere categorie waarnaar men verwijst met de naam prelinguaal doven (Sacks, 1989). Deze groep mensen hebben volgens Sacks nooit kunnen horen en hebben bijgevolg geen auditieve herinneringen, beelden of associaties.

20

Zonder gehoorapparaat zouden deze personen leven in een wereld van totale ononderbroken stilte (Sacks, 1989). Buiten het feit dat iemand met een gehoorapparaat dus prelinguaal doof kan zijn is er nog een andere factor waar men rekening mee moet houden. Zo schrijft Jacobs (1989) dat een persoon niet altijd doof is over het hele gehoorspectrum (20 – 20 000 hz). De meeste slechthorenden en doven zijn nog steeds in staat om bepaalde klanken (frequenties) te horen. Dit noemt men het restgehoor. Mindel en Vernon (1971) stellen dat het meestal gaat om zeer lage, “nutteloze” frequenties of in sommige gevallen bruikbare, hoge frequenties. Hoewel er in het kader van dit onderzoek getracht wordt om een prototype uit te werken dat past binnen het kader van inclusive design, waarbij men voor een zo breed mogelijke doelgroep ontwerpt, ligt de focus vooral op het ontwerpen voor personen die onder de categorie ‘doofheid’ vallen. Hierbij werd er gekozen om het prototype te optimaliseren voor personen die gebruik maken van een cochleair implantaat, omdat zij er het meeste baat bij hebben.


Eén van de problemen tijdens dit onderzoek was het communiceren met de groep auditief beperkten. Hoewel deze groep doven gebruik maakt van hoortoestellen of een cochleair implantaat werken deze systemen nog steeds niet optimaal, waardoor tijdens de brainstormsessie en testsessies vragen vaak herhaald moesten worden. In sommige gevallen bleef het zelfs zo onduidelijk dat er een intermediair persoon (Manuel Stegen) ingeschakeld moest worden die door middel van gebarentaal de communicatie verduidelijkte. Stegen (2012) haalde aan dat doven, ondanks de hoorapparaten, nog steeds leven in een zeer beeldende wereld. Vaak beantwoordden de doven tijdens de brainstormsessie in dit onderzoek dan ook vragen door “ja” of “nee” te knikken met hun hoofd, hun duim omhoog te steken of een “nul” gebaar te maken. Hiernaast communiceerden ze onderling ook vaak door middel van gebarentaal.

1.2.2 Cochleair implantaat Bij het gebruik van een conventioneel gehoorapparaat wordt het geluid versterkt zodat de beschadigde zintuigcellen in het gehoororgaan toch nog in staat zijn om geluid waar te nemen. In tegenstelling tot een conventioneel gehoorapparaat neemt het CI de functie van de beschadigde zintuigcellen over. Het CI bestaat uit externe componenten (een microfoon, een spraakprocessor en een magnetische externe antenne die dienst doet als zender) en interne componenten (een electrode en een magnetische interne antenne die dienst doet als ontvanger). De interne componenten worden chirurgisch geïmplanteerd om zo op enkele plaatsen in contact gebracht te worden met de gehoorzenuw. Een nadeel hiervan is dat het restgehoor wordt opgeofferd (Vanherreweghe et al., 2008). De interne componenten van het CI gaan via deze contactpunten de intacte gehoorzenuw elektronisch stimuleren (Madell & Carol, 2008).

Auditief beperkten als doelgroep

1.2.1 Communiceren met auditief beperkten tijdens het onderzoek

Een cochleair implantaat bestaat uit een aantal ‘kanalen’. Elke kanaal bevat twee belangrijke onderdelen: een spraakprocessor, die het opgevangen geluid gaat opdelen in meerdere frequenties, én een contactpunt

21


Auditief beperkten als doelgroep

met de gehoorzenuw, waarlangs deze frequenties elektronisch worden overgedragen aan de intacte gehoorzenuw. Cochleaire implantaten verbeteren in kwaliteit doordat er steeds méér van deze kanalen beschikbaar zijn in het CI om de gehoorzenuw méér te kunnen stimuleren. (Healthy Hearing, 2013). Om een beter idee te krijgen van deze kanalen en de beperkte waarneming van muziek met een CI kan u het volgende filmpje raadplegen: http://goo.gl/Qg2Lu Leo de Raeve (2012) vertelde dat het CI vooral geplaatst wordt als er sprake is van doofheid. Hiernaast vertelde hij dat het overstappen naar een CI wordt afgeraden bij personen die genoeg hebben aan een conventioneel hoortoestel, omdat bij een mislukte operatie het restgehoor verloren gaat. Broersen (2010) gaat hierop in door te stellen dat CI’s tegenwoordig ook al geplaatst worden bij slechthorenden met zeer ernstig gehoorverlies. Deze speciale CI’s worden ontwikkeld met aangepaste elektrodes (die enkel de zintuigcellen aanspreken die verantwoordelijk zijn voor een bepaalde frequentieband) en worden samen met een geïntegreerd digitaal conventioneel hoortoestel gebruikt. Deze combinatie wordt ook wel Elektro-Akoestische

22

Stimulatie (EAS) genoemd. Een dergelijke operatie wordt uitgevoerd bij personen waar er wel nog sprake is van een restgehoor. Dit uiteraard met als doel het restgehoor te behouden (Mylanus et al. 2010). Het cochleair implantaat zorgt er natuurlijk niet voor dat men even goed hoort als een persoon zonder auditieve beperkingen. Zo zijn er enerzijds problemen met het waarnemen van spraak, en anderzijds problemen met het waarnemen van muziek (Albertijn et al. 2007). Volgens een documentaire van de Vlaamse Radio- en Televisieomroep waarbij nieuws, mens en maatschappij centraal staan (Koppen, 2012) kan een CI het verschil niet bepalen tussen welke geluiden men wel of niet wil horen. Hierdoor worden achtergrondgeluiden even ‘luid’ waargenomen als de stem die men effectief wilt horen. Door deze slechte focus is het soms moeilijk om zelfs met een CI iets te verstaan. Volgens de documentaire kan het waarnemen van spraak met een cochleair implantaat het best vergeleken worden met een radio die afgestemd is tussen twee kanalen. Beide kanalen zijn beperkt verstaanbaar, maar verstoren elkaar voortdurend. Tijdens de brainstormsessie met doven werd aangehaald dat men soms gebruik maakt van een FM


Auditief beperkten als doelgroep

(frequentiemodulatie) om deze achtergrondgeluiden te elimineren. Deze installatie bestaat uit een ontvanger die gedragen wordt door de dove en een zender bij zijn gesprekspartner (Batliner, 2003). Dit systeem biedt naast het elimineren van achtergrondgeluiden nog twee andere voordelen. Zo kan men door het draadloos systeem iemands stem waarnemen over lange afstanden of kan men een mp3 speler aansluiten op dit systeem (zie 5.3 Brainstormsessie met de focusgroep). Het cochleair implantaat bestaat overigens nog niet zo lang; het eerste systeem werd in 1985 op de markt gebracht (Gerber, 1996). Het gevolg daarvan is dat men weinig onderzoek terugvindt over muziek waarnemen met een CI v贸贸r het jaar 2000. Zeer logisch, aangezien het primair doel van een CI erin bestaat om spraak waar te nemen. Pas wanneer spraak enigszins duidelijk was voor de gebruikers begon men de mogelijkheden om muziek te beluisteren te onderzoeken. In het volgend onderdeel van deze thesis wordt onderzocht hoe de waarneming van muziek en de muzikale elementen be茂nvloed wordt door het cochleair implantaat.

Voorbeeld van een cochleair implantaat.

23


Auditief beperkten als doelgroep 24

1.2.2.1 Muzikale waarneming met een CI “There is no culture known to man, no single civilization of the past, that does not have its own body of music” (Hamm, Nettl & Byrnside, 1975, p. 71) Idhe (2007), een filosoof die op latere leeftijd te maken kreeg met lichte gehoorschade, stelde in een aantal experimenten vast dat het beluisteren van muziek met een conventioneel hoortoestel soms al leidt tot een verstoorde waarneming. Toen Idhe op latere leeftijd gebruik maakte van een gehoorapparaat merkte hij dat hij, bij het luisteren van muziek die hij reeds kende voor hij aan gehoorschade leed, bepaalde stukken niet meer hoorde. Hij stelde vast dat dit vooral voorkwam bij hogere frequenties (hoge pitch). In een ander onderzoek waar hij luisterde naar een CD met enkele zachte geluiden (volume) zoals druppend water of voetstappen, merkte hij dat hij het geluid met hoortoestel niet kon waarnemen in tegenstelling tot mensen die geen gehoorschade hebben. In dit hoofdstuk wordt er een antwoord gezocht op de vraag in welke mate het CI een verstoorde waarneming van muziek teweeg brengt.

Uit een onderzoek van Gfeller et al. (2000), waar de testpatiënten een CI droegen die afstamt van de jaren negentig, blijkt dat 83% van het CI gebruikers niet van muziek kan genieten. Het onderzoek toonde aan dat zelfs een derde van de testers muziek vermijdt omdat het als zeer onaangenaam wordt beschouwd. Enkele jaren na het onderzoek van Gfeller et al. (2000) werden er opnieuw studies verricht over de perceptie van muziek bij mensen met een CI. Looi (2007) voerde in 2007 een studie uit die vergelijkt hoe de waarneming van muziek met een CI zich verhoudt ten opzichte van een normaal gehoorapparaat. Deze studie toonde aan dat er een verbetering was in de ontwikkeling van het CI omdat CI gebruikers iets meer van muziek konden genieten dan mensen met een normaal gehoorapparaat. Een belangrijk aandachtspunt is dat de testgroep van mensen met een normaal gehoorapparaat aan enorme gehoorschade leden en het conventioneel hoortoestel het gehoororgaan onvoldoende ondersteunde. Deze mensen kwamen eigenlijk zelf in aanmerking voor een cochleair implantaat (Looi, McDermott, McKay & Hickson, 2007). Een van de redenen waarom het cochleair implantaat steeds beter wordt in het overbrengen van muziek kan te wijten zijn aan de toename van het aantal kanalen in een CI.


1. Personen met een cochleair implantaat nemen ritme bijna zo goed waar als personen zonder gehoorstoornis (McDermott, 2004). Dit werd ook bevestigd in een studie van Looi et al. (2008). Zij gingen na in welke mate het CI een verbetering is ten opzichte van een normaal gehoorapparaat op vlak van ritme en pitch. Beide groepen scoorden ongeveer hetzelfde op vlak van ritme en konden bijvoorbeeld perfect het ritme van “Happy Birthday” herkennen. 2. Zelfs met CI’s die over meerdere kanalen werken is het herkennen van melodieën (zie 1.1 Muzikale elementen), vooral zonder ritmische of verbale signalen, zeer zwak (McDermott, 2004). Volgens Poon (2006) kan dit verklaard worden door het feit dat cochleaire implantaten slechts een beperkt deel (250 tot 6 000 Hz) van het hele klankspectrum doorgeven dat een gezond menselijk gehoor kan waarnemen (20 tot 20 000 Hz). Vermeerbergen (1998) bevestigt dat het cochleair implantaat zich eerder focust op menselijke spraak dat zich bevindt tussen

125 Hz en 8 000 Hz. Onder en boven dit frequentiebereik zit echter wel informatie die belangrijk is voor het luisteren naar muziek en voor het verstaan van een gesprek. 3. De perceptie van timbre (zie 1.1 Muzikale elementen) is vaak zeer teleurstellend (McDermott, 2004). Zo is het voor personen met een CI veel moeilijker om verschillende instrumenten waar te nemen van eenzelfde familie (e.g. bij blaasinstrumenten: het verschil tussen een dwarsfluit en saxofoon). Het CI voorziet wel voldoende informatie om instrumenten van verschillende families van elkaar te onderscheiden (e.g. bij een blaasinstrument zoals doedelzak ten opzichte van snaarinstrumenten zoals een gitaar) (Gfeller et al. 2012). Dit onderscheid is makkelijker te maken wanneer men slechts één instrument hoort in plaats van meerdere instrumenten op hetzelfde moment. Hiernaast haalde De Raeve (2012) aan dat het timbre van enkele muziekinstrumenten als onaangenaam of zelfs als pijnlijk wordt ervaren. Elens (2012) ging hier dieper op in door te vertellen dat doven vaak het geluid van metaalklanken als bijzonder onaangenaam tot zelfs pijnlijk beschouwen. Een tegenstrijdige vaststelling die Elens deed, maar waar ze geen verklaring

Auditief beperkten als doelgroep

Uit een studie van McDermott (2004) blijkt dat er zeven significante bevindingen zijn in verband met het waarnemen van muziek.

25


Auditief beperkten als doelgroep

voor had, toont aan dat doven toch sneller voor een metallofoon (een metalen muziekinstrument) kiezen als ze zelf een keuze mogen maken. 4. Gebruikers met een CI zijn minder tevreden over muzikale klanken dan personen zonder gehoorbeperking (McDermott, 2004). Zo bevestigde Elens (2012) dat sommige doven die de overstap maken naar een CI totaal geen interesse hebben in muziek. Dit werd bevestigd in het gesprek met de focusgroep waarbij één persoon in het bijzonder absoluut niets te maken wou hebben met klank of muziek, ondanks dat hij gebruik maakte van een hoorapparaat. In het hoofdstuk over muziek wordt aangehaald dat men van muziek geniet omdat muziek een emotie teweeg kan brengen vermits het brein op muziek reageert door een hoeveelheid dopamine te produceren. 5. Gehoor-trainingsprogramma’s kunnen ervoor zorgen dat personen met een implantaat beter omgaan met het beluisteren van muziek. Hun hersenen leren als het ware omgaan met de klanken die ze ontvangen (McDermott, 2004). Dit is de essentie die Elens (2012) tijdens het interview dan ook probeerde mee te geven. Ze vertelde dat deze gehoor-trainingsprogramma’s het

26

best plaatsvinden voor de leeftijd van zeven jaar omdat het op latere leeftijd zeer moeilijk zou zijn om te leren omgaan met muziek. Een zelfgemaakte film die Elens demonstreerde tijdens dit gesprek toonde aan hoe slechthorenden muziek leren begrijpen. Hierbij lag de nadruk voornamelijk op de perceptie van verschillende toonhoogtes. Het experiment dat gevoerd werd in deze film toont kinderen van ongeveer zeven jaar die gedurende lange tijd werken rond één lied. Dit lied werd melodisch uitgeschilderd in de vorm van een vis die zwemmende bewegingen maakt in een op- en neerwaartse manier. In een latere fase werd de kinderen aangeleerd om te dansen op hetzelfde lied. Hierbij zakten ze door de knieën als de melodie eerder uit lage tonen bestond, of strekten ze zich uit als de melodie voornamelijk uit hoge tonen bestond. Op die manier leerden de kinderen volgens Elens het lied, en bijgevolg muziek, echt begrijpen. Het is echter de vraag of dit proces ertoe leidt dat men muziek inderdaad leert begrijpen, of als men slechts een gedrag ontwikkelt bij het horen van een bepaald lied door middel van conditionering (een methode waarbij men iets aanleert door middel van herhaling).


Men kan dus stellen dat personen met een CI bij het beluisteren van een standaard octaaf steeds tien noten missen. Dit geeft een zeer vertekend beeld bij het waarnemen van pitch en bijgevolg ook dus waarneming van muziek. Deze studies bevestigen hetgeen Elens (2012) vertelde. Doven en gebruikers van een CI ondervinden inderdaad problemen bij het waarnemen van verschillende toonhoogtes (pitch). Nadat er tijdens de brainstormsessie met de focusgroep geluisterd werd naar het lied The great gig in the sky van Pink Floyd, haalde de groep doven ook aan dat de hoge klanken in dit lied onaangenaam waren en zelfs pijnlijk.

Auditief beperkten als doelgroep

6. De waarneming van pitch is beduidend slechter bij personen met een CI (McDermott, 2004). Zo stelt Gfeller (2012) vast dat personen met een CI last hebben bij het uitvoeren van een aantal taken zoals pitch-discriminatie (het bevestigen of twee patronen hetzelfde zijn of niet), het ordenen van pitch (het aanduiden of een pitch hoger of lager is dan een voorgaande pitch), pitch herkenning (het in staat zijn om een bepaald pitchpatroon of een bepaalde melodie te identificeren) en reproductie (het in staat zijn om een gehoorde pitch na te kunnen zingen). Gfeller vervolgt haar vaststelling met de uitspraak dat personen met een CI zelfs moeilijkheden hebben om bekende melodietjes zoals “Happy Birthday� te herkennen. Een studie van Looi et al. (2008) bevestigt deze stelling door te zeggen dat personen met een CI pas het verschil tussen twee noten (frequenties). kunnen waarnemen bij een verschil van een kwart van een octaaf. Dit komt overeen met vijf halve toonstanden (zie afbeelding).

McDermott (2004) constateerde dat de waarneming van pitch kan worden verbeterd door het verder ontwikkelen van de spraakprocessoren in een CI. Uit het interview met Leo de Raeve bleek dat het sterkste verbeterpunt inderdaad bestaat uit het verder ontwikkelen van de spraakprocessor in het CI. Als alternatief voor deze ontwikkeling geeft Gfeller (2012) aan dat het visualiseren van een bepaalde pitch een oplossing kan bieden. Zo geeft Gfeller het voorbeeld dat het linken van geluid aan toetsen op een piano

27


Auditief beperkten als doelgroep

duidelijkheid kan scheppen bij het waarnemen van muziek. Dit gegeven vormt de basis voor het eerste prototype (zie 2.1 Eerste prototype met led). 7. Personen die nog gedeeltelijk over hun restgehoor beschikken en in staat zijn om lage frequenties te horen hebben halen meer voordeel uit een EAS systeem, omdat het waarnemen van muziek met dit systeem beter verloopt dan met een CI (McDermott, 2004). Het EAS systeem werd reeds beschreven in 1.2.2 Cochleair implantaat. Aanvullend op de zeven bevindingen van McDermott blijkt uit een studie van Gfeller et al. (2012) dat bij personen met een CI liedjesteksten belangrijker zijn voor de herkenbaarheid van een nummer dan andere muzikale elementen zoals pitches of melodische patronen. Volgens De Raeve (2012) kan dit liggen aan het feit dat het CI eerder ontwikkeld werd om spraakverstaan mogelijk te maken. Uit dit hoofdstuk kan men afleiden dat personen met een cochleair implantaat in staat zijn om verschillende muzikale elementen waar te nemen. Deze waarneming gebeurt echter niet optimaal waardoor er enkele

28

elementen verstoord worden waargenomen. Het zijn niet de tijdgebonden elementen zoals ritme die een probleem vormen, maar eerder klankgebonden elementen zoals pitch. Het werd ook duidelijk dat men niet alleen moeilijkheden heeft bij de perceptie van deze klankgebonden elementen, maar dat sommige elementen zelfs als onaangenaam, of pijnlijk worden ervaren. Om de auditieve waarneming te verbeteren kan men zich richten op het verder ontwikkelen van de spraakprocessor in cochleaire implantaten. Een andere mogelijke oplossing houdt in dat andere zintuigen betrokken worden bij de perceptie van muziek. Bij bepaalde personen gebeurt de perceptie van auditieve signalen al via andere zintuigen. Dit fenomeen, dat beter bekend is onder de naam synesthesie, zal in de volgende paragraaf verder beschreven worden.


Dit onderzoek gaat na in welke mate een fysieke mediale toepassing andere zintuigen kan betrekken bij de perceptie van muziek. Bij de bespreking van het muzikaal element pitch werd het al duidelijk dat klank ook gevoeld kan worden. Dit gebeurt doordat het tastzintuig direct wordt aangesproken door middel van een fysische prikkel (druk). In dit hoofdstuk wordt onderzocht hoe auditieve prikkels op een natuurlijke manier andere zintuigen kunnen aanspreken. Vervolgens wordt de focus verlegd naar het kunstmatig auditief prikkelen van andere zintuigen. Tenslotte wordt er besproken welke zintuigen er in dit onderzoek betrokken zullen worden bij de perceptie van muziek.

geschreven letter of cijfer een kleur gaat associëren. Verder schrijven zij dat er aanzienlijk veel verschillende vormen van synesthesie bestaan. Uit onderstaande tabel kan men afleiden dat synesthesie in de vorm van muziekassociaties zelden voorkomt.

Muzikale waarneming met verschillende zintuigen

1.3 Muzikale waarneming met verschillende zintuigen

1.3.1 Synesthesie Volgens Cytowic en Eagleman (2009) komt het bij één op tweeduizend mensen al voor dat één zintuiglijke prikkel meerdere zintuigen aanspreekt. Dit fenomeen noemt men ‘synesthesie’. Zo schrijven Cytowic et al. dat de meest voorkomende vorm van synesthesie ‘grafeem’ is, een conditie waarbij een persoon bij het zien van een

(Tabel van Cytowic et al., 2009, p. 25)

29


Muzikale waarneming met verschillende zintuigen 30

1.3.2 Meer zintuigen betrekken bij muzikale waarneming Een mogelijke manier om een synesthetische ervaring op te roepen is het gebruik van synthetische hallucinogene middelen. Deze psychedelische middelen kunnen volgens Robert (1975) de sensorische perceptie veranderen. Zo stelt hij vast dat men onder invloed van Lysergeenzuurdi-ethylamide, beter bekend als LSD, kleuren kan horen en klanken kan zien. Het is wel belangrijk dat er eerst een zintuig geprikkeld dient te worden alvorens het brein de link maakt met andere zintuigen. Zo zal een geluidsprikkel bij een prelinguaal doof persoon geen andere zintuigen aanspreken wanneer deze persoon gebruik maakt van LSD. Omdat men in dit onderzoek niet kan gaan experimenteren met illegale synthetische drugs zoals LSD wordt er voor een andere aanpak gekozen, namelijk het gebruik van technologie. Tegenwoordig beschikt de mens over de juiste technologieën en media om een vorm van synesthesie, zoals ‘Geluid – Kleur’, visueel voor te stellen via displays en andere visuele media. Andere vormen zoals ‘Geluid –Tast’ kunnen op hun beurt tastbaar gemaakt worden via haptische feedback.

Aansluitend op de bevinding dat men technologie kan gebruiken om een synesthetische ervaring op te roepen schrijven Polotti en Rocchesso (2008) dat computergestuurde media in staat zijn om muziek zo objectief mogelijk te analyseren en weer te geven. Hij stelt tevens vast dat de impact van de combinatie van auditieve, visuele, haptische en kinetische prikkels groter is dan de som van de individuele prikkels bij de perceptie van muziek. 1.3.3 Eén of meerdere zintuigen aanspreken? Een belangrijke vraag die tijdens dit onderzoek gesteld wordt is of alle zintuigen betrokken moeten worden bij de perceptie van muziek, of slechts een combinatie van enkele. Deze vraag was nog onbeantwoord bij de ontwikkeling van het eerste prototype, maar het antwoord werd duidelijker naarmate het designonderzoek vorderde. Een andere vraag die gesteld kan worden is of de zintuiglijke waarneming bij personen met een gehoorstoornis anders ontwikkeld is dan bij personen zonder gehoorproblemen. Een onderzoek van Karns, Dow & Neville (2012) toont aan dat wanneer een persoon een zintuig verliest, de andere zintuigen zich beter ontwikkelen. Levänen en Hamdorf (2001)


Dit werd ook bevestigd door de focusgroep waarmee gewerkt werd in dit onderzoek. De focusgroep haalde als voorbeeld aan dat het voelen van “vibraties”, veroorzaakt door krachtige bas-luidsprekers, één van de leukste aspecten is van fuiven. Ook in de medische wereld zijn er aanwijzingen dat

vibraties een belangrijke rol spelen wanneer het gaat over de perceptie van muziek bij doven. Zo wijst een studie van Shibata (2001) uit dat het gedeelte van het brein dat bij personen zonder gehoorschade geluid verwerkt bij doven vibraties verwerkt. Volgens hem suggereert deze bevinding dat doven hetzelfde gevoel ervaren bij het “voelen” van muziek als een persoon zonder gehoorschade ervaart bij het beluisteren ervan. Naast het tastzintuig werd er ook onderzoek gedaan naar het betrekken van andere zintuigen bij de perceptie van muziek. Boekestijn (2012) verklaarde hoe dit gerealiseerd wordt tijdens het evenement Sensity (een muzikaal evenement voor doven waarbij de perceptie van muziek door andere zintuigen centraal staat). Boekestijn haalde aan dat het prikkelen van zintuigen zoals smaak, geur en beeld, zeer moeilijk in te vullen is doordat de perceptie van muziek en de betekenisgeving aan die perceptie een persoonlijk proces is. In hoofdstuk 1. Muziek werd er al beschreven dat muziek gecreëerd wordt om een bepaalde boodschap of emotie over te brengen naar de luisteraar. Deze boodschap wordt bepaald door de componist van het lied. Wanneer men andere zintuigen probeert aan te spreken moet de boodschap of emotie dus ook

Muzikale waarneming met verschillende zintuigen

onderzochten wat dit betekent in een muzikale context. In hun onderzoek werd bevestigd dat auditief beperkten beter in staat zijn om op een haptische manier frequenties te onderscheiden dan personen zonder gehoorschade. Zo stellen ze vast dat doven muziek, in de zin van pitch en ritme, kunnen voelen. Daarnaast ondervond men ook dat de waarneming van muziek via tactiele informatie beter verwerkt wordt bij auditief beperkten dan bij personen zonder gehoorschade. Overigens stellen Menelas et al. (2010) vast dat de combinatie van haptische en auditieve signalen effectiever is bij het overbrengen van een boodschap dan slechts één vorm van zintuigelijke prikkeling. Uit dezelfde studie blijkt dat er potentieel bestaat voor het combineren van auditieve en haptische feedback om muziek als geheel over te brengen. Bovendien blijkt dat de dovenwereld zelf een tactiele waarneming verkiest boven een louter auditieve waarneming (Darrow, 1999).

31


Muzikale waarneming met verschillende zintuigen

in lijn liggen met hetgeen de artiest wil overbrengen. Om te voorkomen dat de boodschap en daarmee ook de betekenisgeving aan muziek op een willekeurige manier beïnvloed wordt door het betrekken van deze zintuigen, wordt er tijdens Sensity nauw samengewerkt met de artiest van een bepaald lied. De artiest bepaalt vervolgens zelf de invulling van smaak, geur en het beeld door te vertellen waar het nummer over gaat en hoe het tot stand werd gebracht. Als voorbeeld haalde Boekestijn het lied “Apples” aan. De artiest vertelde hem dat het nummer tot stand kwam nadat de band een wandeling maakte door een bos waar de geur van appels prominent aanwezig was. Bijgevolg werden op Sensity tijdens het afspelen van het nummer de andere zintuigen geprikkeld door appels uit te delen, de geur van appels te verspreiden en afbeeldingen van bomen te projecteren. Andere studies wijzen uit dat bepaalde muzikale elementen wel op een objectieve manier weergeven kunnen worden door het betrekken van andere zintuigen. Zo blijkt uit een studie van Crisinel en Spense (2010) dat een objectief element zoals pitch weergeven kan worden door smaak. In hun studie stelden zij vast dat zoete en zure smaken geassocieerd worden met

32

hoge frequenties terwijl umami of bittere smaken eerder geassocieerd worden met lage frequenties. Aanvullend op deze perceptie via smaak schrijven Belkin, Gilbert, Kemp en Martin (1997) dat men ook geuren kan koppelen aan het muzikaal element pitch. Uit hun studie, waarbij men verschillende geuren koppelde aan bepaalde frequenties, blijkt dat de geur van berkenteer gekoppeld kan worden aan lage frequenties en de geur van bergamot eerder de associatie oproept bij hoge frequenties. Bij het werken met smaak of geur zijn er volgens Collins en Drever (1972) drie belangrijke factoren die de perceptie op een negatieve manier kunnen beïnvloeden. Een eerste probleem die kan voorkomen bij het afwisselen van verschillende smaken of geuren is dat deze in de mond of lucht blijven hangen en men deze als afzonderlijk smaken of geuren kan waarnemen, afhankelijk van waarop men zich focust. Een tweede probleem is dat de verschillende smaken of geuren gecombineerd kunnen worden tot een nieuwe smaak of geur die een verkeerde associatie oproept. Tenslotte kan het voorkomen dat een bepaalde smaak of geur zo sterk is dat deze het onmogelijk maakt om een nieuwe smaak of geur waar te nemen.


dat perceptie van muziek via een tactiele manier de meest positieve testresultaten oplevert. Hiernaast verkiezen ook doven een tactiele benadering. De medische wereld verklaart dit door te stellen dat het brein van een persoon met een auditieve beperking tactiele informatie op dezelfde manier verwerkt als geluid verwerkt wordt bij een persoon zonder auditieve beperking. Aansluitend op deze bevindingen ligt de focus van het prototype hoofdzakelijk op het waarnemen van melodie door middel van haptische feedback.

Muzikale waarneming met verschillende zintuigen

Aanvullend op deze drie factoren zijn er nog enkele psychofysische elementen die de waarneming van smaak of geur kunnen verstoren. Zo schrijft Logue (2004) dat de perceptie van smaak en geur net zoals het gehoor verslechterd naarmate een persoon ouder wordt. Verder haalt Logue ook aan dat het vermogen om een geur waar te nemen op een negatieve manier be誰nvloed kan worden door kleine ziektes zoals een verkoudheid. Omwille van deze redenen wordt er in het kader van deze thesis niet gewerkt met smaak of geur. In dit hoofdstuk werd aangetoond dat technologie een mogelijke oplossing kan bieden om andere zintuigen bij de perceptie van muziek te betrekken. Bij het onderzoek naar welke zintuigen men kan aanspreken werden twee bevindingen duidelijk. Een eerste bevinding is dat sommige zintuigen zeer moeilijk aangesproken kunnen worden op een objectieve manier. Boekestijn (2012) haalde aan dat zintuigen zoals smaak, warmte, geur, en zicht moeilijk in te vullen zijn omdat men de boodschap of emotie die de componist wilt overbrengen kan be誰nvloeden. Tevens verloopt het overbrengen van objectieve elementen zoals pitch via smaak of geur ook niet zonder problemen. Een tweede bevinding is dat verschillende studies aanwijzen

33


Haptische feedback

1.4 Haptische feedback Uit de resultaten van een onderzoek van Menelas et al. (2010) blijkt dat de combinatie van haptische en auditieve signalen effectiever is bij het overbrengen van een boodschap dan slechts één vorm van input. Uit dezelfde studie blijkt dat er potentieel bestaat voor het combineren van auditieve en haptische feedback om muziek als geheel over te brengen. In deze paragraaf wordt haptische feedback besproken en worden de verschillende vormen van haptische feedback toegelicht. Vervolgens wordt er besproken met welke psychofysische factoren men rekening moet houden wanneer men werkt met haptische feedback. Tenslotte geven verschillende casestudies een beeld van huidige fysieke mediale oplossingen waarbij haptische feedback de muzikale perceptie ondersteunt. “Haptisch” is een term die afgeleid is uit het Griekse woord “haptikos” wat “voelen” betekent (Jain, Ma & Oikonomou, 2011). Haptische toestellen hebben dan ook betrekking op het tastzintuig. Volgens Borko (2008) wordt er onder deze haptische toestellen een onderscheid gemaakt tussen

34

tactiele toestellen en force-feedback toestellen. King (2009) schrijft dat tactiele toestellen de huid stimuleren met een fysieke prikkel om zo informatie (e.g. warmte, druk of positie) over te dragen. Bij force-feedback toestellen wordt informatie zoals het gewicht of de weerstand van een object overgedragen door middel van een kracht die druk zal uitoefenen op de spieren of gewrichten van de gebruiker. Omdat eerder werd aangehaald dat personen met een cochleair implantaat problemen ondervinden bij de perceptie van pitch en melodie (zie hoofdstuk 1.2.2.1 Muzikale waarneming met een CI), zal men zich in dit onderzoek focussen op het betrekken van tactiele feedback bij de perceptie van deze elementen. Volgens Coiffet en Grigore (2003) bestaan er verschillende manieren om tactiele feedback te generen. Zo schrijven Coiffet en Grigore dat men beroep kan doen op elektrotactiele feedback (waarbij elektrische impulsen de tastreceptoren aanspreken), neuromusculaire elektrostimulatie (waarbij elektrische impulsen specifieke spiergroepen activeren) of temperatuur-feedback (waarbij men door


Haptische feedback

middel van temperatuurschommelingen informatie overdraagt). Coiffet en Grigore raden deze manieren om tactiele feedback te generen wel af omdat ze te riskant zouden zijn. In hun studie maken ze dan ook gebruik van een veiligere methode, namelijk vibrotactiele feedback. 1.4.1 Vibrotactiele feedback Vibrotactiel bestaat uit de woorden ‘vibro’ en ‘tactiel’, waarbij vibro verwijst naar vibraties en tactiel betrekking heeft op de tastzin (Beun, 2008). Vibrotactiele feedback maakt gebruik van vibraties om zo een boodschap over te dragen via de tastzin. Deze vibraties worden meestal veroorzaakt door elektronische of mechanische componenten, of door een combinatie van beiden (Bark et al. 2008). Brewster en Pirhonen (2008) schrijven dat het mixen van vibrotactiele feedback en auditieve prikkels de perceptie van muzikale elementen versterkt. Een hedendaagse toepassing die gebruik maakt van vibrotactiele feedback is de smartphone. Zo zal bijvoorbeeld de SAMSUNG Galaxy SII vibreren wanneer er op een virtuele toets van de touchscreen wordt gedrukt (SAMSUNG, 2011). Op deze manier bevestigt de smartphone een uitgevoerde actie.

35


Psychofysica binnen het haptisch domein

1.5 Psychofysica binnen het haptisch domein In voorgaande hoofdstuk kwam men tot de conclusie dat het gebruik van haptische feedback een goede aanvulling kan zijn op de auditieve ervaring bij slechthorenden en doven. Toch zijn er bij het gebruik van tast of andere zintuigen enkele fenomenen waar rekening mee gehouden moet worden. 1.5.1 De absolute drempel Een eerste fenomeen die in acht moet worden genomen is de Wet van de absolute drempel. Deze wet houdt in dat er steeds een specifieke hoeveelheid fysische prikkeling nodig is om een prikkel (stimulus) waar te kunnen nemen (Brysbaert, 2006). Bij vibrotactiele feedback moeten de vibraties dus voelbaar zijn en is er een minimale hoeveelheid fysieke prikkeling nodig. Gardner en Martin (2000) schrijven dat mechanoreceptoren (zintuigcellen die instaan voor de perceptie van tast, druk en gehoor) het gevoeligst zijn voor vibraties tussen de 200 en 300 Hertz.

36

1.5.2 Differentiële Drempel De differentiële drempel is een tweede fenomeen waar rekening mee gehouden moet worden. De differentiële drempel houdt in dat er een zeker verschil moet bestaan in de intensiteit van prikkels om deze in 50% van de gevallen als verschillend te kunnen waarnemen (Cuyvers, 2006). Deze differentiële drempel wordt vaak gekoppeld aan de Wet van Weber. Het belangrijkste aspect van deze wet, vastgesteld door Ernst Weber in 1830, is de vaststelling dat de differentiële drempel niet voor alle zintuigen hetzelfde is (Van den Broeck, 2008). Om dit verschil aan te duiden maakt men in de psychologie gebruik van “Weberfracties”. Deze fracties geven een inzicht op de gevoeligheid van de verschillende zintuigen. Hoe kleiner de Weberfractie, hoe makkelijker het is voor de zintuigen om een verschil waar te nemen.


Waarnemingsdomein

Webersfractie

Toonhoogte

1,/333,

Druk op de huid

1,/80,

Visuele helderheid

1,/60,

Gewicht

1,/50,

Luidheid van een toon

1,/10,

Smaak van zout

1,/5,

(Cuyvers, 2006, p. 66) 1.5.3 Tweepuntsdiscriminatie en signaaldetectietheorie Het fenomeen van de tweepuntsdiscriminatie houdt in dat een persoon geen verschillende prikkels kan waarnemen als deze te kort bij elkaar liggen. Er moet een minimumafstand aanwezig zijn tussen

2. http://faculty.washington.edu/chudler/chtouch.html

twee prikkels om deze als afzonderlijk waar te kunnen nemen. Deze minimumafstand verschilt per lichaamsdeel (Bear, Connors & Paradiso, 2007). Onderstaande tabel van Kenshalo (1968)² geeft voor elk lichaamsdeel een indicatie van de minimale afstand die tussen twee prikkels aanwezig moet zijn. Lichaamsdeel

Minimumafstand tussen 2 prikkels

Vingers

2-3mm

Bovenlip

5mm

Wang

6mm

Neus

7mm

Voorhoofd

15mm

Voet

20mm

Buik

30mm

Onderarm

35mm

Rug

39mm

Schouder

41mm

Dij

42mm

Psychofysica binnen het haptisch domein

In onderstaande tabel van Cuyvers (2006) zijn enkele voorbeelden terug te vinden van deze Weberfracties. Uit onderstaande cijfers blijkt dat het waarnemingsdomein ‘Toonhoogte’ de hoogste Weberfractie heeft en dat het gehoor het gevoeligst is.

37


Psychofysica binnen het haptisch domein

De signaaldetectietheorie stelt dat verschillende mensen anders reageren op dezelfde prikkels en dat één persoon in andere situaties anders reageert op éénzelfde prikkel (Rathus, 2013). Concreet betekent dit dat bijvoorbeeld de lengte van een persoon een invloed zal hebben op de minimumafstand die nodig is om twee verschillende prikkels afzonderlijk te kunnen waarnemen. 1.5.4 Sensorische aanpassing Ook de theorie van de sensorische aanpassing is een fenomeen waar rekening mee gehouden moet worden wanneer het gaat om fysieke prikkeling. Deze theorie verklaart dat wanneer een prikkel constant blijft en terugkeert onze gevoeligheid voor deze prikkel afneemt (Nicholas, 2008). Een eenvoudig voorbeeld van sensorische aanpassing is wanneer men gaat zwemmen: als men pas in het zwembad gaat voelt het water zeer koud aan, maar na enkele seconden voelt het water aangenaam. Volgens Nevid (2013) kan men sensorische aanpassing omzeilen door een prikkel sterk genoeg te maken. Dit betekent dat er bij het uitwerken van het prototype gekozen moet worden voor elektromotoren die hard genoeg trillen.

38

3. http://drp.disneyresearch.com/projects/tactile_brush/tactile_brush_video.png

1.5.5 Tactiele illusies en het Phi-fenomeen Haptische feedback in de vorm van vibrotactiele feedback wordt soms gebruikt om patronen of een gevoel van beweging of richting over te brengen aan de drager van het toestel (Vitello, 2010). Vitello noemt dit effect een tactiele illusie. In een studie van Jones, Nakamura en Lockyer (2004) werd zo een tactiele illusie gevormd door meerdere vibrotactiele stimulators op verschillende plaatsen van het lichaam te plaatsen en deze beurtelings te laten vibreren. Dezelfde studie wijst uit dat het effect groter was bij het bevestigen van de stimulators aan de rug dan wanneer stimulators bevestigd waren aan de onderarm. Wanneer tactiele prikkels vervangen worden door visuele prikkels om zo hetzelfde effect te creëren noemt men dit een phi-fenomeen (Grunwald, 2008). Op de rechter pagina vindt u een voorbeeld³ van een tactiele illusie. Het is belangrijk om met de bovenvermelde fenomenen rekening te houden bij het uitwerken van een prototype. De differentiële drempel benadrukt dat de intensiteit van een prikkel hoog genoeg moet zijn om waargenomen te kunnen worden. Volgens de tweepuntsdiscriminatie en signaaldetectietheorie


Psychofysica binnen het haptisch domein

moet er voldoende afstand zijn tussen twee prikkels om deze als verschillend waar te kunnen nemen. Bij het uitwerken van een prototype dat gebruik maakt van vibrotactiele feedback, moet men bij het bevestigen van vibrotactiele motoren aan de huid de minimumafstand respecteren. Er moet ook gewerkt worden met voldoende sterke vibraties die niet zullen resulteren in sensorische aanpassing.

39


Casestudies

1.6 Casestudies In dit hoofdstuk worden er enkele casestudies besproken. Bij elke casestudie worden de voor- en nadelen aangehaald. Deze casestudies gaven inspiratie bij het ontwikkelen van het prototype dat behoort tot deze thesis. 1.6.1 Emoti-Chair en Haptic Chair Tijdens het interview met De Raeve (2012) werd er ook gesproken over een vibrerende stoel die de gebruiker in staat stelt om muziek te voelen. Deze stoel, “EmotiChair” genaamd, maakt muziek als het ware “voelbaar” en roept positieve ervaringen op bij mensen met een gehoorgebrek. Branje (2009), één van de ontwikkelaars van de Emoti-Chair, vertelt dat de Emoti-Chair een gebruiker in staat stelt om het volume en ritme van verschillende instrumenten via verschillende lichaamsdelen waar te nemen. Om dit te bereiken gebruikt men een geluidsbestand dat is opgedeeld in acht sporen. Elk spoor bevat het geluid van één instrument en wordt verstuurd naar één vibrerend onderdeel van de EmotiChair. Wanneer men in de stoel zit maakt elk vibrerend

40

onderdeel contact met één lichaamsdeel. Op deze manier voelt men bijvoorbeeld de gitaar in de linkerhand en de basgitaar in de rechterhand. De Emoti-Chair werd positief ontvangen door de dovenwereld, zo getuigde één van de gebruikers: “The first time I used the chair, I was blown away by the amount of information I could get about music from the vibrations. For the first time in my life, I could feel sad or happy because of how the music vibrations felt on my skin. I never felt those kinds of feelings before when music was played. It was how the chair ‘played’ the music that enabled me to have a shared experience with people who are emotionally moved by listening to music. ” (Black, 2008, p. 2). Een gelijkaardig project is de zogenaamde “Haptic Chair”. Het verschil tussen de Haptic Chair en de Emoti-Chair is dat de Haptic Chair een andere muziekbron gebruikt (Nanayakkara Et al. 2009). Het aansturen van de Haptic Chair gebeurt door middel van Musical


Instruments Digital Interface (MIDI) data, een communicatie protocol dat muzikale informatie zoals pitch, volume en ritme bevat (Gould, 2009). De Emoti-Chair toont aan dat haptische feedback gebruikt kan worden om de perceptie van verschillende instrumenten in een lied te bevorderen. Eerder in deze thesis werd er al vermeld dat personen met een CI problemen ondervinden bij het waarnemen van verschillende instrumenten uit éénzelfde familie (e.g. Snaarinstrumenten). Door het geluid van deze verschillende instrumenten te koppelen aan verschillende lichaamsdelen kan men de verschillende instrumenten wel van elkaar onderscheiden. Zo kan men voelen wanneer een bepaald instrument start en stopt met spelen. Hoewel de reacties aantonen dat haptische feedback een positieve invloed heeft op de perceptie van muziek bij doven, heeft het toestel toch enkele nadelen. Een eerste nadeel is het gebruiksgemak. Het is bijvoorbeeld bijzonder moeilijk om een audiobestand te verkrijgen dat meerdere sporen bevat. Er was maar één commerciële mediadrager die acht sporen bevatte en dat was de “8-track” (8trackheaven, 2013). De productie van deze mediadrager werd rond het jaar 1983 stopgezet en waardoor het niet meer beschikbaar is (Morton, 1998). Emoti-Chair: http://isthishci.blogspot.be/2011_01_01_archive.html http://carmenbranje.blogspot.be/2011/05/emoti-chair-and-vibrochord.html

41


Casestudies

Het MIDI protocol dat men gebruikt bij de Haptic Chair is eerder een data-bestand dan audioformaat. Zo bevat MIDI geen geluid maar enkel data (Strong, 2008). Bij het uitwerken van een prototype zal er dan ook getracht worden om te werken met commerciële audioformaten die toegankelijk zijn voor de doelgroep (e.g. Mp3, wav, WMA, MP4,…). Een tweede nadeel is dat men bij beide stoelen enkel de intensiteit (volume) en ritme van één of meerdere instrumenten voelt. Deze eigenschappen bieden geen oplossing voor de perceptie van melodie, het meest problematisch element van muziek bij doven.

Haptic chair: http://www.cogsciconnects.com/gallery.html http://asg.sutd.edu.sg/project/haptic-chair/

42


De smartphone wordt steeds populairder en gebruikt men naast het bellen ook vaak als toestel om muziek mee te beluisteren (Islam, 2013). Omdat smartphones momenteel al gebruik maken van haptische feedback (zie: Vibrotactiele feedback) besloot het team van Baillie et al. (2011) om een applicatie te maken waarmee men muziek kan waarnemen door middel van haptische feedback. Deze applicatie bestaat uit een interface waarin de gebruiker een lied, die voorzien werd met haptische feedback data, kan selecteren. Vervolgens zal de smartphone trillen op het ritme, de melodie of het tempo van het gekozen lied. Hoewel deze applicatie niet getest werd op een groep doven waren de reacties zeer positief. Zo haalde men in het onderzoek van Baillie et al. (2011) volgende reactie aan: “Music player haptic effects are the best of them all. It’s really awesome to feel the music in your hand.” (Baillie et al., 2011, p.5). Een andere reactie was “Song playing with haptic was quite amazing.” (Baillie et al., 2011, p.5). Deze reacties bevestigen dat muzikale haptische

applicaties aantrekkelijk zijn voor personen zonder auditieve beperking. Hiernaast kan men ook afleiden dat Smartphones een potentieel platform zijn om muziek op een goede manier tastbaar te maken.

Casestudies

1.6.2. Haptic Feedback Mobile Music (Applicatie)

1.6.3. Music for deaf people en Bone Fone ‘Music for deaf people’ is een concept dat bedacht werd door Frederik Podzuweit (2013). Dit concept bestaat uit een fysieke mediale toepassing waarbij muziek wordt geconverteerd naar vibraties. Thibaut (2010) haalt aan dat ‘Music for deaf people’ compatibel zou zijn met eender welke draagbare mediaspeler. Nadat men ‘Music for deaf people’ aansluit op de hoofdtelefoon-ingang van een mediaspeler wordt het geluid opgedeeld in hoge, midden en lage frequenties (pitch). Deze frequenties worden vervolgens omgezet in vibraties. Wanneer men ‘Music for deaf people’ rond de hals draagt voelt men de hoge frequenties op de borst, de middelste frequenties op de schouders en de lage frequenties in de nek (Simas, 2011). ‘Music for deaf people’ zou wel eens de evolutie kunnen zijn van de ‘Bone Fone’ (1980). De ‘Bone Fone’ was een AM/FM radio die net zoals ‘Music for deaf people’

43


Casestudies 44

rond de hals gedragen kon worden. Via twee speakers kon men het geluid van de gekozen radiozender waarnemen. De ‘Bone Fone’ zou ook de beenderen van de gebruiker doen resoneren. Via deze resonantie van de beenderen zou het geluid door de beenderen zelf worden doorgegeven aan het binnenoor. Hoewel ‘Music for deaf people’ enkel bestaat als een ongerealiseerd concept kan men er toch enkele conclusies uit trekken. Zo schrijft Labarre (2011) dat de vibratie van ‘Music for deaf people’ een doeltreffende manier is om auditief beperkten te helpen bij de perceptie van muziek, omdat deze groep mensen vibraties beter verwerken. Door pitch weer te geven als vibraties speelt ‘Music for deaf people’ ook in op het probleem van pitch-perceptie bij auditief beperkten. Hiernaast heeft men bij het bedenken van dit concept ook nagedacht over het feit dat het concept met eender welke draagbare mediaspeler en diens bestandsformaten zou moeten werken. Dit in tegenstelling tot toestellen zoals de Haptic Chair en Emoti-Chair die werken met bestandsformaten die eerder ontoegankelijk zijn voor de eindgebruiker. Bij het uitwerken van het prototype van deze thesis zal er ook getracht worden om het prototype te laten werken met bestandsformaten die toegankelijk zijn voor de doelgroep.

Afbeelding links: Music for deaf people. http://www.designbuzz.com/music-for-deaf-people-lets-the-user-feel-music-by-vibration/


Tijdens het interview met Boekestijn (2012) werd aangehaald dat het bedrijf Sense Company werkt aan de ontwikkeling van een tactiel vest. In dit vest bevinden zich verticale rijen van elektromotoren die een soort harnas rondom de romp vormen. Het vest maakt het mogelijk om de essentie van muziek via vooraf geprogrammeerde trilpatronen over te brengen op het lichaam. Volgens een artikel van De Vreede (2009) worden deze trilpatronen gegenereerd door een “tactile jockey” die trilcommando’s op het ritme van muziek kan overbrengen. Na communicatie met het bedrijf Sense Company blijkt dat ‘Feel The Music Suit’ nog steeds in een ontwikkelingsfase zit. Hierdoor kon het bedrijf helaas geen vragen beantwoorden. Zo bleef ook onderstaande vraag onbeantwoord: “Is de software in staat om eender welke geluidsbestand om te zetten in patronen die de pitch van een lied weergeven?” (zie 5.5 Mail Ronald Ligtenberg). Zeer spijtig, want meer informatie over dit vest zou positief zijn geweest voor de ontwikkeling van het prototype van deze thesis.

1.6.5 The Multisensory Sound Lab en SenseFLoor ‘The Multisensory Sound Lab’, ontwikkeld door Oval Window Audio in 1994, bestaat uit toestellen in een ruimte waarmee men muziek via de tactiele en visuele zintuigen kan waarnemen. Zo worden de muzikale elementen pitch en timbre visueel zichtbaar gemaakt met een oscilloscoop, display en lichten in een verticale kolom. Afhankelijk van de karakteristieken van geluid zullen de lichten in deze verticale kolom bijvoorbeeld veranderen in hoogte, kleur en locatie. Zo zal het element pitch bijvoorbeeld verduidelijkt worden doordat de kolom van kleur verandert naarmate de pitch stijgt of daalt. Muzikale elementen zoals volume, pitch en ritme zullen dan weer voelbaar gemaakt worden door middel van een trilvloer. Zo kan men tonen met een lage frequentie voelen als trage vibraties en tonen met hoge frequenties als snelle vibraties (Oval Window Audio, 2012). Wanneer een noot te hoog is en de trilvloer zo snel vibreert dat men de vibratie amper voelt, zal men de pitch herleiden naar een lagere frequentie die overeenkomt met dezelfde noot (Lederman & Hendricks, 1994).

Casestudies

1.6.4 Feel The Music Suit

45


Casestudies

Deze vloer vertoont sterke gelijkenissen met de ‘Sensefloor’, een trilvloer die gebruikt wordt door het bedrijf Sense Company. De ‘Sensefloor’ is een trilvloer waarmee de gebruiker de beat van een bepaald nummer kan voelen. Deze trillingen komen tot stand nadat de trilvloer word gekoppeld aan luidsprekers (Boekestijn, 2012). De ‘Sensefloor’ wordt succesvol toegepast op evenementen zoals Sencity, een fuif voor doven waarbij muziek een totaalbeleving wordt voor alle zintuigen. Naast de trillingen bevat de ‘Sensefloor’ ook verlichting die synchroon met de beat van het muziek van kleur kan veranderen (SilentDj, 2012).

‘The Multisensory Sound Lab’ werd ontwikkeld in 1994 en werd destijds warm onthaald. Zo werd het lab gebruikt om kinderen muziek en dans aan te leren (Oval Window Audio, 2012). Het negatief aspect van dit soort systemen is dat ze voor de consument onbetaalbaar zijn en er bovendien een grote ruimte nodig is om de toestellen in te plaatsen. Hiernaast kan het contact met de trilvloer verloren gaan wanneer men springt op het ritme van de beat, zoals vaak op festivals gebeurt. Wanneer men wil dansen in een ruimte zoals ‘The Multisensory Sound Lab’ verliest men het contact met alle visuele prikkels wanneer men zich wegdraait van de displays. Dit laatste kan natuurlijk opgelost worden door de displays tegen alle muren te bevestigen. In een real-life scenario, bijvoorbeeld tijdens het joggen, biedt dit soort systemen dan ook geen praktische oplossing.

The Multisensory Sound Lab: http://www.ovalwindowaudio.com/sndlablg.jpg

46


2.1 Eerste prototype met led Het eerste prototype had als doel te testen of het visueel weergeven van het muzikaal element melodie een meerwaarde biedt bij het beluisteren van muziek. Het idee kwam tot stand na het gesprek met Elens (2012). Zij vindt het vooral belangrijk dat kinderen muziek leren begrijpen. Bij haar aanpak focust ze zich hierbij vooral op het leren volgen van melodie in muziek. Tijdens het gesprek werd ook aangehaald dat ze het liefst niet werkt met bestaande vibrotactiele toestellen omdat deze eerder een weergave bieden van de muzikale elementen ritme en beat. Met haar aanpak probeert Elens de kinderen een melodie aan te leren door middel van visualisatie (zie 1.2.2.1 Muzikale waarneming met een CI) . Een studie van Gfeller (2012) geeft aan dat het visualiseren van een bepaalde pitch een hulpmiddel kan zijn bij het waarnemen van pitch. Een voorbeeld die Gfeller aangeeft is dat een bepaalde pitch gelinkt kan worden aan het indrukken van toetsen op een piano. Slechts door het zien van de pianotoets kan een pianist al een idee vormen van welke noot er zal klinken. Het is

deze visualisatie die mogelijks verklaart hoe Ludwig van Beethoven ondanks zijn complete doofheid in staat was om “symfonie nr. 9” te componeren (McFarren, 2003). Een studie van Rogers (1991) wijst uit dat het linken van verschillende kleuren aan verschillende noten geen meerwaarde biedt bij het aanleren van pitch. Ook Elens (2012) haalde aan dat er geen universele kleurcode bestaat voor noten.

Eerste prototype met led

2. Prototype

2.1.1. Constructie De constructie van het eerste prototype bestaat uit lichtuitstralende diodes, meer bekend als led lampjes. Er werd gekozen om twaalf leds te gebruiken omdat dit aantal overeenkomt met het aantal noten in een octaaf (Do, Do#, Re, Re#, Mi, Fa, Sol, Sol#, La, La#, Si, Do). De leds werden opgesteld in een horizontale positie waarbij de uiterst linkse led de laagste noot in een octaaf voorstelt, en de uiterst rechtse led de hoogste noot. Elke noot uit het melodietje van ‘Broeder Jacob’ komt dus overeen met één led. Omdat er geen universele kleurcode bestaat voor noten werd er in de

47


Eerste prototype met led

opstelling van het prototype enkel gebruik gemaakt van rode leds. De leds worden vervolgens aangestuurd door een Arduino die geprogrammeerd is om het kinderlied ‘Broeder Jacob’ af te spelen. Arduino (2013) is een open source platform die bestaat uit hardware (een microcontroller) en software (om de microcontroller mee aan te sturen). Door de microcontroller te programmeren en er elektronische componenten op aan te sluiten, kan men een digitaal gegeven (data) omzetten naar een fysieke output (het elektronisch component ). Bij dit prototype wordt elke noot uit het melodietje van ‘Broeder Jacob’ door de Arduino vertaald in een elektrisch signaal dat telkens één led gaat doen oplichten. Het oplichten van de leds is in feite een visualisatie van de melodie.

2.1.2 User testing Tijdens de testsessie werd het apparaat op vier verschillende manieren gebruikt. Telkens werd het gedrag van de gebruiker geobserveerd en werd de aandacht gevestigd op fysieke aspecten die muziek teweeg kan brengen (e.g. het bewegen van de hoofd op de beat zoals beschreven werd bij “Beat”). Eerst werd er een ad hoc methode gehanteerd waar men de gebruiker het prototype liet gebruiken zonder uitleg te geven over de werking van het apparaat. Deze methode had als doel te testen of de gebruiker in staat was om het gevisualiseerde melodietje van het lied ‘Broeder Jacob’ te herkennen. Het idee achter deze methode is gebaseerd op een voorbeeld van Wright (2011) die aanhaalde dat personen in staat zijn om een eenvoudig, bekend liedje zoals ‘Happy Birthday’ te herkennen als deze gewoon geklapt wordt. In een tweede fase werd er uitleg gegeven over wat het prototype weergeeft en werd er gevraagd of het oplichten van de leds bij de gebruiker de herinnering oproept van een bepaald lied. In een derde fase werd het melodietje “Broeder Jacob” zowel auditief als visueel afgespeeld. De groep testpersonen zonder cochleair implantaat kregen vervolgens Arduino Uno: http://arduino.cc/en/uploads/Main/ArduinoUno_R3_Front.jpg

48


2.1.3 Resultaten Uit de resultaten bleek dat alle testpersonen de melodie pas herkenden nadat er verteld werd om welk lied het ging. De testgroep vond wel dat de melodie duidelijk weergegeven werd door het prototype. De testpersonen zonder cochleair implantaat konden het oplichten van de leds voorspellen. Ze vonden het prototype ook een hulpmiddel bij de fase waar een CI werd gesimuleerd, omdat ze het melodietje amper konden herkennen in de gesimuleerde versie. Dit werd bevestigd toen de personen met een cochleair implantaat het prototype testten. Zo vertelde één persoon dat de lampjes wel een enige hulp boden ondanks het feit dat ze maar naar één instrument moest luisteren. Deze bevindingen bevestigen dat er potentieel bestaat om de pitchen in een melodie door middel van ritmische patronen weer te geven. Naast deze bevindingen vertelden enkele personen dat ze het kijken naar ledjes ‘saai’ vonden. Dit kwam duidelijk naar voren tijdens de observatie toen er vastgesteld werd dat alle testpersonen wel meerdere seconden wegkeken van het prototype.

Eerste prototype met led

een alternatieve versie van het melodietje te horen via een hoofdtelefoon. In deze alternatieve versie werd de klank van een CI gesimuleerd. Deze simulatie gebeurde door een audiobestand te bewerken met het geluidsbewerkingsprogramma Cubase (Steinberg, 2013). In de laatste fase kregen de testpersonen een ongefilterde versie van de melodie van “Broeder Jacob” te horen waarbij alle frequenties hoorbaar waren. Tenslotte werd er aan elke testpersoon een vragenlijst voorgelegd. Deze vragenlijst had de vorm van een Flow State Scale waarbij de testpersoon de vragen aan de hand van een schaal van één (helemaal niet mee eens) tot vijf (helemaal mee eens) diende te beantwoorden. Nadien werden deze antwoorden verduidelijkt door een gesprek te voeren met de testpersoon.

Eerste prototype met led. 49


Tweede prototype 50

2.2 Tweede prototype Bij de vormgeving en ontwikkeling van het tweede prototype werd er gefocust op tactiele feedback. In het theoretisch luik van deze thesis werd reeds aangehaald dat tactiele feedback een belangrijke rol kan spelen bij het waarnemen van muziek. Het tweede prototype had als doelstelling te onderzoeken in welke mate haptische feedback een verbetering is als aanvullend en ondersteunend middel bij het beluisteren van muziek – vergeleken met de leds in het eerste prototype. Omdat uit het eerste prototype bleek dat de testgroep het saai vond om naar een object te kijken, werd bij de opzet van het tweede prototype gekozen om de deze haptische toepassing draagbaar te maken. Op deze manier verlegt men de focus van het ‘kijken’ (visualisatie) naar het ‘voelen’ (tast) én heeft de gebruiker niet meer de kans om weg te kijken van het prototype. De bevestiging van het prototype aan het lichaam van de gebruiker stelt de gebruiker ook in staat om vrij te dansen of te bewegen op muziek, wat volgens Boekestijn (2012) toch een belangrijk element is. Vergeleken met bestaande oplossingen, zoals de trilvloer (zie 1.6.5 The Multisensory Sound

Lab en SenseFLoor), is een ander voordeel dat men steeds het contact behoudt met het prototype. 2.2.1 Constructie De constructie van dit prototype bestaat uit twaalf trilmotoren die de functie van de leds van het vorig prototype overnemen. Hierbij werd er uiteraard onderzocht hoe men er voor kan zorgen dat de vibraties zo optimaal mogelijk worden waargenomen. Volgens Gardner et al. (2000) ligt het antwoord in het aantal vibraties die een trilmotor genereert. Zij stelden vast dat de huid het gevoeligst is voor vibraties tussen de 200 en 300 Hertz. Volgens Terzaghi, Peck en Mesri (1996) kan de frequentie van een trilmotor in beperkte mate aangepast worden door de hoeveelheid stroom die er naar toe gestuurd wordt te regelen. Uiteraard bestaan er verschillende soorten elektromotoren die vibraties genereren. De meest populaire zijn de zogenaamde ERM (Eccentric Rotating Mass) en LRA (Linear Resonant Actuator) motoren.


Naast deze traditionele trilmotoren bestaan er ook trilmotoren die speciaal gecreëerd zijn voor tactiele

feedback. Deze speciale trilmotoren zijn ontwikkeld voor direct contact met het huid en hebben dan ook een frequentie tussen de 200 en 300 Hertz (Riener, 2010). Een voorbeeld is de C2-Tactor van Engineering Acoustics Inc. (2012). In tegenstelling tot normale trilmotoren, waar de vibraties over de hele oppervlakte verspreid worden, bundelt de C2-Tactor alle trillingen in één krachtig klein oppervlakte. Een voordeel van dit soort systeem is dat er minder problemen zullen ontstaan wat betreft tweepuntsdiscriminatie (zie 1.5.3 Tweepuntsdiscriminatie en signaaldetectietheorie). Een ander voordeel is dat de C2-Tactor bij lage stroomtoevoer meer kracht uitoefent waardoor de vibratie dus sterker waarneembaar is. Het nadeel van deze speciale trilmotoren is het prijskaartje. Met tweeënzeventig euro per stuk zou het prijskaartje van een volledig ontwikkeld shirt veel te duur zijn om commercieel succes te beogen (Engineering Acoustics Inc, 2012). Een bijkomend nadeel van deze speciale motoren, alsook van vele ERM en LRA motoren, is dat ze een bepaalde hoeveelheid miliAmpere (mA) nodig hebben om op optimale kracht te functioneren. Deze hoeveelheid ligt vaak hoger dan de maximale 50 mA die een Arduino kan aanleveren (Arduino, 2013).

4. http://www.precisionmicrodrives.com/uploads/media_items/different-form-factors-produce-vibrations-in-different-directions.690.504.r.s.jpg

Tweede prototype

Het belangrijkste verschil tussen beide motoren is de richting naar waar ze hun vibraties versturen. Een ERM zal vibraties sturen over de X en Z-as, terwijl een LRA afhankelijk van het design maar 1 as zal aanspreken (zie onderstaand beeld4) (Precisionmicrodrives, 2013). Bij het overbrengen van vibrotactiele informatie is het uiteraard steeds belangrijk dat de vibraties naar de richting van de huid van de gebruiker gestuurd worden.

51


Tweede prototype

Bij het kiezen van een gepaste trilmotor werd er ook rekening gehouden met de haptische karakteristieken van trilmotoren (Precisionmicrodrives, 2013). Zo zal een trilmotor een fractie van een seconde nodig hebben om te starten, op snelheid te komen, te vertragen en uiteindelijk te stoppen. Bijgevolg werd er geopteerd voor ERM trilmotoren die deze hoeveelheid aan tijdverlies tot het minimum beperken. Deze kleine tijdsverschillen kunnen immers een grote impact hebben op het eindresultaat van een prototype. Ook het tweede prototype werd aangestuurd door een Arduino die geprogrammeerd was om het melodietje van ‘Broeder Jacob’ af te spelen. Vervolgens werden de twaalf trilmotoren aan de onderarm bevestigd. Tijdens het bevestigen van het prototype aan de onderarm werd er rekening gehouden met het fenomeen van de tweepuntsdiscriminatie: de trilmotoren werden op de vereiste minimumafstand van elkaar geplaatst opdat de prikkels (vibraties) gescheiden waargenomen zouden kunnen worden. De bevestiging van het prototype gebeurde aanvankelijk door middel van “tesa tape” plakband, maar naderhand bleek deze manier van bevestiging niet optimaal te zijn. Bijgevolg werd de bevestiging verstevigd door

52

de testpersonen een strakke “mouw” aan te passen, die de motoren steviger op hun plaats hield.


De User testing van het tweede prototype gebeurde op identieke wijze als het testen van het eerste prototype. Het enige verschilpunt is dat men de werking van haptische feedback ging testen in plaats van visuele signalen. Om te kunnen onderzoeken of het tweede prototype een verbetering is ten opzichte van het eerste prototype werd de test uitgevoerd op dezelfde groep testpersonen als bij het eerste prototype.

2.2.3 Resultaten Over het algemeen toonden de resultaten aan dat de testgroep haptische feedback interessanter vond dan visuele prikkels. Tijdens de observatie werd vastgesteld dat de testpersonen glimlachten wanneer ze de vibraties voor het eerst voelden. Deze

glimlach ebde weliswaar weg als ze zich focusten op de link met melodie. De testpersonen die de leds eerder als saai bevonden vertelden dat ze de vibraties aangenamer vonden. Maar de resultaten toonden ook aan dat het tweede prototype twee aspecten heeft die nog voor verbetering vatbaar zijn. Een eerste probleem was dat de personen zonder auditieve beperking de vibraties nauwelijks voelden. Zo wist ĂŠĂŠn van de testpersonen te vertellen dat hij de melodie enkel herkende omdat hij dit verwachtte na de test met het eerste prototype. De personen met een auditieve beperking hadden hier duidelijk minder moeite mee. Dit kan mogelijk verklaard worden door de studie van Shibata et al. (2001) die uitwijst dat het gedeelte van het brein, dat bij personen zonder gehoorschade gebruikt wordt voor de verwerking van geluid, bij doven vibraties verwerkt. Het tweede probleem was dat de testpersonen moeite hadden om de verschillende motoren aan de verschillende noten te linken. Zo zei een van de testpersonen dat hij het moeilijk vond om te achterhalen welke motor de laagste noot vertegenwoordigt en welke motor de hoogste noot terwijl hij zijn arm afwisselend de lucht in stak of naar de grond richtte. Dit kan verklaard worden door de tesa tape die de vibraties absorbeerde en verspreidde.

Tweede prototype

2.2.2 User testing

53


Derde Prototype 54

2.3 Derde Prototype Het derde prototype vloeide rechtstreeks voort uit de resultaten van het tweede prototype. Bij de ontwikkeling van het derde prototype ligt de focus voornamelijk op het verbeteren van het vorige prototype. In dit prototype werd dan ook getracht om de vibraties sterker over te laten komen. Verder werd er geprobeerd om een oplossing te bieden voor de moeilijkheden die men ondervond bij het linken van de verschillende motoren aan de verschillende noten. In deze fase van het onderzoek kwamen de bevindingen van Jones (2004) van pas. Jones constateerde dat het waarnemen van vibrotactiele illusies (bijvoorbeeld de richting van vibraties) makkelijker wordt bij het bevestigen van elektromotors aan de rug dan aan de onderarm (zie 1.5.5 Tactiele illusies en het Phi-fenomeen). Doordat de lengte van de rug groter is dan de lengte van een onderarm kan men de elektromotoren ook verder uit elkaar plaatsen. Daardoor kunnen mogelijke problemen in verband met het tweepuntsdiscriminatie fenomeen uitgesloten worden.

2.3.1 Constructie Uit een verdere analyse van het tweede prototype bleek dat de vibraties van de motoren voor een deel geabsorbeerd werden door de “tesa tape�. Bij het derde prototype werd getracht dit probleem op te lossen door iedere motor zo weinig mogelijk contact te laten maken met andere objecten dan de huid. Om dit te realiseren werd er een kaderwerk uit hout gesneden waar de motoren tussen gemonteerd werden. De constructie werd vervolgens aan de rug bevestigd.


De User testing van het derde prototype verliep hoofdzakelijk op dezelfde wijze als het testen van de twee voorgaande prototypes. Tijdens deze test werd er gevraagd of de vibraties beter werden waargenomen, en of de perceptie van de richting van pitch duidelijker was vergeleken met de voorgaande prototypes. Om te kunnen onderzoeken of het derde prototype een verbetering is ten opzichte van het tweede prototype werd de test uitgevoerd op dezelfde groep testpersonen als bij het eerste en tweede prototype.

2.3.3 Resultaten Uit de resultaten bleek dat de perceptie van de richting van de pitch duidelijker was. EĂŠn van de testpersonen haalde aan dat het logisch was dat men de laagste tonen in de onderrug kon voelen en de hoogste tonen in de bovenrug. Hoewel alle testpersonen aanhaalden dat ze door het houten kaderwerk de vibraties beter konden voelen en onderscheiden, vonden ze toch dat de vibraties nog krachtiger mochten zijn. Ook werd het duidelijk dat de elektromotoren enkel in staat waren om een goed contact te maken met de huid wanneer een testpersoon zijn rug zo vlak mogelijk hield. Dit omdat het houten kaderwerk door zijn stijfheid niet de natuurlijke contouren van de rug kon volgen.

Derde Prototype

2.3.2 User testing

55


Finaal Prototype

2.4 Finaal Prototype Bij het testen van de voorgaande prototypes werd er steeds gebruik gemaakt van het liedje “Broeder Jacob”, dat voorgeprogrammeerd werd door een Arduino. Het doel van het finaal prototype is dat de melodie van een lied, in de vorm van een muziekformaat dat toegankelijk is voor de gebruiker, door een computer kan omgezet worden naar vibraties. Verder gaat men op zoek naar een geavanceerde methode, waarbij de vibraties via de rug optimaal waargenomen kunnen worden én de gebruiker in staat is om vrij te bewegen. Hierbij wordt getracht om het tastzintuig bij de de perceptie van muziek te betrekken om de waarneming van melodie te verbeteren. Het overdragen van alle pitches die voorkomen in de melodie van een lied zou geen goede oplossing zijn, omdat er in muziek vaak meerdere noten gelijktijdig gespeeld worden (zie: harmonie). Indien men alle pitches gelijktijdig zou overdragen – door middel van vibrotactiele feedback – zouden er meerdere elektromotoren gelijktijdig kunnen vibreren. Wanneer dit zou voorkomen zou de gebruiker van het prototype niet meer kunnen bepalen of de melodie eerder stijgt of

56

daalt. Volgens Poletti et al. (2008) moet men daarom gebruik maken van de onderliggende structuur in een muziekstuk. Poletti (2008) haalt aan dat computers een mogelijke oplossing bieden om deze onderliggende structuren te achterhalen. In dit onderzoek werd er gezocht naar een tool die in staat is om de onderliggende structuur van melodie af te leiden uit populaire muzikale formaten (e.g. MP3, WMV,.. ) om deze vervolgens om te kunnen zetten naar vibrotactiele feedback. 2.4.1 Constructie In de zoektocht naar een tool die in staat is om de onderliggende structuur van melodie af te leiden uit populaire audioformaten bleek dat The Echo Nest (The Echo Nest, 2012) hiervoor een geschikt platform is. The Echo Nest is een open source platform dat opgericht werd door Brian Whitman en Tristan Jehan (Echo Nest, 2013). Via The Echo Nest kan men een lied uploaden naar de server van het platform en kan men enkele parameters van een lied opvragen. Eén van deze parameters die belangrijk is voor de ontwikkeling van dit prototype is het melodisch patroon. Wanneer men deze parameter


Uit onderstaande afbeelding kan men een beeld vormen van hoe zo een array eruit ziet. De array dient op een horizontale manier gelezen te worden. Uit de afbeelding kan men bijvoorbeeld afleiden dat de noot ‘G’ (Sol) het meest aanwezig is wanneer het lied 3,29 seconden speelt en wanneer het lied start is de noot ‘A’ (La) het meest aanwezig.

Finaal Prototype

opvraagt, ontvangt de gebruiker een tekstbestand die een array bevat (een lijst van elementen in de vorm van een datastructuur). De laagste noot in deze array is de C (sol) en de hoogste noot een B (Si). In deze array wordt er per tijdstip de meest prominente noot uit een octaaf weergegeven door er de waarde “1” aan toe te kennen. Theoretisch zou men door het chronologisch weergeven van de meest prominente noot per tijdstip kunnen afleiden of de melodie stijgt of daalt.

57


Finaal Prototype

Na het verkrijgen van het tekstbestand met de array werd er een manier gezocht om het bestand uit te lezen met Arduino. Een eenvoudige manier om dit te verwezenlijken is om het bestand met de array eerst te verwerken met het programma Microsoft Excel (Microsoft, 2012), zodat men deze nadien makkelijk kan importeren naar de Arduino. In een laatste stap zal de voorgeprogrammeerde Arduino de vibromotoren aandrijven.

een spandex sport t-shirt. In deze stap werd de Arduino hardware samen met de vibratiemotoren bevestigd aan het spandex t-shirt.

Nadat er een manier gevonden werd om de onderliggende structuur van muziek over te dragen naar de vibratiemotoren, werd er ook gezocht naar de beste manier om deze motoren te kunnen bevestigen aan de testpersonen. Een mogelijke manier om dat te doen is door gebruik te maken van een vest. In een studie van Bloomfield en Norman (2003) werd onderzocht hoe men een goedkoop maar doeltreffend tactiel vest kan maken, zoals te zien op de afbeelding rechts5. Bloomfield en Norman stelden in hun studie vast dat verschillende stoffen de vibraties absorberen. Vervolgens kwamen ze tot de conclusie dat spandex de beste stof zou zijn om een tactiel vest te maken, omdat spandex de vibraties minimaal absorbeert en zeer strak rond het lichaam spant. Bij de ontwikkeling van het finaal prototype werd er dan ook gebruik gemaakt van

58

5. De Low Cost Tactor Suit For Vibrotactile Feedback (Afbeelding van Bloomfield et al., 2003).

Vest zonder motoren

Boven: vest met motoren

Links: niet-omsloten ERM motor


Finaal Prototype

Tijdens het testen van het derde prototype werd door enkele testpersonen aangehaald dat de vibraties krachtiger mochten zijn. Daarom werd er bij de ontwikkeling van het finaal prototype ook gezocht naar krachtigere vibratiemotoren. Bloomfield en Norman (2003) gebruikten bij het creĂŤren van hun tactiel vest een krachtige niet-omsloten ERM motor. Deze motoren zijn redelijk fragiel omdat er een onderdeel van de motor onbeschermd roteert. Bloomfield en Norman losten dit op door enerzijds een stuk plastiek rond de motor te bevestigen, en anderzijds de motoren aan de buitenkant van het vest te bevestigen (zie afbeelding links). De enige reden waarom zij geen omsloten ERM motor gebruikten is omdat de omsloten motor makkelijk breekbare soldeerpunten zou hebben. Bij de constructie van het finaal prototype werd er gekozen om gebruik te maken van een (krachtigere) omsloten ERM motor. Hierbij werden de soldeerpunten versterkt door middel van een krimpkous, tape en een beschermende bevestiging aan het spandex shirt, zoals te zien op het beeld rechtsboven.

59


Finaal Prototype

2.4.2 User testing Het testen van het finaal prototype gebeurde net zoals de voorgaande testen in twee testgroepen. De eerste testgroep bestond uit drie personen zonder auditieve beperking. De tweede testgroep bestond uit uit acht personen met een auditieve beperking: twee personen met een cochleair implantaat, drie personen waarbij er sprake is van doofheid en drie personen met ernstige gehoorschade. In beide testgroepen verliep de test op dezelfde manier. Bij de aanvang van de testsessie werd er door één testpersoon een lied gekozen. Vervolgens werd dit lied met The Echo Nest en Excel verwerkt en opgeladen naar het prototype. In een eerste fase kon de testpersoon naar het lied luisteren terwijl hij de vibraties op zijn rug voelde. Hierbij werd er gevraagd of de vibraties duidelijk voelbaar waren. Er werd ook gevraagd of de testpersoon tijdens het afspelen van het lied met zijn/haar hand kon weergeven

60

Werking finaal prototype.

of de vibraties aantoonden dat de pitch eerder steeg of daalde (zie afbeeldingen op de rechter pagina). In een tweede fase werd er nagegaan of de testpersoon beïnvloed werd door het geluid van de muziek wanneer hij/zij de pitch met handgebaren visualiseerde. Om dit na te gaan kreeg enkel de testpersoon die het prototype aan had het geluid niet te horen. Door zelf via een hoofdtelefoon naar de muziek te luisteren kon er gecontroleerd worden of de handgebaren van de testpersoon overeenkwamen met het geluid. Wanneer een testpersoon met een auditieve beperking het prototype testte werd er gevraagd om het cochleair implantaat of hoorapparaat uit te schakelen. Door dit te doen hoorde deze testpersoon zelf helemaal niets van het geluid, maar konden de andere testers (zonder auditieve berperking) mee observeren en analyseren. In een derde fase werd er gevraagd of de gebruikers het prototype al dan niet beschouwden als een hulpmiddel bij de perceptie van melodie.


61

Finaal Prototype


Finaal Prototype 62

2.4.3 Resultaten Een eerste vaststelling is dat alle testpersonen het erover eens waren dat de vibraties sterk genoeg waren om waar te nemen. Ook waren ze het erover eens dat het prototype hen in staat stelde om vrij te bewegen, ondanks de kabel waarmee men de Arduino van stroom voorzag. Een andere vaststelling, betreffende het waarnemen van het muzikaal element pitch via de vibraties, toont aan dat The Echo Nest er niet in slaagde om de melodie van het gekozen lied honderd procent correct weer te geven. Dit probleem kan mogelijk verklaard worden door twee oorzaken. Een eerste oorzaak is dat het geluid van de muziek tijdens de testsessie niet altijd synchroon liep met de vibraties. Dit komt doordat zowel het afspelen van het lied, als het activeren van de het tactiel shirt manueel verliep. Een tweede oorzaak kan te wijten zijn aan het logaritme waarmee The Echo Nest de onderliggende melodische structuren uit muziek afleidt. Deze tweede oorzaak kon en kan men helaas niet verhelpen omdat men afhankelijk is van de software en de kwaliteit die de software levert. Dit is ook één van de nadelen van het werken met softwarepakketten; men is er afhankelijk van.

Ondanks deze vaststelling bleek uit de testsessies dat er momenten waren waarop de vibraties en het geluid wel degelijk overeenstemden. Zo vertelde één van de testpersonen zonder auditieve beperking dat de vibraties de melodie zeer duidelijk weergaven tijdens enkele gedeeltes van het lied, ondanks dat ze een vertraging opmerkte. Een andere testpersoon haalde aan dat wanneer hij het prototype testte, de vibraties en diens richting wel synchroon liepen met de muziek. Deze reacties werden ook bevestigd door de observatie van de handbewegingen in de tweede testfase van het prototype, de fase waar enkel de persoon die het prototype testte de muziek niet hoorde. In de tweede fase konden andere testpersonen vertellen wanneer de vibraties vooruit, synchroon, of achterliepen op het geluid door het zien van de handbewegingen van de testpersoon die het vest droeg. Wanneer er gevraagd werd of het prototype een hulpmiddel was bij de perceptie van het muzikaal element melodie waren de reacties positief, en was de testgroep van auditief beperkten zeer enthousiast.


Stijn, een persoon waarvan het gehoorverlies valt onder de categorie doofheid en die als deelnemer tijdens de brainstormsessie met de focusgroep absoluut geen interesse toonde in muziek: “Het is super om de tonen te voelen. Muziek is plots fijn! … Wat ga je er nu mee doen? Kan ik het later kopen?” (zie 5.4 Testsessie Finaal Prototype – Notities). Michiel, een persoon waarvan het gehoorverlies valt onder de categorie doofheid: “Het is beter om de muziek zo te begrijpen. Als je zo naar muziek luistert hoor je niet de echte noten. Nu voel ik ze wel.” (zie 5.4 Testsessie Finaal Prototype – Notities).

Sofie, een persoon zonder auditieve beperking: “Het t-shirt geeft een sensationele ervaring, al voel ik vooral ritme in het shirt.” (zie 5.4 Testsessie Finaal Prototype – Notities).

Finaal Prototype

Enkele reacties:

Bart, een muziekliefhebber zonder auditieve beperking: “Ik vind de vibraties heel leuk bij de muziek, al denk ik niet dat het altijd overeenkomt met de melodie. De vibraties voelen aan als een massage, ik denk dat het heel leuk zou zijn wanneer je luistert naar rustige muziek om op te chillen!” (zie 5.4 Testsessie Finaal Prototype – Notities).

Carolien, een persoon met een cochleair implantaat: “Als ik thuis ben hoor ik zo niet de verschillen, met het shirt voel ik het wel. Het is alsof ik de hoogte en laagte normaal niet hoor. Ik kan wel de link met de muziek leggen door het ritme in de melodie.” (zie 5.4 Testsessie Finaal Prototype – Notities).

63


Conclusie

3. Conclusie In dit onderzoek werd er nagegaan hoe een fysieke mediale toepassing de andere zintuigen – naast het gehoor – kan betrekken bij de perceptie van muziek. Ondanks de keuze voor een inclusive design methode lag de focus in dit onderzoek op personen met een auditieve beperking. Omdat er al middelen bestaan (e.g. het cochleair implantaat) die in beperkte mate een oplossing bieden voor het waarnemen van muziek, werd er nagegaan waar er een draagvlak was voor verbetering. Het grootste probleem dat naar voren kwam gedurende deze studie is de verstoorde waarneming van pitch en melodie bij personen met een auditieve beperking. Vervolgens werd er onderzocht welke zintuigen het best betrokken kunnen worden bij de perceptie van muziek. Verschillende studies wezen uit dat het tastzintuig een ideale manier is om muziek over te dragen. Eén van de belangrijkste bevindingen kwam uit een studie van Shibata et al. (2001) die uitwees dat het gedeelte van het brein dat bij personen zonder gehoorschade geluid verwerkt bij doven vibraties verwerkt. Gedurende het onderzoek werd er op een iteratieve manier een prototype ontwikkeld om andere zintuigen te betrekken bij

64

de perceptie van pitch en melodie. Het finaal prototype, een tactiel shirt, laat de gebruiker toe om te luisteren naar muziek en te voelen of de melodie eerder stijgt of daalt. Door gebruik te maken van het tactiel shirt werd het beoogd doel bereikt: het tastzintuig wordt betrokken bij de perceptie van muziek én men heeft bovendien de mogelijkheid om vrij te bewegen. Hoewel het finaal prototype zeer enthousiast onthaald werd door de testgroepen is het zeker nog geen product dat klaar is om op de markt te verschijnen. Zo zijn er nog enkele punten die verbeterd kunnen worden. Het voornaamste probleem was dat de vibraties die men op bepaalde momenten voelt niet overeenstemmen met de het geluid dat men hoort. Dit probleem kan gedeeltelijk opgelost worden indien de makers van The Echo Nest de algoritmes van hun programma verbeteren. Hiernaast kan het prototype verbeterd worden door er effectief een mediaspeler van te maken. Dit kan gerealiseerd worden door een MP3-shield (Sparkfun, 2013)


Conclusie

te monteren op de Arduino. Deze MP3-shield stelt de gebruiker in staat om muziekbestanden te importeren naar een SD-kaart in de MP3-shield en deze muziekbestanden ook te beluisteren door er een hoofdtelefoon op aan te sluiten. Op de MP3-shield kunnen ook enkele knoppen voorzien worden waarmee de gebruiker een lied kan selecteren, starten of stoppen en eventueel het volume kan aanpassen. Zo kan het shirt er niet enkel voor zorgen dat men de melodie voelt, maar ook hoort! Tenslotte kan er gewerkt worden aan de gebruiksvriendelijkheid van het product door er een geautomatiseerd en gesynchroniseerd proces van te maken. Men zou in een volgende stap een applicatie kunnen uitwerken waarbij de gebruiker zelf een lied kan selecteren en vervolgens een bijhorend bestand krijgt toegestuurd dat de vibraties zal activeren. Door beide bestanden te uploaden naar de Arduino met MP3-Shield wordt de bediening van het tactiel shirt even eenvoudig als dat van een gewone mediaspeler.

65


Bibliografie

4. Bibliografie • Albertijn M. et al. (2007). Assistieve Technologie. Dossier n.7. Vlaams Instituut voor Wetenschappelijk en Technologisch Aspectenonderdoek. p. 11 • Angliss, S. O’Keeffe, C. (2004). The subjective effects of infrasound in a live concert setting. pp. 132-133. • Ashwin, M. (2011). The Proceedings of the 10th European Conference on Research Methodology for Business and Management Studies. Academic Publishing LImited. p. 142 • Baillie, L. Beattie, D. Morton, L. (2011). Feel What You Hear: Haptic Feedback as an Accompaniment to Mobile Music Playback. p. 2 • Bark, K. Wheeler, J. Premakumar, S. Cutkosky, M. (2008). Comparison of Skin Stretch and Vibrotactile Stimulation for Feedback of Proprioceptive Information. Center for Design Research Department of Mechanical Engineering. Stanford University. pp. 1-2 • Bear, M. Connors, B. Paradiso, M. (2007). Neuroscience: exploring the brain. Lippincott Williams & Wilkins. p. 392. • Belkin, K. Gilbert, A. Kemp, S. & Martin, R. (1997). Auditory pitch as a perceptual analogue to odor quality. Psychological Science. pp. 340-342 • Beun, R.J. (2008). Communicatie via de huid, Cursus informatiekunde. Universiteit Utrecht. • Black, D. (2008). Emoti-Chair Prototype Brings Vibrations of Music, Television and Film Sound to the Deaf. Ryerson University. p. 2

66


Bibliografie

• Bloomfield, A. Norman, I. (2003). A Low Cost Tactor Suit for Vibrotactile Feedback. Technical Reports. University of Pennsylvania. • Borko, F. (2008). Encyclopedia of multimedia, 2de editie, Springer science + business Media, LLC. pp. 279-280 • Bouzeyane, M. Muthusamy, R. Muhyiddine C. (2011). Melody multi modal melody player. Universitas friburgensis. p. 3 • Brewster, S. Pirhonen, A. (2008). Haptic and Audio Interaction Design. p. 24 • Bridges, D. (1994). Music, Young Children and You. Hale & Iremonger, Alexandria. • Brillenburg, K. Rigney, A. (2006). Het Leven Van Teksten. Amsterdam University Press. p. 126 • Broersen, S.F.M. (2010). Cochleair implantaat opent de wereld. MEDISCH CONTACT, nr12 – 25 maart 2010. pp. 528-531 • Brysbaert, M. (2006). Psychologie. Gent, Academia Press. pp. 126-130. • Campbell, M. (2013). Popular Music in America. Schirmer. p. 7 • Clarkson, J. Keates, S. (2004). Countering Design Exclusion. An introduction to inclusive design. Springer. P. 8 • Coiffet, P. Grigore, B. (2003). Virtual Reality Technology. John Wiley & Sons. p. 97-101 • Collins, M. Drever, J. (1972). Experimental psychology. Woodworth & Schlosberg. p. 212

67


Bibliografie

• Crisinel, A. Spence, C. (2010). As Bitter as a Trombone: Synesthetic Correspondences in nonsynesthetis between tastes/flavors and musical notes. University of Oxford. • Cross, I. Tolbert, E. (2008). Music and Meaning. pp. 1-7 • Crowe, B. (2004). Music and Soul Making. Scarecrow Press. pp. 65-68 • Cuyvers G. (2006). Gedrag als menselijke ervaring. Inleiding tot the psychologie. Wolters plantyn. pp. 61-83. • Cytowic, ER. Eagleman, DM. (2009). Wednesday is indigo blue, Discovering the brain of synesthesia. MIT PRESS. • Darrow, A. (1999). Music and Deaf Culture: Images from the Media and their interpretation by Deaf and Hearing students. Journal of Music Therapy XXXVI., The american music therapy association. p. 921 • De Meyer, G. (2004). Cultuur Met Een Kleine C. Acco. pp. 129 • De Vreede, J. (2009) Doof op de dansvloer: Wie niet horen kan, moet maar voelen, AD Nieuws, zaterdag 26 april 2009. p. 7 • Duckworth W. (2008). A Creative Approach to Music Fundamentals. Cengage Learning. p. 16 • Fisher, J. (2011). The Routledge Companion to Philosophy and Music. Routledge. p. 405 • Galanter, E. 1962. Contemporary psychophysics. (psych).

68


Bibliografie

• Gardner, E. Martin. J. (2000). Coding of Sensory Information. Principles of Neural Science. McGraw-Hill, fourth edition. pp. 411–429 • Gerber, S. (1996). The Handbook of Pediatric Adiology. Gallaudet University Press. p. 278 • Gfeller, K. et al. (2000). Musical backgrounds, listening habits, and aesthetic enjoyment of adult cochlear implant recipients. Journal of the Amercian Ac. Of Audiology. pp. 390-406 • Gfeller, K. Hsiao, F. (2012). Music Perception of Cochlear Implant Reciptients With Implacations For Music Instruction. Univ. S.C. Dep. Music. p. 1-6 • Goldsmith M. (2012). Discord: The Story of Noise. Oxford University Press. Chapter 13: A New Beginning? • Grunwald, M. (2008). Human Haptic Perception. Birkhäuser Verlag. p. 78 • Guus, J. (2003). Muziek: Gids voor Slimkezen. Wits kids. p.15 • Hamm, C. Nettl, B. Byrnside, R. (1975). Contemporary music and music culture. Englewood Cliffs, NJ: Prentice-Hall, Inc. p. 71 • Helmholtz, H. L. F. (1954). On the sensations of tone as a physiological basis for the theory of music, (trans. A. Ellis) (2nd English edn). New York: Dover (originally published 1863). p. 251 • Hoogervorst, D. Wieteke, D. Witteman, R. (2006). Young 2006. Kluwer. p. 25

69


Bibliografie

• Hsiao, F. (2006). Perception of Familiar Melodies and Tonal Speech by Taiwanese Pediatric Cochlear Implant Recipients. p. 6 • Hunter, P. G. Schellenberg, E. G. Schimmack, U. (2010). Psychology of Aesthetics, Creativity, and the Arts, Vol 4(1). Feb 2010. pp. 47-56 • Huntington, C. (2011). Black Social Dance in Television Advertising. Mc Farland. p.112 • Hüttner, H. Renckstorf, K. Wester, F. (2004). Onderzoekstypen in de Communicatie Wetenschap. Kluwer. p. 590 • Idhe, D. (2007). Listening and Voice: Phenomenologies of Sound. State University of New York Press. chapter 22 embodying hearing devices digitalization p. 247 • Jain, L. Ma, M. & Oikonomou, A. (2011). Serious Games and Edutainment Applications. Springer. pp.150-155 • Jacobs, L.M. (1989). A Deaf Adult Speaks Out. Gallaudet University Press. pp. 11-12 • Janssen, P. (2005). Applicatie Beheer Volgens ASL. Pearson Education. p. 31 • Jones. CA. (2006). Sensorium: Embodied Experience, Technology, and Contemporary Art. MIT press. p. 81 • Jones, L. Nakamura, M. & Lockyer. B. (2004). Development of a tactile vest. In Proceedings of the 12th International Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems. Abstract. • Juslin, P.N. & Sloboda, J.A. (ed.) (2001). Music and emotion: theory and research. Oxford; New York: Oxford University Press. p. 365.

70


Bibliografie

• Karns. C.M. Dow, M.M. Neville, H.J. (2012). Altered Cross-Modal Processing in the Primary AuditoryCortex of Congenitally Deaf Adults: A Visual-Somatosensory fMRI Study with a Double-Flash Illusion. Journal of Neuroscience. • Kenshalo, D. (1968). The Skin Senses. Springfield. • King, C. (2009). Design, Fabrication, Optimization and Evaluation of a Multinodal Tactile Feedback System for Teleoperated Robot-assisted Minimally Invasive Surgery. UMI. p. 48 • Levänen, S. Hamdorf, D. (2001). Feeling vibrations: enhanced tactile sensitivity in congenitally deaf humans, Neuroscience Letters 301. p. 75-77. • Levitin, J. D. Chordia, P. Menon, V. (2012). Musical rhythm spectra from bach to joplin obey a 1/f power law. pp. 1-5 • Logue, A. (2004). The Psychology of Eating and Drinking. Routledge. • Looi, V., McDermott, H., McKay, C., & Hickson, L. (2007). Comparisons of quality ratings for music by chochlear implant and hearing aid users, Ear & Hearing. Uitgave 28 deel 2. pp. 59-61 • Looi, V., McDermott, H., McKay, C., & Hickson, L. (2008). Music Perception of Ccochlear implant users compared with that of hearing aid users, Ear & Hearing. Uitgave 29 deel 3. pp. 421-434 • Madell, J.R. Carol, F. (2008). Pediatric Audiology, diagnosis, techonogy, and management. Thieme Medical Publishers, inc. pp. 183-184

71


Bibliografie

• McDermott, H. (2004). Music Perception with Cochlear Implants: A Review p. 49-82 • McFarren, K. (2003). Nonfiction Reading Practice, Grade 4. Evan-Moor Corp. p. 142 • Menelas, B., Picinali, L., Katz, B.F.G & P. Bourdot. (2010). Audio Haptic Feedbacks in a Task of Targets Acquisition In Proceedings of IEEE Symposium on 3D User Interfaces (3DUI) (Waltham) 21-22 Mar. 2010. • Mindel, E. Vernon, M. (1971) They Grow in Silence. National association of the Deaf. pp. 34-35 • Monnerot-Dumaine A. (2009). The Fibonacci Word Fractal. p. 1 • Montagu, J. (2007). Origins And Development Of Musical Instruments. Scarecrow Press. p. 1-2. • Myers, R. (2006). The Basics Of Physics. Greenwood Publishing Group. p. 138 • Nanayakkara, S. Taylor, E. Wyse, L. Ong, S.H. (2009). An Enhanced Musical Experience for the Deaf: Design and Evaluation of a Music Display and a Haptic Chair. • Neely, B. (1998). Pianospelen voor Dummies. Addison Wesley. p. 47 • Nevid, J. (2013). Psychology Concepts and Applications. Wadsworth cengage learning. p. 94 • Nicholas, L. (2008). Introduction to psychology. UCT Press. p. 78 • Northoff G. (2011). Neuropsychoanalysis in practice: Brain, Self and Objects. Oxford. p. 331

72


Bibliografie

• Nuria, O. Fernando F-M. (2006). MPTrain: A Mobile, Music and Physiology-Based Personal Trainer. Microsoft Research, Redmond. •F  eldman, R. (2007). Ontwikkelingspsychologie II. Levensloop van de jongvolwassenheid. Pearsons Education. p. 154 • Poletti, P. Rocchesso, D. (2008). Sound to sense, sense to sound, sound music computing. Logos Verlag Berlin. p. 35-55) • Poon. BB. (2006). Sound localization and interaural time sensitivity with bilateral Cochlear Implants. p. 13 • Rathus, S. (2013). Psychology Concepts and Connections. Wadsworth Cengage Learning. pp. 82-83 • Riener. A. (2010). Sensor-Actuator Supported Implicit Interaction in Driver Assistence Systems. p. 203 • Robert, M. (1975). A Primer Of Drug Addiction. Worth publishers. pp. 185, 331-347 • Rogers, G. (1991). Effect of Color-coded Notation On Music Achievement of Elementary Instrumental Students. Journal of Research in Music Education. p.39-64. • Sacks, O. (1989). Stemmen Zien. Reis naar de wereld van de doven. Meulenhoff. pp. 23, 38-39. • Salimpoor V. (2011). Nature Neuroscience. Anatomically Distinct Dopamine Release During Anticipation And Experience of Peak Emotion to Music. Volume 14 nr.2. Nature America inc. • Sethares, W. (2005). Tuning, Timbre, Spectrum, Scale. Springer. p. 27-33

73


Bibliografie

• Shibata, D. (2001). Brains of Deaf People “Hear” Music: International Arts Medicine Association Newsletter (Vol. 16). • Strong, J. (2008). Pro Tools for Dummies. Wiley Publishing Inc. p. 72 • Swerdfeger, A. Fernquist, J. Hazelton, T. MacLean, K. (2009). Exploring Melodic Variance in Rhytmic Haptic Stimulus Design. Department of Computer Science. p. 3 • Terzaghi, K. Peck, R. Mesri, G. (1996). Soil mechanics in engineering practice, John Wiley & Sons Inc, derde editie, p. 209 • Titon, J. T., & Slobin, M. (1996). The music-culture as a world of music. New York: Schirmer Books. pp.1-15 • Trehub, S.E. Schellenberg, G.E. (1995). Music: its relevance to infants. pp.1-24 • Van Beneden, B. (2010). Synesthesie als creatief potentieel. Universiteit Gent. p. 39 • Van den Broeck, W. (2008). Algemene Psychologie. VUBPRESS. p. 106 Vanderleyn, M. Miranda, E. (2006). New digital musical instruments: control and interaction beyond the keyboard. A-R Editions Inc. p. 15 • Van Herreweghe, M. Vermeerbergen, M. (1998). Thuishoren in een wereld van gebaren. Academia Press. p. 2-6 • Van Herreweghe, M. Vermeerbergen, M. (2008). Wat Geweest/Gewenst Is. Organisaties van en voor doven in Vlaanderen bevraagd over 10 thema’s. Academia Press. pp. 141-142, 174.

74


• Wright, C. (2011). Listening to Music. Sixth Edition. Schirmer Cengage Learning. pp. 2-12,13

Bibliografie

• Vitello, M. (2010). Perception of Moving Tactile Stimuli. Logos Verlag Berlin. p. 72

Digitale Bibliografie: • 6DCreations. (2013). Geraadpleegt op 28 April 2013, van 6DCreations: http://www.6dcreations.com/sensefloor/ http://www.6dcreations.com/feel-the-music-suit/ • 8trackheaven. (2013). Geraadpleegt op 6 Januari 2013, van 8trackheaven: http://8trackheaven.com/?q=how-does-8-track-work • Angliss S. (2003). Geraadpleegt op 24 Maart 2013, van BBC: http://news.bbc.co.uk/2/hi/science/nature/3087674.stm • Angliss S. (2003). Geraadpleegt op24 Maart 2013, van SarahAngliss: http://www.sarahangliss.com/infrasonic-the-pipe • Arduino (2013). Geraadpleegt op 22 Mei 2013, van Arduino: http://arduino.cc/en/ • Avid. Geraadpleegt op 2 April 2013, van Avid: http://www.avid.com/US/products/Pro-Tools-Software/Tech-Specifications

75


Bibliografie

• Bone Fone (1980). Geraadpleegt op 18 Maart 2013, van Modernmechanix: http://blog.modernmechanix.com/bone-fone/ • Branje C. Nespoli, G. (2009) The Emoti-chair technical breakdown. Geraadpleegt op 14 Maart 2013 van Youtube: http://www.youtube.com/watch?v=WLPR1Lf83XE&feature=related • Choi, C. (2009). Geraadpleegt op 16 April 2013, van Livescience: http://www.livescience.com/7968-human-evolution-origin-tool.html • Christopher J. (2012). Geraadpleegt op 13 Maart 2012, van NPR: http://www.npr.org/2012/02/21/147180161/nature-has-a-good-beat-but-can-you-dance-to-it • Doof.nl (2012). Geraadpleegt op 28 Maart 2013, van DOOF: http://www.doof.nl/infotheek/gehoorverlies/gehoorverlies • The Echo Nest. (2012). Geraadpleegt op 18 Maart 2012, van Echo Nest: http://developer.echonest.com/ • Engineering Acoustics Inc. (2012). Geraadpleegt op 22 Februari 2012, van EAI: http://www.eaiinfo.com/PDF%20Documents/C-2%20tactor.pdf • FmiV. (2013). Nieuwe regeling voor geluidsnormen muziekactiviteiten. Geraadpleegt op 19 Mei 2013, van FmiV: http://www.fmiv.be/nieuwe-regeling-voor-geluidsnormen-muziekactiviteiten-geen-beleving-bij-elektronische-muziek/

76


Bibliografie

• Gould, D. (2009). Emoti-Chair enables first ever concert for the deaf. Geraadpleegt op 15 Maart 2013, van Psfk: http://www.psfk.com/2009/02/emoti-chair-enables-first-ever-concert-for-the-deaf.html • Healthy Hearing. Geraadpleegt op 15 Mei 2013, van Healthy Hearing: http://www.healthyhearing.com/content/faqs/Technology/Cochlear-implants/30995-Single-channel-versus-multi • Helen Hamlyn Research Centre. Geraadpleegt op 28 Oktober 2012, van Design Council: http://www.designcouncil.info/inclusivedesignresource/ • Koppen, (2012). Van Doof Naar Horend. Geraadpleegt op 17 Januari 2013, van EEN: http://www.een.be/programmas/koppen/van-doof-naar-horend • L abarre, S. How a collar could help deaf people “hear” music. Geraadpleegt op 17 Oktober 2011, van Fastcomapany: http://www.fastcompany.com/1653578/how-collar-could-help-deaf-people-hear-music • Lamoré. (2010). Slechthorendheid en doofheid. Geraadpleegt op 28 Maart 2013, van Audiologieboek: http://www.audiologieboek.nl/htm/hfd7/7-1-1.htm#7112 • Lne. (2013). Geluidsnormen muziekactiviteiten. Geraadpleegt op 19 Mei 2013 van LNE: http://www.lne.be/themas/hinder-en-risicos/geluidshinder/beleid/muziek • Morita, S. (2010). Bodily listening. Geraadpleegt op 17 Februari 2013, van CES: http://cec.sonus.ca/econtact/13_3/morita_bodily.html

77


Bibliografie

• Morton, D. (1998). Geraadpleegt op 15 Mei 2013, van Recording-History: http://www.recording-history.org/HTML/8track6.php • Mylanus, E. Mens, L. Snik, A. Verhaegen, V. (2010). Geraadpleegt op 24 Maart 2013, van Hoorplatform: http://www.hoorplatform.nl/index.php?s_page_id=133&id=140 • Nielsen, J. (2000). Why You Only Need To Test With 5 Users. Geraadpleegt op 13 Februari 2013, van Nielsen Norman Group: http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/ • Precisionmicrodrives. (2013). Geraadpleegt op 16 Maart 2013, van Precisionmicrodrives: http://www.precisionmicrodrives.com/haptics-haptic-feedback-vibration-alerting/making-a-haptic-device • Processing. (2013). Geraadpleegt op 8 Mei 2013, van Processing: http://www.processing.org/about/ • Samsung. (2011). Geraadpleegt op 17 April 2013, van Samsung: http://www.samsung.com/us/support/SupportOwnersFAQPopup.do?faq_id=FAQ00044023&fm_seq=44622 • Sparkfun. (2013). Geraadpleegt op 17 Mei 2013, van Sparkfun: https://www.sparkfun.com/products/10628 • Steinberg (2013). Geraadpleegt op 9 Mei 2013, van Steinberg: http://www.steinberg.net/en/products/cubase/start.html

78


Bibliografie

• Thibaut Kyle (2010). Geraadpleegt op 17 Oktober 2011, van Techcrunch: http://techcrunch.com/2010/05/30/music-for-deaf-people-%E2%80%93-portable-ears/ • Usewell. (2012). Geraadpleegt op 18 Februari 2013, van Usewell: http://www.usewell.be/#/methods/focus-groups http://www.usewell.be/#/methods/prototyping http://www.usewell.be/#/methods/brainstorming http://www.usewell.be/#/methods/user-experience-test http://www.usewell.be/#/methods/interviews

79


Bijlagen

5. Bijlagen 5.1 Expert Interview – Diana Elens. Naam: Diana Elens. Functie: Muziektherapeute en muzieklerares bij KIDS. Anthony: V  ooronderzoek wijst aan dat personen met een CI een andere perceptie hebben van noten. Klopt het dat de noten die ze horen niet overeenkomen met de werkelijke frequenties? Diana: Dat is ook maar daarom wordt er al van jonge leeftijd getraind, vanaf 2,5 jaar. Ze krijgen muziekles zodat het stilaan opgebouwd wordt. Als horende kan je je moeilijk voorstellen wat een dove kan. Als ik de beelden bekijk en ik zie het plezier dat ze eraan hebben dan denk ik dat ze een goed beeld hebben. Toen ik mijn muziekopleiding van doven deed zeiden ze dat doven metaalklanken niet graag horen. Maar als ze zelf mogen kiezen, kiezen ze voor de metalofoon (van metaal).

80

Anthony: Ik dacht eraan om een een multisensoriële aanpak te hanteren, dus muziek via andere zintuigen, maar hoe ik dat ga aanpakken… (Krijg mijn zin niet af). Diana: Wij zien dat al een stuk, met voelen. Anthony: Trillen? Diana: Neen dat is altijd het grote misverstand, heel vroeger was dat zo, toen was de techniek nog niet zo geavanceerd, multimedia bestond bijna nog niet, de trilvloer en subwoofers gebruiken ze amper door het hoorapparaat en CI. Als je ze op jonge leeftijd traint aan betekenis geven aan geluid merk je dat ze er geen last van hebben. enkel de heel jonge kindjes die vibratiedoof zijn daar werken we nog mee met trillingen. Maar bijna niemand heeft last van vibratidoofheid. Ik ga je een video laten zien van wat de kinderen kunnen. Hoogtonig en rond melodie, het lied rond visjes, samen met verhaal.


Diana: Had je dit verwacht? Anthony: N  een, niet op deze manier, ze leren een heel verhaal bedenken. Diana: Juist! Ze vragen soms, wat heeft muziek met taal te maken of met doven, hier kiezen we voor een orale benadering. Er zijn ook kinderen die opgevoed worden in gebaren, maar die krijgen ook muziekles, KIDS is een school voor orale doven. Muziek en taal komen alleen maar voor bij mensen, een vogel die fluit is niet bewust muziek maken. Het begint altijd bij luisteren, je kan niet leren spreken of muziek maken zonder te luisteren. Je gaat anders spreken bij je vrienden dan bij je rector. Je luistert naar

andere muziek bij een begrafenis of een fuif. Het is CULTUREEL BEPAALD. Klanken gaan daardoor wegblijven. Japanse muziek is bijvoorbeeld helemaal anders dan Europese muziek. Enkel het pestmuziekje “nananana nanana nanana� komt overal voor.

Bijlagen

Diana: Het wordt visueel duidelijk gemaakt: de toonhoogte gaat naar beneden, dus het visje gaat in het schilderij ook naar beneden. Daarna gaan ze erop leren bewegen, dit is moeilijk omdat ze zich in hun bewegingen verliezen. Ze reageren auditief wel goed op de muziek. Als ze eenmaal het muziek goed doorleefd hebben gaan ze het zelf leren tekenen.

Diana: Muziek heeft notenschrift, communicatie heeft schrift. Muziek kan een specifiek communicatieproces zijn, het kan een boodschap overdragen. Als je een balade maakt voor een vriendin, dan gaat het duidelijk overkomen dat je haar graag hebt. Maar er is ook een non-verbaal communicatieproces. Zo geeft een schoolbel aan wanneer de pauze begint en eindigt. Diana: Taal en muziek hebben een bepaalde opbouw. Het ritmisch en melodisch gedeelte is samengeplakt. Taal heeft ook kenmerken van ritme: zinsopbouw door losstaande woorden puur op ritmische accentgroepen. De functie van melodie in taal dient om dingen te benadrukken: je benadrukt dat je in Gent zit en niet in Hasselt. Verkooppraatjes: door melodie weet je dat het niet te vertrouwen is. Iemand die niet rechtuit is

81


Bijlagen

heeft een andere intonatie. Je moet kunnen luisteren naar muziek met kinderoren, je moet het transparant maken, je moet niet elke noot kunnen noteren, dat kan een volwassene zelfs niet, maar je moet het kunnen begrijpen in zijn totaliteit en kunnen volgen. Je hebt ook veel tegenstand van de dovewereld; controverse; doven die er niks mee te maken willen helpen. Dat kan zijn door de late leeftijd waarop ze met muziek begonnen zijn. Hoe jonger dat je bent, hoe makkelijker je muziek leert. Als de kinderen ouder dan 7 jaar zijn, is het moeilijker om met muziek iets te doen. Diana: Zeggen ze als ze 18 zijn “ik wil er niks mee te maken hebben� en doen ze hun hoorapparaat uit, geen probleem. Willen ze naar een fuif, doen ze hun hoorapparaat aan en kunnen ze zich ook amuseren. Diana: Ik ben in Litouwen geweest waar jongeren van 18 jaar waren die nooit een hoorapparaat hadden en plots een CI kregen. Vroegen ze of ik het hun ook zou kunnen leren om van muziek te genieten. NEEN, dat lukt niet meer. Je hebt de

82

flexibiliteit niet meer om die betekenisgeving te kunnen geven. Anthony: G  aat het dan puur over melodische instrumenten? Diana: Drum is heel ritmisch maar doven kunnen soms niet goed tegen lawaai. Sommige doven zijn heel ritmisch aangelegd. Anthony: Hoe zit het met vragen stellen aan doven? Diana: Doven opgevoed in ASL hebben een ander denkproces, ze kennen bijvoorbeeld geen lidwoorden. Het gaat dus moeilijk omdat het zeer beperkt is. Daarom leren we kinderen hier taal aan, het zijn orale doven. Doven leren bewust worden van geluid in het algemeen. Bijvoorbeeld betekenis geven aan een stemklank. De stemklank van papa. Anthony: W  elke aspecten van muziek leren jullie aan de kinderen?


Dus we gaan vooral beleven. Hoe? Door ernaar te luisteren, noteren, bewegen, zelf muziek maken, door te praten over muziek. Reactiespelletjes, als er een bepaald geluid is moeten ze iets doen. Notenleer geven door middel van elke noot een bepaalde kleur te geven is ook moeilijk. Ieder boek dat je koopt heeft een ander kleurpatroon. Het is niet uniform. In één boek is de noot “re” geel, in een ander boekje kan dezelfde noot rood zijn. (1 boek re=geel, 1 boek re=rood, …)

5.2 Expert Interview – Jeffrey Boekestijn.

Bijlagen

Diana: We werken rond klank, ritme, hoogte, duur. De vorm; heb je herhaling of variatie… Dat is het moeilijkste bij kinderen, klanken herkennen, een viool, een koe, …

Naam: Jeffrey Boekestijn. Functie: Sense Director bij ‘Skyway Foundation’. Anthony: Ik ben Anthony Paletta. Ik ben een student communicatie en multimediadesign aan de MAD-Faculty te Genk, en ik maak een thesis omtrent het toegankelijk maken van muziek voor doven. Ik heb dan ook al heel wat onderzoek gedaan omtrent wat er leeft bij doven, wat de behoeften zijn enzovoort. Zo kom je snel tot de controverse dat sommige doven helemaal niets met muziek te maken willen hebben, terwijl andere het wel leuk vinden. Na mijn confrontatie met de doven zelf kwam ik tot de conclusie dat een soort draagbare mobiele multisensoriële mp3 speler interessant is voor de doven. Ik ben dan gaan praten met Leo De Raeve, de directeur van Onici, en hij verwees me door naar jullie. Nadat ik wat opzocht over jullie, had ik toch nog enkele vragen in verband met Sencity.

83


Bijlagen

Jeffrey: Wil jij dan zo een mp3 speler maken, of wat is het doel van heel het project? Anthony: Inderdaad ik zou graag zo een mp3 speler willen maken. Uit mijn literatuurstudie blijkt dat ik me daarbij het best kan focussen op haptische feedback. Momenteel worden vibraties het vaakst gebruikt om de beat of ritme weer te geven. Ik wil dit nu gaan koppelen aan harmonie en melodie. Daarbij maak ik vooral gebruik van Arduino, en The Echo Nest. (Er volgt een uitleg over Arduino en The Echo Nest). Ik vind bijvoorbeeld de sensefloor zeer interessant omdat jullie zeggen dat het coherent met de muziek werkt. Werkt dit bijvoorbeeld zoals een DMX lamp die je op de beat kan laten aan en uit gaan of van kleur kan laten veranderen? Jeffrey: Ik weet niet of je alles kan gebruiken voor je mp3 speler maar ik kan je wel vertellen hoe we te werk gaan. We proberen namelijk een totaal ervaring te maken van muziek waarbij doven de

84

ervaring van muziek kunnen meekrijgen. Voor ons bestaat muziek uit drie dingen: Tekst, Emotie en Ritme. En die proberen we te verzamelen. Er is ook nog een laatste element dat we willen betrekken, maar er niet onmiddellijk bijhoort, en dat is dansen. Ik weet natuurlijk niet hoe je link is met de dovenwereld, hoe je ertoe bent gekomen? Anthony: Ik heb gekozen voor een inclusive design aanpak, maar ik heb gekozen om te werken met doven omdat zij het meeste gaan hebben aan het uiteindelijke prototype. Maar je zegt bijvoorbeeld dat muziek bestaat uit 3 dingen, en ik heb me ook bezig gehouden met “emotie” maar het lijkt me heel moeilijk om dat proces te automatiseren. Muziek is heel persoonlijk en programma’s zoals The Echo Nest kunnen daar niet echt een antwoord geven, maar ze kunnen wel de “danceability” van een lied aantonen. Dit toont aan hoe dansbaar een lied is. Dan is er het element ritme, uit mijn onderzoek blijkt dat ritme niet echt een probleem vormt, maar wel melodie en harmonie.


Jeffrey: Tijdens mijn studies heb ik bestudeerd hoe je emoties van muziek kan omzetten naar zintuigprikkelingen. Daardoor kwam ik bij Sencity terecht. Dat krijg ik dan ook mee van de doven, dat de tekst hun minder interesseert, maar dat ze het voelen leuker vinden, zoals de bass voelen van een lied. Als je dan nog de melodie zou kunnen voelen is dit helemaal te gek. Maar ik kan je wel even wat vertellen over de manier waarop we de beleving van muziek proberen over te dragen aan de mensen (doven). Muziek bestaat bijvoorbeeld uit ritme: dit doen wij door het koppelen van de trilvloer aan versterkers. Als je bijvoorbeeld kijkt naar de trilvloer en je wilt daar meer informatie over kan je contact opnemen met Sencecompany. Die hebben namelijk de trilvloer ontwikkeld. Wij gebruiken hem alleen maar. Anthony: J e had een thesis geschreven over emoties en muziek?

Jeffrey: Dat klopt, het gaat over het omzetten van emoties in zintuigprikkelingen. Zo heb ik onderzoek gedaan naar het ontstaan van een emotie. Een emotie ontstaat na aanleiding van een gebeurtenis. Als ik je een cadeau geef, word je vrolijk. Bij Sencity gaan we met een artiest praten en vragen we “Dit nummer, welk emotie hangt daaraan vast?”. Dan zegt hij “Drop”. En dan gaan wij met de geurjockey, de smaakjockey en de visualsjockey praten en zeggen we: “Hierbij moet de emotie ‘Drop’ naar voor komen”. Zij bepalen dan welke prikkels “Drop” kunnen nabootsen.

Bijlagen

Mp3’s zijn dan ook niet leuk voor doven. Hoewel ze het kunnen koppelen aan hun hoorapparaat doen de hoge tonen hun “pijn”.

Een emotie is per persoon anders. Je moet dus niet de emotie creëren, maar de gebeurtenis die de emotie kan oproepen.Een band in Rotterdam had een nummer genaamd “Apples”, en ik vroeg aan hen welke emoties daaraan vast hingen. Ze zeiden “appels”, “lol maken met een paar vrienden” en “chillen in het bos”. Wij vragen dit aan de artiest omdat we een verlengde willen zijn van de artiest. Op het moment dat ze vervolgens optraden en de eerste noot aansloegen ging de geur van

85


Bijlagen

bomen de zaal binnen. Omdat het nummer “apples” heet, deelden we ook zoete appels uit. “Appels” geeft een lentegevoel dus dat leidde tot lichtkleuren zoals “blauw” en “groen”. Door deze “wereld” te laten ontstaan kan je zelf het gevoel overdragen van het nummer. Door zoveel mogelijk zintuigen te prikkelen met deze associaties kan je een emotie laten ontstaan. Anthony: D  at is ook een probleem die ik tegenkwam tijdens mijn studie. Het is makkelijk om zelf een emotie toe te schrijven aan een gebeurtenis (het horen van muziek), maar om zoiets compleet te automatiseren is echt heel moeilijk. Jullie doen dat ook niet, jullie gaan echt naar de artiest toe. Jeffrey: Dat klopt, we gaan inderdaad de associaties vragen aan de artiest, want ik had bijvoorbeeld niet het gevoel van een “bos” bij dat nummer. We vragen dat ook aan de artiest omdat hij precies weet wat hij met een nummer bedoelt en wat hij ermee wil bereiken.

86

Anthony: Is het volgens jou dan zo dat men rekening moet houden met de boodschap of emotie die de componist teweeg wil brengen? Jeffrey: Dat klopt. Om even verder te gaan wil ik het hebben over een ander element “Tekst”. Daar gebruiken we visuals voor en “signdancers”, dat zijn dancers die in gebarentaal vertalen wat de tekst inhoudt. Nu proberen we ook het dansen in te voeren omdat we tijdens voorgaande edities merkten dat doven niet wisten hoe ze “normaal” konden bewegen op een bepaald nummer. Dat is in een notendop wat er gebeurt. Anthony: Ik heb ook in een studie gelezen over de bewegingen die het menselijk lichaam maakt op muziek. Zoals het bewegen van je hoofd op de ritme van muziek. Je zou dit bijvoorbeeld kunnen triggeren door elektrostimulatie te koppelen aan ritme, waarbij het hoofd automatisch gaat bewegen op de ritme van muziek. Maar dat is natuurlijk gevaarlijk.


Als je een mp3 speler zou ontwikkelen die visualisaties, geur en trillingen kan maken. Dan zou het eigenlijk mogelijk moeten zijn voor de artiest om dit in te vullen. Het zou interessant zijn als je dat kan aanbieden. Vandaag heb ik met een meisje gesproken die een speaker had die trillingen aan je hoofd geeft. Maar ik zal nog even moeten opzoeken hoe dit heet, als ik het te weten kom zal ik je er zeker over informeren. Grote kans dat dit wel enkel weer met beat te maken heeft.

5.3 Brainstormsessie met de Focusgroep.

Bijlagen

Jeffrey: Inderdaad, nu is Sense Company ook bezig aan de ontwikkeling van een tactiel vest. Dat je kan aantrekken en waar je trillingen doorheen voelt. Je kan dan bij wijze van spreken een dj de beat kunnen laten doorsturen. Je kan dan bij Sence Company, het bedrijf dat voor ons items zoals de trilvloer maakt, even navragen hoe ver ze staan met de ontwikkeling.

Een eerste vraag is: “luisteren jullie allemaal naar muziek?” – Een beetje ja. – Soms. – Ja. “Wat betekent muziek voor jullie?“ – Ik weet het niet. Er volgt weinig respons. Ik vraag vervolgens of het een speciale betekenis voor hun heeft en of ze ervan kunnen genieten. – Wat bedoel je daarmee? Bedoel je of we het romantisch vinden of zo? Ja dat bijvoorbeeld, of als muziek een bepaald gevoel bij je teweeg brengt. Kan je jezelf weerspiegelen aan muziek? – Bedoel je of we meezingen of zo? Want dat doe ik wel vaak. – Ik luister ook vaak alleen maar naar muziek. De begeleider vult aan dat een van de slechthorenden graag naar muziek met veel “bas” luistert. Enkelen van de auditief beperkten reageren bevestigend door “ja”

87


Bijlagen

te knikken. De begeleider zegt dat ze net pizza waren gaan halen met de auto, en dat één van de slechthorende jongeren wel genoot van de bas toen de muziek zeer luid opstond in de auto. Een andere jongedame reageert bevestigend “Hij hoort niet veel, maar hij voelt het wel”. Wanneer luister je naar muziek? – Als mama rijdt en de autoradio opstaat dan luister ik wel eens naar Klara. – Op fuiven, want daar staat de muziek lekker hard! De tolk vraagt nog eens met gebarentaal welk gevoel muziek losmaakt bij de jongeren. – Dat maakt me wakker! Ik word daar blij van. Ik vind bijvoorbeeld Laundry day wel cool omdat dat altijd een dik feestje is. Wanneer je naar muziek luistert, doe je dat dan alleen, of in groep met vrienden? – Ik luister meestal alleen. – Alleen! – Alleen, behalve op concerten!

88

Natuurlijk bestaan er mp3 spelers. Maar ik kan me inbeelden dat zulke toestellen niet praktisch zijn met een CI. Heeft een mp3 speler dan ook nut voor jullie? – Nee totaal niet. – Gebarentaal voor “O”, een teken dat het absoluut geen nut heeft. – Voor mij wel, want ik gebruik daarvoor speciale oortjes. – Dat klopt, die steken wij achter ons hoorapparaat. – Ik luister daarnaar zonder hoorapparaat. – Je kan het ook via de “FM” gebruiken. FM is een toestel waarmee iemand iets kan inspreken, en wij dat rechtstreeks in ons gehoortoestel horen. Het werkt zoals de zender en ontvanger van een draadloze microfoon. Het is wel jammer dat de meeste van jullie geen gebruik maken van mp3 spelers. Meestal wanneer ik naar muziek luister is dat met een mp3 speler of laptop, “on the road”. Het is natuurlijk logisch dat als die technologie niet goed voor jullie werkt, dat jullie minder met muziek bezig zijn. – Enkele slechthorenden knikken bevestigend. – Inderdaad, ik luister enkel naar muziek op tv.


Ik vraag aan de jongen met een FM of hij hier ooit al een mp3 speler aan heeft gehangen. – Ik heb het ooit één keer geprobeerd maar daarna nooit meer. Ik vraag waarom hij hier nooit gebruik van maakt. Of de muziek niet leuk klinkt, of als hij er niet van kan genieten? – Het doet pijn als ik het in mijn oren doe, het doet pijn! Manuel Stegen: “Stijn, je luistert nooit naar muziek omdat het je niet interesseert juist”? Stijn knikt bevestigend. Manuel Stegen: “Jij kijkt liever televisie hé?” Stijn knikt weer bevestigend. Ik vraag of dat komt omdat hij muziek niet mooi vindt of omdat het pijn doet of … ? Iemand anders antwoordt: “Ik heb soms last van muziek, als het lang duurt of de radio soms aanstaat of zo,

dan word ik moe.”. De begeleider: “Jullie horen dat vervormd hé?” – Ja, andere klanken, robotachtig. – Meestal hoor ik alleen de stemmen duidelijk.

Bijlagen

Ze tonen vervolgens de “FM”. Hoe de spreker een microfoon rond zijn nek draagt, en de slechthorende een “receiver” voor deze draadloze microfoon. De receiver wordt aangesloten op het CI om signalen rechtstreeks te verwerken en hoorbaar te maken voor de drager. Je kan daar ook een mp3 speler aan hangen.

Ik neem aan dat als je naar muziek luistert, dat je dan je CI aan hebt? (jongere hoort me moeilijk, men vraagt het haar opnieuw in gebarentaal). – Ja als ik muziek luister heb ik het aan, want als ik het uitdoe hoor ik helemaal niets. Op concerten of zo voel ik het wel, ook al als ik mijn CI uitdoe. Ik voel dan zo “boem boem boem” (doet teken naar haar borst). Chloë, jij gaat soms naar fuiven? – Ja. Draag je je hoorapparaat ook op fuiven? – Sommige fuiven wel, sommige niet. – Ja want je voelt het, dus hoef je niet altijd je hoorapparaat aan te hebben. Je hoort het ook een beetje omdat het héél luid staat. Bijvoorbeeld op carnaval, toen hoorde en voelde ik dat ook. En vinden jullie dat leuk, die vibraties? Er wordt al knikkend bevestigd.

89


Bijlagen

Dat is wel opmerkelijk, want de muzieklerares van het lager onderwijs, Diana Elens, vertelde me dat de vibratie-toestellen amper worden gebruikt. Maar jullie vinden het wel leuk. Een volgende vraag is of muziek bij jullie bepaalde emoties teweeg brengt? Dat als jullie bijvoorbeeld naar droevige muziek luisteren, dat jullie je ook droevig voelen? – “Ja dat heb ik soms”, zegt Chloë. Heb je muziekale opvoeging gehad? – Ja hier op het buso (KIDS). De rest van jullie ook? – “Niet altijd”, merkt iemand op: “1 jaar wel, 1 jaar niet, 1 jaar wel dan weer 1 jaar niet.”. Het meisje met het CI wil ingaan op de emoties: – Ik luister wel naar muziek, maar ik weet niet wat er gezegd wordt, dat maakt het moeilijk. Heeft iemand ooit al eens kippenvel gekregen van het luisteren naar muziek? – Ik kreeg dat wel eens, van “One Direction”. –Ik ook van K3, neenee (duidend dat het een grapje was). – Ja ik toch wel, als het spirituele muziek is.

90

– Kippenvel soms wel. Muziek heeft 3 dimensies, melodie, ritme en harmonie. Ritme is wat men ervaart als Beat. (ik sla in mijn handen). Pitch is de toonhoogte. (ik doe de toonhoogtes van het lied Broeder Jacob na). Melodie is een combinatie van beide. Genieten jullie meer bepaald van 1 van die 3 of van ze alledrie samen? De begeleiders doen hun best om dit te vertalen in gebarentaal. – Het meeste van ritme omdat je dat voelt. – Van ze samen. – Ik geniet wel van ritme maar ook van melodie, omdat ik hoor of het een piano of viool is. – Ik geniet meer van ritme om dat ik dat het beste voel en hoor! Er wordt verteld dat jullie met gehoorapparaten of CI’s niet graag naar metaalklanken luisteren, is dat ook zo? – En naar hoge klanken! – Ja hoge klanken, een triangle zorgt bijvoorbeeld voor een “peep” in mijn gehoortoestel (verwijzend naar feedback). – Meisje met CI: Ik hoor ook liever lage klanken dan hoge klanken!


Ik stel voor dat we dan eens naar een stukje muziek gaan luisteren. (Ze krijgen het nummer “Great gig in the sky” van “Pink Floyd” te horen. Een nummer dat bekend staat om de afwisseling tussen zeer hoge en lage stemklanken en weinig ritme.). Wat doet zo een nummer met jullie? – Dat was te hoog! (meisje met het CI) Ze zingt te hoog? – Ja! Storen die noten echt? – Sommige noten wel. – Ja! Welke emoties hangen jullie aan deze muziek? – “Emotioneel en droevig”, aldus Chloë. – Ik kan daar niet echt een gevoel op plakken. – Woede, want ik vond het niet leuk en het deed pijn! Vond je het moeilijk om te volgen? – Soms niet, soms wel, als het te hoog ging wel. Maar

laag was goed te volgen. (meisje met CI) – Ik vond het ambetant om te volgen. (Zeer slechthorende jongen).

Bijlagen

– Ik vind basklanken wel leuker, vooral als het zo laag is dat ik het voel in mijn buik. Maar als ik iemand wil verstaan mag het wel een hogere klank zijn, maar ook niet te hoog.

Dan nu een heel andere vraag. Als jullie totaal niets hoorden, je CI of gehoorapparaten uitstonden. En je zou toch een mp3 speler willen hebben, wat zou dat dan voor jullie moeten kunnen, hoe zou het moeten werken? – Geen idee. – Wel ik vind het leuk als ik iets zou voelen aan mijn longen, of buik, zoals op een fuif. – Ik zou dat op mijn poep willen voelen of via een ballon, daar kan je ook heel goed vibraties mee voelen. Luisteren jullie soms muziek via de laptop? – Ja soms wel. – Ja maar ik zet het niet zelf op. – Ja ik gebruik vaak Youtube. Gebruikt iemand van jullie Windows Media Player? – Neen. – Nee enkel Youtube. Ik toon hun vervolgens de visualisaties die Windows

91


Bijlagen

Media Player maakt wanneer men muziek afspeelt. Zeggen deze visualisaties je iets? – Neen. Ook de anderen knikken van niet. Okay, bij deze wil ik jullie bedanken voor jullie medewerking. Het was interessant om me een beetje in jullie leefwereld te verplaatsen.

5.4 Testsessie Finaal Prototype – Notities Sofie Donne – geen auditieve beperking: Bij breathe, breathe in the air hoor je wel dat het klopt. Al zit er een kleine vertraging op. Het t-shirt geeft een sensationele ervaring, al voel ik vooral ritme in het shirt. Sandro – geen auditieve beperking: Soms lijken de vibraties wat willekeurig, maar soms merk ik ook wel dat de vibraties klopt met de muziek! Bart – geen auditieve beperking: Ik vind de vibraties heel leuk bij de muziek, al denk ik niet dat het altijd overeenkomt met de melodie. De vibraties voelen aan als een massage, ik denk dat het heel leuk zou zijn wanneer je luistert naar rustige muziek om op te chillen! Bo - ernstige gehoorschade: Kon makkelijk patronen herkennen en zei ook van “dit is het refrein”. Dit klopte wanneer ik zelf de muziek hierbij hoorde. Stijn – ernstige gehoorschade: Super om de tonen te voelen. Muziek is plots fijn. Ik wil

92


Michiel – doofheid Het gaat gelijk! (Hij bedoelt hiermee dat de vibraties synchroon lopen met de muziek!) Het is beter om de muziek zo te begrijpen. Als je zo naar muziek luistert hoor je niet de echte noten. Nu voel ik ze wel.

Lauren – Ernstige gehoorschade Ik herken er wel iets in maar beneden zijn de vibraties minder fel dan boven. De vibraties kloppen ongeveer wel, het lijkt alsof het iets trager is.

Bijlagen

het aandoen in bed en ermee slapen! Wat ga je er nu mee doen? Kan ik het later kopen?

Carolien – CI Als ik thuis ben hoor ik zo niet de verschillen, met het shirt voel ik het wel. Het is alsof ik de hoogte en laagte normaal niet hoor. Ik kan wel de link met de muziek leggen door het ritme in de melodie. Chloë – CI: Ik hoor het natuurlijk nog steeds niet perfect, maar het is wel fijn om te voelen wat ik niet hoor! Diana – Doofheid: Het voelt als een balletje dat rolt over mijn lichaam en dat is wel prettig. Ik vind ook dat je het veel beter voelt op de rug dan op de arm.”

93


Bijlagen 94

5.5 Mail Ronald Ligtenberg



Mastherthesis Anthony Paletta 2012-2013