/2008_2_2_Oererne_kan_se

OPTIKEREN 1 . 2008

s t o f F a g l i g t

18

Ørerne kan se Vi kan lære at se med ørerne. Nyt eksperiment viser, at hjernen er overraskende fleksibel og at vores sanser ikke er så klart adskilt, som vi sædvanligvis tror.

Af Jan Skøt “Vores ydre sanseorganer er meget forskellige, men den måde hjernen bearbejder vores sansninger på, ser ud til at være omtrent den samme uanset typen af sanseindtryk.” Petra Störig, professor i eksperimentel biopsykologi.

Sæt et kamera på hovedet af en person, der ikke kan se. Tag billedet fra kameraet og lav det om til et kvadrat af punkter, hvor de enkelte punkter får en lyd efter, hvor de er placeret og hvad indholdet af punktet er.

Send lyden ind i ørerne på folk, der er blinde eller bare har bind for øjnene, og så kan de lære at se med lydene. Langt fra så godt, som vi kan med vores øjne, men alligevel med en forbløffende evne til at skelne forskellige objekter.

Eksperimentet er foretaget af en gruppe ledet af Petra Störig, der er professor i eksperimentel biopsykologi ved universitetet i Düsseldorf.

Formålet var dels at se om konverteringen af billede til lyd kunne bruges som hjælpemiddel for blinde og dels at undersøge, hvordan hjernen bearbejder synsindtryk, hvis de kommer ind ad ørerne.

Se med alt muligt Der har været en lang række af forsøg på at lære mennesker at se med andre sanser end synet for eksempel ved at lave en matrix af små stave, der “printer“ et billede på ryggen eller på tungen.

Der er også mere indgribende forsøg på at forbinde kameraer direkte til synsnerverne eller indoperere elektroniske nethinder i folks øjne.

Men hvis man leder efter en måde at afhjælpe synsmangel med ikke-operative indgreb, så mener Petra Störig, at hørelsen er den indlysende kandidat: “Hørelsen er i forvejen godt udstyret til at skelne fine detaljer. Det gør vi for eksempel når vi lytter til stemmer.

Desuden er det en distancesans, som også har et vist begreb om rumlighed.”

Selvom syn og hørelse er meget forskellige, så har de mere til fælles end de har med gruppen af nærsanser smag, lugt og følelse.

Et kamera og to højttalere Ved eksperimentet anvendtes udstyr udviklet af Peter Meijer, et af medlemmerne af forskergruppen som i flere år har arbejdet på et praktisk projekt med hjælpemidler til blinde. Det er en slags stor hovedtelefon, hvor der ovenpå sidder et videokamera.

Den centrale del af udstyret er software, der konverterer videobilledet til lyd. Det er et ret simpelt program, som inddeler billedet i en matrix på 64x64 felter med 16 gråtoner. Derefter generer det en lyd for hvert felt.

Lyden scanner henover billedets punkter i hurtig rækkefølge, så resultatet er en to sekunder lang lydserie, der umiddelbart ligner støj. Hver lyds placering i stereoperspektivet definerer billedpunktets placering i forhold til højre og venstre. Tonehøjden giver punktets placering over horisonten, mens lydstyrken definerer lysstyrke af punktet.

Så en lys prik i nederste højre hjørne giver altså en høj baslyd udelukkende i højre kanal. (Programmet findes til fri download på Internettet og kan

bruges på en Windows pc med webkamera. Se link fra Ingeniørens website, hvor der også kan høres eksempler på lydbilleder).

Tre uger uden at se noget Eksperimentet varede tre uger og omfattede fire personer. To havde øjnene dækket i hele perioden, mens to andre var seende, så de bagefter kunne sammenligne lydbilledet med det visuelle billede. Denne opdeling skulle undersøge, om det visuelle indtryk hjalp med at fortolke lydbilledet fra hovedtelefonerne.

I hver gruppe havde den ene person mulighed for at bruge udstyret hele tiden, mens den anden kun havde adgang til det i forsøgssituationen - det vil sige nogle få timer hver uge.

Formålet med denne opdeling var at undersøge, hvilken form for træning, der var mest effektiv - kunne en massiv ustruktureret træning give væsentlige ændringer?

De “så” temmelig godt Forsøgspersonerne viste sig at kunne tolke simple geometriske figurer alene ud fra forklaringen om, hvordan systemet virkede. I første forsøgsrunde lykkedes det dem i omkring tredive procent af tilfældene at beskrive figurer som trekanter og firkanter korrekt.

Interessant nok blev de ikke bedre til at genkende geometriske objekter i løbet af forsøget.

Komplekse objekter som billeder af en potteplante eller en handske gav forsøgspersonerne langt større problemer i starten. De fik under fem procent rigtige svar - lidt bedre end de ville kunne opnå med simpelt gætteri.

I løbet af de tre uger blev de til

F a g l i g t s t o f

Hjernen bruger synsdelen Der er flere interessante konklusioner på eksperimentet. For eksempel at hjernen tilsyneladende kan lære at behandle de fremmedartede data ved at blive udsat for en massiv strøm af dem. Forsøgspersonernes hjerner blev scannet under forsøget og det gav en interessant ekstra vinkel på dette. I løbet af forsøget brugte hjernen flere og flere af de områder i hjernebarken, der normalt domineres af synssansen.

“Tidligere undersøgelser har vist, at mennesker, der er blevet tidligt blinde er i stand til at inddrage en stor del af den visuelle del af hjernebarken til brug for hørelsen. De får ofte en stærkt forbedret evne til at placere lyde rumligt. Vores forsøg antyder, at hjernen meget hurtigt begynder denne proces.” fortæller Petra Störig.

Så på en måde kan man sige, at forsøgspersonerne begyndte at “se” lyden. En af de blindede personer rapporterede også mod slutningen af forsøget, at han af og til fik visuelle indtryk, når han hørte lydbillederne.

Spændende men...

“Nogle af resultaterne er overraskende positive, næsten utrolige. Men vi er

langt fra et brugbart værktøj. Hvis jeg var blind, ville jeg stadig foretrække at bruge en stok, hvis jeg skulle orientere mig i et rum” lyder Petra Störigs kuldslåede vurdering af eksperimentets succes som erstatning for synet.

Men hun mener også, at der er rige muligheder for at ændre på både hardware og software, så det fungerer bedre. I øjeblikket er konverteringen fra billede til lyd primitiv. Scanningen fra højre til venstre virker unaturlig.

Vores syn opfatter normalt et billede fra midten og ud, så måske ville en cirkulær scanning fra midten af billedet være langt mere naturlig.

Lydbillederne mangler også helt essentielle dele af vores syn, for eksempel evnen til at skelne sammenhængende objekter. Bevægelse - som vores syn er rigtigt godt til at håndtere - er også praktisk umulig i lydbillederne.

Men Petra Störig tror, at det kan

Sådan ser et ansigt ud, når det er blevet lagt ind i 64x64 matrix og lavet om til 64 gråtoner, altså det samme billede, som derefter bliver omkodet til lyd. Det er ikke så svært at genkende som et ansigt i denne form, men det ville nok være meget svært at genkende en person.

blive langt bedre, hvis man ændrer på konverteringen af billede til lyd ved at udnytte den store viden, man allerede har om, hvordan mennesker opfatter billeder. Jo mere computeren konverterer billedet efter synets principper, jo lettere vil det være at forstå billedet.

For eksempel skærper vores syn automatisk kontraster, og hvis softwaren gjorde det samme, vil det sandsynligvis hjælpe på vores forståelse af billedet.

Hvordan kan vi høre billeder?

Det centrale spørgsmål er, hvordan vi overhovedet kan få noget ud af at lytte til en strøm af lyde.

Selvom forsøgspersonerne havde en intellektuel forståelse af systemet, så er det næppe den, de bruger til at forstå lydene. De personer, der havde adgang til at se de visuelle billeder efter at have hørt lydene, var nemlig kun

OPTIKEREN 1 . 2008

gengæld betydeligt dygtigere - men kun de forsøgspersoner, der brugte apparaturet hver dag. Den bedste af dem nåede op på at genkende op til 30 procent af de komplekse objekter. Man skal huske på, at de informationer, der kan gemmes i et lydbillede på 64x64 punkter svarer nogenlunde til de data, der er i et s/h billede på 1x1 cm på en avisside. Det giver nogle klare begrænsninger for, hvor komplekse billeder, det er muligt at genkende.

19

OPTIKEREN 2 . 2007

s t o f F a g l i g t

20

Udstyret, som forsøgspersonerne brugte, var denne kombination af kamera og hovedtelefon. Men i princippet kan et almindeligt webkamera, en computer og et sæt hovedtelefoner bruges.

en smule bedre end dem, der ikke havde - og det var især i starten af eksperimentet.

Men den person, der forbedrede sin billedforståelse mest, var ham, der var blindet hele tiden under forsøget og som havde fuld brug af udstyret.

(Selvom professor Störig selvfølgelig advarer om, at forsøget havde så få testpersoner, at man ikke må drage endelige konklusioner. Individuelle forskelle mellem personerne kan have drejet resultaterne).

Forsøget viser, at vores hjerne ubevidst og automatisk forsøger at bearbejde indtryk, der kommer til den - eller som Petra Störig formulerer det: “Hjernen er klog. Hvis den får et signal, som den har en chance for at forstå, vil den arbejde på at forstå det.

Undervejs laver den om på sig selv og inddrager dele af hjernen, der måske ellers bruges til noget andet.”

Den store sansecentral Til daglig føles vores sanser så naturlige og korrekte, at vi aldrig tænker på

Billedrækken viser udviklingen for den forsøgsperson, der fik lov at tjekke sine synsindtryk med lydbillederne og brugte udstyret hele tiden i forsøgsperioden. Øverste række viser de bileder, som vedkommende skulle gætte. Anden række kommentarer og tredje række forsøg på at tegne det hørte. Læg mærke til at vedkommende til sidst er i stand til at skelne mellem to forskellige typer af blomster.

deres verdensbillede, som en konstruktion lavet inde i vores hjerne.

Men Petra Störigs forsøg demonstrerer tydeligt i hvor høj grad, det er tilfældet. Det lydbillede, som i forsøget bliver sendt til hjernen, er i den grad et unaturligt og mekanisk kunstprodukt af vores virkelighed. Alligevel formår vores hjerne at lave - primitiviteten af dette første forsøg taget i betragtning - et ret korrekt billede af verden.

Det er selvfølgelig gode nyheder for alle, der har mistet en sans, fordi det tyder på, at hvis man bare kan lede en nogenlunde acceptabel datastrøm til hjernen fra et kamera, en mikrofon eller hvad som helst andet, så vil hjernen forsøge - og sandsynligvis lykkes med at danne et verdensbillede.

Det åbner også spændende muligheder for, at vi en gang i fremtiden kan forstå datastrømme fra vores apparater. Hvis vi har brug for at tolke dataflowet fra en sonde på Titan eller en MRI-scanner, kan vi sende det direkte ind i hjernen. Hvis vi er tilstræk-

keligt trænede, kan vi se det på en “naturlig” måde og måske opdage flere kvaliteter i det, end hvis vi er nødt til at omsætte det til billeder på en computerskærm.

Links: Præsentation af forsøget: http://www.visualprosthesis.com/sfn 2004.html Petra Störigs hjemmeside: http://www.uni-duesseldorf.de/stoerig/ Download af konverteringsprogram: http://www.seeingwithsound.com/v oice.htm Lydeksempler Fra den virkelige verden: http://www.seeingwithsound.com/v oice.htm Tegn selv lyde via Java-program: http://www.seeingwithsound.com/v oice.htm ■