9789144132747

Den

visuella

texten multimodal analys i praktiken

Anders Bjรถrkvall

Denna titel har tidigare getts ut av Hallgren & Fallgren Förlag och utges från och med denna andra upplaga av Studentlitteratur AB. Denna upplaga innehåller inga innehållsmässiga förändringar jämfört med den första upplagan.

Kopieringsförbud Detta verk är skyddat av upphovsrättslagen. Kopiering, utöver lärares och studenters begränsade rätt att kopiera för undervisningsändamål enligt Bonus Copyright Access kopieringsavtal, är förbjuden. För information om avtalet hänvisas till utbildningsanordnarens huvudman eller Bonus Copyright Access.

Vid utgivning av detta verk som e-bok, är e-boken kopieringsskyddad.

Den som bryter mot lagen om upphovsrätt kan åtalas av allmän åklagare och dömas till böter eller fängelse i upp till två år samt bli skyldig att erlägga ersättning till upphovsman eller rättsinnehavare.

Studentlitteratur har både digital och traditionell bok­utgivning. Studentlitteraturs trycksaker är miljöanpassade, både när det gäller papper och tryckprocess.

Art.nr 40070 ISBN 978-91-44-13274-7 Upplaga 2:1 © Författaren och Studentlitteratur 2009, 2019 studentlitteratur.se Studentlitteratur AB, Lund Layout och omslag: Lotta Lind Form Printed by Interak, Poland 2019

Innehåll Författarens förord

1

1 Den visuella och multimodala texten

3

Bokens användningsområden och läsarens förkunskaper 9 Tre typer av betydelse och det sociala sammanhanget 11 Verktyg för betydelseskapande 13 Bildernas grammatik? 17 Skrift och bild: kort exempelanalys 19 Textelement 24 Skrift- och bildrelationer inom en text 24 Modelläsning 25 Bokens disposition 26

2 Interaktion

29

Språkhandling, bildhandling och kommunikativ handling Distans 39 Attityder 49

3 Versioner av omvärlden

57

Narrativa processer 63 Konceptuella processer 71 Deltagare som individer eller grupper

4 Kompositionens betydelse Informationsvärde 89 Visuell framskjutenhet 100 Avgränsning och sambandsskapande

76

84

105

32

5 Modalitet: att visa förhållningssätt i text Kodningsorientering 113 Visuella resurser för att uttrycka modalitet

6 Typografi

111

118

126

Typvikt 136 Vertikal och horisontell orientering 138 Lutning 139 Sammanbindning 140 Rundning 141 Typografin och metafunktionerna 143

7 Modellen i arbete: analys av en Lego-annons Annonsens textelement 147 Interaktion 151 Representation av världen 153 Komposition 155 Modalitet 158 Bossande och könsidentiteter i reklamannonsen

8 Utvidgade textbegrepp och multimodal analys – vad händer nu? 165 Textbegreppet 166 Analysmodell eller grammatik?

Bildrättigheter 173 Register över termer och begrepp

169

174

160

146

8 Utvidgade textbegrepp och multimodal analys – vad händer nu?

I detta avslutande kapitel presenteras några tankar om textbegreppet och textanalys i framtiden. Vi tar upp frågan om bilders grammatik och diskuterar vilket förklaringsvärde den modell som presenterats i boken har.

Låt oss börja det avslutande kapitlet med en kraftigt förenklad beskrivning av några sätt att se på och analysera text. För det första kan man utgå från texten som sådan och sedan ställa frågor till den.

Den grundläggande frågan blir då: ”Okej, här har vi en skriven text – hur kan vi tränga in i den och analysera den på olika sätt utifrån de syften vi har?” Inom textlingvistisk forskning har man under många år utarbetat mycket sofistikerade och kraftfulla metoder som kan användas för att analysera texter ur olika perspektiv. Man har exempelvis analyserat hur texten binds samman rent språkligt och hur textens informationsstruktur ser ut. En viktig fråga för denna typ av textforskning är hur tillgänglig eller begriplig en text är. En annan fråga är mer teoretisk: hur kan man beskriva texters grammatik i relation till den språkliga meningens eller satsens? Sammanhållande för denna forskning kan sägas vara ett intresse för textens struktur och för dess delar i relation till textens helhet.

165

Inom diskursanalys och inom flera andra forskningsriktningar, som viss typ av samtalsanalys och skriftbruksforskning, är frågan något vidare: ”Okej, här har vi en skriven eller talad text – hur kan vi relatera dess struktur och innehåll till dess samhälleliga, historiska och kommunikativa sammanhang?” Här har man använt sig av bl.a. textlingvistiska metoder, men hela tiden i syfte att se sambandet mellan text och kontext: både den mer direkta situationskontexten och den mer allomfattande kulturkontexten.

Inom semiotiken har man, som vi sett, ett brett intresse för andra kommunikationsformer, eller semiotiska modaliteter, än verbalspråket. Här är det svårare att formulera en grundläggande fråga, men en skulle kunna vara: ”Okej, här har vi en bild, skriven text eller en byggnad – vilka mer eller mindre systematiska betydelser är knutna till den?” I detta fall handlar det om hur bilder eller byggnader kan bestå av semiotiska tecken, och ibland få textliknande funktioner.

Det som tagits upp i den här boken har beröringspunkter med alla dessa traditioner. Vi har haft ett i det närmaste textlingvistiskt intresse för hur texter kan delas upp i textelement och för hur kombinationer av sådana element uttrycker olika betydelsepotentialer.

Genom hela boken har vi arbetat textnära och intresserat oss för så kallade modelläsningar. Men kontexterna har hela tiden varit närvarande, vilket pekar mot diskursanalysen, och mot sociosemiotiken. Exempelvis har vi diskuterat hur makt representeras i bilder från olika tidpunkter, hur olika affärsstrategier påverkar företags typografiska formspråk och hur målgrupper och sätt att tänka om könsskillnader påverkar utformningen av reklam. Slutligen har vi haft ett tydligt semiotisk perspektiv och försökt beskriva hur olika semiotiska modaliteter, främst bild, skriftspråk och typografi, kan användas för att skapa betydelser.

Textbegreppet Boken har tagit avstamp i flera textforskningstraditioner, men det finns ett antal frågor som man kan ställa kring textbegreppet och 166

framtiden. En utgångspunkt har varit att samtiden och framför allt framtiden är utpräglat multimodal. Vilken roll spelar detta för hur det som kallas text uppfattas? Till att börja med bär begreppet text med sig en vardagsspråklig betydelse knuten till att en text är skriftligt verbalspråklig och gärna linjär. Detta textbegrepp skiljer sig från det som introducerats i denna bok, vilket diskuterades i kapitel 1. Även i vetenskapliga sammanhang kan man visserligen använda begrepp från vardagsspråket på både mer avgränsade och utvidgade sätt, bara man definierar dem, men det är olyckligt om begreppen hamnar alltför långt bort från det sätt som människor i allmänhet använder dem.

Också i mer specialiserade sammanhang ses text ofta som något monomodalt, i detta fall endast skriftspråkligt, snarare än multimodalt. Exempelvis använder de flesta svensklärare i skolan, och också på universitet och högskolor, text i betydelsen ’skrift’, exklusive bild, trots att tankar kring det utvidgade textbegreppet finns inskrivet i t.ex. kursplanen för svenska i både grund- och gymnasieskolan.

Detta bör man fundera på och förhålla sig till när man använder textbegreppet som sammanfattande för alla de modaliteter och resurser som tagits upp i denna bok.

En annan fråga gäller hur mycket man kan utvidga textbegreppet innan det spricker. Att en materiell produkt som består av skrift och bilder kan kallas text kan nog många människor acceptera så länge den materiella produkten har ett kommunicerande syfte, på ett eller annat sätt är riktad till någon eller några människor och har en början och ett slut. Men hur är det med en stol? Eller ett träd i skogen? Det kan faktiskt vara värt att fundera lite på.

Det är ingen tvekan om att både stolen och trädet kan ha en semiotisk funktion, men i de flesta fall är det kommunicerande meningsskapandet inte den främsta funktionen. Stolens främsta funktion är att utgöra en horisontell och vertikal yta i en viss höjd som passar bra för att ge människokroppen vila. Men utöver detta har olika sätt att formge stolar i allra högsta grad betydelsepotential. Det finns t.ex. en betydelsemässig skillnad mellan Arne Jacobsens stramt de167

signade Myran-stol och en handgjord och utsmyckad furustol från Dalarna. Den första bär på associationer som ’modern funktionalism’ medan furustolen mer har betydelser som ’tradition’ och ’hantverk’, och kanske ’svenskhet’ och ’landsbygd’.

Till skillnad från stolarna är trädet ingen mänsklig artefakt, alltså inte tillverkat av människohand, men det kan ändå ha betydelsepotential i olika sammanhang. Människor läser in betydelser i träd.

Vilka betydelser kan man t.ex. se hos en 300 år gammal ek jämfört med hos en tall? En av ekens betydelser kan vara ’varaktighet’, och tallen kan ses som ’förbrukningsvara’. Trots detta skulle nog få hävda att trädets främsta funktion är att kommunicera något, eller att träd är texter. Svaret på vad trädets huvudfunktion är, om det nu finns någon sådan, får sökas någon annanstans.

Trädet och stolen är kanske inte texter, men de kan likväl användas i andra, mer textlika, produkter. Träd ingår t.ex. ofta i trädgårdar som verkligen kan ha textfunktion med ett kommunicerande syfte som är riktat till trädgårdens besökare och som avgränsas gentemot omgivningen, som en text. Stolar kan användas på ett sätt så att de ingår i textliknande inredningar av rum. En stol kan t.ex. vara mer utsmyckad, eller större, än andra komponenter i rummet och på så sätt vara framskjuten och ’viktig’.

Trädet och stolen är alltså materiella resurser som kan användas semiotiskt, d.v.s. som semiotiska resurser, för att skapa mening i olika sammanhang, men de fungerar oftast inte själva som texter.

Semiotiska resursers användning är en viktig utgångspunkt i diskussionen om texter och multimodalitet. När man kommunicerar har man tillgång till ett antal semiotiska resurser som dras in i kommunikationssituationer och efter bästa förmåga används för att uttrycka de önskade betydelserna. Resultatet blir att mer eller mindre avgränsade semiotiska produkter skapas. Det kan vara ett talspråkligt yttrande som ackompanjeras av en gest och ett visst ansiktsuttryck. Eller ett foto där färgmättnaden ändrats, och där några namn skrivits in.

Kanske blir då semiotiska resurser och kommunikationssituatio168

ner viktigare att tala om än texter, även om texterna är utvidgade?

Snarare än hur avgränsade enheter som texter är uppbyggda, hur de är strukturerade eller hur de kommunicerar som sammanhållen text, blir det intressanta hur olika typer av semiotiska resurser används för att skapa mening i olika sammanhang.

Analysmodell eller grammatik?

Hur det än blir med textbegreppet i framtiden, så behöver de flesta som läser denna bok redskap för att analysera konkreta texter där det finns både skrift och bilder och där man kanske arbetat aktivt med typografiska val. Man sitter framför t.ex. en artikel, en webbsida, en bok eller en reklamannons och ser att den verkar ha en struktur, att den kommunicerar något, har en början och ett slut och är avgränsad från t.ex. andra annonser eller texter. Då kan man säga rätt så mycket med hjälp av den analysmodell som introducerats i denna bok. Man kan identifiera och i analyssyfte separera textelement och semiotiska modaliteter som samsas inom den multimodala texten. Man kan komma åt betydelser i texten som man inte hade kunnat med bara verbalspråkliga analyskategorier, man kan se vilket semiotiskt arbete som görs av bilder och typografi och man kan försöka identifiera andra, mer outforskade semiotiska resurser.

Analysmodellen kan också ligga till grund för mer kritiska analyser av hur sociala aktörer framställs språkligt och visuellt, och hur olika roller skapas för personer knutna till texten. Man kan till och med försöka säga något om textens tillgänglighet: Är de betydelsepotentialer som uttrycks sammanhållna eller motstridiga? Är kraven på läsarens förmåga att tolka bilder högre än de språkliga krav som ställs på läsaren eller tvärt om? Vad säger detta om textens funktion eller dysfunktion utifrån kommunikationssituationen?

När modellen som presenteras i boken används på detta sätt kan det vara intressant att återvända till frågan om den också beskriver en typ av grammatik: Har modellen ett annat förklaringsvärde utöver att vara ett sätt att analysera multimodala texter? Ambitionen 169

har varit att hålla samman de semiotiska kategorierna, i grunden metafunktionerna, för att kunna hålla reda på olika betydelsepotentialer som kan uttryckas av skrift, bild och typografi. Men i detta arbete har vi delat upp de multimodala texterna i textelement. Det var vi tvungna att göra för att t.ex. relatera deltagare till varandra i den visuella analysen av representationer av omvärlden. Vi har också exempelvis tillskrivit vektorer, olika typer av linjer och streck, en central roll i analysen av narrativa processer. Dessutom har vi diskuterat olika informationsvärden som element kan tilldelas beroende på var de placeras i ett visuellt rum.

I det inledande kapitlet berördes om dessa beskrivningar kan uppfattas som beskrivningar av bildmodalitetens grammatik eller inte, d.v.s. om bilder faktiskt liknar verbalspråket i det sätt på vilket de kan uttrycka betydelse. Textelementen skulle då i vid bemärkelse uppfattas som bildens ord eller i vissa fall satser eller meningar, och vektorerna är bildens verb. Modalitetsresurserna som presenterades i kapitel 5 skulle vara beskrivningar av visuella motsvarigheter till modala hjälpverb och satsadverbial, en liknelse som faktiskt föreslogs i det kapitlet. Man skulle kunna hävda att detta i alla fall är en början på en beskrivning av bilders och i förlängningen också andra semiotiska modaliteters grammatik.

Om det är en visuell grammatik som beskrivits borde också bokens kategorier kunna användas av multimodalt kommunicerande människor när de tolkar och producerar texter. Dessa människor skulle alltså på ett mer eller mindre aktivt sätt använda sig av vektorer i visuella kompositioner och texter för att representera narrativa processer, på samma sätt som de använder ett begränsat antal verb när de vill uttrycka relationen mellan deltagare i en språklig sats. Vidare skulle detta vara en relativt förutsägbar process som alla användare av visuell kommunikation i Sverige, eller kanske i västvärlden, kan hantera mer eller mindre väl. Det skulle finnas tydliga konventioner för visuell kommunikation och tydliga tolkningsramar. Så är det ju i skriftspråket. Vi vet alla att ”jag gillar Hammarby” betyder något annat än ”gillar jag Hammarby”. Ordföljden är här den gram170

matiska resurs som används för att uttrycka en betydelseskillnad.

Den är förutsägbar på samma sätt som att ”Hammarby gillar jag” ger ytterligare en betydelseskillnad (”Hammarby” blir temat, det som satsen handlar om och utgår från, istället för ”jag”).

Man kan nog säga att vissa av kategorierna i boken kan användas på ett mer grammatikliknande sätt än andra. Modalitet tillhör de mer tveksamma kategorierna när det gäller grammatisk status. Visst är det möjligt att representera förhållningssätt till sanningshalten i en visuell representation, men frågan är om det är förutsägbart och giltigt tvärs över genrer och kontexter. Det råder ingen tvekan om att ett färgfotografi av en människa oftast liknar den naturalistiska verkligheten mer än en tecknad skiss av samma människa. Men är detta alltid en modalitetsmarkering med den ungefärliga betydelsen ’denna skiss gör anspråk på att avbilda den naturalistiska verkligheten i mindre grad än vad som hade varit fallet för ett färgfoto’? Och i så fall, har tecknade serier alltid låg grad av naturalistisk modalitet? Knappast. Snarare är det så att det för serier finns speciella sätt att ange förhållningssätt till det som representeras, och redan då är man över i mer genre- eller kontextspecifika betingelser för modalitet och på väg bort från det som kan kallas visuell grammatik.

Men vissa av de kategorier som diskuterats i boken är mer grammatiska och har systematisk och relativt förutsägbar funktion och betydelse. Exempelvis kan mänskliga blickar som resurs för att uttrycka bildhandlingar och reaktionsprocesser sägas ha mer av en grammatisk funktion. Blickars riktning påverkar på ett relativt systematiskt sätt bilders betydelsepotential.

Dessutom behöver kanske inte frågan om visuell grammatik eller ej alltid kunna besvaras med ett ja eller nej. Man kan mycket väl tänka sig att det kan finnas grupperingar inom en kultur där visuella resurser används på ett betydligt mer grammatiskt sätt än inom andra grupper. Exempelvis kan man tänka sig att vana spelare av dataspel både tolkar och producerar spelförlopp med grammatisk förutsägbarhet i användningen av visuella resurser. Vissa yrkesgrupper, som arkitekter, har med all sannolikhet också systematiserat 171

det visuella meningsskapandet på ett mycket tydligt sätt, exempelvis i produktion och tolkning av arkitektritningar.

Men oavsett om man tillskriver bokens kategorier och begrepp grammatisk status eller låter dem vara just delar av en analysmodell för multimodala texter, kan det till sist konstateras att vi lever i en multimodal tid, och att framtiden med all sannolikhet är än mer multimodal. Det måste då också våra analysmetoder vara. Arbetet med att analysera och försöka förstå har bara börjat.

172

Anders Björkvall är docent i nordiska språk och forskare i svenska vid Stockholms universitet. Han har varit en pionjär i att föra analysmetoderna till Sverige och att starta utbildningar kring dem.

Den visuella texten multimodal analys i praktiken

I dag kräver tolkning och skapande av text inte bara att man kan läsa och skriva. Textens layout är viktig för dess betydelse, och många texter innehåller bilder. Inom skolan framhåller man behovet av utvidgade textbegrepp, och i andra sammanhang säger man att texter är multimodala, det vill säga att de skapar betydelse genom mer än skrift. Den visuella texten introducerar en sådan utvidgad syn på texter.

I boken presenteras en modell för analys av visuella texter, alltså texter som innefattar både skrift och bilder. Eftersom modellen bygger på australisk och brittisk forskning, är ett av bokens syften att presentera svenska termer och begrepp. Boken innehåller många exempel från reklam och andra massmedietexter, läroböcker, tecknade serier och olika vardagstexter.

Boken riktar sig till språk- och kommunikationsstudenter vid högskolor och universitet och till lärarstuderande. Också forskare, studenter som skriver uppsats och lärare har nytta av bokens svenska terminologi för multimodal analys av text.

Den visuella texten: multimodal analys i praktiken ges numera ut av Studentlitteratur AB. Denna andra upplaga innehåller dock inga förändringar av innehållet jämfört med den första upplagan.

Art.nr 40070

studentlitteratur.se