1. Introduksjon

1

Introduksjon

Målet med denne boken er å inspirere samfunnsvitere og humanister til å se fruktbarheten av å betrakte kommunikasjon – verbal, visuell og materiell – som en viktig del av sosiale prosesser. Boken henvender seg derfor til studenter, forskere eller andre med interesse for hvordan kommunikasjon og samfunn er forbundet. I boken presenteres en multimodal tilnærming til kommunikasjon – altså kommunikasjon ved hjelp av flere meningsbærende ressurser, for eksempel tekst, bilder og tredimensjonale objekter. Mange lingvister og sosialsemiotikere behandler både det verbale og det visuelle som «tekst». I denne boken bruker jeg imidlertid tekst synonymt med verbalspråk eller skrift. Jeg legger meg således nærmere «hverdagsspråket», og hovedvekten vil ligge på visuell kommunikasjon – ikke på analyse av tekster, selv om tekster også er visuelle, i betydning typografi og ulike stilistiske utforminger.

Tilnærmingen er sosialsemiotisk – altså studiet av hva folk gjør med semiotiske ressurser, hva de bruker de til – snarere enn å analysere språk som system i strukturell forstand. Samtidig skal vi se at det finnes visse regelmessigheter i visuell kommunikasjon også, uten at det betyr at vi kan finne de samme regelmessighetene som i språklig grammatikk. En kan spørre hva som skiller en sosialsemiotisk tilnærming til visuell kommunikasjon fra andre måter å analysere visuelt materiale på. I en kunsthistorisk analyse av malerier kan man analysere perspektiv, konvensjoner, scener og lys (Hansen & Machin,

2013b, s. 154), eller utvikle begrepspar for å omtale hva som skiller et renessansemaleri fra et barokkmaleri (Wölfflin, 1989).1 Dette kan også en sosialsemiotiker gjøre, selv om han trolig vil bruke litt andre begreper, fordi sosialsemiotikken har vokst ut av lingvistikken, ikke historiefaget. En kunsthistoriker vil som oftest ha et mer avgrenset studiefelt enn en sosialsemiotiker. Der en kunsthistoriker studerer bilder, skulpturer, arkitektur og byplaner, vil en sosialsemiotiker interessere seg for alle ressurser som kan brukes til meningsdannelse (eller -påkallelse), og studieobjektet kan være alt fra emballasje, skrifttyper, barneleker, biler, arkitektur eller musikk – i prinsippet en uendelig mengde artefakter.2

Semiotiske ressurser kan omtales som de handlingene og artefaktene vi bruker til å kommunisere, enten de er produsert fysiologisk, ved hjelp av stemmebånd eller mimikk, eller ved hjelp av ulike teknologier, som blyanter, datamaskiner, tekstiler eller annet (van Leeuwen, 2005, s. 3). Når vi skal formidle et budskap, påkalle en idé eller skape en emosjonell respons, må vi gjøre et utvalg fra den store mengden av semiotiske ressurser vi kan velge fra (Ledin & Machin, 2020, s. 15). Siden en visualisering ikke kan representere samtlige aspekter ved en kommunikativ begivenhet, er det viktig å spørre hva som har blitt utelatt, det være seg folk, handlinger eller kontekster. Tilsvarende kan vi spørre hva som er fremhevet i en fremstilling, fordi det kan si noe om hvor viktig avsenderen mener det (eller den) som er fremhevet er. Visualiseringer kan også legge til eller underordne spesifikke elementer på bekostning av andre (Machin, 2013, s. 352–353; Skrede et al., 2017, s. 392). En sosialsemiotisk tilnærming er følgelig opptatt av hva folk bruker semiotiske ressurser til. Målet

1 For en diskusjon av Wölfflin, se for eksempel Barnard, 2001, s. 173–177; Summers, 2009. 2 Dette er selvfølgelig en forenklet fremstilling, da en designhistoriker også vil være opptatt av artefakter i bred forstand. Flere kunsthistorikere arbeider også primært med teoretiske spørsmål, for eksempel epistemologiske problemstillinger med utgangspunkt i estetisk filosofi.

er å utforske de typer av ideer, holdninger, verdier, stemninger og identiteter som kan uttrykkes med disse ressursene. Derfor snakker sosialsemiotikere ofte om det underliggende meningspotensialet som er tilgjengelig for den som kommuniserer (Abousnnouga & Machin, 2011, s. 178). En anekdote kan illustrere dette:

Jeg bevitnet en gang en museumskurator som viste frem to bilder av båter for en grunnskoleklasse, etterfulgt av spørsmålet: Hvilken av båtene tror dere er raskest? Flere av elevene rakte hånden i været og ivret etter å svare at det utvilsomt var båten til venstre. Da svarte kunstformidleren: «Det er feil! Dette er bilder av båter, ikke ekte båter, og de har derfor ikke egenskapen bevegelse».

Sosialsemiotikere er også opptatt av at bilder er representasjoner, men de ville i tillegg ha stilt nye spørsmål: Hva er det som gjør at du synes båten til venstre ser raskere ut enn den til høyre? Er det fargen, formen, bølgene, lyssettingen, materialet, detaljeringen, bakgrunnen eller noe annet? Den som anvender en sosialsemiotisk tilnærming er ikke bare interessert i de individuelle elementene i en visuell fremstilling, men i det underliggende repertoaret av muligheter den kommuniserende kan velge fra. En multimodal analytiker vil ikke bare være opptatt av hvordan folk bruker individuelle tegn for å kommunisere, som at fargen rødt kan bety fare, han vil også være interessert i det underliggende meningspotensialet i fargen rødt (Abousnnouga & Machin, 2013, s. 30). Han vil typisk spørre hvordan en tenkt endring av størrelse, materialer, farger eller komposisjon hadde påvirket (og dreiet) meningspotensialet i ulike retninger. I stedet for å umiddelbart beslutte om en fremstilling av en båt er rask eller ikke, vil det å anvende en sosialsemiotisk tilnærming implisere å dvele ved hva det er som gjør at vi ofte leser semiotiske uttrykk på spesifikke måter (Ledin & Machin, 2020, s. 116; Løvland & Repstad, 2014, s. 354). At en visuell fremstilling av en båt påkaller en fornemmelse av at den er raskere enn andre båter handler om valg av semiotiske ressurser, samt hvilket meningspotensial disse valgene kan vekke.