9789144122281 by Smakprov Media AB

VIRTUAL REALITY EN INTRODUKTION MATTIAS WALLERGÅRD JOAKIM ERIKSSON GÜNTER ALCE

Kopieringsförbud Detta verk är skyddat av upphovsrättslagen. Kopiering, utöver lärares och studenters begränsade rätt att kopiera för undervisningsändamål enligt Bonus Copyright Access kopieringsavtal, är förbjuden. För information om avtalet hänvisas till utbildningsanordnarens huvudman eller Bonus Copyright Access. Vid utgivning av detta verk som e-bok, är e-boken kopieringsskyddad. Den som bryter mot lagen om upphovsrätt kan åtalas av allmän åklagare och dömas till böter eller fängelse i upp till två år samt bli skyldig att erlägga ersättning till upphovsman eller rättsinnehavare. Studentlitteratur har både digital och traditionell bokutgivning. Studentlitteraturs trycksaker är miljöanpassade, både när det gäller papper och tryckprocess.

Art.nr 39756 ISBN 978-91-44-12228-1 Upplaga 1:1 © Författarna och Studentlitteratur 2022 studentlitteratur.se Studentlitteratur AB, Lund Sakgranskning: Karljohan Lundin Palmerius Formgivning och ombrytning inlaga: Helena Jansson Formgivning Formgivning omslag: Jens Martin Omslagsbild: Shutterstock.com Illustrationer om inget annat anges: Jonny Hallberg och författarna Printed by BALTO print, Lithuania 2022

INNEHÅLL

FÖRORD

1 Introduktion  1.1 Vad är Virtual Reality?  1.2 Närbesläktade begrepp  1.3 VR och dess principiella funktion  1.4 Hur kan VR användas?  1.5 Bokens inriktning och upplägg

11  12  14  15  17  21

2 Virtuella världar genom tiderna  2.1 Målarkonstens illusioner  2.2 Optiken gör entré  2.3 Rörliga bilder  2.4 Framtidens film och flygsimulatorer  2.5 Virtual Reality-pionjärerna   2.6 Första och andra Virtual Reality-vågen

25  25  28  28  32  34  38

3 Virtual Reality-system   3.1 Immersion  3.2 En eller flera användare  3.3 Inkludering av omvärld  3.4 Ett VR-systems funktion  3.4.1 Registrering  3.4.2 Simulering  3.4.3 Återkoppling  3.5 Arrangemang av hårdvara  3.6 Arbetsområde  3.7 3D-grafik  3.7.1 Koordinater och geometri  3.7.2 Homogena koordinater  3.7.3 3D-metaforer

43  45  46  46  47  48  48  49  50  53  55  55  57  59

Innehåll

3.7.4 3.7.5

Applikationer för 3D och VR  API:er för VR

60  63

4 Perception och illusion

5 Visuell modalitet och återkoppling  5.1 Ögats uppbyggnad och funktion  5.1.1 Näthinna och synnerv  5.1.2 Ljusadaption  5.1.3 Ögats refraktion  5.1.4 Synfält och synskärpa  5.2 Okulomotoriska systemet  5.3 Hantering av visuell information  5.3.1 Identifikation och handling  5.4 Uppfattning av rörelse  5.4.1 Vection  5.4.2 Föremål i rörelse   5.5 Djupseende  5.5.1 Binokulära ledtrådar   5.5.2 Monokulära ledtrådar   5.5.3 Bedömning av form och storlek  5.6 Visuell återkoppling  5.6.1 Grundläggande egenskaper för displayer  5.6.2 Pixelbaserade displayer  5.6.3 Teknik för förmedling av bilder   5.6.4 Flera betraktare  5.6.5 Huvudburen display  5.6.6 Stereoskopi  5.6.7 Visuell återkoppling och immersion  5.6.8 Grafisk rendering

73  73  75  79  80  82  84  87  88  90  92  92  94  94  95  101  103  104  107  109  112  113  117  122  127

6 Auditiv modalitet och återkoppling  6.1 Ljud, öra och hörsel  6.1.1 Ytterörat  6.1.2 Mellanörat  6.1.3 Innerörat  6.2 Psykoakustik  6.2.1 Selektion

129  129  130  131  132  135  135

Innehåll

6.3

6.2.2 Identifikation  6.2.3 Lokalisering  Auditiv återkoppling  6.3.1 Auditiva displayer   6.3.2 Auditiv rendering

135  137  142  143  148

7 Övriga modaliteter, intermodalitet samt övrig återkoppling  7.1 Känsel  7.1.1 Dermal modalitet  7.1.2 Proprioceptiv modalitet  7.1.3 Vestibulär modalitet  7.1.4 Visceral modalitet  7.2 Lukt  7.3 Smak  7.4 Intermodalitet  7.4.1 Vestibulo-okulära reflexen  7.4.2 Multisensorisk och sensomotorisk integration  7.4.3 Cross-modal matching och sensory capture  7.4.4 Självproducerad information  7.5 Haptisk, olfaktorisk och gustatorisk återkoppling  7.5.1 Haptisk återkoppling   7.5.2 Olfaktorisk och gustatorisk återkoppling  7.6 A spekter av intermodalitet för återkoppling

153  153  154  155  155  157  158  160  161  162  164  165  166  168  168  172  175

8 Interaktion  8.1 3D-användargränssnitt  8.2 Grundläggande begrepp  8.3 Förflyttning  8.3.1 Gångmetaforer  8.3.2 Styrmetaforer  8.4 Selektion och manipulation  8.4.1 Greppmetaforer  8.5 Alternativa 3D-interaktionstekniker  8.6 Utformning av 3D-interaktionstekniker

179  179  180  182  183  189  192  194  197  199

Innehåll

9 Tracking  9.1 Vad är tracking?  9.2 Metoder för tracking  9.2.1 Mekanisk tracking  9.2.2 Akustisk tracking  9.2.3 Elektromagnetisk tracking  9.2.4 Optisk tracking  9.2.5 Radar och lidar  9.3 Sensor fusion  9.4 Inverterad kinematik  9.5 Att välja trackingmetod

201  201  202  204  209  210  211  215  217  217  218

10 Presence  10.1 En teoretisk modell av presence  10.2 Immersion i förhållande till presence  10.3 Att mäta presence  10.4 Hur relevant är presence?

221  222  226  229  232

11 Virtual Reality – vart är vi på väg?  11.1 Styrkor  11.2 Svagheter  11.3 Risker och möjligheter

235  236  238  238

REFERENSER

245

255

FÖRORD

Virtual Reality (VR) är ett begrepp vars attraktionskraft har skiftat väldigt genom åren. När media i början av 1990-talet började ägna VR alltmer uppmärksamhet så var det inledningen till en enorm hype och förhoppningarna på denna framtidsteknik visste snart inga gränser. Dessvärre visade sig glappet mellan dessa förväntningar och vad tekniken faktiskt kunde leverera vara enormt. VR-tekniken började tappa i status och inom loppet av några år hade teknikjättarna till stor del lagt ner sina VR-satsningar. Mot slutet av 1990-talet var den gängse bilden av VR klumpiga och fula hjälmar med bedrövlig prestanda som man blev åksjuk av! Det är i denna tidsanda som Lunds tekniska högskola (LTH) bestämmer sig för att anlägga ett Virtual Reality-laboratorium. Om detta var ett senfärdigt svar på VR-hypen eller en ovanligt förutseende framtidssatsning kan vi låta vara osagt. Som studenter och doktorander på LTH var vi hur som helst eld och lågor över investeringen trots att få delade vår entusiasm. Forskningen och utvecklingen fortsatte oförtrutet i det tysta och när Facebook 2014 köpte det snabbväxande VR-bolaget Oculus anade både vi och många med oss att nya tider stundade: VR var tillbaka! Det har varit en omtumlande resa att på nära håll följa VR-teknikens uppgång, fall och pånyttfödelse. Det har dessutom varit extremt lärorikt. Vi hoppas nu att en del av våra visioner, besvikelser och förhoppningar kring vad vi tror att VR-tekniken kan vara återspeglar sig i denna bok. Vi vill rikta ett tack till våra kollegor Hillevi Hemphälä och Johannes Lindén för värdefull input till kapitlet ”Visuell modalitet och återkoppling”. Vi står även i tacksamhetsskuld till Karljohan. Lundin Palmerius på Linköpings universitet för hans granskning av det första utkastet av boken. Slutligen vill vi rikta ett tack till alla studenter som läst kursen ”Virtual Reality i teori och praktik” genom åren. Utan er återkoppling hade denna bok inte varit möjlig!

INTRODUK TION

Föreställ dig en lugn, vacker plats och tänk på hur det skulle kännas att befinna dig där i fullständig vila utan något som stör. Kanske är det en verklig plats du tänker på. Kanske är det en fantasivärld. I vilket fall som helst så har du precis gjort något som vi människor är väldigt duktiga på, nämligen att skapa inre bilder som inte direkt kommer från vår perception. Denna förmåga tillåter oss att simulera och skapa föreställningar om sådant som ligger bortom det vi kan uppfatta med våra sinnen. Med teknikens hjälp kan vi gå ett steg längre. Vi kan överföra information till en person genom att framställa ”falsk” perception – illusioner om man så vill – där de stimulus som registreras av personens olika sinnen har ett artificiellt ursprung, dvs. inte kommer från den verkliga omgivningen. Ibland behövs det inte särskilt sofistikerad teknik för att framställa till exempel en illusion av rörelse: allt som krävs är ett skissblock där man ritar exempelvis ett streck på varje sida, och där strecket stegvis ändrar sin riktning. När man sedan snabbt bläddrar fram sidorna kan man få intrycket av att strecket roterar. Ett roterande streck är förvisso en sparsmakad upplevelse, men märk väl: allt vi ser på tv och film bygger på vår förmåga att uppleva en illusion av rörelse utifrån en sekvens av stillbilder. Rörliga bilder är en sak, men hur kan vi framställa fullständiga illusioner som lurar alla sinnen samtidigt? Hur nära ”den totala illusionen” kan vi komma och vilka tekniska hinder behöver vi övervinna? Under lång tid kunde tekniken inte leva upp till visionerna från science fiction-genren, i filmer som till exempel The Lawnmover Man och The Matrix (se kapitel 2, Virtuella världar genom tiderna). I dag har vårt tekniska kunnande dock nått en kritisk nivå som gör att vi på allvar kan skapa virtuella upplevelser med hjälp av artificiella stimulus. Vi kallar denna teknik Virtual Reality.

1 Introduk tion

MÄNNISKANS MÅNGA VERKLIGHETER

En av de mest grundläggande skillnaderna mellan homo sapiens och andra djurarter är vår förmåga att skapa gemensamma föreställningar kring sådant som inte existerar i den fysiska världen. Dessa föreställningar – eller verkligheter – möjliggjordes av den kognitiva revolution som homo sapiens genomgick för ca 70 000 år sedan (Harari, 2014). I dag är dessa ”verkligheter” den grund på vilken vår civilisation vilar. Vad vore till exempel vårt ekonomiska system utan tron på ”marknadens osynliga hand”? På samma sätt finns mänskliga rättigheter endast i föreställningsvärlden, men är likväl fundamentet för alla demokratiska statsskick. Få vuxna tror på tomten, men beter sig runt juletid som om han faktiskt finns. Människans förmåga att bete sig ”som om” beskrevs redan ca 500 år f.Kr. av den kinesiske filosofen Konfucius (Konfucius & Lodén, 2019). Han noterade att ritualer – hur långsökta de än kan tyckas – i själva verket spelar en central roll i mänskliga förehavanden. Det viktiga är till exempel inte huruvida förfädernas andar faktiskt existerar eller ej. Poängen är att vi genom att bete oss som om de vore närvarande vid ritualer och högtider, kan lösa upp känslomässiga knutar.

1 . 1 VAD ÄR VIRTUAL REALITY? Begreppet Virtual Reality (VR) saknar en allmänt erkänd defini tion, och rent semantiskt skulle man kunna tolka det som en självmotsägelse. Det anses ha varit den tyske filosofen Immanuel Kant (1724–1804) som först använde begreppet, men då enbart som en filosofisk term. Det var först omkring 1980 som VR-pionjären Jaron Lanier lanserade och populariserade termen och gav den dess tekniska innebörd. Vad utgörs då denna tekniska innebörd av? LaValle (2019, s. 1) definierar VR på följande sätt: Inducing targeted behavior in an organism by using artificial sensory stimulation, while the organism has little or no awareness of the interference.

LaValle preciserar sina fyra nyckelbegrepp på följande vis:

1 Introduk tion

1. Targeted behavior. Organismen uppnår det avsedda

beteendet, till exempel att gå, flyga eller manipulera omgivningen. 2. Organism. Det kan vara en människa eller en bananfluga (forskare inom VR har studerat bådadera). 3. Artificial sensory stimulation. Ett eller flera sinnesintryck hos organismen ersätts helt eller delvis av artificiell stimulering. 4. Awareness. Under artificiell stimulering kan organismen vara omedveten om hur den påverkas, och därmed ”luras” att känna sig närvarande i en virtuell värld. Tidigare användes även andra benämningar, bland vilka Virtual Environments (VE), Simulated Environments och Virtuality kan nämnas. Många forskare föredrog tidigare VE-termen som defini eras på följande sätt av Kalawsky (1993, s. 4): Virtual Environments are synthetic sensory experiences that communicate physical and abstract components to a human operator or participant. The synthetic sensory experience is generated by a computer system …

SKENBAR VERKLIGHET?

Det är frestande att tolka ordet virtuell i betydelsen skenbar eller fejkad. Den korrekta innebörden av virtuell är dock ”att ha samma effekt som något utan att faktiskt vara detta något”. Verklig betyder ”att ha konkret existens” och virtuell verklighet får sålunda följande betydelse: Att ha effekten av att existera konkret, utan att faktiskt ha konkret existens. Ett litet tankeexperiment kan underlätta förståelsen av detta resonemang: Det är rimligt att prata om virtuella natur upplevelser eftersom sådana kan efterlikna några av de mest basala egenskaperna hos en verklig naturupplevelse, dvs. den visuella upplevelsen av till exempel en skog eller olika naturljud. Däremot känns det mer tveksamt att prata om en virtuell måltid eftersom det med dagens teknik fortfarande är mycket svårt att simulera det vi förknippar mest med en måltid, nämligen smak, doft och textur.

1 Introduk tion

Underförstått i dessa två definitioner är att någon form av dator behövs som central komponent i ett VR-system. Ett annat gemensamt drag är att de fokuserar på stimulering av människans sinnen med hjälp av syntetiska stimulus. Vad de däremot inte lyfter fram är en aktiv användare som interagerar med VR-tekniken i ett människa– tekniksystem. I takt med att datortekniken utvecklades under 1980-talet diskuterades hur systemen skulle utformas för att vi på bästa sätt skulle kunna interagera med datorer. I dag kallas detta område bland annat interaktionsdesign, människa–maskininteraktion eller människa–datorinteraktion (MDI). Baserat på en sådan infallsvinkel skulle en kortfattad, övergripande definition av VR kunna formuleras så här: Virtual Reality är en teknik som strävar efter att trovärdigt efterlikna och ersätta verkliga sensoriska stimulus gärna för flera sinnen samtidigt, samt att interaktion ska kunna utföras så naturtroget som möjligt.

1 . 2 NÄRBESLÄKTADE BEGREPP I teorin är alltså ambitionen med VR förhållandevis entydig: man önskar användarens fulla uppmärksamhet samtidigt som stimulus från omvärlden undertrycks. Användaren ska fås att reagera på den virtuella världen och interagera med den, trots att den förmedlas av artificiella stimulus och kan sakna fysisk manifestation. Men ibland kanske man vill blanda virtuella och verkliga intryck. Den teknik som då används har mycket gemensamt med VR, men då syftet är ett annat brukar den benämnas Augmented Reality (AR). Enligt Azuma (1997) kan AR beskrivas som en teknik med tre grundläggande egenskaper: 1. den kombinerar det verkliga med det virtuella 2. den är interaktiv i realtid 3. den är registrerad i 3D.

Azumas tredje punkt innebär att ett virtuellt objekt ska upplevas som om det vore förankrat i en viss position i den verkliga världen. I vissa praktiska tillämpningar kan gränsen mellan VR och AR ibland vara flytande. I den akademiska världen används därför begreppet Mixed Reality för att understryka att VR och AR befin-

1 Introduk tion

Mixed Reality (MR)

Verklig miljö

Augmented Reality (AR)

Reality-Virtuality (RV) Continuum

Augmented Virtuality (AV)

Virtuell miljö

FIGUR 1.1 The Reality–Virtuality continuum enligt Milgram m.fl. (1994).

ner sig på en glidande skala, The Reality–Virtuality continuum, där verkligheten ingår i olika stor utsträckning (Milgram m.fl., 1994, figur 1.1). Under senare år har dock viss förvirring kring begreppet Mixed Reality uppstått, inte minst till följd av Microsofts Mixed Reality-plattform som i princip utgörs av traditionell VR-teknik. Ännu ett bidrag till begreppsförbistringen är att green screen-filmer i vilka användaren syns interagera med en virtuell miljö (som sig själv, inte som avatar) också ofta etiketteras som just Mixed Reality. Inte heller vad gäller betydelsen av den populära förkortningen XR råder full konsensus. Det inses lätt att R:et står för Reality men meningarna går isär när det gäller vad X:et står för. En tolkning som förespråkas inom industrin är att X:et kan stå för V eller A, dvs. att XR är ett samlingsbegrepp för VR och AR. I den akademiska världen har man dock börjat använda XR i betydelsen eXtended Reality. Denna term kan betraktas som delvis synonym med MR, men den adresserar även tillämpningar där en användare erhåller en utvidgad perception av omvärlden, exempelvis via kameror monterade på robotar eller drönare (tidigare benämndes sådan teknik telepresence). Den senare betydelsen av XR är således mer omfattande än den förra. Vårt fokus i denna bok är Virtual Reality, men begreppen AR, MR och XR är ändå viktiga att känna till för att kunna navigera i den snabbt växande floran av teknik för framställning av virtuella upplevelser.

1.3 V R OCH DESS PRINCIPIELLA FUNKTION Definitionerna av VR ovan är allmänt formulerade och preciserar inte hur ett VR-system ska se ut eller fungera. Detta medför att man kan – och bör – ha ett öppet sinne för hur ett VR-system kan vara uppbyggt. Komponenter och mjukvara kan ha mycket varierande egenskaper. Hårdvaran kan bestå av allt från datorspelsprodukter för några hundralappar, till enormt sofistikerade simulatorer för hundratals miljoner kronor. © F Ö R F AT TA R N A O C H S T U D E N T L I T T E R AT U R

1 Introduk tion

I stället för att fokusera på vilka komponenter som ingår, kan man utgå från en mera övergripande, principiell betraktelse. Inom MDI-området är det vanligt att betrakta det aktiva brukandet av en produkt som ett ömsesidigt utbyte av information mellan användaren och produkten. Utbytet, eller interaktionen, är ett förlopp där en viss handling från användaren registreras och behandlas av produkten, varefter en lämplig respons förmedlas tillbaka. Den del av interaktionen som förmedlar information tillbaka till användaren brukar kallas återkoppling (feedback). Med utgångspunkt från ett generellt MDI-perspektiv kan ett VR-system beskrivas som en sluten interaktionsloop mellan en användare och en dator (figur 1.2). Datorn kör en simulering som är baserad på en intern 3D-representation av en skapad värld. I denna värld är det skaparen som har bestämt vilka regler som ska gälla (till exempel vad som händer om två objekt kolliderar med varandra eller hur datorkontrollerade karaktärer ska bete sig). Användaren deltar i denna simulering och kan påverka den med hjälp av olika handlingar, beteenden och tillstånd. Det är dock inte alltid som användaren är, eller behöver vara, medveten om hur dessa påverkar simuleringen. Systemet ska ta hand om registreringen av dessa handlingar, beteenden och tillstånd för att sedan på lämpligt sätt uppdatera simuleringen. Systemet måste fortlöpande ge användaren återkoppling baserat på de aktuella tillstånden i den simulerade världen. Denna återkoppling förmedlas tillbaka till användaren i form av olika typer av intryck, till exempel visuella eller auditiva stimulus. Vidare är det extremt viktigt att denna återkoppling kan ges inom ett visst tids-

Registrering

FIGUR 1.2 Ett VR-system betraktat som en sluten interaktionsloop mellan användare och datorsystem. Metronomen symboliserar synkroniseringen mellan registrering och återkoppling i VR-systemet.

Simulering

Återkoppling

1 Introduk tion

intervall. Redan några tiotals millisekunders fördröjning mellan en handling (till exempel att vrida på en ratt) och visuell återkoppling (där man kan se att man svänger) försämrar känslan av trovärdighet, samtidigt som risken för obehag (till exempel illamående) ökar. Att minimera denna fördröjning är en av de högst prioriterade uppgifterna vid utformningen av ett VR-system. I VR-världen talar man om motion-to-photon latency för att beskriva denna så viktiga aspekt. Detta begrepp avser tiden från det att en rörelse hos användaren registreras till dess att VR-systemet har nya visuella stimulus att återkoppla till användaren.

1 . 4 HUR KAN VR ANVÄNDAS? Alla tekniska framsteg till trots är, enligt vår erfarenhet, den absolut vanligaste frågan från medier och allmänhet: Vad ska man egentligen ha VR till? Frågan kan tyckas märklig, givet att gemene man i dag har mer datorkraft i byxfickan än som var tillgänglig i Apollo-projektet, något som ger oss enorma möjligheter att styra och anpassa vår tillvaro in i minsta detalj. Säg ett vardagsproblem som inte går att lösa med en app! Man ska dock komma ihåg att all omstörtande teknik (disruptive technology) till en början möts av skepticism. I ett smått legendariskt tv-inslag från 1984 avfärdade journalisten Herbert Söderström 1 hemdatorn som en irrelevant fluga. På liknande sätt hade de stora mobiltelefontillverkarna väldigt svårt att se finessen med en helt pekskärmsbaserad mobiltelefon när Apple lanserade iPhone 2007. Man kan alltså med gott fog anta att vi, i takt med att VR-tekniken smyger sig in i våra vardagsrum, successivt kommer att förstå dess potential och uppleva den som alltmer oumbärlig. Träning och lärande är historiskt sett den vanligaste tillämpningen av VR, en utveckling som till stor del drivits av behov inom militär utbildning (se kapitel 2, Virtuella världar genom tiderna). Det har varit förhållandevis lätt att visa på nyttan av att militär personal tränar på svåra, farliga och dyra aktiviteter med hjälp av VR (Maxwell, Griffith & Finkelstein, 2014), medan det inom andra sektorer har varit desto svårare att införa VR som en del av träning och lärande. I samband med den andra stora VR-vågen, som inleddes 2012 (se kapitel 2, Virtuella världar genom tiderna), har dock utvecklingen 1 För mer information, se https://www.youtube.com/watch?v=5i8ZN1i7xgM

Mattias Wallergård, docent vid Lunds tekniska högskola med människocentrerad design av Virtual Reality-teknik som främsta forskningsintresse. Joakim Eriksson, tekn.dr, föreståndare för Virtual Reality-laboratoriet på Lunds tekniska högskola. Günter Alce, tekn.dr, forskare på Lunds tekniska högskola med fokus på industriell tillämpning av Augmented Reality-teknik.

VIRTUAL REALITY En introduktion Virtual reality – En introduktion ger en bred introduktion till Virtual Reality (VR) för såväl ingenjörer som spelutvecklare, designers och studerande vid konstnärliga utbildningar. Boken fokuserar på samspelet mellan människa och teknik, med utgångspunkt från teknikens styrkor och svagheter och den mänskliga kognitionens dito. Bokens kapitel går från övergripande beskrivningar av vad VR kan vara och människans förmåga att tolka verkligheten för att sedan fördjupas inom begrepp, tekniker, metoder, hårdvara och mjukvara kopplade till ämnesområdet. Ett centralt tema i boken är frågan om varför och hur datorgenererade stimulus kan ge upphov till en upplevelse av nästan fullständig närvaro i en virtuell verklighet.

Art.nr 39756

studentlitteratur.se