n REPORTAGE: 5G-FESTIVALEN

Text: Michael Dee Foto: Digital Catapult & Mativision

En modell för framtiden?

Pandemin har slagit hårt mot festivalerna och dess besökare. Hur länge vi kommer att dras med viruset, och alla dess mutationer, törs ingen säga idag. Men det går faktiskt att anordna festivaler, även om de kanske ser lite annorlunda ut. Det tycker i alla fall folket bakom The 5G Festival som kommer att hållas i England nästa år, på tre fysiska platser i landet, och virtuellt över hela världen. Monitor talade med Kostas Katsaros, om festivalen och The 5G Testbed, och om videosystemet VLIPP med Anthony Karydis VLIPP.

2011 streamade Mativision finalen i American Idol, 360 med en miljon tittare. Det var den första livestreamingen någonsin med multipla kameror och det skedde via webben.

Längtan efter festivaler och livemusik är stor, både bland artister och publik. En del arrangörer valde dock att inte kasta in handduken helt i år. Någon sorts festival kunde man skaka fram, där artister fick framträda för en mindre publik, placerade på säkert avstånd, livestreamat såklart. Och det har inte alltid varit en smärtfri övergång. Till exempel drabbades Glastonbury-festivalen av rejäla tekniska problem, då en del av de som köpt virtuella biljetter i stället fick se ett svart bildfält utan ljud. Man ville också ha mer som åskådare. Det räckte inte med att livestreama ett vanligt framträdande.

Och det är kanske därför som The 5G

Kostas Katsaros, teknisk chef för 5G-teknologi på Digital Catapult.

Det kommer att finnas musiker som framträder på varje plats och som spelar med musiker från de andra två ställena. Via datorer, plattor och mobiler kan publiken följa allt detta, se musikerna i ett digitalt utrymme där de spelar tillsammans och välja mellan olika bildvinklar.

KOSTAS KATSAROS

Festival fått sådan uppmärksamhet. Det rör sig om en hybridfestival, byggd kring 5G-teknologi och som kommer att hållas i mars 2022. Musiker på tre olika platser i England som på virtuell väg spelar med varandra, framför en mindre publik, samtidigt som detta streamas i 360 till hela världen.

Projektet leds av Digital Catapult i London och bland deras partners finns Mativision, Warner Music Group, Sonosphere, Audiotonix och LiveFrom. Kostas Katsaros är teknisk chef för 5G-teknologi på Digital Catapult. – Digital Catapult är en del av ett större nätverk, Catapult, som grundades av brittiska regeringen för åtta år sedan. Syftet var att hjälpa till med landets ekonomiska tillväxt genom att anpassa olika typer av nya typer av teknologi för att befrämja detta. I dagsläget finns åtta olika Catapult Centres, inriktade på bland annat energi och satellitteknologi. Vår egen del, Digital Catapult, är inriktad på digitalisering och med åren har vår uppgift blivit mer specifik så att vi nu fokuserar på tillverkning och kreativitet. Dels för att dessa är starka tillväxtsektorer, dels för att många inom dessa har det en aning kämpigt att bli riktigt effektiva vad gäller användandet av ny teknologi. Vi fokuserar på framtida nätverk, 5G, Internet of Things, immersive-teknologi, artificiell intelligens och maskininlärning och etiken kring dessa. Vi arbetar också inom blockchain, det vill säga inom alla tänkbara områden förutom det rent ekonomiska i form av valutor. Vi vill alltså hjälpa företag som kan tänkas ha användning för dessa saker, från stora jättar till små startups, och skapa kontakter mellan dem.

The 5G Festival kommer att hållas i mars nästa år men har redan fått stor uppmärksamhet. Hur uppstod idén?

– Den föddes långt innan viruset dök upp. För tre år sedan organiserade vi en demonstration som vi döpte till Orchestrating The Orchestra (Orkestrera Orkestern). Det var ett samarbete mellan oss, universitetet i Bristol och King’s College i London. Vi fokuserade då främst på teknologin kring ljud och hur vi kunde använda nätverksservice via olika domäner på ett effektivt sätt. Vi hade amatörmusiker på vårt eget högkvarter, i Bristol och på King’s College, som virtuellt spelade ihop. Demonstrationen gick bra men den låg inte på sådan nivå att den kunde visas för publik. Därefter förde vi en diskussion med Mativision som har stor erfarenhet av streaming, immersiveteknologi, VR och AR, och de föreslog en riktig festival med professionella musiker som placeras i ett väldesignat utrymme så att det blir mer spännande även visuellt. En virtuell festival helt enkelt. Parallellt med detta hade vi diskussioner med Brighton Dome som anordnar Brighton Festival, en av de största festivalerna i landet. De efterlyste ett sätt att använda ny teknologi för att förbättra ljudupplevelsen i en fysisk konsertsal och att bygga ut festivalen till att omfatta även streaming, immersive-upplevelser och annat. Och därur uppstod idén om en hybridfestival. Vi utför ännu ett test i sommar och så ytterligare ett i höst för att finslipa all teknologi. Under testet i höst kommer vi också att ha publik för att få feedback.

Hjärtat i festivalen, rent tekniskt, är The 5G Testbed som Digital Catapult har utvecklat. Kan du berätta om den?

– Vi har byggt tre, två finns i Brighton och en finns hos oss i London. De är utrustade med kommersiella och open source-stacks. Dessa är kopplade med länkar på 1 Gbps, och den i London är kopplad till The 5G University Test Network (5GUK) genom 5GUK-växeln. Hela infrastrukturen är skyddad av en brandvägg för att uppdateringar och experiment ska kunna utföras på ett säkert sätt. The 5G Testbed erbjuder 4G och 5G-NR radiotillgänglighet inom licensområdet, IoT supoport, då NB-IoT och LTE-M, och lagring.

Ni har nyligen uppdaterat den med Open RAN, utvecklat i samarbete med SONIC Labs?

– Syftet med Open RAN är att uppmuntra och underlätta samarbeten mellan olika aktörer och att testa integration och interoperabilitet av olika produkter och lösningar under utvecklingsstadiet, på en kommersiellt neutral plattform och på så sätt skynda på processen, samt att hitta praktiska områden för dem, naturligtvis.

När festivalen går av stapeln nästa år, vad kommer att hända?

– Folk kan besöka tre fysiska spelplatser under festivalen, en mindre sal på O2 Arena i London, Brighton Dome och så Metropolis Studio, en inspelningsstudio i London. Det kommer att finnas musiker som framträder på varje plats och som spelar med musiker från de andra två ställena. Via datorer, plattor och mobiler kan publiken följa allt detta, se musikerna i ett digitalt utrymme där de spelar tillsammans och välja mellan olika bildvinklar. Det kommer att ske en hel del annat också. Idag har ju en typisk festival mer än bara en scen och många andra aktiviteter. Vi kommer att lägga till en hel del olika immersive-upplevelser med andra artister. Så det blir en interaktiv videostream i

360 grader och kvalitén kommer naturligtvis att variera en del beroende på hur bra användarnas nätverk är.

Är det klart ännu vilka artister som kommer att delta?

– Jag kan inte säga detta i dagsläget eftersom inte alla artister bekräftats ännu men Warner Music Group är självsagt inblandade med sina artister. Vi har själva en hel del krav som ska tillgodoses. Att artisterna spänner över ett brett spektrum, både stora etablerade namn och nya artister, och att valet är inkluderande.

Så som jag förstått det kommer det bli en gratis festival, oavsett om man beger sig till ett av de tre ställena eller tittar via dator, platta eller mobil?

– Det stämmer. Eftersom vår verksamhet bekostas av brittiska regeringen är det inte tillåtet för oss att ta betalt. Däremot kommer det att krävas biljett, som är gratis, detta för att en av de teknologier vi vill testa är blockchain för biljettsystem. Vi har en partner som kommer att ta hand om detta, LiveFrom. Vi kommer att testa systemet rejält genom att erbjuda olika typer av biljetter, beroende på hur mycket man vill se, fysiskt eller virtuellt. Och det går att beställa biljett var man än befinner sig i världen.

Inom berörda branscher har det spåtts att festivalen kan bli en modell för framtiden?

– Ja, och det beror till stor del på pandemin. Många vill besöka festivaler men det finns restriktioner i många länder och de lär vara kvar ett tag. Och även om restriktionerna lättas så vill många inte resa i samma utsträckning som tidigare men ändå ha en spännande festivalupplevelse. Men teknologin kan få andra användningsområden inom musikvärlden. Till exempel att musiker kan repetera med varandra trots att de befinner sig på olika platser. Eller till att testa olika scendekorer till musik.

Det torde också finnas möjligheter att skapa hållbara affärsmodeller. En del arrangörer har lagt ner verksamheten på grund av minskande publik. Kanske för att man fokuserat på så kallad ”smal musik”. Men globalt kan intresset vara stort, att man skulle få tillräckligt med intäkter genom att skapa hybridfestivaler?

– Ja, det är något vi också har diskuterat. Det finns också andra faktorer som kan tänkas spela in. Kostnader för transport av utrustning kan bli avsevärda, likaså hotell. Och kanske är det lättare att övertala stora artister att delta i en hybridfestival om de inte behöver resa, att de kan uppträda i hemstudion till exempel. Men då handlar det om att festivalen som paket känns spännande för publiken. Så där finns utrymme för fantasi och kreativitet.

The 5G Test Bed, kommer ni att utveckla den till en kommersiell produkt?

– Vi har inga sådana planer i dagsläget men tittar på de olika möjligheterna. Däremot så är flera av våra partners redan på gång, Audiotonix har utvecklat en serie 5G-konsoler och Mativision kommer att erbjuda sin plattform för uthyrning.

När jag något senare talar med Anthony Karydis, grundare och chef på Mativision, kommer vi oundvikligen in på fadäsen som var streamingen av Glastonbury-festivalen tidigare i år. – Pandemin har lett till att det utbrutit en sorts guldfeber vad gäller streaming. Företag har växt som svampar ur jorden. Det företag som gavs ansvaret för Glastonbury hade startats blott sex månader tidigare, och la ut det tekniska på ett annat nytt företag som inte hade riktig expertis. Att streama till 50 personer är helt annorlunda mot att streama till flera hundratusen. De nya företagen är i mån-

Anthony Karydis, grundare och chef på Mativision.

Det företag som gavs ansvaret för Glastonbury hade startats blott sex månader tidigare, och la ut det tekniska på ett annat nytt företag som inte hade riktig expertis. ANTHONY KARYDIS

ga fall ovetande om den tekniska kunskap som krävs, framför allt vad gäller nätverk. Det var synd om de som enbart fick uppleva ett svart fält utan ljud och sådant påverkar naturligtvis branschens rykte som helhet.

Mativision däremot tillhör veteranerna i branschen och deras VLIPP 360 Video System har ett grundmurat rykte. Bland deras klienter och projekt ser vi namn som Facebook, Samsung, Ferrari, Google, American Idol, MTV och Stockholm Pride. Jag ber Anthony berätta om företagets historia.

– Mativision grundades officiellt 2012 men företagets rötter går tillbaka till år 2000. Jag undervisade då på universitetet i Aten och inom institutionen började vi arbeta med 360-video och då var det få som gjorde det. Vi fokuserade på att utveckla teknologi och distributionssystem. Jag var också delägare i ett företag som arbetade med avancerade bildsystem och specialeffekter för tv och därefter 360-video. 2008 hade vi ett helt utbyggt system för 360-video, med multipla kameror, som vi utvecklade med ett kanadensiskt företag som hette Point Gray och som numera ingår i ett annat företag, Flea. På den tiden fanns det ingen kommersiellt tillgänglig 360-kamera på marknaden. Vi var tvungna att utveckla allt från scratch, skriva program för stitching, capture-system, synkronisering. Vårt första stora projekt var en tre dagar lång musikfestival där vi filmade med fem kameror och vi hade dessutom utvecklat en spelare som gjorde det möjligt för användaren att växla mellan kamerorna.

När fick ni det första stora internationella breaket?

– Det kom 2010 då vi producerade So You Think You Can Dance i Los Angeles och filmade det. Året efter livestreamade vi finalen i American Idol, i 360-video med en miljon tittare. Det var den första livestreamingen någonsin med multipla kameror och det skedde via webben. För att ge lite historiskt perspektiv, 2011 kunde Youtube inte visa 360-video. Vi streamade MTV:s European Music Awards i 360 VR fyra år i rad, 2015 till 2018, tills MTV beslöt sig för att flytta prisutdelningen till tv. Jag är stolt över att kunna säga att vi aldrig haft ett enda problem med våra streaminguppdrag.

Mativision grundades som sagt officiellt 2012. Var det då ni flyttade till London?

– Det stämmer. Streaming började växa rejält. I den vevan hade Point Gray precis

Mativision har utfört flera projekt där man testat sin VLIPP-teknologi i kombination med 5G, bland annat Smart Tourism 2019 som gick ut på att utforska hur kulturella upplevelser inom turism kunde förbättras och fördjupas med 360.

The Harbour Festival. Musikfestival i Bristol, där streamingen utfördes av Mativision. Anthony Karydis är stolt över att man aldrig haft ett enda problem med alla de streamingar man gjort genom åren.

utvecklat ett multikamera-headset, i huvudsak för användning inom bilindustrin. Andra gav sig in i leken men Point Grays var de enda som höll för broadcasting. Tyvärr gav de sig aldrig in i broadcastingVR utan fokuserade på appliceringar inom industrin och för drönare. Point Gray var viktiga för Mativisions utveckling. Vi köpte ett 30-tal av deras kameror och headsets och programmerade dem med vår egen mjukvara. Det innebar att vi uppnådde mycket bättre bildkvalité än våra konkurrenter. Ett av de första stora projekten med den utrustningen var när vi 360-streamade rockbandet Muse framför 80 000 personer på Wembley.

Er plattform heter VLIPP och den finns i ett antal olika varianter?

– Vi lanserade VLIPP 2016 och är en global VR 360-plattform där både utbildad vårdpersonal och studenter kan få tillgång till verklig immersive utbildning. Genom denna kan specialister inom olika områden visa bland annat komplicerade kirurgiska ingrepp eller nya experimentella metoder på ett tryggt sätt. Användaren kan uppleva detta live eller on-demand och det kan upplevas samtidigt över hela världen. Appen finns tillgänglig på App Store, Google Play och Oculus.

Är VLIPPclass en sorts utvidgning av detta?

– Det är ett system för distribution av eget content, för lokalt bruk inom utbildningssektorn. Som på ett universitet, där tio elever ska ges tillgång till VR-material från det lokala biblioteket och då behövs exakt synkronisering, för att föreläsarna ska ha kontroll över hur leveransen utförs och ha diskussioner med eleverna. Vi kommer att expandera detta i ett projekt som heter 5G Code, för industriell användning, ett projekt som leds av Zeeta Networks i Bristol i England, ett virtuellt klassrum, där en expert utbildar elever på olika platser.

Mativision har redan utfört ett antal projekt med 5G-teknologi, bland annat i Bristol med Bristol Pride Day och The Harbour Festival, där användarna kunde uppleva evenemangen som 360-upplevelser i 4K. Hur ser du på framtiden?

– 5G kommer att få enorma effekter på streamingsektorn. Tänk dig att du kommer kunna sitta hemma och uppleva ditt favoritband spela, välja bildvinklar och samtidigt kunna dela detta med kompisar runt hela världen, utan delay på grund av latens.

Kan du berätta om er del av arbetet med The 5G Festival?

– Vår VLIPP kommer att ta hand om allt content och distribuera det. Musiker på olika platser kommer att stråla ihop i ett VR-utrymme och då kunna se det i headsets så att alla tycks befinna sig i samma rum. Bildmässigt kommer vi att ta bort bakgrunderna på musikerna, till exempel deras hem, och placera dessa “urklipp” som jag kallar dem, i en 3D-miljö designad i dator, exempelvis en klubb, en studio eller en arena. Tittaren kommer ha full kontroll över fokus och vinklar, och vem eller vilka de tittar på.

Så vilka har de största utmaningarna varit?

– Den största har varit att synkronisera musiken, audio, men det är där som våra partners kommer in, Sonosphere. För audio var aldrig vårt område. Våra partners har utvecklat ett halvseparerat audiosystem som ska försäkra att det inte uppstår problem i synkroniseringen. Där vi talar om en nödvändig latens på 10 millisekunder. Det är väldigt svårt att uppnå men under det första testet vi gjorde fann vi en metod, baserad på binauralt ljud. Jag kan tyvärr inte avslöja exakt hur detta går till, mer än att säga att det gör det möjligt att arbeta med en något större latens, på 12 millisekunder. Vi har uppnått perfektion vad gäller ljud och bild så nu ser jag, liksom alla andra som är inblandade i festivalen, fram emot mars nästa år. n

Vi lanserade VLIPP 2016 och är en global VR 360-plattform där både utbildad vårdpersonal och studenter kan få tillgång till verklig immersive utbildning. ANTHONY KARYDIS