Mixed Reality för samman den verkliga världen med den virtuella och skapar en miljö där existerande, fysiska föremål och digitala objekt samverkar med användaren i realtid. Vissa menar att detta är framtidens underhållning. Vi ger en kort beskrivning av vad mixed reality innebär, vad som är på gång och vilka tekniska utmaningar vi står inför.

Av Anders Weiland, vice VD på Attentec och ansvarig för Attentecs expertområde Streaming Media

Du kan även ladda ner artikeln som pdf här.

Mixed Reality – vad är det?

I korthet kan man säga att Mixed Reality – eller Merged Reality som man också ibland utläser förkortningen MR – innebär att den verkliga och virtuella världen sammanförs. Objekt, varelser och föremål från de båda världarna kan samverka och påverka varandra. Du spelar datorspel och kan ta din kaffekopp och bjuda Mario på en slurk!

Hur skiljer sig MR från VR och AR?

Virtual Reality (VR) är ett samlingsbegrepp för alla dessa artificiella världar som dyker upp omkring oss. Vanligast är att helt enkelt sätta på sig ett VR-headset och vips har man en 360-graders vy av en låtsasvärld omkring sig. Hittills har VR främst används i datorspel. 

Augmented Reality (AR) innebär att virtuella objekt adderas till den verkliga världen. Det mest kända exemplet är Pokemon Go där varelser som Pikachu överlagras och därmed kliver in i din värld.

AR används dock i ett flertal andra sammanhang; du kan direkt på skärmen i din smarta telefon få information om en plats eller en byggnad när du som turist riktar telefonen mot objektet, eller genom överlagring av text och grafik få instruktioner om hur du ska utföra en reparation eller använda en maskin.

Det som MR tillför till VR och AR, och som är den viktiga skillnaden, är att det digitala innehåll som MR överlagrar är kopplat till och samverkar med den verkliga världen i realtid. Detta gör MR-upplevelsen mer dynamisk och naturlig än “vanlig” VR och skapar en bättre integration mellan den verkliga och den virtuella världen än AR kan erbjuda.

Vad är på gång?

Många stora aktörer driver eller har drivit olika projekt för att skapa MR. Ett exempel är Microsoft som 2017 presenterade Windows Holographic Shell: Här visas virtuella datorskärmar, objekt och människor i den verkliga världen. Man använder ett headset som tack vare en holografisk lins gör att du kan se till exempel din e-post och din kalender på en holografisk skärm som du kan interagera med. Under namnet Windows Mixed Reality har Microsoft lanserat detta som en del av operativsystemet Windows 10.

Ett annat exempel är Intel, som i slutet på 2016 presenterade sitt Project Alloy där man gör tvärtom; man för in verkliga objekt i den virtuella världen. Även här använder man trådlösa headset och 3D-kameror. Specifikt handlar det här om att göra det möjligt för personer att använda sina händer i den virtuella världen. Tidigare var man tvungen att hålla i kontroller för att detektera handrörelserna men nu används kamerorna på headsetet för att registrera fingrarnas rörelser och låter dig på detta sätt mera direkt påverka omgivningen. Tyvärr lade Intel  i slutet av 2017 ner just detta projekt då flera tilltänkta samarbetspartners som Asus, Acer, Dell och Lenovo valde att satsa på Windows Mixed Reality i stället. Intel fortsätter dock sin satsning på AR och VR trots nedläggningen av Project Alloy.

Det går att få en viss MR-upplevelse även på en konventionell, platt skärm men den stora potentialen nås med headsets där man kan uppleva riktig interaktivitet. Kombinationen headset och MR gör också att du kan se dina vänner i den virtuella världen och kan behålla den virtuella världens begränsningar i den verkliga världen omkring dig. Mindre “gå rakt in i väggen” än i en traditionell virtuell verklighet, alltså!

Är tekniken redo?

Mixed Reality innebär givetvis många nya tekniska utmaningar. Stora krav på headsetens kameror och andra sensorer vad gäller prestanda, fysisk storlek och energieffektivitet finns.

Särskilt live-sändningar med Mixed Reality-funktioner i realtid ställer extremt höga krav på nätverken på grund av den stora mängd information som måste utbytas. Vi är vana vid mycket hög kvalitet när vi tittar på TV utan interaktivitet och dagens nät klarar inte att leverera samma kvalitet när MR i realtid tillkommer. Därför krävs stora investeringar i utveckling av 5G och liknande infrastruktur, vilket nu också sker hos bland andra Ericsson och ZTE. Parallellt måste både hårdvara och mjukvara för analys i realtid av stora mängder data från olika källor vidareutvecklas.

Ett sätt att förbättra den upplevda kvaliteten i interaktiva MR-miljöer där man har en begränsande bandbredd är att använda så kallade “digi-doubles”, det vill säga fotorealistiska 3D-modeller av människor och andra objekt. Genom animeringar kan upplevelsen i den virtuella eller mixade verkligheten bli mycket realistisk. En annan metod är det som Microsoft kallar Holoportation, vilket innebär att man med hjälp av ett flertal kameror skapar 3D-modeller i hög kvalitet av människor.  Modellerna komprimeras och kan skickas vart som helst i världen i realtid. Med rätt MR-utrustning ska detta ge användarna en känsla av att interaktionen med de modellerade människorna sker i samma fysiska miljö. Detta är tekniker som i framtiden kan ge möjlighet att strömma Mixed Reality-innehåll till hemmen.

När det gäller utsändningar som innefattar interaktiva MR-upplevelser så är vi dock fortfarande på forsknings- och utvecklingsstadiet. Både infrastruktur, processorer och algoritmer behöver utvecklas för att möta de kräsna användarnas krav. Spel- och nöjestillämpningar driver utvecklingen framåt. Har vi sett det förut?