Den siste VR-trenden: Fanger virkeligheten med volumetrisk video

Videoer flest er fortsatt flate, men nå kommer filmene der du kan bevege deg inne i handlingen. Volumentrisk video er blant de siste trendene innenfor virtual reality (VR) og augmented reality (AR). Målet er å kunne kombinere fleksibiliteten i datagenererte rom med realismen i en video.

For mens datagenerert VR gir mulighet til å bevege seg rundt i det virtuelle rommet, såkalt «Six Degrees of Freedom» eller 6DOF, er det med normal 360-video bare mulig å snu hodet akkurat der det står (3DOF).

• Veidekke og Statsbygg: Sparer penger med norsk VR-teknologi (TU Ekstra)

Realistisk

Forskjellen i realisme beskrives av mange som betydelig. Ofte kan datagenerert VR oppleves som mer realistisk enn faktiske videoopptak i 360 grader, bare på grunn av forskjellen i bevegelsesfrihet.

Med volumetrisk video kan denne forskjellen utjevnes. En av de mest kjente teknologiene er light fields, som benytter seg av en stor mengde bildesensorer for å kunne beregne hvordan et motiv ser ut fra alle vinkler.

Selskapet Lytro har benyttet teknologien siden 2012, for å kunne lage bilder der skarpheten stilles i etterkant. Det samme selskapet har senere konsentrert seg om volumetrisk video i 360 grader, med systemet Immerge som genererte gigantiske datamengder for hvert sekund med video. I mars 2018 la Lytro ned virksomheten, uten å ha slått igjennom i markedet.

• Behandler soldater med VR: «På det som tidligere var et tannlegekontor er lukta av munnskyllevann erstattet av stanken av krig»

Volumetriske bilder

Ifølge The Verge og Techcrunch skal flere Lytro-ansatte ha gått videre til Google. Uavhengig av dette har Google nylig lansert prosjektet «Welcome to Light Fields», der et GoPro-basert system produserer volumetriske stillbilder som kan sees med de mest avanserte VR-brillene.

TU fikk nylig demonstrert systemet av Google i Los Angeles, både selve kamerasystemet og bildene som produseres.

For resultatet er volumetriske bilder med hittil uhørt realisme. Det er altså ikke bare i 360 grader og i 3D, men den volumentriske teknologien gjør at du også har en viss bevegelsesfrihet inne i bildet. Det er mulig å se rundt hushjørner eller bak stoler.

Det fungerer spesielt bra med statiske motiver, som cockpit i romfergen Discovery eller et stuerom med mange detaljer. Når mennesker vises som stillbilder i dette formatet, oppleves de nesten som voksdukker.

Eksperimentet fra Google er basert på 16 sammenkoblede GoPro-kameraer (Hero 4 Black), som beveger seg sakte både horisontalt og vertikalt i en stor sirkel. Hundrevis av enkeltbilder blir til slutt grunnlaget for å generere et volumetrisk bilde med Googles egen programvare.

Med VR-briller er det mulig å bevege seg inne i bildet , men bare innenfor en liten kvadratmeter i midten. Realismen er imponerende.

• Langt mer realistisk og effektiv: Titusenvis av ansatte skal gjøre brannøvelse med ny norsk metode (TU Ekstra)

Facebook på banen

Facebook forsker også mye på volumentrisk video. Nylig avslørte de nye detaljer om sitt kamerasystem Surround 360, der de samarbeider med kameraprodusenten Red. Ved hjelp av mange bildesensorer av høy kvalitet og innlagt dybdeinformasjon skal det være mulig å lage volumetriske videoer i 360 grader.

8i er et annet selskap som har vist imponerende demonstrasjoner av volumetrisk video, ved bruk av mange kameraer i et avansert studio.

Men det finnes en relativt enkel metode for å vise mennesker som beveger seg i sanntid i VR. Den har det norske selskapet Holocap benyttet seg av.

• VR og AR: – Kan bli veldig mye viktigere i årene som kommer

Putter mennesker inn i VR

Ved hjelp av enkle volumetriske kameraer som Microsoft Kinect er det mulig å filme mennesker med innlagt dybdeinformasjon i videoen. Holocap kobler denne videoen sammen med et virtuelt rom, slik at det oppleves som å være fysisk til stede med personen.

– Bruksområdene for volumetrisk video er egentlig alle opplevelser i AR, VR eller MR (mixed reality) som enten må ha, eller blir bedre av menneskelig tilstedeværelse. Volumetrisk video gir en langt sterkere følelse av å være til stede med ekte personer enn tradisjonell video, enten det er opptak av kjendiser, sjefens årlige tale, eller opptak av barna fra barnas oppvekst - der de bokstavelig talt vokser seg større foran øynene dine, sier Stian Børresen i Holocap til TU.

Han ser også en rekke bruksområder innenfor helsevesen og industri.

– Innen traumebehandling kan HoloCap plassere en lege inne i et virtuelt behandlingsmiljø, eller en arkitekt kan vise deg rundt i en fremtidig bygning. Mulighetene er mange. Vi tror at når volumetrisk video blir tilstrekkelig tilgjengeliggjort, kommer det til å bli benyttet i de fleste VR/AR-opplevelser i en eller annen form, sier Stian Børresen.

• Smarthuslandsbyen klikket: Etter tre år med problemer har Aron endelig fått et «dummere» hus

Testvideo av Holocap: