Video som viser teknologien i aksjon.

AR - utvidet virkelighet

Her er den kuleste måten å se fotball-VM på

Det er teoretisk mulig å se kamper med VM-fotballspillere som livlige 3D-miniatyrfigurer på stuebordet ditt.

  • AR

Du sitter sammen med de beste vennene og venninnene dine for å se verdensmesterskapet i å få nettmaskene til å blafre når de blir truffet av en ball.

De danske landslagsspillerne er i gang med en avgjørende gruppekamp med masser av albuer og harde taklinger, men det er ingen kamp hos dere om de beste plassene i sofaen foran tv-en.

Dere samles nemlig i stedet rundt spisebordet, som dere beveger dere rundt hele tiden for å få det beste perspektivet gjennom hele kampen. Hver av dere har for eksempel fri sikt til å beundre at 3D-miniatyrer av for eksempel Christian Eriksen foretar tette driblinger.

En slik fremvisning av allerede gjennomførte fotballkamper er teoretisk sett mulig allerede under denne VM-sluttrunden i Russland. Det viser en studie utført av forskeren Konstantinos Rematas ved GRAIL-laboratoriet ved University of Washington, sammen med en rekke kolleger.

I teorien

Teoretisk; fordi det krever en hel del hvis man ønsker å se Danmarks kamper på den 3D-rendrede måten. Blant annet:

At dere alle løper omkring med augmented reality-hodesett på hodet.

At dere tilfeldigvis har en haug med timer til rådighet, slik at dere kan programmere, rette visualiseringsfeil og via maskinlæring trene opp en datamaskin til å forvandle monokulær video til en 3D-rekonstruksjon hvor spillerne blir rendret interaktivt gjennom en brille med 3D-funksjon eller annet utstyr til augmented reality.

At dere er villige til å gi avkall på live-kamper. Slike 3D-miniatyr-kamper kan nemlig for tiden først sees etter at de er spilt, siden det må rendres enorme mengder data.

Konstantinos Rematas og kollegene hans har trent en maskinlæringsalgoritme i å konvertere 2D Youtube-klipp til 3D-rekonstruksjoner. En jobb som opprinnelig tok utgangspunkt i videospillet FIFA.

– Jeg var nødt til å spille FIFA 2017 i veldig lang tid – jeg aner ikke hvor lenge – men i hvert fall flere dager for å ha nok data til å kunne trene det nevrale nettverket, forteller Konstantinos Rematas til New Scientist.

Krever en ganske normal pc

Årsaken til bruken av FIFA 2017 er at spillet regner ut 3D-posisjonen til hver enkelt spiller, noe som de amerikanske forskerne brukte til å samle inn info om hvordan spillernes nøyaktige posisjon blir rendret i 2D-format på skjermen.

Etter å ha trent systemet sitt i denne framvisningen, tok forskergruppen videomateriale fra kamper vist på YouTube fra lag som FC Barcelona og Real Madrid og rendret kampene deres i 3D.

Med et augmented reality-hodesett som Microsofts Hololens blir brukeren av hodesettet dermed i stand til å se en 3D-versjon av kampene som opprinnelig ble vist i 2D på YouTube.

Rendringen kan ikke gjøres live.
Rendringen kan ikke gjøres live. Skjermbilde: Konstantinos Rematas/Youtube

Disse 3D-kampene kan altså for eksempel spilles av på en plan flate foran brukeren av hodesettet. Vedkommende vil oppleve små hologram-aktige utgaver av Christiano Ronaldo, Messi og kompani, mens de løper rundt på bordet og gjør jobben sin som profesjonelle fotballspillere.

Legg deretter til at 3D-vidoene faktisk verken krever en spesielt kraftig eller spesiell PC, hvis man selv vil prøve å produsere hologrammer av hvordan favorittlagene oppfører seg på gressmatta.

«Alle videoene ble produsert på en enkel bærbar pc med en i7-prosessor, 32 GB ram og et GTX 1080 grafikkort», skriver Konstantinos Rematas i en rapport om studien.

Dybdeforhold gir problemer

En av utfordringene ved å rendre fotballkamper er de mange ulike situasjonene det må tas høyde for.

Konstantinos Rematas og kollegene hans konsentrerte seg derfor aller først om å oppnå så nøyaktige estimater som mulig av de enkelte bildene fra kameraene i de opprinnelig filmede kampene var lagt ut på Youtube.

Og siden fotballbanene har noenlunde spesifikke dimensjoner og strukturer, kunne forskerne estimere kameraparameterne ved å sidestille de ekte videoopptakene med de fra en syntetisk fotballbane-mal.

Her var de målbare utgangspunktene linjene på fotballbanen, samt sidelinjene og straffesparkfeltet. Disse utgangspunktene for banens kanter ble tildelt verdier ut fra variabelen E.

Kameraets parametere – w – samt fokus og rotasjon ble satt ut fra hvorvidt parameterne passet inn i de syntetiske strekene på gressbanen fra de estimerte sidelinjene og linjene i straffesparkfeltet.

Dermed kunne forskerne konstruere et kart med distanser D, som for hver enkelt piksel i det opprinnelige bilde bevarte den digitaliserte firkantede avstanden i forhold til det nærmeste punktet i E. For selve prosjekteringen T(p;w) som regner ut plasseringen av de synlige 3D-linjeverdiene p i forhold til selve 3D-bildet, ble dette uttrykt gjennom beregningen:

 

Ronaldo forsvinner

Til tross for de generelle gevinstene ved bruk av maskinlæring, er 3D-visualiseringen likevel fremdeles full av begrensninger.

For eksempel er det vanskelig å rendre fotballen ordentlig, og hvis du beveger deg rundt for å få et annet perspektiv på et flott mål eller en konfrontasjon mellom spillere, kan du raskt risikere plutselig bare å se halvparten av spillerne.

For eksempel forsvinner Ronaldos torso midt i en flott detalj hvor han passerer en motstander. En feil som blant annet henger sammen med at når spillerne er tett på hverandre, blir algoritmens utregning for å sanse dybdeforhold forvirret. Dette skjer også hvis spillerne hopper. Slikt grafiske glipper må med den nåværende teknologien og algoritmen utbedres digitalt.

360-videosystemet i Barcelona.

Prosessor-giganten Intel er forøvrig også opptatt av å vise sportskamper i 3D. Selskapet satte allerede for ett år siden opp 30 360-graders kameraer på hjemmebanen til FC Barcelona.

Intel fokuserer for tiden mest på å gjengi høydepunkter fra kampene i 3D, og det er ifølge teknologianalytiker Brian Blau fra Gartner sannsynligvis også den rette veien å gå.

Han tviler på at det er et marked der folk gidder å sitte i hele 90 minutter med headsets på hodet. Men på stadion eller senere vil vi nok gjerne ta på oss et headset på for å se en kontroversiell situasjon eller flott detalj utspille seg i reprise.

– Du kan jo se yndlingsøyeblikkene fra noen år tilbake, og så være midt inne i begivenheten igjen, sier Brian Blau til New Scientist.

Artikkelen ble først publisert på Ing.dk.

Kommentarer (0)

Kommentarer (0)