Du sitter sammen med de beste vennene og venninnene dine for å se verdensmesterskapet i å få nettmaskene til å blafre når de blir truffet av en ball.
De danske landslagsspillerne er i gang med en avgjørende gruppekamp med masser av albuer og harde taklinger, men det er ingen kamp hos dere om de beste plassene i sofaen foran tv-en.
Dere samles nemlig i stedet rundt spisebordet, som dere beveger dere rundt hele tiden for å få det beste perspektivet gjennom hele kampen. Hver av dere har for eksempel fri sikt til å beundre at 3D-miniatyrer av for eksempel Christian Eriksen foretar tette driblinger.
En slik fremvisning av allerede gjennomførte fotballkamper er teoretisk sett mulig allerede under denne VM-sluttrunden i Russland. Det viser en studie utført av forskeren Konstantinos Rematas ved GRAIL-laboratoriet ved University of Washington, sammen med en rekke kolleger.
- Fotballanalyse: Under trøya til Neymar sitter en kompresjonsvest med sensorer, gyroskop og magnetometer
I teorien
Teoretisk; fordi det krever en hel del hvis man ønsker å se Danmarks kamper på den 3D-rendrede måten. Blant annet:
At dere alle løper omkring med augmented reality-hodesett på hodet.
At dere tilfeldigvis har en haug med timer til rådighet, slik at dere kan programmere, rette visualiseringsfeil og via maskinlæring trene opp en datamaskin til å forvandle monokulær video til en 3D-rekonstruksjon hvor spillerne blir rendret interaktivt gjennom en brille med 3D-funksjon eller annet utstyr til augmented reality.
At dere er villige til å gi avkall på live-kamper. Slike 3D-miniatyr-kamper kan nemlig for tiden først sees etter at de er spilt, siden det må rendres enorme mengder data.
Konstantinos Rematas og kollegene hans har trent en maskinlæringsalgoritme i å konvertere 2D Youtube-klipp til 3D-rekonstruksjoner. En jobb som opprinnelig tok utgangspunkt i videospillet FIFA.
– Jeg var nødt til å spille FIFA 2017 i veldig lang tid – jeg aner ikke hvor lenge – men i hvert fall flere dager for å ha nok data til å kunne trene det nevrale nettverket, forteller Konstantinos Rematas til New Scientist.
Krever en ganske normal pc
Årsaken til bruken av FIFA 2017 er at spillet regner ut 3D-posisjonen til hver enkelt spiller, noe som de amerikanske forskerne brukte til å samle inn info om hvordan spillernes nøyaktige posisjon blir rendret i 2D-format på skjermen.
Etter å ha trent systemet sitt i denne framvisningen, tok forskergruppen videomateriale fra kamper vist på YouTube fra lag som FC Barcelona og Real Madrid og rendret kampene deres i 3D.
Med et augmented reality-hodesett som Microsofts Hololens blir brukeren av hodesettet dermed i stand til å se en 3D-versjon av kampene som opprinnelig ble vist i 2D på YouTube.
Disse 3D-kampene kan altså for eksempel spilles av på en plan flate foran brukeren av hodesettet. Vedkommende vil oppleve små hologram-aktige utgaver av Christiano Ronaldo, Messi og kompani, mens de løper rundt på bordet og gjør jobben sin som profesjonelle fotballspillere.
Legg deretter til at 3D-vidoene faktisk verken krever en spesielt kraftig eller spesiell PC, hvis man selv vil prøve å produsere hologrammer av hvordan favorittlagene oppfører seg på gressmatta.
«Alle videoene ble produsert på en enkel bærbar pc med en i7-prosessor, 32 GB ram og et GTX 1080 grafikkort», skriver Konstantinos Rematas i en rapport om studien.
- Les også: Nå øker bruken av VR og AR som industrielt verktøy (TU Ekstra)
Dybdeforhold gir problemer
En av utfordringene ved å rendre fotballkamper er de mange ulike situasjonene det må tas høyde for.
Konstantinos Rematas og kollegene hans konsentrerte seg derfor aller først om å oppnå så nøyaktige estimater som mulig av de enkelte bildene fra kameraene i de opprinnelig filmede kampene var lagt ut på Youtube.
Og siden fotballbanene har noenlunde spesifikke dimensjoner og strukturer, kunne forskerne estimere kameraparameterne ved å sidestille de ekte videoopptakene med de fra en syntetisk fotballbane-mal.
Her var de målbare utgangspunktene linjene på fotballbanen, samt sidelinjene og straffesparkfeltet. Disse utgangspunktene for banens kanter ble tildelt verdier ut fra variabelen E.
Kameraets parametere – w – samt fokus og rotasjon ble satt ut fra hvorvidt parameterne passet inn i de syntetiske strekene på gressbanen fra de estimerte sidelinjene og linjene i straffesparkfeltet.
Dermed kunne forskerne konstruere et kart med distanser D, som for hver enkelt piksel i det opprinnelige bilde bevarte den digitaliserte firkantede avstanden i forhold til det nærmeste punktet i E. For selve prosjekteringen T(p;w) som regner ut plasseringen av de synlige 3D-linjeverdiene p i forhold til selve 3D-bildet, ble dette uttrykt gjennom beregningen:
Ronaldo forsvinner
Til tross for de generelle gevinstene ved bruk av maskinlæring, er 3D-visualiseringen likevel fremdeles full av begrensninger.
For eksempel er det vanskelig å rendre fotballen ordentlig, og hvis du beveger deg rundt for å få et annet perspektiv på et flott mål eller en konfrontasjon mellom spillere, kan du raskt risikere plutselig bare å se halvparten av spillerne.
For eksempel forsvinner Ronaldos torso midt i en flott detalj hvor han passerer en motstander. En feil som blant annet henger sammen med at når spillerne er tett på hverandre, blir algoritmens utregning for å sanse dybdeforhold forvirret. Dette skjer også hvis spillerne hopper. Slikt grafiske glipper må med den nåværende teknologien og algoritmen utbedres digitalt.
Prosessor-giganten Intel er forøvrig også opptatt av å vise sportskamper i 3D. Selskapet satte allerede for ett år siden opp 30 360-graders kameraer på hjemmebanen til FC Barcelona.
Intel fokuserer for tiden mest på å gjengi høydepunkter fra kampene i 3D, og det er ifølge teknologianalytiker Brian Blau fra Gartner sannsynligvis også den rette veien å gå.
Han tviler på at det er et marked der folk gidder å sitte i hele 90 minutter med headsets på hodet. Men på stadion eller senere vil vi nok gjerne ta på oss et headset på for å se en kontroversiell situasjon eller flott detalj utspille seg i reprise.
– Du kan jo se yndlingsøyeblikkene fra noen år tilbake, og så være midt inne i begivenheten igjen, sier Brian Blau til New Scientist.
Artikkelen ble først publisert på Ing.dk.
- Les også: Slik bygger Aker Solutions komplekse produkter med hologrammer (TU Ekstra)
