Nye sensorer teleporterer legen hjem for å gjøre kompleks behandling lett tilgjengelig

I USA og Kina har Microsoft lansert en ny industriell versjon av sin spillorienterte kamerasensor Kinect som de har sluttet å produsere. Azure Kinect, som den nye vesentlig mindre sensoren heter, har et 12 megapiksler fargekamera og et 5 MP, såkalt TOF-kamera. Det siste betyr time of flight, det vil si hvor lang tid lyset har brukt frem og tilbake til de ulike punktene kameraet ser. I tillegg har sensoren treaksede akselerometre og gyroskoper, så den vet hvordan den beveger seg.

Sopra Steria har ikke hatt tid å vente på noen norsk lansering. De har skaffet seg tre Azure Kinect-sensorer og jobber med nye medisinske anvendelser. Men det er bare begynnelsen, tror de. Navnet Azure har kommet til fordi disse sensorene kan jobbe tett med Microsofts nettsky. Det gir nye muligheter til å prosessere innholdet og drive maskinlæring.

– Det er mange mulige anvendelser for slike sensorer, som regel i kombinasjon med AR-briller. De kan visualisere det kameraene ser tredimensjonalt på et annet sted, eller fra opptak som gjøres. For å dekke et rom trenger vi tre sensorer som til sammen kan sy sammen et bilde som kan betraktes i tre dimensjoner fra mange vinkler, sier 3D-spesialist i Sopra Steria, Scott Leaman.

Kinect var en stor suksess da den kom for ni år siden. Den hadde de samme sensorene som dagens, men på langt nær den samme oppløsningen. Etter hvert kom Microsoft til at de industrielle anvendelsene med slike sensorer var mye mer interessante enn de som i starten fenget gamerne.

Trenger betraktningsteknologi

De som skal ha full glede av den tredimensjonale informasjonen Azure Kinect-sensorene produserer og syr sammen i nettskyen, trenger en måte å betrakte den på. Det finnes flere måter å gjøre det på, fra rimelige VR-briller med doble kameraer til Microsofts nye utgave av HoloLens som kommer snart. Her ser man optisk ut i rommet, og så projiseres objekter inn i synsfeltet til hvert øye. Den nye utgaven av HoloLens får et bredere synsfelt enn den første, men prisen er fremdeles heftige 3500 dollar.

– HoloCare er organisert som et konsortium bestående av Oslo universitetssykehus, Akershus universitetssykehus, Sunnaas sykehus, Østfold sykehus og Sopra Steria, sier Marit Gjetvik. Hun jobber i Sopra Steria og er programleder for HoloCare-prosjektet.

Theraport

Prosjektet Theraport ved Oslo universitetssykehus utvikler AR/MR-teknologi til å behandle barn med psykiske problemer.

Ikke alle disse i gruppen mellom 4 og 14 år klarer å møte til tradisjonell behandling. Mange vil ikke forlate boligen. Samtidig er svært mange av dem opptatt av dataspill. I stedet for å bli tatt med til et sted hvor de kan bli utrygge, jobber prosjektet med å bruke teknologi for å behandle dem hjemme. De kan bli fjernbehandlet av en terapeut som opptrer i rommet i form av et hologram eller en avatar, men med terapeutens stemme.

– Vi er i gang med en prototyp der barnet vi behandler ser en 3D-avatar av terapeuten via HoloLens-briller. Nå jobber vi for å få god stemmeoverføring, og alt som trengs for at dette skal blir så realistisk som mulig. Vi ønsker at dette skal bli fleksibelt slik at jeg kan opptre, enten som meg selv som i en slags tredimensjonal videokonferanse, eller bli erstattet av en mer abstrakt, men vennlig figur. Det sier prosjektleder av Theraport og psykologspesialist ved Barne- og ungdomspsykiatrisk avdeling, Oslo universitetssykehus, Jan Ivar Ernø.

Målet for prosjektet er at terapeuten blir filmet og overført i form av et sanntids hologram. De ønsker å ta i bruk Azure Kinect sensorer for å fange tilstrekkelig informasjon. Hvor mange sensorer som trengs, er noe prosjektet vil jobbe med.

– Vi ønsker at dette skal blir så troverdig som mulig med full lipsynk selv om terapeuten representeres som en avatar, sier han.

Bygger ned hindre

Ernø tror denne formen for AR-teknologi kan få et stort anvendelsesområde, men utstyret og spesielt brillene som trengs for å vise hologrammer foreløpig, er relativt kostbare.

– Det er ikke bare grupper av barn med psykiske vansker som vil ha glede av dette. Vi kan bruke det samme systemet til å trene foreldre, pårørende og ansatte. Dette dreier seg om en viktig pasientgruppe som er fordelt over hele landet, men behandlingen er ikke alltid like tilgjengelig. Teknologien kan brukes til å fjerne geografiske begrensninger og forhåpentligvis gjøre behandling mer tilgjengelig og tryggere for en del pasienter, sier Ernø.

Han tror resultatene fra prosjektet kan overføres til andre områder, både i og utenfor helsevesenet.

Mange helseanvendelser

– Vi tror de nye sensorene kan få et veldig bredt anvendelsesområd. For eksempel kan tre slike kameraer ta opp operasjoner i 3D på en måte som gjør det mulig å følge operasjonen, eller se den etterpå, og samtidig være i stand til å endre posisjon og betrakte den fra flere vinkler. Dette er noe vi kaller volumetriske opptak, sier Leaman.

– Det vil også være mulig å bruke sensorer og programvare til holde styr på alle instrumentene som benyttes i en operasjonssal. Det kan høres selvsagt ut at personellet har stålkontroll på slikt, men det er mang en pressehistorie om instrumenter, gasbind og annet som er glemt igjen inne i operasjonssår, sier Gjetvik.

Tester betaling

Det er ikke alle anvendelser som trenger briller for å se det kamerasensorene ser. TINE tester ut hvordan de kan bruke et kamera til å betale. I kassa kan kameraet se på den som skal betale og autentisere vedkommende. Så kan programvaren belaste kontoen.

– I en slik situasjon vil det ikke på sikt være godt nok med et vanlig kamera. Man må ha et kamera som også kan gi dybdeinformasjon av ansiktet for å unngå svindel, sier Leaman.

Han tror at denne typen tredimensjonal teknologi kommer til å få stor industriell anvendelse. Spesielt når det går opp for utviklere hvilke muligheter som ligger i teknologien og når prisene faller. Mange ser kanskje en sammenheng mellom hvordan 3D feilet i TV-er og på kino, men det er en helt annen og statisk teknologi.

– Du kan ikke gå rundt i kinoen og endre betraktningsvinkel. 3D-bildet blir det samme uansett. Denne teknologien er som i virkeligheten. Går du rundt, endrer du innsynsvinkelen, sier Leaman.

Han tror utbredelsen av videokonferanse kan være en pekepinn om fremtiden. Det var veldig dyrt og vanskelig. Nå er det billig, til dels gratis og veldig enkelt å bruke.