Kunstig intelligens kan skape sikkerhetsrisiko – vil ha bilens programvare inn i EU-kontrollen

Situasjonen er vel kjent fra både pc-er og smarttelefoner. Et eller annet blir oppdatert, og noe annet slutter å virke, eller virker ikke som det skal.

På telefonen er det mest et irritasjonselement, i bilen kan det få langt mer alvorlige følger. Tesla oppdateres ofte. Volkswagen sender ut OTA-oppdateringer (over the air) hver tredje måned til sine ID-biler, Toyota lanserte i august planer om helt nytt operativsystem for sine biler, inkludert Lexus, kalt Arene, som skal oppdateres jevnlig. Volvo tilbyr OTA, Mercedes også. En rekke bilfabrikanter har innført det delvis og de fleste forbereder slike systemer. I tillegg blir det stadig mer kunstig intelligens, KI, i bilene.

Reell fare og risiko

Det er allerede en rekke eksempler på at oppdateringer har skapt vanskeligheter. Sist nå i sommer da Porsche måtte tilbakekalle 43.000 biler på grunn av programvarefeil som kunne føre til at bilene plutselig stanset. 1368 norske eiere av Porsche Taycan ble rammet. Tesla måtte tilbakekalle 285.000 av Model 3 og Y solgt i Kina fordi passasjeren ved et uhell kunne aktivere autopiloten.

– Risikoen ligger i uønskete vekselvirkninger mellom bilens forskjellige systemer, slike kan oppstå etter oppdateringer, sier Dirk Stenkamp, president i bransjeorganisasjonen TÜV Verein, der også norske DNV er med.

Stenkamp sier en sikkerhetskontroll av apper er mulig, og at TÜV Verein etter dieselskandalen til Volkswagen har begynt å forberede slike kontroller.

– I dag har vi hovedfokus på bremsesystemer og kjørefeltassistanse, kontroller av KI, algoritmer og programvare bør gjøres til en obligatorisk del av Hauptuntersuchung, sier Stenkamp.

Hauptuntersuchun er Tyskernes betegnelse på det vi omtaler som EU-kontroll.

Per Myrseth er ansvarlig for å utvikle metoder for kvalitets- og risikostyring for data og algoritmer i DNV.

– Ja, det er en reell fare for at oppdateringer kan føre til at systemer eller deler av systemer ikke fungerer som de skal, bekrefter Myrseth.

Nødvendig oppvåkning

Han kaller utspillet til Stenkamp og TÜV Verein en høyst nødvendig wake-up call.

– Samfunnet er ikke forberedt, KI-systemer er fortsatt ganske nytt, og det vokser veldig.

Med forbehold om at han ikke kjenner dagens regler sier han at kontroll av KI, algoritmer og programvare i en eller annen form bør komme, men på et høyere nivå enn de ordinære EU-kontrollene som nå foretas av bilverksteder.

– Kunstig intelligens er jo en form for svarte bokser, det er vanskelig å få innsyn i hva som skjer. En mulig kontrollform kan være at et selskap, for eksempel DNV, mottar data fra biler som dokumenterer at oppdateringer har gått bra. I tillegg bør bilen kunne rapportere mulige feil etter å ha kjørt en stund. Da kan vi vurdere dataene og finne feilkilder.

Myrseth viser også til at IEEE, Institute of Electrical and Electronics Engineers, har sikkerhet på alle områder knyttet til programvare i biler som hovedtema i siste medlemsblad. IEEE har 395.000 medlemmer i 160 land, og skal være verdens største ideelle organisasjon innen sitt felt.

Ifølge VDI Nachrichten er utfordringene større enn kun kontroll av oppdateringer. I dag er det ingen kontroll med hvem som har tilgang til bilens programvare, hvem som har tilgang til alle dataene som samles inn, eller hvordan disse blir brukt.

– Det er en sikkerhetsrisiko, og om vi får en kontroll hvem vet at det vi får tilgang til er umanipulerte originaldata, spør Stenkamp.

Norge følger EU-regler

Ved starten av året åpnet TÜV Verein et KI-laboratorium. Dette ser på risikokartlegging og også hvordan kunstig intelligens og algoritmene på en enkel og trygg måte kan kontrolleres. Stenkamp peker på at her er det mer enn teknisk sikkerhet, etiske og juridiske problemstillinger dukker også opp, sier han og peker på et forslag lagt frem av EU tidligere i år.

– De har fokusert KI-systemer med høy risiko, systemer med midlere eller lav risiko forblir helt uregulert, og selv enkelte områder utsatt for høy risiko blir værende uregulert, sier Stenkamp, som hevder at det ikke er noen kontroll etter den første typegodkjenningen.

Sjefingeniør Stein-Helge Mundal i Vegdirektorat skriver i en e-post at det bare er delvis riktig.

– Alle endringer/oppdateringer som er typegodkjenningsrelevant, mange er ikke det, skal meldes typegodkjenningsmyndighet eller testinstitutt. TÜV ønsker naturlig nok at kontrollpunkter på PKK utvides, skriver Mundal.

På spørsmål om Statens vegvesen/Vegdirektoratet har noe syn på behovet for kontroll av KI, algoritmer og oppdateringer svarer Mundal at EU-regelverket blir løpende oppdatert, og at Norge følger disse.

Vi har spurt Datatilsynet, og Atle Årnes, fagdirektør for teknologi skriver i en e-post at spørsmål om kontroll av oppdatering i forbindelse med sikkerhet skal Statens vegvesen eller fabrikanten svare på. Når det gjelder personvern viser Årnes til GDPR, personvernforordningen i EU.