– Det betyr at vi må gi roboten syn, evnen til å orientere seg i tre dimensjoner. Den må også kunne ta på plantene og ikke minst lære «faget» gjennom en KI-modell, sier forsker Marianne Bakken i Sintef.
Alle som har forsøkt å dyrke tomater, vet for eksempel at det må plukkes utløpere – små «greiner» som stjeler energi fra planten. Målet er å få planten til å bruke energien sin på størst mulig avling, ikke grønne skudd.
Dette krever kunnskap på et høyere nivå enn om roboten for eksempel bare skal plukke ut jordbær som er modne – noe du kan lese mer om her.
Med andre ord må forskerne få roboten til å forstå sammensetningen av plantene. Den må også forstå hvilke deler som kan flyttes eller bøyes når planten skal stelles, og hvordan den er plassert i forhold til omverdenen.
Mangler informasjon
– Når det gjelder kunstig intelligens har vi jo sett at utviklingen er i full fart. Hva er det som er vanskelig med å gi roboten en KI-hjerne?
– Mye av kunnskapen til dagens KI kommer fra bilder som ligger på nettet. Et bymiljø finnes det mange millioner bilder av hos både Google og Meta. Det gjør at KI vet hvordan en by ser ut, svarer Bakken.
– Men når det gjelder innsida av et drivhus eller en åker med planter, finnes det ikke bildemateriale med nok variasjon.
Spesielt er det mye utfordringer med sol, skygge og ulike årstider. Derfor kombinerer forskerne bilder og video med data fra 3D-sensorer. Det gjør det lettere for en robot å orientere seg riktig.
Det trengs altså svært store mengder for å trene opp roboten. Dessuten trenger forskerne en fasit å trene mot.
Med gartneren på laget
Det er her forskernes kolleger i Ås og Hamar kommer inn i bildet. De sitter med gartnerkunnskapen og erfaringen med å utvikle landbruksroboter. I dette tilfellet er det gartneren som er fasit.
Kvinnen med det grønne fingrene heter Vivian Rognerud. Hun er utstyrt med såkalte eyetrackingbriller. De registrerer hvordan hun ser på omgivelsene og planten mens hun jobber i drivhuset hos Graminor på Hamar.
– Her er det mer riktig å kalle det gaze-tracking, altså blikk-overvåking, forklarer Bakken.
Utstyret gjør det mulig å se hvor gartneren har blikket rettet mot både planten, omgivelsene og hendene. Det gir oss en mengde data fra videoen som tas opp.
Forskerne har gått rundt med disse brillene sammen med flere gartnere både i Ås, Hamar og på Jæren. Et problem de har sett, er at gartnerne rett og slett er så rutinerte at de ligger noen steg foran oss andre, selv om vi også vet hva som skal gjøres.
– De vet nesten intuitivt hvor på planten de skal «angripe». Så vi har instruert dem til å ta det veldig rolig. Faktisk er nybegynnere de beste læremestrene for vår robot, sier forskeren.
Trenger ferie
– Men hva synes gartneren om å bli erstattet av en maskin som kan erstatte dem som fagarbeidere?
– Nå er jo gartnerne vi jobber med forskere selv, så de er muligens litt inhabile. Men det er en kjent sak at gartnere aldri kan ta sommerferie. Det er jo midt i høysesongen. Så vi har ikke fått negative signaler på det.
Målet for forskerteamet er derfor å lage et system som gjør det mer lønnsomt og effektivt for gartneren i den perioden av sesongen som krever ekstrem innsats og mange er overarbeidet. Da kan de jobbe mer normalt og kanskje få ferie samtidig som venner og familie.
– Har dere fått det til?
– Ja. Vi har fått til et viktig steg på veien: Vi har klart å trene opp en algoritme som forstår sammenhengen mellom ulike deler av planten og ulike handlinger som kan utføres. Vi ser at resultatene blir mye bedre med gaze-tracking enn uten.
Når forskerne kombinerer denne algoritmen basert på videodata med gode data fra 3D-sensoren, har roboten det den trenger for å orientere seg i forhold til planten, slik at den for eksempel kan klippe vekk utløpere.
Det betyr at teamet nå har en gartnerhjerne i KI-versjon. Neste steg blir å sette den inn i selve roboten.
Artikkelen ble først publisert på Gemini.no
3000 meter riksvei blir ferdig åtte måneder før planen
