0
Hopp til hovedinnhold

Lærer maskiner å telle på fingrene

Ved hjelp av kunstig intelligens og et varmelesende kamera har to masterstudenter og en besøkende student lært datamaskiner å tolke håndbevegelser. Resultatet er publisert i det prestisjefylte tidsskriftet IEEE Sensors Journal.

Artikkelen er mer enn ett år gammel, og kan inneholde utdatert informasjon.

Foto av hånd fra termisk kamera
Bilder fra det termiske kameraet som viser ulike håndgester for tall.

Å få datamaskiner til å forstå håndbevegelser kan være nyttig i mange sammenhenger. For eksempel kan det hjelpe mennesker med talevansker å kommunisere med digitale assistenter og i samhandling mellom menneske og datamaskin.

En av utfordringene for maskinene har vært å tolke håndbevegelser under varierende lysforhold.

Nå har masterstudentene Daniel S. Breland og Simen B. Skriubakken sammen med utvekslingsstudent Aveen Dayal utviklet en metode som løser dette. De bruker et varmelesende (termisk) kamera og kunstig intelligens.

Prestisjefylt tidsskrift

Foto av Daniel Breland

Masterstudent Daniel Breland.

– Vi startet med å bygge en database med termiske bilder av ulike håndbevegelser. Vi hadde 320 bilder av hvert fingertegn for tallene fra null ti ti, til sammen 3200 bilder. Det er ikke et stort utvalg, men det var nok for å få det til å fungere, sier Breland.

Teknikken har fått navnet Deep Learning based Sign Language Digits Recognition from Thermal Images with Edge Computing System. Studentenes artikkel om funnene er nylig publisert i et av de ledende tidsskriftene for sensorer og signalbehandling, IEEE Sensors Journal.

Dette er et nivå 2-tidsskrift, og dermed et av de mest betydningsfulle på området.

– Det var veldig gøy å få artikkelen vår publisert i et så prestisjefylt tidsskrift. Det var heller ikke mange ting de ønsket å endre på i teksten, sier Breland.

Bærbart system

Systemet de har utviklet har en hendig størrelse. Selve datakraften kom fra en Raspberry Pi, en datamaskin som får plass i håndflaten. Bildene ble tatt av et termisk kamera som tar lavoppløselige bilder på 32x32 piksler.

På tross av de enkle verktøyene har systemet en treffsikkerhet på 99,52 prosent på testdataene.

Godt samarbeid

I arbeidet har studentene jobbet sammen med forskningsgruppen Autonomous and Cyber-physical Systems, ledet av førsteamanuensis Linga Reddy Cenkeramaddi på Institutt for informasjons- og kommunikasjonsteknologi.

– Det er hyggelig å jobbe med så høyt motiverte, oppriktige og talentfulle studenter, sier Cenkeramaddi.

Han sier det er fascinerende å se hvordan termisk bildebehandling fungerer også når det er helt mørkt i rommet.

Breland er også fornøyd etter å ha samarbeidet med forskningsgruppen, som har bidratt både med utstyr og veiledning underveis.

– Det er en bred kunnskap i gruppen, og et godt arbeidsmiljø. Her vil alle hjelpe hverandre, og det hjelper på motivasjonen og fremdriften i prosjekter som dette, sier Breland.

Han er ferdig med mastergraden sin i vår, og starter deretter i en jobb i Nasjonal kommunikasjonsmyndighet hvor han skal jobbe med 5G og tingenes internett (IoT).

– Dessverre skal jeg ikke fortsette med forskningen, men jeg vil fortsette å jobbe med de samme tingene, sier han.