José Amendola Netto Andrade har vært knyttet til ph.d.-programmet ved Teknologi og realfag, spesialisering i ingeniørvitenskap, fagområde mekatronikk.
- Prøveforelesning starter kl. 10.15
- Disputas starter kl. 12.15
Tema for prøveforelesningen "Large scale multimodal language models for autonomous navigation"
Disputasleder: Kjell Gunnar Robbersmyr
Evalueringskomite:
- Første opponent: Professor Raghavendra Ramachandra, NTNU
- Andre opponent: Professor Vitomir Struc, University of Ljubljana, Slovenia
- Leder for bedømmelseskomite: Professor Svitlana Rogovchenko, UiA
Veiledere i doktorgradsarbeidet:
- Hovedveileder: Førsteamanuensis Ajit Jha, UiA
- Biveileder: Professor Linga Reddy Cenkeramaddi, UiA
Sammendrag
Denne avhandlingen tar for seg de kritiske utfordringene innen autonom navigasjon ved å utvikle modulære, fleksible og skalerbare dyp læringsarkitekturer tilpasset kantberegningsmiljøer. Autonome systemer, som ubemannede bakkekjøretøy (UGVer) og ubemannede luftfartøy (UAVer), krever robuste og adaptive navigasjonsevner for å operere effektivt i dynamiske og komplekse miljøer. Ved å utnytte hele den vertikale stabelen av sensorer, persepsjon, planlegging og kontroll, kan disse autonome plattformene brukes individuelt til å utføre komplekse oppgaver. I tillegg kan disse plattformene kobles sammen for å danne sofistikerte multi-agent systemer.
De siste årene har dyp læring blitt en populær løsning for å håndtere kompleksiteten i autonome navigasjonsoppgaver, ved å tilby datadrevne metoder for å løse persepsjon, beslutningstaking og kontroll. Imidlertid er dagens dyp læringsmodeller ofte avhengige av monolittiske arkitekturer som mangler tilpasningsevne til å håndtere forskjellige sensormodaliteter, skalere effektivt med ulike inputtyper, eller fungere effektivt på distribuert kantmaskinvare. Denne begrensningen hindrer utviklingen av fleksible, skalerbare autonome systemer som er i stand til sanntidsytelse på tvers av distribuerte maskinvareplattformer ved kanten. For å overvinne disse begrensningene introduserer denne forskningen flere nye bidrag.
Først foreslås en lav-latens, kantdistribuert surround-visning multimodal sensorfusjonsmetode, som muliggjør effektiv flergjenstandslokalisering ved å asynkront integrere data fra LiDAR- og kamerasensorer. Denne tilnærmingen forbedrer systemets modularitet, slik at det kan fungere i ressursbegrensede miljøer, samtidig som det opprettholder høy nøyaktighet og skalerbarhet.
Når det gjelder kryssmodalitet, utvikles et lettvektsrammeverk der både RGB og termiske bilder kartlegges til et delt latent rom gjennom et rent konvolusjonsnettverk; klassifisering skjer deretter gjennom enkel klynging og nærmeste naboassosiasjon. Videre brukes samme nettverksstruktur som en dual-modus encoderarkitektur som støtter flere nedstrømsoppgaver, som bildetranslasjon, fargelegging og rekonstruksjon, noe som gjør det svært tilpasningsdyktig til ulike sensorer med forskjellige modaliteter.
Til slutt utvides avhandlingen til samarbeidet mellom heterogene agenter — i dette tilfellet UAVer og UGVer — for å oppnå den spesifikke oppgaven med dronelanding på en bevegelig UGV. En forsterkningslæringskontrollstrategi brukes i samspill med posisjons-PID-kontroll ved bruk av en enkel tilstandsrepresentasjon og tidsbaserte kommandoer. Videre utvides arbeidet til en enhetlig politikk for forskjellige UGV-trajektorier, noe som letter robust og effektiv koordinering mellom UAV og UGV i ulike scenarier. I motsetning til visjonsbaserte tilnærminger, tillater den foreslåtte tilnærmingen effektiv drift til tross for kommunikasjonsbegrensninger.
Resultatene av denne forskningen bidrar til fremgangen innen heterogene autonome navigasjonssystemer ved å tilby fleksible, modulære og skalerbare løsninger som forbedrer ytelsen og påliteligheten til autonome plattformer i virkelige scenarier. Algoritmene, metodene og arkitekturene utviklet i denne avhandlingen har potensial til å bli bredt anvendt i ulike autonome systemer, og baner vei for mer tilpasningsdyktige og robuste autonome teknologier.
Slik følger du disputasen digitalt
Disputasen er åpen for alle. Meld deg på via denne Zoom-lenken.
Du logger deg på tidligst 10 minutter før oppgitt tid. Etter dette kan du når som helst forlate og komme inn igjen i disputasen.
Opponent ex auditorio:
Tidsfrist for å stille spørsmål er senest i løpet av pausen mellom opponentene. Spørsmål ex auditorio fra publikum kan sendes til Kristine Reinfjord.
Kontaktperson
- E-post
- kristine.reinfjord@uia.no
- Telefon
- +47 37 23 30 14