Touseef Sadiq har vært knyttet til ph.d.-programmet i teknologi og realfag, med spesialisering i IKT.
- Prøveforelesning starter kl. 10.15
- Disputas starter kl. 12.15
Tema for prøveforelesningen: "Self-supervised learning for videos: Learning Spatio-Temporal Representations without Labels".
Disputasleder: dekan Anne Cathrine Gjærde.
Evalueringskomite:
- Førsteopponent Professor Michael Kampffmeyer, UiT
- Andreopponent førsteamanuensis Konstantinos Gkiotsalitis, National technical University of Athens, Hellas
- Leder av bedømmelseskomiteen: førsteamanuensis Martin Wulf Gerdes
Veiledere i doktorgradsarbeidet:
- Hovedveileder: Professor Christian Omlin, UiA
Sammendrag
Smarte byer er i økende grad avhengige av heterogene sensormodaliteter, som trafikkvideostrømmer og tekstlige beskrivelser, for å støtte intelligente transportsystemer (ITS) og urban beslutningsstøtte. Gjenfinning av trafikkscener basert på naturlig språk gjør det mulig for operatører å identifisere kjøretøy eller hendelser ved hjelp av menneskelig forståelige forespørsler, men forblir utfordrende på grunn av modalitetenes heterogenitet, domene-spesifikk tvetydighet og begrenset robusthet i både unimodale og svakt justerte multimodale tilnærminger. Denne avhandlingen adresserer utfordringen ved å konstruere et enhetlig multimodalt gjenfinningsrammeverk for urbane trafikkscener som systematisk integrerer representasjonslæring, innebyggingsjustering og strukturert fusjon på beslutningsnivå. Hovedbidraget er å vise at robust gjenfinningsytelse krever koordinert systemdesign på tvers av komponenter, snarere enn isolerte modellforbedringer.
Forskningen utvikles gjennom stadig mer raffinerte gjenfinningsarkitekturer, med et modulart baseline-system som kombinerer konvolusjonsbaserte visuelle trekk, transformerbaserte tekstrepresentasjoner og siamesisk likhetslæring for å etablere et tydelig referansepunkt for videre forbedringer. Kryssmodal justering styrkes deretter gjennom kontrastiv læring i et delt innebyggingsrom, og en multimodal fundamentmodell (LLaVA) tilpasses trafikkdomenet for å forbedre semantisk samspill utover konvensjonelle dual-encoder-arkitekturer. Til slutt analyseres og optimaliseres innebyggingsvalg og strukturert beslutningsnivå-fusjon for å forbedre gjenfinningskvalitet, rangstabilitet, tolkbarhet og beregningsmessig effektivitet. Det foreslåtte rammeverket integrerer multimodal semantisk generering, innebyggingsbasert gjenfinning og eksplisitte konsistensbegrensninger for attributter og bevegelse. Eksperimentell evaluering på CityFlow-NL-benchmarken viser at det komplette systemet oppnår en gjennomsnittlig reciprok rangering (MRR) på opptil 0,80, og leverer ytelse som er konkurransedyktig med sterke tidligere tilnærminger, samtidig som praktisk deployerbarhet ivaretas. Samlet viser avhandlingen at gjenfinning av urbane trafikkscener i stor grad er et systemdesignproblem som krever prinsipiell integrasjon av multimodale representasjoner, bevisst valg av innebygginger og strukturert fusjon som balanserer nøyaktighet, stabilitet og beregningskostnad, og som resulterer i et deployerbart og tolkbart rammeverk for ITS og bredere smarte urbane applikasjoner.
Slik følger du disputasen digitalt
Disputasen er åpen for alle. Meld deg på via denne Zoom-lenken.
Du logger deg på tidligst 10 minutter før oppgitt tid. Etter dette kan du når som helst forlate og komme inn igjen i disputasen.
Opponent ex auditorio:
Tidsfrist for å stille spørsmål er senest i løpet av pausen mellom opponentene. Spørsmål ex auditorio fra publikum kan sendes til Kristine Evensen Reinfjord.
Kontaktperson
- E-post
- kristine.reinfjord@uia.no
- Telefon
- +47 37 23 30 14