VisXP

Dit project heeft het doel om AI technologie breed inzetbaar te maken binnen media archieven op basis van interactieve lerende interfaces die gebruikers zelf in staat stelt om de data visueel te verkennen. Dit vereist onderzoek naar het combineren van de verschillende soorten databronnen binnen archieven, voor zowel de analyse als voor het tonen en visualiseren in de interface.

Het onderzoek hiervoor wordt gedaan in twee onderzoekslijnen:

  1. De eerste onderzoekslijn ‘Multimedia Analytics’ onderzoekt nieuwe methoden en technieken voor het interactief en lerend verkennen van media archief data op schaal.
  2. De tweede onderzoekslijn ‘Computer Vision’ richt zich op op het ontwikkelen van flexibel inzetbare algoritmes voor het extraheren van informatie uit visuele archief data met een focus op generieke en niet taak-specifieke toepassingen.

Om het onderzoek ook een praktische vorm te geven binnen de media archief context wordt er een interactieve lerende module ontwikkeld. Middels deze module kunnen gebruikers zelf data organiseren, categoriseren, en interpreteren om tot antwoorden te komen op onderzoeks- en informatievragen. Uitgangspunt daarbij is dat zo’n module gekoppeld moet kunnen worden aan data infrastructuren en archieven, en dus aansluit bij de geldende standaarden en best-practices voor de grootschalige en computationeel intensieve verwerking van audiovisuele data, inclusief (beveiligde) opslag en opvraagbaarheid van gegevens.

De broncode van de module wordt open-source beschikbaar gesteld om samenwerking met andere partijen binnen de creatieve industrie mogelijk te maken, bijvoorbeeld in het kader van AI-fieldlabs, en de toepassing te bevorderen voor een breed scala aan CV gerelateerde vraagstellingen binnen de creatieve industrie.

Plan van aanpak
Het project wordt iteratief opgezet, waarbij de focus ligt op het in toenemende mate ontwikkelen van kennis over hoe Computer Vision en Multimedia Analytics technieken ingezet kunnen worden binnen media archieven. Gebaseerd op een agile werkwijze starten we bij de huidige state-of-the-art, met het door het UvA MultiX lab (https://multix.io/) ontwikkelde MediaTable systeem en een selectie aan media archief data. Aanvullende wordt er in het project doorgebouwd op de door UvA en Beeld en Geluid ontwikkelde DANE infrastructuur, deze voor CLARIAH ontwikkelde infrastructuur maakt het mogelijk om grootschalige CV analyses uit te voeren op media archieven met het doel om deze te ontsluiten voor toepassingen zoals het interactief verkennen van de data. Door in iteraties door te bouwen op dit beginpunt wordt er gewerkt naar een prototype waarin de in het onderzoek ontwikkelde principes gekoppeld kunnen worden aan de media archieven in de Media Suite.

Projectbudget €558.000,- waarbij €397,000. PPS-toeslag wordt ingezet.


Meer toegekende PPS-projecten

Tags: