Nieuw onderzoek: onderzoekers leren AI herkennen wat je tekent

AmsterdamOnderzoekers van de Universiteit van Surrey en Stanford University hebben een nieuwe methode ontwikkeld om AI menselijke schetsen te laten begrijpen. Deze methode werkt goed, zelfs voor mensen die niet goed kunnen tekenen. Het model kan scèneschetsen herkennen met een nauwkeurigheid die dicht in de buurt komt van die van een mens.

Dr. Yulia Gryaditskaya, docent aan het Centre for Vision, Speech, and Signal Processing (CVSSP) in Surrey, gaf aan dat schetsen een krachtige manier is om visueel te communiceren. Volgens haar kan dit soms duidelijker en flexibeler zijn dan praten. Hulpmiddelen die ons helpen om schetsen te begrijpen kunnen de interactie tussen mens en computer verbeteren en het ontwerpen sneller en gemakkelijker maken. Voorbeelden hiervan zijn:

• Beelden zoeken door te schetsen
• Afbeeldingen maken door te schetsen
• Ontwerpworkflows verbeteren
• Verbeterde visuele communicatie

Mensen van alle leeftijden gebruiken tekeningen om ideeën te onderzoeken en te communiceren. Maar AI heeft moeite gehad met het begrijpen van schetsen. AI heeft meestal een gedetailleerd proces nodig om elke pixel in een tekening te labelen. Vervolgens leert de AI van deze labels.

De nieuwe methode trainde de AI met een mix van eenvoudige tekeningen en geschreven uitleg. De AI leerde om pixelpatronen te herkennen en deze te vergelijken met de beschrijvingen. Door deze aanpak kreeg de AI een beter begrip van de beelden dan oudere methoden. De AI was in staat om vliegers, bomen, giraffen en andere objecten met een nauwkeurigheid van 85% te identificeren en labelen. Andere modellen die gebruik maakten van gelabelde pixels presteerden minder goed.

Lees ook:

Vandaag · 14:35

AI-chatbots bieden nauwkeurige adviezen bij lage rugpijn.

De nieuwe methode kan bepalen welke pennenstreken voor welk object bedoeld zijn. Het werkt goed met ruwe schetsen van niet-kunstenaars en tekeningen van objecten waarvoor het niet specifiek is getraind.

Professor Judith Fan, een assistent-professor in de psychologie aan de Stanford Universiteit, vertelde dat tekenen en schrijven belangrijke menselijke bezigheden zijn. Ze helpen mensen om vast te leggen wat ze zien en denken. Volgens haar is dit onderzoek een stap in de richting van het ontwikkelen van AI-systemen die zowel ideeën in beelden als in woorden kunnen begrijpen.

Het onderzoek wordt uitgevoerd door het Institute for People-Centred AI van Surrey binnen het SketchX-programma. SketchX probeert te begrijpen hoe wij dingen zien door te kijken naar hoe wij ze tekenen. Professor Yi-Zhe Song, mede-leider van zowel het instituut als het SketchX-programma, verklaarde dat deze studie aantoont dat AI kan helpen bij alledaagse menselijke activiteiten zoals schetsen. Door eenvoudige tekeningen bijna net zo goed te begrijpen als mensen, heeft de technologie een enorm potentieel om creativiteit te stimuleren bij iedereen, ongeacht hun artistieke vaardigheden.

De onderzoeksresultaten worden gepresenteerd op de IEEE/CVF Conference on Computer Vision and Pattern Recognition 2024. Deze conferentie vindt plaats in Seattle van 17 tot 21 juni 2024.