Nowe badanie: naukowcy uczą sztuczną inteligencję rozpoznawania rysunków ludzkich z 85% skutecznością

WarsawNaukowcy z Uniwersytetu Surrey i Uniwersytetu Stanford opracowali nową metodę pomagającą sztucznej inteligencji w zrozumieniu ludzkich szkiców. Ta metoda dobrze radzi sobie nawet u osób bez umiejętności rysowania. Model potrafi rozpoznawać szkice scen z dokładnością zbliżoną do ludzkiej.

Dr. Yulia Gryaditskaya, nauczycielka w Surrey's Centre for Vision, Speech, and Signal Processing (CVSSP), uważa, że rysunek jest doskonałym sposobem na wizualne komunikowanie się. W jej opinii może być on niekiedy bardziej przejrzysty i elastyczny niż mowa. Narzędzia, które pomagają nam zrozumieć szkice, mogą usprawnić interakcje między ludźmi a komputerami oraz przyspieszyć i ułatwić projektowanie. Przykłady obejmują:

<ul>

<li>Poszukiwanie obrazów poprzez szkicowanie</li>
<li>Tworzenie obrazów za pomocą szkiców</li>
<li>Ulepszanie procesów projektowych</li>
<li>Zwiększona efektywność komunikacji wizualnej</li>
</ul>

Ludzie w różnym wieku wykorzystują rysunki do wyrażania i przekazywania myśli. Jednakże sztuczna inteligencja ma trudności z interpretowaniem szkiców. Zazwyczaj AI wymaga skomplikowanego procesu, który polega na oznaczeniu każdego piksela w rysunku. Następnie AI uczy się na podstawie tych oznaczeń.

Nowa metoda polegała na uczeniu AI za pomocą mieszanki prostych rysunków i pisemnych opisów. Sztuczna inteligencja nauczyła się rozpoznawać wzory pikseli i porównywać je z opisami. To podejście umożliwiło AI lepsze zrozumienie obrazów niż wcześniejsze metody. AI potrafiło zidentyfikować i oznaczyć latawce, drzewa, żyrafy i inne obiekty z dokładnością 85%. Inne modele, które używały oznaczonych pikseli, nie osiągały tak dobrej wydajności.

Zobacz również:

Dzisiaj · 22:25

Hipokamp jako klucz do opanowywania ruchów precyzyjnych

Nowa metoda potrafi rozpoznać, które pociągnięcia pióra były przeznaczone dla każdego obiektu. Działa dobrze zarówno na szkicach wykonanych przez osoby niebędące artystami, jak i na rysunkach obiektów, na których nie była specjalnie szkolona.

Profesor Judith Fan, adiunktka psychologii na Uniwersytecie Stanforda, twierdzi, że rysowanie i pisanie to ważne czynności dla człowieka. Umożliwiają one zapisywanie tego, co widzimy i myślimy. Uważa, że to badanie jest krokiem w kierunku stworzenia systemów AI, które potrafią zrozumieć idee zarówno w formie obrazów, jak i słów.

Badania przeprowadzone są przez Instytut AI zorientowany na ludzi na Uniwersytecie Surrey w ramach programu SketchX. SketchX stara się odkryć, jak postrzegamy rzeczy, obserwując, jak je rysujemy. Profesor Yi-Zhe Song, który współprowadzi Instytut oraz program SketchX, stwierdził, że to badanie pokazuje, iż AI może wspierać podstawowe ludzkie czynności, takie jak szkicowanie. Dzięki zrozumieniu prostych rysunków prawie na równi z ludźmi, technologia ta ma ogromny potencjał do zwiększania kreatywności dla wszystkich, niezależnie od ich umiejętności artystycznych.

Wyniki badań zostaną zaprezentowane na konferencji IEEE/CVF dotyczącej rozpoznawania wzorców i widzenia komputerowego w 2024 roku. Konferencja odbędzie się w Seattle w dniach od 17 do 21 czerwca 2024 roku.