Neue Studie: Forscher lehren KI, Ihre Skizzen zu erkennen

BerlinForscher der Universität Surrey und der Stanford University haben eine neue Methode entwickelt, die künstlicher Intelligenz hilft, menschliche Skizzen zu verstehen. Diese Methode funktioniert selbst bei Personen gut, die nicht gut zeichnen können. Das Modell kann Szenenskizzen mit einer Genauigkeit erkennen, die fast der eines Menschen entspricht.

Dr. Yulia Gryaditskaya, Dozentin am Centre for Vision, Speech, and Signal Processing (CVSSP) in Surrey, vertritt die Ansicht, dass Zeichnen ein äußerst effektives Mittel zur visuellen Kommunikation darstellt. Ihrer Meinung nach kann es manchmal klarer und flexibler sein als mündliche Gespräche. Werkzeuge zur Interpretation von Zeichnungen können die Interaktion zwischen Mensch und Computer verbessern und den Designprozess beschleunigen. Beispiele hierfür sind:

• Bilder durch Skizzen suchen
• Bilder per Skizze erstellen
• Design-Arbeitsabläufe effizienter gestalten
• Verbesserte visuelle Kommunikation

Menschen jeden Alters nutzen Zeichnungen, um Ideen zu erforschen und zu kommunizieren. KI hat jedoch Schwierigkeiten, Skizzen zu verstehen. Normalerweise benötigt die KI einen detaillierten Prozess, um jeden Pixel in einer Zeichnung zu kennzeichnen. Anschließend lernt die KI von diesen Kennzeichnungen.

Die neue Methode trainierte die KI mithilfe einer Mischung aus einfachen Zeichnungen und schriftlichen Erklärungen. Die KI lernte, Pixelmuster zu erkennen und mit den Beschreibungen zu vergleichen. Dieser Ansatz verschaffte der KI ein besseres Verständnis der Bilder als ältere Methoden. Die KI konnte Drachen, Bäume, Giraffen und andere Objekte mit einer Genauigkeit von 85% identifizieren und benennen. Andere Modelle, die mit beschrifteten Pixeln arbeiteten, erzielten nicht so gute Ergebnisse.

Lesen Sie auch:

Heute · 22:25

Neue Rolle des Hippocampus bei der Bewegungssteuerung entdeckt

Die neue Methode kann erkennen, welche Striche zu welchem Objekt gehören. Sie funktioniert gut sowohl bei groben Skizzen von Laien als auch bei Zeichnungen von Objekten, auf die sie nicht speziell trainiert wurde.

Professor Judith Fan, Assistenzprofessorin für Psychologie an der Stanford University, erklärte, dass Zeichnen und Schreiben wichtige menschliche Tätigkeiten sind. Sie helfen den Menschen dabei, das, was sie sehen und denken, festzuhalten. Sie ist der Ansicht, dass diese Forschung ein Schritt in Richtung der Entwicklung von KI-Systemen ist, die sowohl Bilder als auch Worte verstehen können.

Die Forschung wird vom Surrey Institute for People-Centred AI im Rahmen des SketchX-Programms durchgeführt. SketchX versucht zu verstehen, wie wir Dinge sehen, indem es beobachtet, wie wir sie zeichnen. Professor Yi-Zhe Song, der das Institut und das SketchX-Programm mit leitet, erklärte, dass diese Studie zeigt, dass KI bei grundlegenden menschlichen Aktivitäten wie dem Skizzieren helfen kann. Indem die Technologie einfache Zeichnungen fast so gut versteht wie Menschen, hat sie das Potenzial, die Kreativität von jedem zu fördern, unabhängig von deren künstlerischen Fähigkeiten.

Die Forschungsergebnisse werden auf der IEEE/CVF Konferenz für Computer Vision und Mustererkennung 2024 präsentiert. Die Konferenz findet vom 17. bis 21. Juni 2024 in Seattle statt.