Nouvelle étude : des chercheurs apprennent à l'IA à reconnaître vos croquis

ParisDes chercheurs de l'Université de Surrey et de l'Université Stanford ont mis au point une nouvelle méthode pour aider l'IA à comprendre les croquis humains. Cette méthode est efficace même pour ceux qui ne maîtrisent pas l'art du dessin. Le modèle peut reconnaître les croquis de scènes avec une précision proche de celle d'un humain.

Dr Yulia Gryaditskaya, enseignante au Centre pour la Vision, la Parole et le Traitement du Signal (CVSSP) de Surrey, affirme que le croquis est un excellent moyen de communication visuelle. Selon elle, il peut parfois être plus clair et adaptable que la parole. Les outils aidant à comprendre les croquis peuvent améliorer les interactions humain-ordinateur et rendre la conception plus rapide et facile. Parmi les exemples, on trouve :

• Recherche d'images par esquisse
• Création d'images par esquisse
• Amélioration des flux de travail de conception
• Communication visuelle améliorée

Les personnes de tous âges utilisent le dessin pour exprimer des idées et communiquer. Cependant, l'intelligence artificielle rencontre des difficultés à comprendre les croquis. En général, l'IA a besoin d'un processus détaillé pour étiqueter chaque pixel d'un dessin. C'est à partir de ces étiquettes que l'IA apprend ensuite.

La nouvelle méthode a formé l'IA en utilisant un mélange de dessins simples et d'explications écrites. L'IA a appris à reconnaître les motifs de pixels et à les comparer aux descriptions. Cette approche a permis à l'IA de mieux comprendre les images que les méthodes précédentes. L'IA a été capable d'identifier et d'étiqueter cerfs-volants, arbres, girafes et autres objets avec une précision de 85 %. D'autres modèles utilisant des pixels étiquetés n'ont pas obtenu des résultats aussi satisfaisants.

Lisez aussi:

Aujourd'hui · 12:41

La transition difficile d'OpenAI vers une entité à but lucratif

La nouvelle méthode permet de distinguer les traits de crayon associés à chaque objet. Elle fonctionne bien avec des croquis approximatifs réalisés par des non-artistes ainsi qu'avec des dessins d'objets pour lesquels elle n'a pas été spécifiquement entraînée.

La professeure Judith Fan, professeure adjointe de psychologie à l'Université de Stanford, a affirmé que le dessin et l'écriture sont des activités humaines essentielles. Elles permettent aux gens de consigner ce qu'ils voient et pensent. Elle estime que cette recherche est une avancée vers la création de systèmes d'intelligence artificielle capables de comprendre les idées à la fois dans les images et les mots.

La recherche est menée par l'Institut d'IA Centrée sur l'Humain de Surrey dans le cadre de son programme SketchX. SketchX essaie de comprendre notre perception en étudiant notre manière de dessiner. Le professeur Yi-Zhe Song, qui codirige l'Institut et le programme SketchX, a déclaré que cette étude démontre que l'IA peut aider dans des activités humaines de base comme le dessin. En comprenant des dessins simples presque aussi bien que les humains, cette technologie a un immense potentiel pour stimuler la créativité de chacun, quelles que soient ses compétences artistiques.

Les résultats de la recherche seront présentés à la conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes en 2024. L'événement se tiendra à Seattle du 17 au 21 juin 2024.