Novo estudo: pesquisadores ensinam IA a identificar o que você está desenhando

São PauloPesquisadores da Universidade de Surrey e da Universidade de Stanford desenvolveram um novo método para ajudar a IA a entender esboços humanos. Esse método é eficaz mesmo para pessoas que não têm habilidade para desenhar. O modelo consegue reconhecer esboços de cenas com uma precisão próxima à de um ser humano.

Dra. Yulia Gryaditskaya, professora no Centro de Processamento de Imagem, Fala e Sinal da Universidade de Surrey (CVSSP), afirmou que desenhar é uma maneira poderosa de se comunicar visualmente. Ela acredita que, às vezes, pode ser mais claro e adaptável do que falar. Ferramentas que nos ajudam a entender desenhos podem melhorar as interações entre humanos e computadores e tornar o design de produtos mais rápido e fácil. Exemplos incluem:

• Busca de imagens através de esboços
• Geração de imagens por meio de esboços
• Aprimoramento de fluxos de trabalho de design
• Comunicação visual aprimorada

Pessoas de todas as idades utilizam desenhos para explorar ideias e se comunicar. No entanto, a IA tem enfrentado desafios para compreender esboços. Geralmente, a IA requer um processo detalhado para rotular cada pixel em um desenho. A IA então aprende com esses rótulos.

O novo método treinou a IA utilizando uma combinação de desenhos simples e explicações escritas. A IA aprendeu a reconhecer padrões de pixels e compará-los com as descrições. Essa abordagem proporcionou à IA uma compreensão melhor das imagens do que os métodos anteriores. A IA foi capaz de identificar e nomear pipas, árvores, girafas e outros objetos com uma precisão de 85%. Outros modelos que usavam pixels rotulados não tiveram um desempenho tão bom.

Leia também:

Hoje · 07:41

Desafios da transição da OpenAI para uma empresa lucrativa

O novo método é capaz de identificar quais traços de caneta correspondem a cada objeto. Funciona bem com esboços rudimentares feitos por não-artistas e também com desenhos de objetos para os quais não foi treinado especificamente.

A Professora Judith Fan, uma Professora Assistente de Psicologia na Universidade de Stanford, afirmou que desenhar e escrever são atividades humanas importantes. Elas ajudam as pessoas a registrar o que veem e pensam. Ela acredita que esta pesquisa é um passo em direção à criação de sistemas de IA que possam compreender ideias tanto em imagens quanto em palavras.

A pesquisa é conduzida pelo Instituto de IA Centrada nas Pessoas de Surrey, no programa SketchX. O SketchX busca compreender como vemos as coisas, analisando a maneira como as desenhamos. O professor Yi-Zhe Song, que co-lidera o Instituto e o programa SketchX, afirmou que este estudo evidencia que a IA pode auxiliar em atividades humanas básicas, como o desenho. Ao entender desenhos simples quase tão bem quanto as pessoas, a tecnologia possui um grande potencial para estimular a criatividade de todos, independentemente de suas habilidades artísticas.

Os resultados da pesquisa serão apresentados na Conferência IEEE/CVF sobre Visão Computacional e Reconhecimento de Padrões 2024. O evento ocorrerá em Seattle de 17 a 21 de junho de 2024.