Nuevo estudio: investigadores enseñan a la IA a reconocer lo que dibujas

MadridInvestigadores de la Universidad de Surrey y la Universidad de Stanford han desarrollado un nuevo método para ayudar a la inteligencia artificial a comprender los dibujos humanos. Este enfoque funciona bien incluso para personas sin habilidades artísticas. El modelo puede reconocer bocetos de escenas con una precisión cercana a la de un humano.

La Dra. Yulia Gryaditskaya, profesora en el Centro de Procesamiento de Señales, Visión y Habla de Surrey (CVSSP), afirmó que dibujar es una poderosa forma de comunicación visual. Ella considera que a veces puede ser más claro y flexible que hablar. Las herramientas que nos ayudan a comprender dibujos pueden mejorar las interacciones entre humanos y computadoras, y hacer que el diseño de productos sea más rápido y sencillo. Ejemplos de esto incluyen:

• Buscar imágenes a través de bocetos
• Generar imágenes mediante dibujos
• Optimizar los flujos de trabajo de diseño
• Mejorar la comunicación visual

Personas de todas las edades utilizan dibujos para expresar ideas y comunicarse. Sin embargo, la inteligencia artificial ha encontrado dificultades para comprender los bocetos. Normalmente, la IA requiere un proceso detallado para etiquetar cada pixel en un dibujo y después aprende a partir de estas etiquetas.

El nuevo método entrenó a la IA utilizando una combinación de dibujos simples y explicaciones escritas. La IA aprendió a reconocer patrones de píxeles y compararlos con las descripciones. Este enfoque le dio a la IA una mejor comprensión de las imágenes en comparación con métodos anteriores. La IA fue capaz de identificar y etiquetar cometas, árboles, jirafas y otros objetos con una precisión del 85%. Otros modelos que utilizaban píxeles etiquetados no tuvieron un rendimiento tan bueno.

Lea también:

Hoy · 7:41

La desafiante transición de OpenAI a entidad con fines de lucro

El nuevo método puede identificar para qué objeto se destinó cada trazo. Funciona bien con bocetos hechos por personas sin habilidades artísticas y con dibujos de objetos para los que no fue específicamente entrenado.

La profesora Judith Fan, quien es profesora asistente de psicología en la Universidad de Stanford, ha señalado que dibujar y escribir son actividades humanas de gran importancia. Estas actividades ayudan a las personas a plasmar lo que observan y piensan. Ella considera que esta investigación es un avance hacia la creación de sistemas de inteligencia artificial que puedan comprender ideas tanto en imágenes como en palabras.

La investigación es realizada por el Instituto de IA Centrada en las Personas de Surrey, dentro de su programa SketchX. SketchX busca comprender cómo percibimos las cosas observando cómo las dibujamos. El profesor Yi-Zhe Song, quien co-lidera el Instituto y el programa SketchX, mencionó que este estudio demuestra que la IA puede asistir en actividades humanas básicas como el dibujo. Al entender dibujos simples casi tan bien como los humanos, esta tecnología tiene un gran potencial para potenciar la creatividad de todos, independientemente de sus habilidades artísticas.

Los resultados de la investigación se presentarán en la Conferencia IEEE/CVF sobre Visión por Computadora y Reconocimiento de Patrones 2024. El evento tendrá lugar en Seattle del 17 al 21 de junio de 2024.