새 연구: AI가 스케치 인식을 85% 확률로 성공적으로 훈련받다

Seoul서리 대학교와 스탠퍼드 대학교의 연구진은 AI가 인간의 스케치를 이해하도록 돕는 새로운 방법을 개발했습니다. 이 방법은 그림을 잘 그리지 못하는 사람들에게도 유용합니다. 이 모델은 장면 스케치를 사람과 거의 동일한 정확도로 인식할 수 있습니다.

서리 대학교 CVSSP의 교수인 율리아 그리아딧스카야 박사는 스케치가 시각적으로 소통하는 강력한 방법이라고 말했습니다. 그녀는 스케치가 때로는 말하는 것보다 더 명확하고 유연할 수 있다고 생각합니다. 스케치를 이해하는 도구는 인간과 컴퓨터 간의 상호작용을 향상시키고, 디자인을 보다 빠르고 쉽게 만드는 데 도움을 줄 수 있습니다. 예로는 다음과 같은 것이 있습니다:

<ul>

<li>그리기를 통해 이미지 검색</li>
<li>스케치를 이용한 이미지 생성</li>
<li>디자인 작업 흐름 개선</li>
<li>시각적 소통 강화</li>
</ul>

모든 연령대의 사람들은 아이디어를 탐구하고 소통하기 위해 그림을 사용합니다. 그러나 AI는 스케치를 이해하는 데 어려움을 겪어왔습니다. 일반적으로 AI는 그림의 모든 픽셀에 라벨을 붙이는 세심한 과정을 필요로 합니다. 그 후 AI는 이러한 라벨을 통해 학습합니다.

새로운 방식은 단순한 그림과 글로 작성된 설명을 혼합하여 AI를 훈련시켰습니다. AI는 픽셀 패턴을 인식하고 이를 설명과 비교하는 방법을 배웠습니다. 이러한 접근 방식은 AI가 이미지에 대한 이해도를 이전 방식보다 향상시켰습니다. 이 AI는 연, 나무, 기린 등 다양한 물체를 85%의 정확도로 식별하고 라벨을 붙일 수 있었습니다. 레이블이 붙은 픽셀을 사용한 다른 모델들은 이 정도 성능을 발휘하지 못했습니다.

더 읽기:

오늘 · 오전 7:41

OpenAI의 수익기업 전환에 따른 도전 과제

이 새로운 방법은 각 객체를 의도하여 그려진 펜 스트로크를 식별할 수 있습니다. 이는 비전문가의 대략적인 스케치와 특별히 학습되지 않은 객체의 그림에서도 효과적으로 작동합니다.

스탠포드 대학교의 심리학 조교수인 주디스 팬 교수는 그림 그리기와 글쓰기가 중요한 인간 활동이라고 말했습니다. 이러한 활동은 사람들이 보고 생각하는 것을 기록하는 데 도움을 줍니다. 그녀는 이 연구가 그림과 단어로 된 아이디어를 이해할 수 있는 인공지능 시스템을 만드는 방향으로 나아가는 한 걸음이라고 믿고 있습니다.

서리 인공지능 연구소의 SketchX 프로그램에서 진행된 연구입니다. SketchX는 우리가 사물을 보는 방식을 우리가 그리는 방식에서 배우려고 합니다. 이 연구소와 SketchX 프로그램의 주역 중 한 사람인 송이재 교수는 이번 연구가 AI가 스케치와 같은 기본적인 인간 활동에 도움을 줄 수 있음을 보여준다고 했습니다. 단순한 드로잉을 사람과 거의 비슷하게 이해하는 이 기술은 예술적 능력에 상관없이 모두의 창의성을 높일 수 있는 큰 잠재력을 가지고 있습니다.

연구 결과는 2024년 IEEE/CVF 컴퓨터 비전 및 패턴 인식 학회에서 발표될 예정입니다. 이 학회는 2024년 6월 17일부터 21일까지 시애틀에서 개최될 예정입니다.