새 연구: FairDeDup, 혁신적인 AI 훈련 기법으로 사회적 편견 감소 목표

Seoul오리건 주립 대학과 어도비의 연구진이 AI 시스템을 훈련시키기 위한 새로운 방법인 FairDeDup을 개발했습니다. 이 기술은 AI 훈련 과정에서 중복 데이터를 제거하여 사회적 편견을 줄이는 데 도움을 줍니다.

새로운 기법은 SemDeDup이라는 이전 방법을 개선하여 공정성 측정기준을 추가했습니다. AI 모델을 훈련하는 데 사용되는 데이터셋에는 종종 사회적 편향이 포함되어 있습니다. 이러한 편향이 AI 모델에 포함되면 불공정한 행동과 결정을 초래할 수 있습니다.

FairDeDup는 데이터를 줄이기 위해 가장 중요한 부분만을 선별하여 보존합니다. 이 과정은 일부 데이터를 유지하고 나머지를 제거하는 것을 의미하며, 남겨진 데이터가 원래의 데이터를 잘 나타내도록 보장합니다. 연구자들은 어떤 데이터를 남길지 그 내용에 따라 결정하여 핵심 정보가 여전히 포함되도록 합니다.

FairDeDup의 작동 방식에 대한 몇 가지 정보는 다음과 같습니다:

• 중복된 데이터가 제거됩니다
• 사람이 정의한 다양성의 차원이 통합됩니다
• 직업, 인종, 성별, 연령, 지리, 문화와 관련된 편견이 해결됩니다

오레곤 주립대학교 공대의 박사 과정생인 에릭 슬리먼이 연구를 이끌었습니다. 그는 오레곤 주립대학교의 스테판 리 교수와 어도비의 스콧 코헨, 쿠샬 카플레와 함께 작업했습니다.

인터넷에서 수집된 데이터셋은 종종 사회의 편견을 반영한 편향성을 가지고 있습니다. 이러한 편향성은 인공지능 결과에 나타날 수 있으며, 예를 들어 'CEO'나 '의사'를 검색할 때 백인 남성들만 표시되는 경우가 있습니다. 슬라이먼 팀은 중복 데이터를 제거했을 때 이러한 편향성에 어떤 영향이 있는지를 연구했습니다. 그들은 FairDeDup을 사용함으로써 부정적인 결과를 줄일 수 있음을 발견했습니다.

더 읽기:

2024년 11월 21일 · 오전 10:27

미국, AI 혁신 선도하며 중국 앞질러 - 스탠퍼드 보고서

FairDeDup은 컴퓨팅 비용을 절감하고 AI 시스템을 더욱 공정하게 만드는 것을 목표로 합니다. Slyman은 이 방법이 AI가 특정한 공정성의 기준에 엄격히 맞추게 하는 것이 아니라고 설명합니다. 대신, 다양한 상황과 사용자에 맞춰 AI가 공정하게 작동하도록 돕습니다. 이는 사람들이 커다란, 편향된 인터넷 데이터셋에 의존하지 않고 자신의 필요에 따라 무엇이 공정한지를 결정할 수 있게 합니다.

연구진은 시애틀에서 열린 IEEE/CVF 컴퓨터 비전 및 패턴 인식 회의에서 FairDeDup 알고리즘을 소개했습니다. 그들은 이 새로운 방법이 경제적이고, 정밀하며, 공정하다고 강조했습니다.

슬라이먼에 따르면 그들의 방법은 비용을 절감하면서도 정확하고 공정하게 AI가 학습할 수 있게 한다고 합니다. 팀은 데이터에서 편향을 제거함으로써 AI 시스템이 더욱 공정해질 수 있음을 발견했습니다.

이 방법은 다양한 인간의 상황과 차이를 고려하여 AI가 더 공정한 결정을 내리도록 돕습니다. 이는 AI가 단일한 공정성의 개념을 따르게 하지 않고, AI의 각기 다른 사용 사례에서 그들만의 공정성 의미를 정할 수 있도록 합니다.

이 발전은 AI 시스템에서 편견을 줄이는 중요한 단계입니다. 연구자들은 FairDeDup가 AI를 더 공정하게 만들고 소외된 그룹에 대한 편견을 줄이는 데 도움이 될 것이라고 믿고 있습니다. 오리건 주립대와 어도비 간의 협력은 AI의 공정성과 효율성을 개선하는 것을 목표로 합니다.