AI 오류 과신 방지 기법, 사람 신뢰 높인다

Seoul연구자들은 AI 모델이 잘못된 답변에 과신하지 않도록 하는 새로운 방법을 발견했습니다. 이 방법은 Thermometer라고 불리며, 대형 언어 모델을 더욱 신뢰할 수 있게 만드는 것을 목표로 합니다.

사람들은 다양한 작업을 위해 대형 언어 모델을 사용합니다. 예를 들어, 언어 번역, 금융 사기 감지, 고객 서비스 질문 응답 등이 있습니다.

이 모델들은 항상 정확한 것은 아닙니다. 가끔은 잘못된 답변에 대해 지나치게 확신하거나, 올바른 답변에 충분히 확신하지 못할 때가 있습니다. 이런 이유로 이들을 신뢰하기 어렵습니다.

MIT와 MIT-IBM Watson AI 연구소의 연구자들은 이 문제를 해결하기 위해 Thermometer를 개발했습니다. Thermometer는 소규모의 추가 모델을 사용하여 대형 언어 모델의 확신 수준을 조정합니다. 이 새로운 방법은 효율적이며 많은 컴퓨팅 능력을 필요로 하지 않습니다. 또한, 모델의 정확성을 유지합니다.

전통적인 기계 학습 모델 조정 방법은 단일 작업에 맞춰져 있습니다. 그러나 이러한 방법은 대형 언어 모델(LLM)에는 적합하지 않습니다. 왜냐하면 LLM은 여러 작업을 수행하기 때문입니다. 전통적인 방법을 사용하면 조정되지 않은 작업에 대한 LLM의 성능이 저하될 수 있습니다.

대규모 언어 모델을 보정하려면 보통 많은 샘플을 결합해야 하며, 이는 계산 비용이 많이 듭니다. Thermometer는 이와 다른 방법으로, 온도 조정을 통해 모델의 신뢰도를 조정합니다. 이 방법은 이미 잘 알려진 보정 방식으로, "온도"는 예측이 얼마나 정확한지를 신뢰도 수준과 맞출 수 있도록 도와주는 매개변수입니다.

더 읽기:

오늘 · 오전 7:41

OpenAI의 수익기업 전환에 따른 도전 과제

일반적으로 적절한 온도를 찾기 위해서는 라벨이 있는 검증 데이터셋이 필요합니다. 하지만 새로운 작업을 위한 라벨이 있는 데이터셋을 얻는 것은 어렵습니다. 예를 들어, 한 회사가 새로운 제품에 대한 질문에 답하기 위해 언어 모델을 사용하고 싶어도, 그에 맞는 데이터셋이 아직 준비되어 있지 않을 가능성이 높습니다.

온도계는 필수 모델을 사용하여 필요한 온도를 추정합니다. 이 모델은 여러 일반적인 작업의 데이터를 기반으로 학습되며, 추가로 라벨이 지정된 데이터 없이도 새 작업을 처리할 수 있습니다. 예를 들어, 대수학과 의학 선택형 문제에 대해 학습된 온도계가 기하학이나 생물학 질문에도 답변을 조정할 수 있습니다.

온도계 모델이 이제 더 개선되었지만, 여전히 완벽하지는 않습니다. 이 모델은 LLM의 일부만 필요로 하여, LLM의 속도를 약간만 느려지게 합니다.

온도계는 다른 방법들보다 더 정확한 불확실성 결과를 제공했고, 계산 능력 또한 덜 필요로 했습니다.

과학자들은 Thermometer가 다양한 작업에 대해 충분히 훈련받으면 새로운 작업도 잘 수행할 수 있다고 생각합니다. 또한, 이것은 크기가 작거나 큰 모델 모두와 효과적으로 작용하는 것으로 발견되었습니다. 이러한 이유로 유연한 방법으로 여겨집니다.

팀은 더 어려운 작업과 더 큰 언어 모델에 적용할 수 있도록 Thermometer를 향상시킬 계획입니다. 또한 새로운 작업에서 좋은 성과를 내기 위해 얼마나 많은 레이블된 데이터셋이 필요한지를 파악하고자 합니다. 이 연구는 MIT-IBM Watson AI Lab의 지원을 받았습니다.