새 연구: 생성형 AI, 의료 기록의 임상 노트에서 정보 추출에 어려움 겪어

Seoul콜롬비아 대학교 메일먼 공중보건대학의 연구원들은 대형 언어 모델인 ChatGPT-4를 활용하여 의료 기록에서 특정 정보를 추출할 수 있는지를 연구했습니다. 그들은 이 AI가 사고 시 스쿠터와 자전거 탑승자들이 헬멧을 착용하고 있었는지를 확인할 수 있는지 알고 싶었습니다. JAMA Network Open에 발표된 이 연구는 현재 ChatGPT-4가 이 작업을 수행하는 데 상당한 한계가 있음을 보여줍니다.

이 연구에서는 연구진이 2019년부터 2022년까지 다양한 마이크로 모빌리티 장치로 인한 부상으로 인해 응급실을 방문한 54,569건의 사례를 조사했습니다. ChatGPT-4는 표준 텍스트 검색 방법과 비교했을 때 정확성과 일관성 면에서 어려움을 겪었습니다. 주요 문제점은 다음과 같습니다:

이러한 문제들은 우려할 만한데, 그 이유는 LLM이 의료 분야에서 매우 유용할 수 있기 때문입니다. 만약 ChatGPT-4가 지속적으로 정확한 정보를 제공하지 못한다면, 이는 의학 연구와 환자 진료에서 데이터 처리 과정을 지연시킬 수 있습니다.

임상 기록에는 많은 중요한 의료 정보가 담겨 있지만, 이 데이터를 효과적이고 정확하게 접근하는 것은 연구와 환자 치료에 큰 도움을 줄 수 있습니다. 기본적인 텍스트 검색 같은 전통적인 방법은 맥락을 이해하는 데 제한이 있습니다. 고급 AI 기법은 더 많은 유연성을 제공하지만, 본 연구에 따르면 ChatGPT-4와 같은 대규모 언어 모델은 아직 신뢰할 수 있는 해결책이 아닙니다.

더 읽기:

오늘 · 오전 7:41

OpenAI의 수익기업 전환에 따른 도전 과제

이번 연구에서 사용된 프롬프트는 중요한 텍스트를 모두 포함하기 위해 상당한 테스트가 필요했습니다. 그러나 그럼에도 불구하고, ChatGPT-4는 종종 다른 날에 일관되게 정확한 결과를 제공하지 못했습니다. 이는 기술이 아직 신뢰성과 정밀성이 중요한 실제 의료 분야에 사용되기에는 충분하지 않음을 보여줍니다.

연구의 주요 저자인 앤드류 런들 박사는 정보를 얻기 위해 생성형 AI를 사용하는 것이 더 효율적일 수 있지만, 여전히 신뢰성이 부족하고 가끔은 잘못된 정보를 제공할 수 있다고 지적했습니다. 이는 생성형 AI가 유망하긴 하지만, 현재로서는 의료 분야에서 데이터를 수집하는 기존 방법을 대체하거나 적절히 보조하는 수준에 이르지 못했음을 의미합니다.

AI 기술은 현재 의료 분야에서 몇 가지 한계를 가지고 있습니다. 임상 환경에서 대형 언어 모델(LLM)을 안전하게 사용하려면 더 신뢰할 수 있는 방법을 개발해야 합니다. 연구는 자연어 처리가 임상 기록의 세부적인 맥락을 보다 잘 이해할 수 있도록 개선하는 데 특히 중요합니다.