Nowe badanie: generatywna sztuczna inteligencja ma trudności z dokładnym wydobywaniem danych z notatek klinicznych.

WarsawBadacze z Columbia University Mailman School of Public Health przeprowadzili badania nad modelem językowym ChatGPT-4, aby sprawdzić, czy potrafi on wydobywać konkretne informacje z dokumentacji medycznej. Chcieli ustalić, czy sztuczna inteligencja jest w stanie określić, czy ranni skuterzyści i rowerzyści mieli na sobie kaski podczas wypadków. Wyniki badania, opublikowane w JAMA Network Open, wskazują, że ChatGPT-4 obecnie ma poważne ograniczenia w wykonywaniu tego zadania.

W badaniu przyjrzano się 54 569 wizytom na izbie przyjęć w latach 2019-2022 związanym z urazami spowodowanymi przez jazdę różnymi urządzeniami mikromobilności. ChatGPT-4 miał trudności z dokładnością i spójnością w porównaniu do standardowej metody wyszukiwania tekstu. Główne problemy obejmowały:

• Niespójność odpowiedzi w kolejnych próbach
• Trudności w obsłudze zdań z zaprzeczeniami
• Lepsza spójność w powtarzaniu błędnych informacji („halucynacji”) niż dokładnych danych

Wyzwania te budzą niepokój, ponieważ duże modele językowe mogą być bardzo przydatne w opiece zdrowotnej. Jeśli ChatGPT-4 nie będzie w stanie regularnie dostarczać dokładnych informacji, może to spowolnić przetwarzanie danych w badaniach medycznych i opiece nad pacjentami.

Notatki kliniczne zawierają wiele istotnych informacji medycznych, a ich skuteczny i precyzyjny dostęp może znacząco poprawić badania naukowe oraz opiekę nad pacjentami. Tradycyjne metody, takie jak podstawowe wyszukiwanie tekstu, są często ograniczone, ponieważ nie potrafią dobrze rozumieć kontekstu. Zaawansowane metody oparte na AI oferują większą elastyczność, jednak jak pokazuje to badanie, duże modele językowe, takie jak ChatGPT-4, wciąż nie są jeszcze niezawodnym rozwiązaniem.

Zobacz również:

Dzisiaj · 14:35

ChatGPT doradza skutecznie jak lekarz przy bólu pleców

W tej badaniu zastosowano wiele promptów, które wymagały intensywnych testów, aby objąć wszystkie istotne teksty. Mimo to, nawet pomimo tego wysiłku, ChatGPT-4 często zawodził w dostarczaniu spójnych i dokładnych wyników w różnych dniach. To pokazuje, że technologia ta nie jest jeszcze wystarczająco zaawansowana do rzeczywistego zastosowania w medycynie, gdzie niezawodność i precyzja są kluczowe.

Dr. Andrew Rundle, główny autor badania, stwierdził, że chociaż wykorzystywanie generatywnej sztucznej inteligencji do pozyskiwania informacji może być efektywniejsze, nadal napotyka ona na problemy z wiarygodnością oraz czasami generuje fałszywe informacje. Oznacza to, że mimo obiecujących możliwości, LLM-y nie są jeszcze w stanie zastąpić ani odpowiednio wspomóc obecnych metod pozyskiwania danych w sektorze zdrowia.

Technologie sztucznej inteligencji obecnie mają ograniczenia w kluczowych obszarach, takich jak opieka zdrowotna. Konieczne jest opracowanie bardziej niezawodnych metod, zanim zaczniemy bezpiecznie stosować duże modele językowe w środowiskach klinicznych. Badania są niezbędne, zwłaszcza w celu ulepszenia przetwarzania języka naturalnego, aby lepiej rozumiał szczegółowy kontekst w notatkach klinicznych.