De voordelen en nadelen van AI-chatbots in de gezondheidszorg: TUM onderzoekt de praktische risico's

AmsterdamGrote taalmodellen zoals ChatGPT kunnen gemakkelijk medische examens halen. Maar ze inzetten voor het diagnosticeren van echte patiënten in ziekenhuizen is riskant. Ze stellen vaak snelle diagnoses en volgen de medische richtlijnen niet. Onderzoekers van de Technische Universiteit van München (TUM) onderzochten of AI-chatbots toepasbaar zijn in de klinische praktijk.

De onderzoekers maakten gebruik van het vrij beschikbare taalmodel Llama 2. Ze simuleerden het proces van de spoedeisende hulp tot aan de behandeling. Hiervoor gebruikten ze anonieme patiëntgegevens van een Amerikaanse kliniek en selecteerden 2400 gevallen van patiënten met buikpijn. De AI moest beslissen welke onderzoeken nodig waren en maakte vervolgens het diagnose- en behandelplan.

Bevindingen:

• De AI-modellen vroegen niet consequent om alle benodigde tests.
• Meer informatie leidde tot minder nauwkeurige resultaten.
• De AI negeerde vaak de behandelrichtlijnen.
• Diagnoses waren afhankelijk van de volgorde waarin informatie werd ontvangen.

Vergeleken met echte artsen presteerde de AI minder goed. Artsen hadden in 89% van de gevallen gelijk, terwijl het beste AI-model slechts in 73% van de gevallen juist was. Bij sommige diagnoses, zoals galblaasontsteking, was de AI slechts13% van de tijd correct.

De onderzoekers hebben commerciële AI-modellen zoals ChatGPT of Google's AI niet getest vanwege dataproblemen. Ziekenhuizen hebben modellen nodig die ze kunnen beheren en veilig houden, wat open-source modellen bieden. Het is lastig om commerciële modellen eerlijke beoordelingen te geven zonder inzicht in de gebruikte trainingsdata.

Lees ook:

Vandaag · 14:35

AI-chatbots bieden nauwkeurige adviezen bij lage rugpijn.

De ontwikkeling van AI in medische diagnoses gaat snel vooruit. Prof. Daniel Rückert van de TU München gelooft dat AI in de toekomst van nut kan zijn voor artsen. Het kan artsen helpen om gevallen te bespreken, maar zal hen voorlopig niet vervangen. Ziekenhuizen hebben open-source modellen nodig om patiëntgegevens veilig en onder controle te houden.

AI-chatbots kunnen nuttig zijn in de geneeskunde, maar ze zijn nog niet klaar voor gebruik. Er is meer onderzoek en aanpassing nodig. Momenteel kunnen ze academisch werk ondersteunen en artsen helpen, maar ze kunnen nog geen definitieve diagnoses stellen. De AI-technologie ontwikkelt zich snel, dus het is waarschijnlijk dat chatbots de komende jaren sterker zullen verbeteren.

Artsen hebben betrouwbare hulpmiddelen nodig. Totdat AI kan bewijzen even betrouwbaar te zijn als menselijke artsen, mag het geen belangrijke beslissingen alleen nemen. Onderzoekers creëren testomgevingen om deze modellen te verbeteren. Ziekenhuizen moeten echter alleen AI gebruiken die ze volledig begrijpen en beheersen.

AI-chatbots tonen potentieel, maar zijn nog niet geschikt voor gebruik in ziekenhuizen. Er is meer onderzoek nodig, betere datatraining en strengere richtlijnen.