Fördelar och nackdelar med AI-chatbots i medicinska miljöer enligt ny studie.

StockholmStora språkmodeller som ChatGPT kan enkelt klara medicinska prov. Det är däremot riskabelt att använda dem för att ställa diagnoser på riktiga patienter på sjukhus. De tenderar att ge snabba diagnoser och följer inte medicinska riktlinjer. Forskare vid Technische Universität München (TUM) har testat om AI-chatbotar kan användas i klinisk praktik.

Forskarna använde den fritt tillgängliga språkmodellen Llama 2. De simulerade processen från akutmottagning till behandling. Anonyma patientdata från en klinik i USA utnyttjades, där man valde ut 2400 fall av patienter med buksmärtor. AI:n behövde bestämma vilka tester som skulle beställas och därefter skapa en diagnos och behandlingsplan.

Resultat:

• AI-modellerna begärde inte alltid alla nödvändiga tester konsekvent.
• Ju mer information de hade, desto mindre korrekta blev de.
• AI:n ignorerade ofta behandlingsriktlinjer.
• Diagnoserna berodde på i vilken ordning informationen mottogs.

När man jämförde med riktiga läkare presterade AI inte lika bra. Läkarna hade rätt i 89% av fallen, medan den bästa AI-modellen endast var korrekt i 73% av fallen. För vissa diagnoser, som gallblåseinflammation, var AI korrekt bara 13% av gångerna.

Forskarna testade inte kommersiella AI-modeller som ChatGPT eller Googles AI på grund av frågor kring dataskydd. Sjukhus behöver också modeller de kan kontrollera och hålla säkra, vilket öppna källkodsmodeller erbjuder. Det är svårt att rättvist utvärdera kommersiella modeller utan att veta vilken data de har tränats på.

Läs också:

Idag · 14:35

AI-genererad ryggsmärthjälp: lika bra som läkare

AI för medicinska diagnoser utvecklas snabbt. Professor Daniel Rückert från TUM anser att AI kan bli ett värdefullt verktyg för läkare i framtiden. Det kan underlätta diskussioner om patientfall, men kommer inte att ersätta läkare inom en snar framtid. Sjukhus behöver open-source-modeller för att säkerställa att patientdata förblir säkra och under kontroll.

AI-chattbottar kan komma att bli användbara inom medicinen, men de är inte riktigt redo än. Det krävs mer testning och justeringar. För närvarande kan de hjälpa till med akademiskt arbete och stödja läkare, men de kan inte ställa slutgiltiga diagnoser. AI-tekniken utvecklas snabbt, så det är troligt att chattbottarna kommer att bli bättre inom de närmaste åren.

Läkare behöver pålitliga verktyg. Tills AI kan bevisas vara lika pålitlig som mänskliga läkare, bör den inte fatta viktiga beslut på egen hand. Forskare utvecklar miljöer för att testa dessa modeller och förbättra dem. Sjukhus bör dock endast använda AI de helt förstår och kontrollerar.

AI-chattbotar har potential, men de är ännu inte lämpliga för användning på sjukhus. De behöver mer forskning, bättre dataträning och strängare riktlinjer.