Forskningsstudie avslöjar: AI-verktyg skapar falska utsagor i sjukvården

StockholmDet finns växande oro kring Whisper, ett AI-verktyg som används för att transkribera tal, eftersom det blir allt vanligare inom vården. Forskare har upptäckt att mjukvaran ibland fabricerar uttalanden som aldrig faktiskt sagts. Detta problem kan vara mycket farligt i medicinska sammanhang där noggranna transkriptioner är avgörande.

Whisper är ett verktyg utvecklat av OpenAI, som används på olika plattformar, inklusive molntjänster från Oracle och Microsoft. Många människor använder det för att omvandla tal till text på platser som sjukhus och callcenter. Dock kan det ibland göra fel, vilket kan vara farligt, som att ge felaktig medicinsk information inom sjukvården.

Forskare har upptäckt att Whisper ofta ger felaktig information. En studie från University of Michigan visade att 80% av de granskade transkripten innehöll misstag, vilket har lett till insatser för att förbättra modellen. Dessutom fann en maskininlärningsingenjör fel i ungefär hälften av de granskade transkripten, vilket belyser ett utbrett problem.

Missförstånd i medicinska samtal kan leda till felaktiga diagnoser, olämpliga behandlingar, eller att patienter får felaktig rådgivning. Dessa misstag kan äventyra patientsäkerheten och öka arbetsbelastningen för vårdpersonal som är beroende av korrekt information för att ge rätt vård.

Läs också:

Idag · 15:27

USA dominerar AI-innovation, lämnar Kina bakom i Stanford-rankning

Här är de viktigaste frågorna som betonas:

• Betydande förekomst av felaktiga transkriptioner inom sjukvården.
• Risk för allvarliga följder, till exempel felaktiga diagnoser.
• Användning i kritiska applikationer som sjukhussystem utan tillräckliga skyddsåtgärder.
• Risker för sårbara grupper, som Döva och hörselskadade, som är beroende av korrekta transkriptioner.

Whisper är populär men har oroväckande problem. Inom viktiga områden krävs det att taligenkänning är mycket noggrann. Felen i Whisper antyder att det kan behövas fler regler för att se till att AI-verktyg är säkra och pålitliga.

Fler människor uppmanar OpenAI att lösa dessa problem. Experter anser att striktare regler för AI kan minska dessa risker. OpenAI uppdaterar sina modeller och använder feedback för att förbättra precisionen. Men tills stora förbättringar görs bör användning av Whisper och liknande AI-transkriptionsverktyg i kritiska situationer ske med försiktighet.