Rischi e benefici dell’utilizzo di chatbot AI negli ospedali: studio del TUM su Llama 2

RomeGrandi modelli di linguaggio come ChatGPT sono in grado di superare facilmente gli esami medici. Tuttavia, utilizzarli per diagnosticare pazienti reali negli ospedali comporta dei rischi. Spesso forniscono diagnosi rapide e non seguono le linee guida mediche. Ricercatori della Technische Universität München (TUM) hanno condotto test per verificare se potessero essere utilizzati nella pratica clinica.

I ricercatori hanno utilizzato il modello linguistico gratuito Llama 2. Hanno simulato il percorso dal pronto soccorso al trattamento, impiegando dati anonimi di pazienti di una clinica statunitense. Sono stati scelti 2400 casi di pazienti con dolore addominale. L'AI doveva decidere quali esami effettuare e poi formulare la diagnosi e il piano di trattamento.

Risultati:

• Gli algoritmi di intelligenza artificiale non richiedevano sempre tutti i test necessari.
• Più informazioni avevano a disposizione, meno accurate risultavano le loro previsioni.
• Spesso non seguivano le linee guida per il trattamento.
• Le diagnosi dipendevano dall'ordine in cui ricevevano le informazioni.

Confrontando le prestazioni dell'IA con quelle dei medici reali, l'IA ha dimostrato di essere meno precisa. I medici hanno ottenuto il risultato corretto nell'89% dei casi, mentre il miglior modello di IA è stato esatto solo il 73% delle volte. In alcune diagnosi, come l'infiammazione della cistifellea, l'IA ha raggiunto un'accuratezza di appena il 13%.

I ricercatori non hanno esaminato modelli di intelligenza artificiale commerciali come ChatGPT o quelli di Google a causa di problemi legati alla protezione dei dati. Gli ospedali necessitano di modelli che possano controllare e mantenere sicuri, un'esigenza soddisfatta dai modelli open-source. Valutare equamente i modelli commerciali è complesso senza conoscere i dati di addestramento utilizzati.

Leggi anche:

Oggi · 14:35

Chatbot AI: precisione medica ma richiede linguaggio chiaro

L'intelligenza artificiale per le diagnosi mediche sta avanzando rapidamente. Secondo il Prof. Daniel Rückert della TUM, l'IA potrebbe essere utile ai medici in futuro, supportandoli nella discussione dei casi clinici, anche se non li sostituirà presto. Gli ospedali hanno bisogno di modelli open-source per garantire la sicurezza e il controllo dei dati dei pazienti.

I chatbot AI potrebbero essere utili in medicina, ma non sono ancora pronti. Richiedono ulteriori prove e modifiche. Al momento, possono supportare il lavoro accademico e assistere i medici, ma non sono in grado di fare diagnosi definitive. La tecnologia AI sta migliorando rapidamente, quindi è probabile che i chatbot diventeranno più efficaci nei prossimi anni.

I medici hanno bisogno di strumenti affidabili. Fino a quando l'IA non dimostrerà di essere tanto affidabile quanto i dottori umani, non dovrebbe prendere decisioni importanti da sola. I ricercatori stanno creando ambienti di test per migliorare questi modelli. Tuttavia, gli ospedali devono usare soltanto IA che comprendono e controllano pienamente.

I chatbot basati sull'intelligenza artificiale mostrano del potenziale, tuttavia non sono ancora idonei per essere utilizzati negli ospedali. È necessario condurre ulteriori ricerche, migliorare l'addestramento dei dati e implementare linee guida più rigorose.