ChatGPT-4 hat Schwierigkeiten beim Extrahieren von Helm-Daten aus medizinischen Notizen in Unfallaufzeichnungen

Lesezeit: 2 Minuten
Durch Johannes Müller
- in
Generative KI-Maschine analysiert komplexe medizinische Daten.

BerlinWissenschaftler der Mailman School of Public Health der Columbia University haben ChatGPT-4, ein umfangreiches Sprachmodell, untersucht, um herauszufinden, ob es spezifische Informationen aus medizinischen Aufzeichnungen extrahieren kann. Sie wollten wissen, ob diese KI erkennen kann, ob verletzte Roller- und Fahrradfahrer bei ihren Unfällen Helme trugen. Die in JAMA Network Open veröffentlichte Studie zeigt jedoch, dass ChatGPT-4 derzeit erhebliche Schwächen bei dieser Aufgabe aufweist.

In der Studie untersuchten Forscher 54.569 Notaufnahmebesuche von 2019 bis 2022, die durch Verletzungen beim Fahren verschiedener Mikromobilitätsgeräte verursacht wurden. ChatGPT-4 hatte Schwierigkeiten mit Genauigkeit und Konsistenz im Vergleich zu einer herkömmlichen Textsuchmethode. Hauptprobleme waren:

  • Unbeständigkeit bei Antworten über aufeinanderfolgende Versuche hinweg
  • Schwierigkeiten bei der Verarbeitung von verneinten Ausdrücken
  • Bessere Konsistenz bei der Reproduktion falscher Informationen ("Halluzinationen") als bei korrekten Daten

Die Herausforderungen sind besorgniserregend, da LLMs im Gesundheitswesen sehr nützlich sein könnten. Wenn ChatGPT-4 nicht konstant genaue Informationen liefern kann, könnte dies die Datenverarbeitung in der medizinischen Forschung und Patientenversorgung verlangsamen.

Klinische Notizen enthalten viele wichtige medizinische Informationen, deren effektive und genaue Erfassung die Forschung und Patientenversorgung stark verbessern kann. Traditionelle Methoden wie einfache Textsuchen stoßen oft an ihre Grenzen, da sie den Kontext nicht gut erfassen können. Fortschrittliche KI-Methoden bieten mehr Flexibilität, aber wie diese Studie zeigt, sind große Sprachmodelle wie ChatGPT-4 noch keine verlässlichen Lösungen.

Die in dieser Studie verwendeten Eingabeaufforderungen mussten ausgiebig getestet werden, um alle wichtigen Texte abzudecken. Trotz dieser Bemühungen zeigte ChatGPT-4 jedoch oft inkonsistente Ergebnisse an verschiedenen Tagen. Dies verdeutlicht, dass die Technologie noch nicht ausgereift genug für den Einsatz in der realen Medizin ist, wo Zuverlässigkeit und Präzision unerlässlich sind.

Dr. Andrew Rundle, einer der Hauptautoren der Studie, erklärte, dass die Nutzung generativer KI zur Informationsbeschaffung zwar effizienter sein könnte, jedoch weiterhin Unzuverlässigkeiten und gelegentlich falsche Daten liefert. Das bedeutet, dass LLMs trotz ihres Potenzials derzeit weder bestehende Methoden zur Datenerhebung im Gesundheitswesen ersetzen noch sinnvoll unterstützen können.

KI-Technologien stoßen aktuell in kritischen Bereichen wie dem Gesundheitswesen an ihre Grenzen. Bevor wir große Sprachmodelle (LLMs) sicher in klinischen Umgebungen einsetzen können, müssen wir zuverlässigere Methoden entwickeln. Forschung ist dringend notwendig, insbesondere um die Verarbeitung natürlicher Sprache zu verbessern, damit klinische Notizen besser im Kontext verstanden werden.

Die Studie wird hier veröffentlicht:

http://dx.doi.org/10.1001/jamanetworkopen.2024.25981

und seine offizielle Zitation - einschließlich Autoren und Zeitschrift - lautet

Kathryn G. Burford, Nicole G. Itzkowitz, Ashley G. Ortega, Julien O. Teitler, Andrew G. Rundle. Use of Generative AI to Identify Helmet Status Among Patients With Micromobility-Related Injuries From Unstructured Clinical Notes. JAMA Network Open, 2024; 7 (8): e2425981 DOI: 10.1001/jamanetworkopen.2024.25981
Wissenschaft: Neueste Nachrichten
Weiterlesen:

Diesen Artikel teilen

Kommentare (0)

Kommentar veröffentlichen
NewsWorld

NewsWorld.app ist der kostenlose Premium-Nachrichtenseite in Deutschland. Wir bieten unabhängige und hochwertige Nachrichten, ohne pro Artikel zu berechnen und ohne ein Abonnementmodell. NewsWorld ist der Ansicht, dass allgemeine, geschäftliche, wirtschaftliche, technische und Unterhaltungsnachrichten auf hohem Niveau kostenlos zugänglich sein sollten. Darüber hinaus ist NewsWorld unglaublich schnell und verwendet fortschrittliche Technologie, um Nachrichtenartikel in einem äußerst lesbaren und attraktiven Format für den Verbraucher zu präsentieren.


© 2024 NewsWorld™. Alle Rechte vorbehalten.