ChatGPT-4 hat Schwierigkeiten beim Extrahieren von Helm-Daten aus medizinischen Notizen in Unfallaufzeichnungen

BerlinWissenschaftler der Mailman School of Public Health der Columbia University haben ChatGPT-4, ein umfangreiches Sprachmodell, untersucht, um herauszufinden, ob es spezifische Informationen aus medizinischen Aufzeichnungen extrahieren kann. Sie wollten wissen, ob diese KI erkennen kann, ob verletzte Roller- und Fahrradfahrer bei ihren Unfällen Helme trugen. Die in JAMA Network Open veröffentlichte Studie zeigt jedoch, dass ChatGPT-4 derzeit erhebliche Schwächen bei dieser Aufgabe aufweist.

In der Studie untersuchten Forscher 54.569 Notaufnahmebesuche von 2019 bis 2022, die durch Verletzungen beim Fahren verschiedener Mikromobilitätsgeräte verursacht wurden. ChatGPT-4 hatte Schwierigkeiten mit Genauigkeit und Konsistenz im Vergleich zu einer herkömmlichen Textsuchmethode. Hauptprobleme waren:

• Unbeständigkeit bei Antworten über aufeinanderfolgende Versuche hinweg
• Schwierigkeiten bei der Verarbeitung von verneinten Ausdrücken
• Bessere Konsistenz bei der Reproduktion falscher Informationen ("Halluzinationen") als bei korrekten Daten

Die Herausforderungen sind besorgniserregend, da LLMs im Gesundheitswesen sehr nützlich sein könnten. Wenn ChatGPT-4 nicht konstant genaue Informationen liefern kann, könnte dies die Datenverarbeitung in der medizinischen Forschung und Patientenversorgung verlangsamen.

Klinische Notizen enthalten viele wichtige medizinische Informationen, deren effektive und genaue Erfassung die Forschung und Patientenversorgung stark verbessern kann. Traditionelle Methoden wie einfache Textsuchen stoßen oft an ihre Grenzen, da sie den Kontext nicht gut erfassen können. Fortschrittliche KI-Methoden bieten mehr Flexibilität, aber wie diese Studie zeigt, sind große Sprachmodelle wie ChatGPT-4 noch keine verlässlichen Lösungen.

Lesen Sie auch:

Heute · 14:35

ChatGPT zeigt hohe Genauigkeit bei der Rückenschmerz-Beratung

Die in dieser Studie verwendeten Eingabeaufforderungen mussten ausgiebig getestet werden, um alle wichtigen Texte abzudecken. Trotz dieser Bemühungen zeigte ChatGPT-4 jedoch oft inkonsistente Ergebnisse an verschiedenen Tagen. Dies verdeutlicht, dass die Technologie noch nicht ausgereift genug für den Einsatz in der realen Medizin ist, wo Zuverlässigkeit und Präzision unerlässlich sind.

Dr. Andrew Rundle, einer der Hauptautoren der Studie, erklärte, dass die Nutzung generativer KI zur Informationsbeschaffung zwar effizienter sein könnte, jedoch weiterhin Unzuverlässigkeiten und gelegentlich falsche Daten liefert. Das bedeutet, dass LLMs trotz ihres Potenzials derzeit weder bestehende Methoden zur Datenerhebung im Gesundheitswesen ersetzen noch sinnvoll unterstützen können.

KI-Technologien stoßen aktuell in kritischen Bereichen wie dem Gesundheitswesen an ihre Grenzen. Bevor wir große Sprachmodelle (LLMs) sicher in klinischen Umgebungen einsetzen können, müssen wir zuverlässigere Methoden entwickeln. Forschung ist dringend notwendig, insbesondere um die Verarbeitung natürlicher Sprache zu verbessern, damit klinische Notizen besser im Kontext verstanden werden.