Der Kampf gegen AI-Text: mit Sprachmodellen Schritt halten trotz steigender Täuschungsgefahr

BerlinSeit 2019 sorgt maschinell erzeugter Text für Verwirrung unter den Menschen. Fortgeschrittene Werkzeuge wie GPT-2, ChatGPT und Llama machen es schwer, zu erkennen, ob ein Text von einem Menschen oder einer Maschine stammt. Diese Tools sparen Zeit und fördern die Kreativität, können aber auch dazu verwendet werden, Menschen zu täuschen. Die Technologie zur Erkennung von maschinell erzeugtem Text wird immer besser, liefert jedoch gemischte Ergebnisse.

Viele kommerzielle Detektoren behaupten, dass sie äußerst genau sind und Erfolgsraten von bis zu 99 % erreichen. Unabhängige Tests von Chris Callison-Burch und seinem Team zeigen jedoch andere Ergebnisse. Sie haben ein Datensatz namens RAID erstellt, der über 10 Millionen Dokumente enthält, die sowohl von KI als auch von Menschen verfasst wurden. Dieser Datensatz ermöglicht es, die tatsächliche Leistungsfähigkeit der Textdetektoren zu überprüfen.

Viele Detektoren scheitern, wenn sie mit verschiedenen Textarten oder unterschiedlichen Ausgangsmodellen für Sprachmodelle konfrontiert werden. Hier sind einige wesentliche Probleme:

• Detektoren, die auf ChatGPT trainiert sind, versagen bei anderen Modellen wie Llama.
• Spezialisierte Detektoren, beispielsweise solche, die auf Nachrichtenartikeln basieren, funktionieren schlecht bei anderen Inhaltstypen wie Rezepten oder kreativen Texten.
• Einfache Textänderungen wie das Hinzufügen von Leerzeichen oder das Ersetzen von Buchstaben durch Symbole können die meisten Detektoren problemlos umgehen.

Lesen Sie auch:

Heute · 12:41

OpenAIs schwieriger Übergang zu einer gewinnorientierten Einheit

Aktuelle Texterkennungssysteme sind noch nicht vollständig zuverlässig. Maschinelles Lernen muss besser darin werden, von anderen Maschinen generierten Text zu identifizieren, um mit fortgeschrittenen Sprachmodellen Schritt zu halten. Einfache Tricks wie das Ersetzen von Buchstaben durch ähnliche Symbole können diese Detektoren leicht täuschen. Daher ist die heutige Erkennungstechnologie nicht vertrauenswürdig genug für wichtige Aufgaben wie die Sicherstellung der akademischen Integrität oder die Kontrolle von Online-Inhalten.

Das Callison-Burch-Team möchte Klarheit schaffen und neue Ideen in diesem Bereich fördern, indem sie RAID und eine öffentliche Bestenliste einführen. Unternehmen können ihre Werkzeuge anhand dieser Norm überprüfen und verbessern. Dieser offene Wettbewerb könnte zu erheblichen Fortschritten in der Erkennungstechnologie führen.

Das Hauptproblem ist nicht nur das Erkennen von KI-generierten Texten. Wir benötigen bessere Werkzeuge, um die Risiken zu verstehen und ihre Auswirkungen zu steuern. Die Gemeinschaft sollte daran arbeiten, den Schaden durch die weite Verbreitung von KI-generierten Inhalten zu verringern. Das bedeutet, nicht nur die Methoden zur Erkennung zu verbessern, sondern auch den Nutzern beizubringen, wie sie digitale Inhalte besser verstehen können.