Licht auf versteckte Daten: Transparenzlücken beim Training von Sprachmodellen beseitigen

BerlinUm große Sprachmodelle zu trainieren, benötigen wir riesige Datensätze. Diese Datensätze stammen in der Regel aus verschiedenen Webquellen und werden zu großen Sammlungen kombiniert. Allerdings gehen dabei oft wichtige Informationen über die Herkunft der Daten und eventuelle Nutzungsbeschränkungen verloren. Diese Unklarheit ist ein großes Problem, da sie zu rechtlichen und ethischen Problemen führen und die Leistung des KI-Modells mindern kann. Zum Beispiel kann das Modell bei falscher Etikettierung für bestimmte Aufgaben schlecht funktionieren. Außerdem können Daten aus unbekannten Quellen Vorurteile mitbringen, was zu unfairen Vorhersagen führt.

Eine Forschergruppe von MIT und anderen Universitäten hat kürzlich eine gründliche Untersuchung durchgeführt und herausgefunden, dass:

• Über 70% der 1.800 Textdatensätze fehlten teilweise Angaben zur Lizenzierung.
• Bei rund 50% gab es Fehler in den Lizenzinformationen.
• Die meisten Datenersteller stammen aus dem globalen Norden.
• Die Einschränkungen für Datensätze haben in den letzten Jahren deutlich zugenommen.

Die Forscher haben ein Tool namens Data Provenance Explorer entwickelt. Dieses Tool erstellt automatisch einfache Zusammenfassungen darüber, wer einen Datensatz erstellt hat, woher er stammt, welche Lizenzen er besitzt und wie er genutzt werden kann.

Wenn Datensätze unklar oder unvollständig sind, können große Probleme entstehen. Zum Beispiel könnte ein Modell zur Beurteilung von Kreditanträgen voreingenommen sein, wenn die Daten nicht alle Personen genau repräsentieren. Dies könnte zu unfairen Kreditvergaben führen. Außerdem müssen Modelle möglicherweise entfernt werden, wenn sie private Informationen enthalten, was zu Zeit- und Arbeitsverlusten führen kann.

Lesen Sie auch:

Heute · 14:35

ChatGPT zeigt hohe Genauigkeit bei der Rückenschmerz-Beratung

Das Transparenzproblem ist mehr als nur ein Ärgernis. Es können rechtliche Schwierigkeiten auftreten, wenn Datensätze mit missverstandenen oder ignorierten Lizenzbedingungen verwendet werden. Für die Glaubwürdigkeit und Wirksamkeit von KI-Modellen ist es entscheidend, dass Entwickler und Benutzer ihre Trainingsdaten nachvollziehen und bestätigen können.

Ein Team des MIT entdeckte, dass Datensätze, die hauptsächlich von Personen aus den USA oder China erstellt werden, oft wichtige kulturelle Details für andere Länder wie Türkei oder Brasilien übersehen. Dadurch wird es schwierig, diese KI-Modelle weltweit effektiv einzusetzen.

Die Forscher sind der Ansicht, dass Werkzeuge wie der Data Provenance Explorer Transparenzprobleme verringern können. Solche Werkzeuge liefern klare Informationen über Datensätze, was KI-Entwicklern ermöglicht, Entscheidungen zu treffen, die ethischen Standards und gesetzlichen Vorgaben entsprechen. Dies führt zu verantwortungsvolleren KI-Technologien, die fair, effizient und ihrem beabsichtigten Zweck entsprechend sind.

Die Bedeutung von Datenherkunft und Transparenz in der KI-Entwicklung wächst stetig. Im Zuge der wachsenden Anwendungsgebiete von KI ist es unverzichtbar, sicherzustellen, dass die Trainingsdaten gut dokumentiert und ethisch einwandfrei beschafft werden.