Effiziente KI unterwegs: platzsparende Sprachmodelle für Mobilgeräte durch innovative Kompressionstechniken

BerlinForscher der Universitäten Princeton und Stanford haben eine neue Methode entwickelt, die großen Sprachmodelle zu verkleinern, sodass sie effizienter auf mobilen Geräten wie Smartphones und Laptops funktionieren. Diese Technik fördert die Privatsphäre, reduziert den Energieverbrauch und senkt die Betriebskosten der Sprachmodelle.

Sprachmodelle (LLMs) erfordern normalerweise das Senden von Daten an entfernte Server, was sowohl kostenintensiv als auch energieaufwendig ist. Der neue Algorithmus namens CALDERA trägt dazu bei, unnötige Daten zu reduzieren und die Präzision der LLM-Schichten zu verringern. Dadurch können LLMs lokal auf Geräten gespeichert werden, ohne wesentliche Genauigkeitseinbußen.

Die Technik verwendet "Niedrigpräzisions-" und "Niedrigrang-"Methoden, um Daten erheblich zu komprimieren. Niedrigpräzision reduziert die benötigte Bitanzahl für Speicherung und Verarbeitung, was Energie spart. Niedrigrang entfernt überflüssige Teile in den Gewichtsmatrizen von Sprachmodellen. Werden diese Methoden kombiniert, steigt die Kompressionseffizienz um bis zu 5 % im Vergleich zur alleinigen Nutzung von Niedrigpräzision. Diese Verbesserung ermöglicht es, Modelle auf Alltagsgeräten wie Smartphones und Laptops einzusetzen.

Einige potenzielle Vorteile dieses kompakteren Modells sind:

• Verbesserter Datenschutz, da LLMs ohne das Senden von Daten an externe Server funktionieren können.
• Weniger Energieverbrauch durch reduzierte Rechenanforderungen.
• Geeignet für Geräte mit begrenzten Ressourcen.

Lesen Sie auch:

Heute · 03:11

Neue Hoffnung bei Parkinson-Demenz: Winziges Protein kann kognitive Verschlechterung bekämpfen

In der aktuellen Entwicklung von KI-Technologien gibt es einen starken Trend, diese lokal auf den Geräten der Nutzer verfügbar zu machen. Durch das Ausführen großer Sprachmodelle direkt auf einem Gerät bleibt die Datensicherheit gewahrt, da die Daten nicht das Gerät verlassen. Dies reduziert erheblich das Risiko von Datenlecks und unbefugtem Zugriff. Diese Vorgehensweise ist besonders wichtig, da KI zunehmend mit persönlichen und sensiblen Informationen umgeht.

Das Betreiben eines großen Sprachmodells auf einem mobilen Gerät kann herausfordernd sein, da es viel Speicher und Energie verbrauchen kann. Dies könnte zu einer verkürzten Akkulaufzeit führen, wenn die Modelle nicht gut optimiert sind. Auch wenn Techniken mit geringer Präzision helfen, Energie zu sparen, lösen sie nicht alle Probleme. Zukünftige Verbesserungen müssen möglicherweise Optimierungsstrategien aus verschiedenen Bereichen kombinieren.

Diese Untersuchung zeigt, dass KI-Werkzeuge für alle zugänglicher gemacht werden können. Durch die effiziente Verkleinerung großer Sprachmodelle wird es möglich, dass mehr Menschen KI auf ihren persönlichen Geräten nutzen können, was zur Integration von KI in den Alltag beiträgt.