AI onderweg: compacte taalmodellen voor betere prestaties op mobiele apparaten

AmsterdamOnderzoekers van Princeton en Stanford hebben een nieuwe methode ontwikkeld om grote taalmodellen (LLM's) compacter te maken, zodat ze beter functioneren op mobiele apparaten zoals telefoons en laptops. Deze aanpak verbetert de privacy, bespaart energie en verlaagt de kosten die verband houden met het gebruik van deze LLM's.

Het gebruik van grote taalmodellen (LLMs) vereist vaak het verzenden van gegevens naar externe servers, wat duur en energie-intensief is. Het nieuwe algoritme genaamd CALDERA biedt een oplossing door extra data te verminderen en de precisie van LLM-lagen te verlagen. Hierdoor kunnen LLMs op lokale apparaten worden opgeslagen zonder aanzienlijke verlies aan nauwkeurigheid.

De techniek maakt gebruik van "laagprecisie" en "laag-rang" methoden om gegevens aanzienlijk te comprimeren. Laagprecisie vermindert het aantal benodigde bits voor opslag en verwerking, waardoor energie wordt bespaard. Laag-rang verwijdert onnodige onderdelen in de gewichtsmatrices van taalmodellen. Door deze methoden te combineren, wordt de efficiëntie van compressie met maximaal 5% verbeterd in vergelijking met alleen laagprecisie. Deze verbetering maakt het mogelijk om de modellen te gebruiken op alledaagse apparaten zoals smartphones en laptops.

Enkele mogelijke voordelen van dit compacte model zijn:

• Verbeterde privacy doordat LLMs kunnen werken zonder gegevens naar externe servers te sturen.
• Lagere energieverbruik dankzij verminderde rekeneisen.
• Geschikt voor apparaten met beperkte bronnen.

Lees ook:

18 november 2024 · 14:36

Precieze gedragsstudies bij muizen dankzij AI: minder dieren en snellere resultaten

Deze ontwikkeling sluit aan bij de huidige trend in AI, waarin er hard wordt gewerkt om AI-technologieën toegankelijker te maken door ze lokaal te laten draaien. Door grote taalmodellen op een apparaat van de gebruiker te laten draaien, blijft de data op datzelfde apparaat. Dit vermindert de kans op datalekken en ongeautoriseerde toegang aanzienlijk. Dit is cruciaal, vooral omdat AI steeds vaker met persoonlijke en gevoelige informatie werkt.

Het draaien van een groot taalmodel op een mobiel apparaat kan lastig zijn, omdat het veel geheugen en energie verbruikt. Dit kan resulteren in een kortere batterijduur als de modellen niet goed geoptimaliseerd zijn. Technieken die gebruikmaken van lage precisie helpen wel energie te besparen, maar lossen niet alle problemen op. Toekomstige verbeteringen moeten wellicht verschillende optimalisatiestrategieën combineren uit diverse vakgebieden.

Dit onderzoek toont aan dat we AI-hulpmiddelen toegankelijker kunnen maken voor iedereen. Door de omvang van grote taalmodellen effectief te verkleinen, wordt het mogelijk dat meer mensen AI op hun persoonlijke apparaten kunnen gebruiken, wat de integratie van AI in het dagelijks leven bevordert.