Kraftfull AI för mobilen: Kompakta språkmodeller som sparar energi och främjar integritet

StockholmForskare från Princeton och Stanford har utvecklat en ny metod för att göra stora språkmodeller mindre, så att de bättre kan fungera på mobila enheter som telefoner och bärbara datorer. Denna metod bidrar till att förbättra integriteten, spara energi och minska kostnaderna för användningen av dessa språkmodeller.

Att använda stora språkmodeller (LLMs) innebär ofta att data skickas till avlägsna servrar, vilket är dyrt och energikrävande. Den nya algoritmen kallad CALDERA underlättar genom att minska onödig data och sänka precisionen på LLM-lager. Detta möjliggör lagring av LLMs på lokala enheter utan att tappa mycket noggrannhet.

Tekniken använder "lågnivåprecision" och "lågrad" metoder för att kraftigt komprimera data. Lågnivåprecision minskar antalet bitar som behövs för lagring och bearbetning, vilket sparar energi. Lågrad eliminerar onödiga delar i språkmodellernas viktsmatriser. Tillsammans gör dessa metoder komprimeringen upp till 5 % mer effektiv än att bara använda lågnivåprecision. Denna förbättring möjliggör användning av dessa modeller på vardagliga enheter som smartphones och bärbara datorer.

Några möjliga fördelar med denna mindre modell är:

• Förbättrad integritet genom att LLM kan fungera utan att skicka data till externa servrar.
• Lägre energiförbrukning tack vare minskade beräkningskrav.
• Passar enheter med begränsade resurser.

Läs också:

18 november 2024 · 14:36

Mindre djur, större precision: ny AI-teknik för avancerade beteendestudier av möss

Denna utveckling ligger i linje med den nuvarande trenden inom AI, där en stark ansträngning görs för att göra AI-teknologier mer tillgängliga genom att låta dem köras lokalt. Att köra stora språkmodeller på användarens enhet håller datan kvar på enheten, vilket minskar risken för dataläckor och obehörig åtkomst avsevärt. Detta är särskilt viktigt när AI hanterar mer personlig och känslig information.

Att köra en stor språkmodell på en mobil enhet kan vara utmanande eftersom det kan kräva mycket minne och kraft, vilket kan leda till kortare batteritid om modellerna inte är väloptimerade. Tekniker som använder låg precision hjälper till att spara energi, men de löser inte alla problem. I framtiden kan förbättringar behöva innebära att man kombinerar optimeringsstrategier från olika områden.

Denna studie visar att AI-verktyg kan göras mer tillgängliga för alla. Genom att effektivt minska storleken på stora språkmodeller kan fler människor använda AI på sina personliga enheter, vilket hjälper till att integrera AI i vardagen.