CALDERA: jak odchudzić sztuczną inteligencję i wprowadzić ją na urządzenia mobilne
WarsawNaukowcy z Princeton i Stanford opracowali nową metodę zmniejszania rozmiarów dużych modeli językowych (LLM), aby lepiej działały na urządzeniach mobilnych, takich jak telefony i laptopy. Ta technika poprawia prywatność, oszczędza energię i zmniejsza koszty związane z używaniem LLM.
Korzystanie z dużych modeli językowych (LLM) zazwyczaj wymaga przesyłania danych do serwerów zdalnych, co jest kosztowne i energochłonne. Nowy algorytm o nazwie CALDERA pomaga w redukowaniu nadmiaru danych i zmniejszaniu precyzji warstw LLM. Dzięki temu modele te mogą być przechowywane na lokalnych urządzeniach bez znaczącej utraty dokładności.
Technika ta wykorzystuje metody kompresji "niskiej precyzji" i "niskiego rzędu". Niska precyzja zmniejsza liczbę bitów potrzebnych do przechowywania i przetwarzania, co pozwala oszczędzać energię. Z kolei niski rząd eliminuje zbędne elementy w macierzach wag modeli językowych. Połączenie tych metod zwiększa efektywność kompresji nawet o 5% w porównaniu do samej niskiej precyzji. Dzięki temu modele te mogą być używane na codziennych urządzeniach, takich jak smartfony i laptopy.
Możliwe korzyści wynikające z mniejszego modelu obejmują:
- Zwiększona prywatność poprzez umożliwienie pracy LLM bez konieczności przesyłania danych do zewnętrznych serwerów.
- Mniejsze zużycie energii dzięki obniżeniu wymagań obliczeniowych.
- Idealne dla urządzeń z ograniczonymi zasobami.
Ten kierunek w rozwoju AI wpisuje się w obecną tendencję, której celem jest zwiększenie dostępności technologii sztucznej inteligencji poprzez możliwość ich lokalnego uruchamiania. Dzięki temu, że duże modele językowe działają na urządzeniu użytkownika, dane pozostają na tym urządzeniu, co znacznie minimalizuje ryzyko wycieków i nieautoryzowanego dostępu. Ma to szczególne znaczenie, gdy AI przetwarza informacje osobiste i wrażliwe.
Uruchamianie dużych modeli językowych na urządzeniach mobilnych może być wyzwaniem z powodu wysokiego zużycia pamięci i energii. Taki stan rzeczy może prowadzić do szybszego rozładowywania się baterii, jeśli te modele nie są odpowiednio zoptymalizowane. Pomimo że techniki wykorzystujące niską precyzję pomagają oszczędzać energię, nie rozwiązują wszystkich problemów. W przyszłości konieczne może być połączenie różnych strategii optymalizacji z różnych dziedzin.
Badania te wskazują, że możemy uczynić narzędzia AI bardziej dostępnymi dla każdego. Dzięki skutecznemu zmniejszeniu rozmiarów dużych modeli językowych, więcej osób będzie mogło korzystać z AI na swoich urządzeniach osobistych, co ułatwi integrację sztucznej inteligencji w codziennym życiu.
Udostępnij ten artykuł