IA eficiente ao alcance: modelos de linguagem otimizados para dispositivos móveis

São PauloPesquisadores de Princeton e Stanford desenvolveram uma nova maneira de tornar os modelos de linguagem de grande porte menores, permitindo que funcionem melhor em dispositivos móveis como celulares e laptops. Esse método ajuda a melhorar a privacidade, economiza energia e reduz os custos associados ao uso desses modelos.

O uso de modelos de linguagem grandes (LLMs) geralmente requer o envio de dados para servidores remotos, o que é caro e consome muita energia. O novo algoritmo CALDERA ajuda a reduzir dados extras e diminui a precisão das camadas dos LLMs. Isso permite que esses modelos sejam armazenados em dispositivos locais sem perder muita precisão.

Técnicas de “baixa precisão” e “baixo rank” são utilizadas para comprimir dados de forma eficiente. A baixa precisão reduz a quantidade de bits necessários para armazenamento e processamento, economizando energia. Já o baixo rank elimina partes desnecessárias nas matrizes de pesos dos modelos de linguagem. A combinação dessas técnicas aumenta a eficiência de compressão em até 5% em comparação ao uso apenas da baixa precisão. Essa melhoria possibilita que esses modelos sejam utilizados em dispositivos do dia a dia, como smartphones e laptops.

Algumas vantagens potenciais deste modelo menor são:

• Maior privacidade ao permitir que LLMs funcionem sem enviar dados para servidores externos.
• Menor consumo de energia devido à redução das necessidades computacionais.
• Ideal para dispositivos com recursos limitados.

Leia também:

18 de novembro de 2024 · 09:36

Estudo preciso do comportamento de camundongos com menos animais graças à IA inovadora

Avanços em IA: Acesso Local e Segurança de Dados

Esse desenvolvimento está alinhado com a atual tendência em inteligência artificial, que busca tornar as tecnologias mais acessíveis permitindo sua execução localmente. Quando modelos de linguagem robustos são operados direto no dispositivo do usuário, os dados permanecem lá, o que reduz significativamente o risco de vazamento de informações e acessos não autorizados. Isso é especialmente crucial à medida que a IA lida cada vez mais com dados pessoais e informações delicadas.

Executar um modelo de linguagem grande em um dispositivo móvel pode ser desafiador, pois consome muita memória e energia, o que pode resultar em uma menor duração da bateria se os modelos não forem bem otimizados. Embora técnicas que utilizam baixa precisão ajudem a economizar energia, elas não resolvem todos os problemas. Melhorias futuras podem exigir a combinação de estratégias de otimização de diferentes áreas.

Esta pesquisa demonstra que é possível tornar as ferramentas de IA mais acessíveis a todos. Ao reduzir de forma eficiente o tamanho dos grandes modelos de linguagem, mais pessoas poderão usar a IA em seus dispositivos pessoais, facilitando assim a integração da IA na vida cotidiana.