Para gigantes da IA, menor às vezes é melhor

Grandes empresas de tecnologia e startups estão agora focando em modelos de IA menores e mais eficientes segundo o WSJ. No início, o objetivo era construir modelos muito grandes como o GPT-4 da OpenAI, que utilizam trilhões de parâmetros e custam mais de US$ 100 milhões para serem desenvolvidos. No entanto, eles estão atualmente trabalhando em modelos menores e mais baratos com menos parâmetros.

A Microsoft disponibiliza a família Phi de modelos pequenos, que possuem apenas 1/100 do tamanho do modelo gratuito usado pelo ChatGPT da OpenAI. Esses modelos são mais baratos para treinar e operar, e ainda assim apresentam um bom desempenho.

Modelos de IA menores utilizam uma quantidade restrita de dados e são projetados para tarefas específicas, o que os torna:

• Custo-benefício
• Resposta rápida
• Especializado

O Diretor Comercial da Microsoft, Yusuf Mehdi, afirmou que operar grandes modelos de IA será caro demais para sustentar a longo prazo.

Modelos menores podem ser executados em dispositivos, o que significa que supercomputadores na nuvem não são necessários. A Apple quer usar IA nos smartphones para torná-los mais rápidos e seguros. Outras empresas de tecnologia estão fazendo o mesmo.

Benefícios de Custo e Desempenho

A Microsoft investiu fortemente em IA generativa inicialmente, mas descobriu que modelos grandes eram mais caros do que o esperado. Modelos menores como o Phi precisam de menos dados e poder de computação, tornando-se mais baratos. Este ano, Google e startups como Mistral, Anthropic e Cohere também lançaram modelos menores.

O uso de modelos menores pode reduzir significativamente os custos. Yoav Shoham, cofundador da AI21 Labs, disse que esses modelos podem responder perguntas por um sexto do custo dos modelos maiores. Os modelos menores funcionam bem quando são personalizados em conjuntos de dados específicos, como documentos jurídicos ou comunicações internas, oferecendo quase a mesma qualidade a um custo menor.

Pontos importantes sobre modelos menores:

• Menor consumo de dados
• Custos de treinamento reduzidos
• Eficácia para tarefas específicas

Leia também:

21 de novembro de 2024 · 03:55

Queda das ações asiáticas apesar do sucesso da Nvidia

A Experian substituiu seus chatbots de IA, que antes usavam modelos grandes, por modelos menores. Segundo Ali Khan, o Diretor de Dados, os modelos menores funcionaram igualmente bem e economizaram muito dinheiro. Esses modelos menores também são menos propensos a fornecer respostas erradas, tornando-os mais eficientes.

As tendências atuais estão moldando o futuro.

O avanço dos grandes modelos de IA tem desacelerado, permitindo que modelos menores aprimorem. Desde o lançamento do GPT-4 pela OpenAI, não houve grandes avanços em modelos de grande escala. A escassez de novos dados de alta qualidade para treinamento provocou essa desaceleração.

A Microsoft está agora voltada para tornar a IA mais eficiente. Sébastien Bubeck, líder do projeto Modelo Phi na empresa, afirmou que focar na eficiência é uma prioridade no momento.

Em resumo:

• Progresso lento em modelos grandes
• Maior foco na eficiência
• Modelos pequenos executando tarefas específicas com eficiência

Embora as empresas estejam avançando em uma nova direção, elas ainda utilizam modelos grandes. Apple e Microsoft estão incorporando a tecnologia da OpenAI em seus produtos, mas isso representa apenas uma pequena parte do que elas oferecem em termos de IA. A Apple também mencionou brevemente suas atualizações de IA durante uma recente apresentação.

A mudança para modelos de IA menores e especializados reflete uma transição de demonstrações grandes e chamativas para a criação de soluções úteis e acessíveis para empresas. O foco agora está em aplicações no mundo real, tornando a IA fácil de acessar e eficiente para tarefas cotidianas.