Pour les géants de l'IA, plus petit est parfois mieux

Les grandes entreprises technologiques et les startups se concentrent désormais sur des modèles d'IA plus petits et plus efficaces selon le WSJ. Au début, leur objectif était de créer des modèles très larges comme le GPT-4 d'OpenAI, qui utilisent des trillions de paramètres et coûtent plus de 100 millions de dollars à développer. Cependant, ils travaillent maintenant sur des modèles plus petits et moins coûteux avec moins de paramètres.

Microsoft propose sa famille Phi de petits modèles, qui ne représentent qu'un centième de la taille du modèle gratuit utilisé par le ChatGPT d'OpenAI. Ces modèles sont moins coûteux à entraîner et à exécuter, tout en offrant de bonnes performances.

Les petits modèles d'IA utilisent une quantité restreinte de données et sont conçus pour des tâches spécifiques, ce qui les rend :

• Économique
• Temps de réponse rapide
• Spécialisé

Yusuf Mehdi, directeur commercial de Microsoft, a affirmé que l'exploitation de grands modèles d'intelligence artificielle deviendra trop coûteuse à long terme.

Des modèles réduits peuvent fonctionner sur des appareils, ce qui signifie que des superordinateurs en nuage coûteux ne sont pas nécessaires. Apple souhaite utiliser l'IA sur les téléphones pour les rendre plus rapides et plus sécurisés. D'autres entreprises technologiques suivent la même voie.

Avantages en termes de Coût et de Performance

Les bénéfices liés aux coûts et à la performance ne peuvent être négligés. La réduction des dépenses associée à une efficacité accrue permet d'améliorer les résultats globaux de manière significative.

Microsoft a d'abord beaucoup investi dans l'IA générative, mais a constaté que les grands modèles étaient plus coûteux que prévu. Des modèles plus petits, comme Phi, nécessitent moins de données et de puissance de calcul, les rendant ainsi plus économiques. Cette année, Google et des startups comme Mistral, Anthropic et Cohere ont également lancé des modèles plus réduits.

L'utilisation de modèles plus petits peut considérablement réduire les coûts. Yoav Shoham, cofondateur d'AI21 Labs, a déclaré que ces modèles pouvaient répondre aux questions à un coût inférieur de six fois à celui des modèles plus grands. Les modèles plus petits fonctionnent bien lorsqu'ils sont personnalisés sur des ensembles de données spécifiques, tels que des documents juridiques ou des communications internes, offrant une qualité presque équivalente à un coût réduit.

Lisez aussi:

Aujourd'hui · 12:41

La transition difficile d'OpenAI vers une entité à but lucratif

Points essentiels concernant les modèles réduits :

• Moins gourmand en données
• Coûts de formation réduits
• Efficace pour des tâches spécifiques

Experian a remplacé ses chatbots alimentés par de gros modèles d'IA par des modèles plus petits. Ali Khan, le Directeur des Données, a déclaré que les modèles plus petits fonctionnaient tout aussi bien et permettaient de réaliser des économies considérables. Ces modèles réduits sont également moins susceptibles de donner des réponses erronées, ce qui les rend plus efficaces.

Les tendances actuelles déterminent l'avenir.

Le développement des grands modèles d'IA a ralenti, permettant ainsi aux modèles plus modestes de se perfectionner. Depuis le lancement de GPT-4 par OpenAI, aucun progrès significatif n'a été observé dans les grands modèles. Cette stagnation est attribuée à l'absence de nouvelles données de haute qualité pour l'entraînement.

Microsoft concentre désormais ses efforts sur l'amélioration de l'efficacité de l'IA. Sébastien Bubeck, responsable du projet Phi chez Microsoft, a déclaré qu'il est crucial de se concentrer sur l'efficacité en ce moment.

En conclusion :

• Progrès lents avec les grands modèles
• Accent accru sur l'efficacité
• Petits modèles excellant dans des tâches spécifiques

Bien que les entreprises se dirigent vers de nouvelles orientations, elles continuent d'utiliser de grands modèles. Apple et Microsoft intègrent la technologie d'OpenAI dans leurs produits, mais cela ne représente qu'une petite partie de leur offre en matière d'intelligence artificielle. Apple a également brièvement évoqué ses mises à jour en IA lors d'une récente présentation.

Le passage vers des modèles d'IA spécialisés plus petits marque une transition des démonstrations impressionnantes vers des solutions utiles et abordables pour les entreprises. L'accent est désormais mis sur des applications concrètes, rendant l'IA accessible et efficace pour les tâches quotidiennes.