Voor AI-giganten is kleiner soms beter

Grote technologiebedrijven en startups richten zich tegenwoordig op kleinere, efficiëntere AI-modellen volgens de WSJ. In eerste instantie streefden ze ernaar om zeer grote modellen te bouwen, zoals GPT-4 van OpenAI, die gebruikmaken van triljoenen parameters en meer dan 100 miljoen dollar kosten om te ontwikkelen. Nu werken ze echter aan kleinere, goedkopere modellen met minder parameters.

Microsoft biedt de Phi-familie van kleine modellen aan, die slechts 1/100e van de grootte van het gratis model van OpenAI's ChatGPT zijn. Deze modellen zijn goedkoper om te trainen en te gebruiken, maar presteren toch goed.

Kleine AI-modellen hanteren beperkte gegevens en zijn ontwikkeld voor bepaalde taken, waardoor ze:

• Kostenefficiënt
• Snellere reactietijd
• Gespecialiseerd

Yusuf Mehdi, de Chief Commercial Officer van Microsoft, gaf aan dat het langdurig draaien van grote AI-modellen te duur zal zijn.

Kleinere modellen kunnen op apparaten draaien, wat betekent dat dure cloud-supercomputers niet nodig zijn. Apple wil AI op telefoons gebruiken om ze sneller en veiliger te maken. Andere technologiebedrijven doen hetzelfde.

Kosten- en Prestatievoordelen

Microsoft investeerde aanvankelijk veel in generatieve AI, maar ontdekte dat grote modellen duurder waren dan verwacht. Kleinere modellen, zoals Phi, hebben minder data en rekenkracht nodig, en zijn daardoor goedkoper. Dit jaar hebben Google en startups zoals Mistral, Anthropic en Cohere ook kleinere modellen uitgebracht.

Het gebruik van kleinere modellen kan de kosten aanzienlijk verlagen. Yoav Shoham, medeoprichter van AI21 Labs, verklaarde dat deze modellen vragen kunnen beantwoorden voor één zesde van de kosten van grotere modellen. Kleinere modellen presteren goed wanneer ze zijn aangepast aan specifieke datasets, zoals juridische documenten of interne communicatie, en bieden bijna dezelfde kwaliteit tegen lagere kosten.

Belangrijke punten over kleinere modellen:

• Minder data-intensief
• Lagere trainingskosten
• Efficiënt voor specifieke taken

Lees ook:

Vandaag · 14:35

AI-chatbots bieden nauwkeurige adviezen bij lage rugpijn.

Experian heeft hun AI-chatbots aangepast door grote modellen te vervangen met kleinere. Ali Khan, de Chief Data Officer, verklaarde dat de kleinere modellen net zo goed werken en bovendien veel kosten besparen. Deze kleinere modellen geven ook minder vaak foute antwoorden, wat hun efficiëntie verhoogt.

De huidige trends bepalen de toekomst.

De vooruitgang van grote AI-modellen is vertraagd, waardoor kleinere modellen de kans hebben gekregen om zich te verbeteren. Sinds de lancering van GPT-4 door OpenAI zijn er geen grote ontwikkelingen geweest in grote modellen. Het gebrek aan nieuwe, hoogwaardige data voor training heeft deze vertraging veroorzaakt.

Microsoft richt zich nu op het efficiënter maken van AI. Sébastien Bubeck, die het Phi-modelproject bij Microsoft leidt, benadrukte dat het momenteel belangrijk is om de nadruk op efficiëntie te leggen.

Samenvattend:

• Langzame vooruitgang bij grote modellen
• Grotere nadruk op efficiëntie
• Kleine modellen die specifieke taken goed uitvoeren

Hoewel bedrijven een nieuwe koers varen, maken ze nog steeds gebruik van grote modellen. Apple en Microsoft integreren de technologie van OpenAI in hun producten, maar dit vormt slechts een klein onderdeel van hun totale AI-aanbod. Apple noemde zijn AI-updates ook kort tijdens een recente presentatie.

De overgang naar kleinere, gespecialiseerde AI-modellen markeert een verschuiving van het maken van grote, opvallende demo's naar het nuttig en betaalbaar maken van AI voor bedrijven. De nadruk ligt nu op toepassingen in de praktijk, waardoor AI gemakkelijk toegankelijk en efficiënt is voor alledaagse taken.