Für KI-Giganten ist kleiner manchmal besser
Große Technologieunternehmen und Start-ups konzentrieren sich nun auf kleinere, effizientere KI-Modelle laut WSJ. Anfangs versuchten sie, sehr große Modelle wie OpenAIs GPT-4 zu entwickeln, die Billionen von Parametern verwenden und mehr als 100 Millionen Dollar kosten. Jetzt arbeiten sie jedoch an kleineren, kostengünstigeren Modellen mit weniger Parametern.
Microsoft bietet seine Phi-Familie kleiner Modelle an, die nur ein Hundertstel der Größe des von OpenAI verwendeten freien Modells von ChatGPT haben. Diese Modelle sind günstiger zu trainieren und zu betreiben, liefern aber dennoch gute Ergebnisse.
Kleine KI-Modelle nutzen begrenzte Datenmengen und sind für bestimmte Aufgaben konzipiert, was sie:
- Kostengünstig
- Schnellere Reaktionszeit
- Spezialisiert
Yusuf Mehdi, der Chief Commercial Officer von Microsoft, erklärte, dass der Betrieb großer KI-Modelle auf Dauer zu kostspielig sein wird.
Kleinere Modelle können auf Geräten betrieben werden, was bedeutet, dass teure Cloud-Supercomputer nicht benötigt werden. Apple plant, künstliche Intelligenz direkt auf den Telefonen einzusetzen, um diese schneller und sicherer zu machen. Auch andere Technologieunternehmen verfolgen ähnliche Ansätze.
Kosten- und Leistungssteigerungen
Microsoft hat anfangs stark in generative KI investiert, stellte jedoch fest, dass große Modelle teurer als erwartet waren. Kleinere Modelle wie Phi benötigen weniger Daten und Rechenleistung, was sie kostengünstiger macht. In diesem Jahr haben auch Google und Start-ups wie Mistral, Anthropic und Cohere kleinere Modelle veröffentlicht.
Durch die Verwendung kleinerer Modelle können die Kosten erheblich gesenkt werden. Yoav Shoham, Mitbegründer von AI21 Labs, erklärte, dass diese Modelle Fragen zu einem Sechstel der Kosten größerer Modelle beantworten könnten. Kleinere Modelle sind besonders effizient, wenn sie auf spezifische Datensätze wie juristische Dokumente oder interne Kommunikation angepasst werden, und liefern dabei fast die gleiche Qualität zu niedrigeren Kosten.
Wichtige Aspekte kleinerer Modelle:
- Geringerer Datenaufwand
- Reduzierte Trainingskosten
- Effizient für spezielle Aufgaben
Experian hat ihre KI-Chatbots von großen Modellen auf kleinere Modelle umgestellt. Ali Khan, der Chief Data Officer, erklärte, dass die kleineren Modelle genauso gut funktionieren und viel Geld einsparen. Diese kleineren Modelle geben außerdem seltener falsche Antworten, was sie effizienter macht.
Aktuelle Entwicklungen bestimmen die Zukunft.
Der Fortschritt bei großen KI-Modellen hat sich verlangsamt, was kleineren Modellen die Möglichkeit gibt, sich zu verbessern. Seit OpenAI GPT-4 veröffentlicht hat, gab es keine bedeutenden Fortschritte bei großen Modellen. Der Mangel an neuen, hochwertigen Daten für das Training hat diese Verlangsamung verursacht.
Microsoft konzentriert sich derzeit darauf, Künstliche Intelligenz (KI) effizienter zu gestalten. Laut Sébastien Bubeck, der das Phi-Modellprojekt bei Microsoft leitet, ist der Fokus auf Effizienz momentan besonders wichtig.
Zusammengefasst:
- Langsame Fortschritte bei großen Modellen
- Größeres Augenmerk auf Effizienz
- Kleine Modelle, die spezifische Aufgaben gut erfüllen
Obwohl Unternehmen neue Wege einschlagen, verwenden sie weiterhin große Modelle. Apple und Microsoft integrieren die Technologie von OpenAI in ihre Produkte, aber das ist nur ein kleiner Teil ihres AI-Angebots. Apple erwähnte außerdem seine AI-Updates nur kurz bei einer kürzlichen Präsentation.
Der Trend hin zu kleineren, spezialisierten KI-Modellen zeigt einen Wandel von der Erstellung großer, auffälliger Demos hin zur Bereitstellung nützlicher und erschwinglicher KI-Lösungen für Unternehmen. Der Schwerpunkt liegt nun auf praktischen Anwendungen im Alltag, um KI leicht zugänglich und effizient für tägliche Aufgaben zu machen.
Diesen Artikel teilen