モバイル時代のAI革命: CALDERAで進化する次世代小型言語モデル

Tokyoプリンストン大学とスタンフォード大学の研究者たちは、大規模な言語モデル（LLM）をより小型化して、携帯電話やノートパソコンなどのモバイルデバイスでの性能を向上させる新技術を開発しました。この手法により、プライバシーの向上、エネルギーの節約、LLM利用のコスト削減が実現されます。

大規模言語モデル（LLM）の利用には、通常、データを遠隔サーバーに送信することが含まれ、これには高いコストと多くのエネルギーが必要です。しかし、新しいアルゴリズム「CALDERA」が余分なデータを削減し、LLMの層の精度を下げることで、この問題を解決します。これにより、LLMをローカルデバイスに保存しても、精度をほとんど失うことなく実行できます。

低精度と低ランク手法を活用したこの技術は、データを大幅に圧縮します。低精度は、ストレージと処理に必要なビット数を減らし、エネルギーを節約します。低ランクは、言語モデルの重み行列から不要な部分を除去します。これらの手法を組み合わせることで、低精度のみを使用する場合に比べて圧縮効率が最大5％向上します。この改善により、スマートフォンやノートパソコンのような日常のデバイスでの使用が可能になります。

このコンパクトなモデルの利点として考えられる点は次のとおりです。

• データを外部サーバーに送信せずにLLMが動作できることで、プライバシーが強化されます。
• 計算要件が減るため、電力消費が抑えられます。
• 資源が限られているデバイスに適しています。

関連記事:

2024年11月18日 · 9:36

AIによるマウス行動研究の進化：動物を減らし、精度を向上

AI技術の現状には、ローカルでの実行を可能にして利用を広げようとする動きが見られます。ユーザーのデバイス上で大型言語モデルを実行することで、データがそのデバイス内に留まり、データ漏洩や不正アクセスのリスクが大幅に減少します。これは、AIが個人情報や機密情報を扱う場面で特に重要です。

モバイルデバイスで大規模な言語モデルを実行するのは、メモリや電力を多く消費するため難しいことがあります。このため、モデルが十分に最適化されていないと、バッテリーの持ち時間が短くなる可能性があります。低精度を利用する手法でエネルギー節約は進みますが、すべての問題を解決するわけではありません。将来的には、さまざまな分野からの最適化戦略を組み合わせる必要があるかもしれません。

AIツールをより身近に

この研究によれば、大規模な言語モデルを効率的に小型化することで、AIの利用が個人のデバイスでも可能になり、日常生活にAIを取り入れる手助けができることが示されています。