Tether、スマートフォン上で大規模モデルを実行するためのAIシステムを発表
概要
USDTの発行元であるTetherは、QVACプラットフォームの一部として、スマートフォンや非Nvidia GPUを含むコンシューマーハードウェア上で大規模言語モデル（LLM）のファインチューニングを可能にする新しいAIトレーニングフレームワークを発表しました。このシステムは、MicrosoftのBitNetアーキテクチャとLoRA技術を活用し、メモリと計算要件を大幅に削減することで、AI開発の障壁を下げることを目指しています。AMD、Intel、Apple Silicon、QualcommやAppleのモバイルGPUを含む幅広いチップでクロスプラットフォームのトレーニングと推論をサポートしています。Tetherのエンジニアは、スマートフォン上で最大10億パラメータのモデルを2時間未満でファインチューニングすることに成功し、モバイルデバイスでは最大130億パラメータのモデルもサポートしています。1ビットのBitNetアーキテクチャに基づいており、VRAM要件を16ビットモデルと比較して最大77.8%削減できるため、限られたハードウェアでより大きなモデルを実行できます。これは、オンデバイス学習やフェデレーテッドラーニングといったユースケースを提供し、中央集権型クラウドインフラへの依存を減らす可能性があります。
(出典：Cointelegraph)