Tether 推出可在智能手机上运行大型模型的 AI 系统
内容摘要
USDT 的发行方 Tether 发布了一个新的 AI 训练框架，作为其 QVAC 平台的一部分，该框架旨在实现在包括智能手机和非 Nvidia GPU 在内的消费级硬件上对大型语言模型（LLM）进行微调。该系统利用微软的 BitNet 架构和 LoRA 技术，显著降低了内存和计算需求，从而降低了人工智能开发的门槛。它支持跨平台训练，涵盖 AMD、Intel、Apple Silicon 以及高通和苹果的移动 GPU。Tether 工程师成功在两小时内于智能手机上微调了多达 10 亿参数的模型，并支持高达 130 亿参数的模型。通过采用 1 位 BitNet 架构，该框架与 16 位模型相比，可将 VRAM 需求减少高达 77.8%。此举符合加密公司向 AI 基础设施扩展的更广泛趋势，并为设备上训练和联邦学习等应用场景提供了支持，有望减少对集中式云服务的依赖。
(来源：Cointelegraph)