Tether presenta un sistema de IA para ejecutar modelos grandes en smartphones

Tether, el emisor de USDT, ha lanzado un nuevo marco de entrenamiento de IA, como parte de su plataforma QVAC, diseñado para permitir el ajuste fino de modelos de lenguaje grandes (LLM) en hardware de consumo, incluyendo smartphones y GPUs no Nvidia. El sistema utiliza la arquitectura BitNet de Microsoft y técnicas LoRA para reducir significativamente los requisitos de memoria y cómputo, con el potencial de abaratar el desarrollo de IA. Soporta entrenamiento e inferencia multiplataforma en chips como AMD, Intel, Apple Silicon y GPUs móviles de Qualcomm y Apple. Los ingenieros de Tether lograron ajustar modelos de hasta mil millones de parámetros en smartphones en menos de dos horas, con soporte para modelos de hasta 13 mil millones de parámetros en dispositivos móviles. Al basarse en la arquitectura BitNet de 1 bit, el marco puede reducir los requisitos de VRAM hasta en un 77.8% en comparación con modelos similares de 16 bits. Este avance se enmarca en la tendencia de las empresas cripto de expandirse a la infraestructura de IA, ofreciendo casos de uso como el entrenamiento en el dispositivo y el aprendizaje federado, reduciendo la dependencia de la infraestructura en la nube centralizada.

(Fuente：Cointelegraph)