Según informaciones de Biquewang, Tether ha presentado recientemente su nuevo sistema QVAC, que ha logrado ejecutar el modelo LLAMA 3.2 (1,000 millones de parámetros) en dispositivos móviles utilizando llama.cpp, logrando inferencia local eficiente. QVAC es un tiempo de ejecución universal para inferencia y ajuste fino, diseñado para adaptarse a una variedad de dispositivos terminales, incluyendo teléfonos inteligentes, laptops y servidores. Actualmente soporta varios modelos y en el futuro se ampliará para soportar más modelos. [吴说]
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Según informaciones de Biquewang, Tether ha presentado recientemente su nuevo sistema QVAC, que ha logrado ejecutar el modelo LLAMA 3.2 (1,000 millones de parámetros) en dispositivos móviles utilizando llama.cpp, logrando inferencia local eficiente. QVAC es un tiempo de ejecución universal para inferencia y ajuste fino, diseñado para adaptarse a una variedad de dispositivos terminales, incluyendo teléfonos inteligentes, laptops y servidores. Actualmente soporta varios modelos y en el futuro se ampliará para soportar más modelos. [吴说]