Puedes usar la API de inferencia y nuestras instancias ( usar nuestro balanceador de carga alojado para mantener la misma URL base para cada instancia ) con un Open Webui autoalojado ya. Puedes ejecutarlo en tu máquina local en docker. Bastante gente ya hace esto.

Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.