Baseten становится официальным провайдером инференса на платформе Hugging Face

Мы рады сообщить о важном обновлении: Baseten теперь официально поддерживается в качестве провайдера инференса на платформе Hugging Face Hub. Появление Baseten расширяет нашу постоянно растущую экосистему и существенно увеличивает функциональность бессерверного инференса, который доступен напрямую на страницах моделей. Новые провайдеры бесшовно интегрированы в наши клиентские SDK для языков JavaScript и Python. Это делает запуск самых разных моделей с использованием предпочитаемой инфраструктуры невероятно простым.

Платформа Baseten специализируется на искусственном интеллекте и предлагает разработчикам надежную инфраструктуру, охватывающую бессерверный ИИ, обучение и многое другое. В каталоге компании представлено множество передовых моделей, что позволяет специалистам без труда встраивать широкий спектр ИИ-возможностей в собственные приложения, выполняя минимальный объем настроек.

Поддерживаемые задачи и модели

Инфраструктура Baseten работает с самыми разнообразными типами моделей: от масштабных языковых моделей (LLM) до систем преобразования текста в речь. В рамках первого этапа интеграции Baseten запускает поддержку задач диалога и генерации текста на Hugging Face. Это открывает пользователям доступ к популярным моделям с открытыми весами, таким как Kimi K3, новейшая DeepSeek V4 Flash, GLM-5.2 и многим другим. В ближайшем будущем планируется добавить поддержку дополнительных задач. Со всеми моделями, совместимыми с Baseten, можно ознакомиться на странице интеграции.

Настройки учетной записи и режимы работы

В настройках вашего пользовательского профиля доступны следующие опции:

• Возможность указать персональные API-ключи для провайдеров, у которых у вас есть аккаунт. Если личный ключ не задан, все запросы будут автоматически направляться через инфраструктуру Hugging Face.
• Сортировка провайдеров по степени приоритета. Данная настройка напрямую влияет на интерактивные виджеты и блоки с примерами кода на страницах моделей.

Как отмечалось ранее, при вызове провайдеров инференса можно использовать два различных режима:

• С использованием собственного ключа (Custom key): запросы отправляются напрямую к провайдеру инференса с применением вашего индивидуального API-ключа от соответствующего сервиса.
• С маршрутизацией через Hugging Face (Routed by HF): в этом случае токен провайдера не требуется, а все расходы списываются непосредственно с баланса вашего аккаунта на Hugging Face, а не со счета сторонней платформы.

На страницах моделей теперь отображаются сторонние провайдеры инференса, совместимые с конкретной архитектурой и отсортированные с учетом индивидуальных пользовательских предпочтений.

Интеграция с SDK и популярными инструментами

Сервис Baseten доступен через официальные пакеты Hugging Face SDK: библиотеку huggingface_hub (версии 1.26.1 и новее) для языка Python, а также пакет @huggingface/inference для экосистемы JavaScript.

Ниже приведены примеры кода, демонстрирующие запуск новейшей модели DeepSeek V4 Flash через инфраструктуру Baseten. Для прохождения аутентификации используется токен Hugging Face, после чего запрос автоматически направляется в Baseten.

Пример на Python:

import os
from openai import OpenAI
client = OpenAI(base_url="https://router.huggingface.co/v1", api_key=os.environ["HF_TOKEN"])
completion = client.chat.completions.create(model="deepseek-ai/DeepSeek-V4-Flash-0731:baseten", messages=[{"role": "user", "content": "Write a Python function that returns the nth Fibonacci number using memoization."}])
print(completion.choices[0].message)

Пример на JavaScript:

import { OpenAI } from "openai";
const client = new OpenAI({ baseURL: "https://router.huggingface.co/v1", apiKey: process.env.HF_TOKEN });
const chatCompletion = await client.chat.completions.create({ model: "deepseek-ai/DeepSeek-V4-Flash-0731:baseten", messages: [{ role: "user", content: "Write a Python function that returns the nth Fibonacci number using memoization." }] });
console.log(chatCompletion.choices[0].message);

Стоит отметить, что провайдеры инференса от Hugging Face интегрированы в большинство популярных агентских сред (Agent Harnesses), включая такие решения, как Pi, OpenCode, Hermes Agents, OpenClaw и прочие. Это означает, что вы можете подключать модели на базе Baseten напрямую к любимым инструментам разработки без написания дополнительного связующего кода.

Финансовые условия и подписка PRO

При отправке прямых запросов, когда задействуется ключ стороннего провайдера инференса, тарификация осуществляется соответствующим сервисом. Например, если вы применяете API-ключ Baseten, все расчеты производятся на вашей учетной записи в Baseten. При отправке маршрутизируемых запросов с аутентификацией через Hugging Face Hub вы оплачиваете услуги строго по стандартным тарифам провайдера API. Мы не делаем никаких дополнительных наценок и перенаправляем стоимость услуг партнеров напрямую. В перспективе мы планируем внедрить соглашения о разделении доходов с нашими партнерскими компаниями.

Важное примечание: владельцы подписки PRO получают по 2 доллара США ежемесячно в виде кредитов на инференс. Эти средства можно тратить на услуги любых провайдеров. Оформите подписку Hugging Face PRO, чтобы получить доступ к инференсным кредитам, технологии ZeroGPU, пространству Spaces Dev Mode, двадцатикратно увеличенным лимитам и другим преимуществам. Для авторизованных пользователей с бесплатными аккаунтами мы также предоставляем базовый бесплатный инференс с небольшими лимитами, однако настоятельно рекомендуем перейти на PRO-план при наличии такой возможности.

Мы будем рады узнать ваше мнение! Вы можете поделиться своими мыслями, отзывами или замечаниями в специальном разделе обсуждений на платформе Hugging Face.

Источник: huggingface.co