Baseten теперь среди провайдеров инференса в Hugging Face Hub

Мы рады сообщить, что платформа Baseten стала полноценным партнером и поддерживаемым провайдером инференса в экосистеме Hugging Face Hub. Это стратегическое пополнение существенно расширяет возможности серверного инференса, позволяя запускать модели прямо со страниц их описания на Hub. Интеграция провайдеров инференса реализована нативно в наших клиентских SDK как для JavaScript, так и для Python, что делает работу с широким спектром моделей максимально простой и удобной для разработчиков.

Baseten представляет собой мощную инфраструктурную платформу для ИИ, специализирующуюся на серверных вычислениях, обучении моделей и других смежных задачах. Благодаря обширному каталогу передовых нейросетей, платформа позволяет разработчикам внедрять сложные ИИ-функции в свои приложения, сводя к минимуму время на настройку и развертывание. Baseten поддерживает разнообразные типы моделей: от больших языковых моделей (LLM) до систем преобразования текста в речь и многих других.

Старт интеграции и доступные возможности

На текущем этапе партнерства Baseten обеспечивает поддержку задач разговорного ИИ и генерации текста. Пользователям Hugging Face открывается прямой доступ к популярным open-weight моделям, включая Kimi K3, новейшую DeepSeek V4 Flash, GLM-5.2 и другие востребованные решения. В ближайшее время планируется расширение списка поддерживаемых задач. Полный перечень моделей, работающих через Baseten, доступен в документации платформы, а следить за новостями можно на официальной странице Baseten в Hugging Face.

Управление доступом и настройка предпочтений

В настройках вашего пользовательского профиля доступен гибкий инструментарий для управления работой с провайдерами:

• Настройка API-ключей: Вы можете добавить собственные ключи для провайдеров, на которых у вас есть аккаунт. Если пользовательский ключ не задан, все запросы будут автоматически маршрутизироваться через Hugging Face.
• Приоритизация провайдеров: Система позволяет ранжировать провайдеров по личным предпочтениям, что напрямую влияет на то, какие виджеты и примеры кода будут отображаться на страницах моделей.

При использовании Inference Providers предусмотрено два основных режима работы: использование персонального ключа API (в этом случае запросы идут напрямую к провайдеру, и оплата производится согласно его тарифам) или маршрутизация через Hugging Face (токен провайдера не требуется, а оплата списывается с вашего баланса в Hugging Face).

Техническая реализация и примеры использования

Baseten полностью интегрирован в SDK Hugging Face (версии huggingface_hub от 1.26.1 для Python и @huggingface/inference для JS). Чтобы воспользоваться возможностями модели, например DeepSeek V4 Flash, достаточно аутентифицироваться с помощью токена Hugging Face — маршрутизация запроса произойдет автоматически.

Ниже приведены примеры кода для интеграции:

Python:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731:baseten",
    messages=[{"role": "user", "content": "Напиши функцию на Python, вычисляющую n-е число Фибоначчи через мемоизацию."}]
)
print(completion.choices[0].message)

JavaScript:

import { OpenAI } from "openai";

const client = new OpenAI({
    baseURL: "https://router.huggingface.co/v1",
    apiKey: process.env.HF_TOKEN,
});

const chatCompletion = await client.chat.completions.create({
    model: "deepseek-ai/DeepSeek-V4-Flash-0731:baseten",
    messages: [{ role: "user", content: "Напиши функцию на Python, вычисляющую n-е число Фибоначчи через мемоизацию." }],
});
console.log(chatCompletion.choices[0].message);

Важно отметить, что решение полностью совместимо с популярными инструментами автоматизации, такими как Pi, OpenCode, Hermes Agents и OpenClaw. Это позволяет подключать модели, размещенные на Baseten, напрямую в ваш рабочий процесс без необходимости написания сложного связующего кода.

Оплата и преимущества для PRO-пользователей

При работе с собственным ключом провайдера вы рассчитываетесь напрямую с ним по их тарифам. При использовании маршрутизации через Hugging Face вы оплачиваете лишь стандартную стоимость услуг провайдера без каких-либо дополнительных наценок от нашей стороны. Мы транслируем расходы напрямую, хотя в перспективе возможно внедрение партнерских соглашений о распределении доходов.

Пользователи тарифа PRO ежемесячно получают 2 доллара в виде кредитов на инференс, которые можно использовать у любого из провайдеров. Подписка на Hugging Face PRO также дает доступ к технологиям ZeroGPU, режиму разработчика в Spaces и увеличенным лимитам. Мы также предоставляем бесплатную квоту для всех авторизованных пользователей, но призываем оформить подписку для поддержки платформы. Ждем ваших отзывов и предложений по развитию сервиса в нашем сообществе.

Источник: huggingface.co