Skip to main content

推理提供商

Hugging Face 的模型页面为数千个模型提供按需付费的推理服务，因此你可以直接在浏览器中试用它们。该服务由推理提供商提供支持，并包含免费层级。

推理提供商为开发者提供简化的、统一的访问数百个机器学习模型的途径，由最佳的无服务器推理合作伙伴提供支持。👉 有关完整文档，请访问推理提供商文档。

Hub 上的推理提供商​

推理提供商与 Hugging Face Hub 深度集成，你可以通过以下几种方式使用它：

  • 交互式小部件 - 在模型页面上使用交互式小部件直接测试模型，这些小部件在底层使用推理提供商。查看 DeepSeek-R1-0528 模型页面作为示例。
  • 推理 Playground - 使用你的提示轻松测试和比较聊天完成模型。查看推理 Playground开始使用。
  • 搜索 - 在模型页面上按推理提供商筛选模型，以查找通过特定提供商可用的模型。
  • Data Studio - 使用 AI 探索 Hub 上的数据集。在你喜欢的数据集上查看 Data Studio。

使用推理提供商构建​

你可以使用我们的 SDK 或 HTTP 客户端将推理提供商集成到你自己的应用程序中。以下是 Python 和 JavaScript 的快速入门，更多详细信息，请查看推理提供商文档。

你可以使用我们的 Python SDK 与推理提供商交互。

from huggingface_hub import InferenceClient

import os

client = InferenceClient(
    api_key=os.environ["HF_TOKEN"],
    provider="auto",   # 自动选择最佳提供商
)

# 聊天完成
completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[{"role": "user", "content": "A story about hiking in the mountains"}]
)

# 图像生成
image = client.text_to_image(
    prompt="A serene lake surrounded by mountains at sunset, photorealistic style",
    model="black-forest-labs/FLUX.1-dev"
)

或者，你可以直接使用 OpenAI API 兼容客户端。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[
        {
            "role": "user",
            "content": "A story about hiking in the mountains"
        }
    ],
)
warning

OpenAI API 兼容客户端不支持图像生成。

你可以使用我们的 JavaScript SDK 与推理提供商交互。

import { InferenceClient } from "@huggingface/inference";

const client = new InferenceClient(process.env.HF_TOKEN);

const chatCompletion = await client.chatCompletion({
    provider: "auto",  // 自动选择最佳提供商  
    model: "deepseek-ai/DeepSeek-V3-0324",
    messages: [{ role: "user", content: "Hello!" }]
});

const imageBlob = await client.textToImage({
  model: "black-forest-labs/FLUX.1-dev",
  inputs:
    "A serene lake surrounded by mountains at sunset, photorealistic style",
});

或者，你可以直接使用 OpenAI API 兼容客户端。

import { OpenAI } from "openai";

const client = new OpenAI({
  baseURL: "https://router.huggingface.co/v1",
  apiKey: process.env.HF_TOKEN,
});

const completion = await client.chat.completions.create({
  model: "meta-llama/Llama-3.1-8B-Instruct",
  messages: [{ role: "user", content: "A story about hiking in the mountains" }],
});

warning

OpenAI API 兼容客户端不支持图像生成。

你需要一个具有推理权限的 Hugging Face 令牌。在设置 > 令牌创建一个。

推理提供商的工作原理​

要深入了解推理提供商，请查看推理提供商文档。以下是一些关键资源：

什么是 HF-Inference API？​

HF-Inference API 是通过推理提供商可用的提供商之一。它以前被称为"Inference API (serverless)"，在底层由推理端点提供支持。

有关 HF-Inference 提供商的更多详细信息，请查看其专门页面。

Last updated on