Skip to main content

在 Spaces 上使用 Giskard

Giskard 是一个用于 LLM、表格和 NLP 模型的 AI 模型质量测试工具包。它由一个用于扫描和测试 AI 模型的开源 Python 库和一个 AI 模型质量测试应用组成，现在可以使用 Hugging Face 的 Docker Spaces 部署。扩展开源库的功能，AI 模型质量测试应用使你能够：

  • 调试测试以诊断问题

  • 借助自动模型洞察创建特定领域的测试

  • 比较模型以决定推广哪个模型

  • 收集模型结果的业务反馈

  • 与同事分享结果以达成一致

  • 将所有 QA 对象（测试、数据切片、评估标准等）存储在一个地方，以提高工作效率

访问 Giskard 文档 和 快速入门指南 了解如何使用 Giskard 提供的全套工具。

在以下部分中，你将学习部署自己的 Giskard AI 模型质量测试应用，并直接从 Hugging Face Spaces 使用它。此 Giskard 应用是一个使用 Docker 完全托管在 Spaces 上的自包含应用。

在 Spaces 上部署 Giskard​

只需点击几下即可在 Spaces 上部署 Giskard：

warning

关于数据持久化的重要说明： 你可以按原样使用 Giskard Space 进行初始探索和实验。对于小规模项目的长期使用，请激活付费持久化存储选项。这可以防止在每 24 小时发生的 Space 重启期间丢失数据。

你需要定义所有者（你的个人账户或组织）、Space 名称和可见性。 如果你不想公开分享你的模型和质量测试，请将 Space 设置为私有。

创建 Space 后，你将看到 Building 状态。一旦变为 Running，你的 Space 就准备就绪了。 如果你看不到屏幕上的变化，请刷新页面。

申请免费许可证​

一旦你的 Giskard Space 启动并运行，你需要申请免费许可证才能开始使用该应用。 然后你将自动收到一封包含许可证文件的电子邮件。

创建新的 Giskard 项目​

进入应用后，从欢迎屏幕开始创建新项目。

生成 Hugging Face Giskard Space Token 和 Giskard API 密钥​

Giskard API 密钥用于在你的 AI 模型运行的环境与 Hugging Face Spaces 上的 Giskard 应用之间建立通信。如果你已将 Space 的可见性设置为私有，你需要提供 Hugging Face 用户访问令牌来生成 Hugging Face Giskard Space Token 并建立访问私有 Space 的通信。为此，请按照 Giskard 应用设置页面中显示的说明操作。

启动 ML worker​

Giskard 使用一个 worker 执行你的模型，该 worker 在你的 Python 环境中直接运行模型，包含模型所需的所有依赖。你可以从以下位置执行 ML worker：

  • 从包含模型所有依赖的内核中的本地 notebook

  • 从包含模型所有依赖的内核中的 Google Colab

  • 或从包含模型所有依赖的 Python 环境中的终端

只需在包含模型所有依赖的 Python 环境中运行以下命令：

giskard worker start -d -k GISKARD-API-KEY -u https://XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

上传你的测试套件、模型和数据集​

为了开始为项目构建质量测试，你需要上传模型和数据集对象，并从 Giskard Python 库创建或上传测试套件。

tip

有关如何从 Giskard Python 库的自动模型扫描工具创建测试套件的更多信息，请访问 Giskard 的快速入门指南。

这些操作都需要在你的 Python 环境和 Giskard Space 之间建立连接。通过初始化 Giskard Client 来实现：只需从 Giskard 应用的设置页面复制"Create a Giskard Client"代码片段，并在 Python 环境中运行它。这将类似于：

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# 创建一个 Giskard 客户端来与 Giskard 通信
client = GiskardClient(url, api_key, hf_token)

如果遇到问题，请访问 Giskard 的上传对象文档页面。

反馈和支持​

如果你有建议或需要特定支持，请加入 Giskard 的 Discord 社区或在 Giskard 的 GitHub 仓库上联系我们。

Last updated on