使用 Xet 存储
Python
要使用支持 Xet 的 huggingface_hub,只需安装最新版本:
pip install -U huggingface_hub
从 huggingface_hub 0.32.0 起,会同时安装 hf_xet。hf_xet 将 huggingface_hub 与 xet-core(Xet 后端的 Rust 客户端)集成在一起。
如果你使用 transformers 或 datasets 库,它们已经依赖 huggingface_hub。只要版本 ≥ 0.32.0,无需额外操作。
若安装的 huggingface_hub 版本在 0.30.0 至 0.32.0 之间,则需要单独安装 hf_xet:
pip install -U hf-xet
就这么简单!现在你即可在上传与下载过程中享受 Xet 去重带来的好处。团队成员即便使用 < 0.30.0 的 huggingface_hub,仍可通过LFS 桥的向后兼容机制上传与下载仓库。
更多使用细节,请查看 huggingface_hub 文档:
Git
Git 用户可通过下载并安装 Git Xet 扩展来使用 Xet 的优势。安装完成后,直接使用管理 Hub 仓库的标准 Git 工作流即可,无需额外改动。
前置条件
在 macOS 或 Linux(amd64 或 aarch64)上安装
通过安装脚本安装(需要 curl 与 unzip):
curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/huggingface/xet-core/refs/heads/main/git_xet/install.sh | sh
或使用 Homebrew 安装(将来会支持直接 brew install):
brew tap huggingface/tap
brew install git-xet
git-xet install
验证安装:
git-xet --version
Windows(amd64)
使用安装程序:
- 下载
git-xet-windows-installer-x86_64.zip(下载地址)并解压。 - 运行
msi安装文件并按提示完成安装。
手动安装:
- 下载
git-xet-windows-x86_64.zip(下载地址)并解压。 - 将解压得到的
git-xet.exe放入某个PATH目录。 - 在终端运行
git-xet install。
验证安装:
git-xet --version