在 Spaces 上使用 ChatUI
Hugging Chat 是一个开源界面,让每个人都能尝试开源大语言模型,如 Falcon、StarCoder 和 BLOOM。借助名为 ChatUI 的官方 Docker 模板,你可以使用 Hugging Face 的基础设施,只需点击几下即可基于你选择的模型部署自己的 Hugging Chat。
部署你自己的 Chat UI
要开始使用,只需访问此处。在此应用的后端,使用 text-generation-inference 来优化模型推理。由于这些模型无法在 CPU 上运行,你可以根据你选择的模型选择 GPU。
你应该提供一个 MongoDB 端点,你的聊天记录将写入其中。如果你将此部分留空,你的日志将持久化到 Space 内的数据库中。请注意,Hugging Face 无法访问你的聊天记录。你可以通过提供应用名称和应用颜色参数来配置 Space 的名称和主题。 在此下方,你可以选择要服务的模型的 Hugging Face Hub ID。你还可以在下面的字典中以 JSON 格式更改生成超参数。
注意:如果你想部署具有受限访问权限的模型或私有仓库中的模型,你可以简单地在仓库密钥中提供 HF_TOKEN。你需要将其值设置为可以从此处获取的访问令牌。
创建完成后,你将在 Space 上看到 Building。构建完成后,你可以尝试自己的 HuggingChat!
开始聊天吧!