在 GPT4All 中使用 GGUF

GPT4All 是由 Nomic 开发的开源 LLM 应用程序。2.7.2 版本引入了一个全新的实验性功能，名为 Model Discovery。

Model Discovery 提供了一种内置方式来搜索和下载 Hub 中的 GGUF 模型。要开始使用，请打开 GPT4All 并点击 Download Models。在这里，你可以使用搜索栏来查找模型。

选择并下载模型后，你可以进入 Settings，并以 GPT4All 格式（%1 和 %2 占位符）提供适当的提示模板。

然后，在主页面中，你可以从已安装模型列表中选择模型并开始对话。