如何为 GPT4All 侧载模型查找并配置 Jinja 聊天模板【免费下载链接】gpt4allGPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use.项目地址: https://gitcode.com/GitHub_Trending/gp/gpt4allGPT4All 官方模型列表里的模型自带聊天模板但你侧载sideload进 GPT4All 的 GGUF 模型往往不带模板。这类模型会报 No chat template configured或者只能靠不合适的默认方式拼提示词回复质量明显变差。这篇文章的任务就是为已经侧载到 GPT4All 的模型找到它原始仓库里的 Jinja 聊天模板并把它配置进 GPT4All 的 Model Settings。适用前提GPT4All v3.5 或更新版本。v3.5 重写了模板系统聊天模板改为对整个对话而不是单条消息对套用 Jinja 语法不再使用旧版的%1、%2占位符。完整说明见 chat_templates.md。确认侧载模型当前的模板状态如果你还没有完成侧载先按文档操作把 GGUF 模型文件文档示例为 3–8 GB 的文件放进 GPT4All 的模型下载目录——该路径显示在下载对话框底部——然后重启 GPT4All模型就会出现在模型选择列表中。侧载步骤见 old/gpt4all_chat.md。接着打开Settings Model在页面顶部选中你要配置的那个模型观察 Chat Template 输入框上方的按钮显示Reset说明该模型带有默认模板。除非你有意修改过模板点 Reset 即可恢复。显示Clear说明这是一个不在官方模型列表中的模型没有内置模板——这正是需要查找或创建模板的情况。定位模型的原始 HuggingFace 仓库查找模板的第一步是找到权威来源模型原始非 GGUF 版本所在的 HuggingFace 仓库页面。文档给出的定位方法有两条手里只有一个模型文件时直接按模型名称搜索如果你知道当初从哪里下载了 GGUF 文件那个来源的 README 通常会链接到原始非 GGUF 模型页面。找到仓库页面后用下面三种方法之一提取模板。提取聊天模板方法一jq 命令行适用于所有模型用你喜欢的包管理器安装jq例如 Windows 用 Chocolatey、macOS 用 Homebrew、Ubuntu 用 apt。在仓库的 Files and versions 选项卡中下载tokenizer_config.json。在存放该文件的目录中打开命令行提示符。运行下面命令聊天模板会以可读形式打印出来复制即可$ jq -r .chat_template tokenizer_config.json可选把输出保存为文本文件$ jq -r .chat_template tokenizer_config.json chat_template.txt如果输出是null说明该模型没有提供聊天模板跳到最后模型不提供模板时一节。方法二Python transformers开放模型用 pip 安装transformers例如pip install transformers版本至少为 v4.43.0。复制 HuggingFace 模型的 ID名称旁的剪贴板图标。例如文档中的示例 ID 为NousResearch/Hermes-2-Pro-Llama-3-8B。打开 Python 解释器python把示例中的模型 ID 换成你复制的 ID 后执行 from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(NousResearch/Hermes-2-Pro-Llama-3-8B) print(tokenizer.get_chat_template())输出可直接复制粘贴到 GPT4All 的设置页。可选保存为文件 open(chat_template.txt, w).write(tokenizer.get_chat_template())如果抛出ValueError异常说明该模型没有提供聊天模板。方法三受限gated模型的 Python 流程Llama、Mistral 等模型不允许公开访问其聊天模板必须走上面的 CLI 方法或按下面的受限模型流程。前提条件较多缺一不可已安装 git 和 git-lfs有 HuggingFace 账号并已登录已获得该受限模型的访问权限没有则先申请已为访问 HuggingFace 配置好 git 的 SSH key。满足条件后用 SSH 克隆地址克隆模型的 HuggingFace 仓库。不需要下载整个模型文件体积很大下面的 Linux 示例只拉取 tokenizer 相关文件——GIT_LFS_SKIP_SMUDGE1用于跳过大文件的 LFS 下载git lfs pull -I tokenizer.*只拉取匹配 tokenizer 的文件$ GIT_LFS_SKIP_SMUDGE1 git clone hf.co:meta-llama/Llama-3.1-8B-Instruct.git $ cd Llama-3.1-8B-Instruct $ git lfs pull -I tokenizer.*然后照开放模型的方法操作只是把模型 ID 换成包含tokenizer_config.json的本地目录路径 tokenizer AutoTokenizer.from_pretrained(.)在 GPT4All 中配置模板打开Settings Model顶部选中目标模型。把提取到的模板粘贴进 Chat Template 输入框。设置立即生效。回到聊天窗口点击 Redo last response新回复会按新模板生成——这就是文档给出的验证方式。如果同一个模型文件需要在不同对话里使用不同的模板或 system message可以克隆clone该模型克隆副本可以配置与基础模型不同的聊天模板和 system message实现每个对话各用一套设置。克隆功能说明见 settings.md 的 Model Settings 部分。验证配置与常见报错模板输入框和聊天窗口都会给出状态提示按提示处理即可报错含义与处理输入框上方的语法错误详情模板有 Jinja 语法错误或根本不是 Jinja 格式。按报错详情逐处修改仍不确定时对照如何创建模板一节检查Chat template is not in Jinja format / Legacy prompt template needs to be updated in Settings在 GPT4All 3.5 中使用了旧风格模板。先把现有模板备份到文本文件下一步操作会把它清掉再点 Reset 或 Clear然后重新查找或创建模板No chat template configured模型不在官方列表且未附带模板按本文流程查找或创建模板效果会好很多The chat template cannot be blank模板框上方的按钮若是 Reset点它恢复合理默认若是 Clear说明模型本就没有内置模板需要查找或创建System message is not plain text / Legacy system prompt needs to be updated in Settingssystem message 里含有控制符或多余内容。检查三类东西控制 token如 、|start_header_id|、|system|、前缀如### System、SYSTEM:、行尾空白空格或空行删掉即可。文档示例旧式system头尾控制 token 包裹的提示词应只保留You are a helpful assistant.这一行正文v3.5 升级后升级前手动添加或修改过的旧模板和 system message 一律不再可用出现上述报错属于预期现象。模型不提供模板时的创建要点当 jq 输出null或 Python 报ValueError时模型本身没有模板需要参考已有模板自行编写。文档给出的方法以某个现有模板为参照改成该模型文档要求的格式。模型 README 可能直接给出模板示例也可能点名一个公认的标准模板如 ChatML、Alpaca、VicunaGPT4All 目前不包含这些模板的预设需要去其他模型那里找或向社区要。模板作用于整个对话对消息列表循环每条消息含roleuser/assistant/system和content字段。GPT4All 还支持特殊变量bos_token、eos_token、add_generation_prompt语义以 HuggingFace 的模板文档为准。有些模型的提示格式面向单条指令而非多轮对话直接套到多轮上不直观。文档建议参考 FastChat 项目中对这些模板的实现作为正确扩展到多条消息的写法。如果需要完整控制 LocalDocs 来源和文件附件如何插入对话可以使用 GPT4All 自己的 v1 模板语法以{# gpt4all v1 #}开头。标准模板下 GPT4All 会把用户消息、来源和附件合并进content字段v1 模板不做合并需要在模板里直接引用message[sources]和message[prompt_attachments]。完整示例见 chat_templates.md 的 GPT4All v1 templates 一节。配置完成后的判定标准是Chat Template 框不再显示语法错误点击 Redo last response 后新回复按新模板生成。注意旧版%1/%2风格模板在 v3.5 中不会工作遇到 not in Jinja format 类报错时只能按报错处理流程重做而不是继续沿用旧模板。【免费下载链接】gpt4allGPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use.项目地址: https://gitcode.com/GitHub_Trending/gp/gpt4all创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考