3 步搭好一个数据不出本地的私有知识库WeKnora 本地大模型部署实操【免费下载链接】WeKnoraOpen-source LLM knowledge platform: turn raw documents into a queryable RAG, an autonomous reasoning agent, and a self-maintaining Wiki.项目地址: https://gitcode.com/GitHub_Trending/we/WeKnoraWeKnora 是一个开源的大模型知识平台把文档喂给它它能做检索问答、自主推理还能自动生成 wiki。这篇实操按任务清单推进每节开头先说清楚做完你会得到什么结尾给一条可执行的验收命令全部走本地大模型部署路线数据不出本地。1. 把推理引擎搬回自己机器装 Ollama 并拉两个模型先装 Ollama——它就是把模型推理从云端 API 搬回自己机器的那层WeKnora 的对话和向量化都直接调它。你只需要两个模型一个负责回答一个负责把文档转成向量。下面这段命令完成安装、拉模型和服务自检模型名可按你的机器条件替换curl -fsSL https://ollama.com/install.sh | sh ollama serve # 前台调试可省略 ollama pull qwen2.5:7b # 对话模型 ollama pull nomic-embed-text # 向量模型 curl http://localhost:11434/api/models最后一条命令返回的 JSON 里应该能同时看到这两个模型名。看不到就说明拉取失败或ollama serve没在跑。没有独显就先上 7B 级别13B 以上留给有 GPU 的机器后面第 4 节会再讲选型。2. 零外部依赖跑起 WeKnoraLite 版一条 make 命令WeKnora 的标准版是 Docker Compose 多服务栈PostgreSQL、Redis、MinIO 等而 Lite 版专为单台机器、零外部依赖设计SQLite 存数据FTS5 sqlite-vec 做检索文件直接落在本地磁盘。你只需要一个二进制加一份配置。克隆仓库并复制配置模板git clone https://gitcode.com/GitHub_Trending/we/WeKnora cd WeKnora cp .env.lite.example .env.lite.env.lite里与本地大模型部署直接相关的变量长这样完整模板注释很全其余保持默认即可DB_DRIVERsqlite DB_PATH./data/weknora.db RETRIEVE_DRIVERsqlite STORAGE_TYPElocal LOCAL_STORAGE_BASE_DIR./data/files STREAM_MANAGER_TYPEmemory OLLAMA_BASE_URLhttp://127.0.0.1:11434 TENANT_AES_KEY换成一串你自己的32字符密钥 JWT_SECRET换一下改完执行make run-lite先构建前端和 Go 二进制再启动仓库还附带deploy/weknora-lite.servicesystemd 单元服务器上要常驻可以配上。验证方式只有两条curl http://localhost:8080/health # 应返回 {status:ok} curl http://localhost:11434/api/version # Ollama 侧也应活着浏览器打开首页后 Lite 版免注册启动即自动创建本地账号。注意它默认只允许本机访问这正是数据不出本地的默认姿态。3. 建库、传文档问出带出处的答案进入知识库页面新建一个document类型的库初始化向导会让你为这个库单独选模型对话模型LLM负责生成回答向量模型Embedding负责把文档转成向量重排、图片理解这些选项可以先不开之后随时补。这里有个关键约束向量模型建库后不要再换换了等于所有向量作废得重建索引。选完模型用向导里的测试按钮确认连通性通过再保存然后把 PDF、Word 等文件拖进上传区。文档会异步解析状态依次是pending → processing → finalizing → completed扫描件和大文件会慢一些列表页实时刷进度。提问时默认走内置的快速问答链路先检索出相关片段再交给本地大模型作答回答里带引用点引用能跳回原文。从上传到检索到生成没有任何一步把内容发到公网这就是数据不出本地的完整含义。验收针对文档内容提一个只有原文里才有答案的问题确认答案出现、且引用能跳转回你上传的那份文件。4. 排障三列对照表与本地模型选型遇到卡点先查这张表覆盖本地大模型部署最常见的现象现象原因处理容器里填localhost:11434连不上 Ollama容器内的 localhost 不是宿主机标准版部署改填http://host.docker.internal:11434WeKnora 提示 Ollama 不可用ollama serve没在跑或端口不对curl http://localhost:11434/api/version确认再核对OLLAMA_BASE_URL模型列表里找不到所选模型模型没拉下来或名字拼错ollama pull 模型名名字与/api/models返回值严格一致换了向量模型后检索结果变差或为空旧向量与新模型维度不匹配换向量模型后需要重建索引别在库里临时换扫描件 PDF 解析特别慢逐页 VLM OCR 是瓶颈而非解析器调WEKNORA_CHAT_ATTACHMENT_OCR_CONCURRENCY等参数详见.env.lite注释选型上记住两条对话模型按内存定7B 级别适合单用户尝鲜多人共用一台机器或想要更好质量再上 13B 加 GPU向量模型比对话模型更不可逆一次选稳后面只折腾对话模型。Lite 版内置的解析引擎是 Simple 类型如果你还需要共享空间、多团队协作或完整解析引擎矩阵再切标准版docker-compose.yml已备好全套服务。5. 顺着源码往下读到这里一条完整的本地大模型部署链路——Ollama 推理、SQLite 存储、向量检索、带引用问答——已经全部落在你自己的机器上。三个值得继续想的问题向量模型该按什么标准选才不会反复重建索引没有 GPU 时对话速度还能怎么榨文档解析慢的时候瓶颈到底在哪一层想深入的话从这三处入手快速入门网页端完整操作website-docs/01-getting-started/03-quickstart.mdOllama 模型生命周期管理internal/models/utils/ollama/Go 客户端 SDKclient/【免费下载链接】WeKnoraOpen-source LLM knowledge platform: turn raw documents into a queryable RAG, an autonomous reasoning agent, and a self-maintaining Wiki.项目地址: https://gitcode.com/GitHub_Trending/we/WeKnora创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考