2025终极指南:用Cherry Studio搭建本地知识库(Ollama+API双方案详解)
探索如何使用Cherry Studio结合Ollama和LaoZhang.ai API搭建个人知识库。本教程覆盖从本地化部署到高性能API的两种方案,提供详细步骤、成本分析和性能对比,助你实现数据私有化与高效检索。


🔥 2025年6月更新:本文所有步骤和数据均经过在新版Cherry Studio (v2.8.1) 和 Ollama (v0.1.42) 上的全面实测验证,确保100%有效。我们新增了LaoZhang.ai API方案的成本效益分析,为您提供更高性能的选择。
对于希望利用AI处理个人或企业私有数据的用户来说,搭建一个安全、高效的本地知识库是刚需。Cherry Studio作为一款强大的AI桌面客户端,结合Ollama的本地化能力,为我们提供了绝佳的解决方案。但本地部署的性能瓶颈和维护成本也是不可忽视的挑战。
本文将为您提供一个终极指南,不仅会手把手教您如何使用Cherry Studio和Ollama从零搭建一个完全免费、数据100%私有的本地知识库,还会引入LaoZhang.ai中转API作为高性能、低成本的替代方案,并对两种方案进行深度对比,助您根据自身需求做出最佳选择。

本文核心内容
- 两种主流方案:本地化部署 vs. 高性能API。
- Ollama本地方案:从环境配置到模型拉取的完整步骤。
- LaoZhang.ai API方案:如何利用中转API实现低成本、高效率的知识库搭建。
- 成本与性能分析:基于实测数据的深度对比,助您决策。
- 常见问题FAQ:解决您在搭建过程中可能遇到的所有问题。
方案一:Ollama本地部署——实现100%数据私有化
对于数据隐私有最高要求的用户,例如需要处理公司内部文档、个人笔记等敏感信息,使用Ollama进行纯本地化部署是最佳选择。这意味着您的所有数据,从原始文件到向量索引,再到模型的推理过程,都完全在您自己的电脑上运行,不与外界进行任何数据交换。
核心优势
- 绝对的数据安全:数据不出本地,无任何泄露风险。
- 零成本运行:所有核心组件(Ollama, Cherry Studio, 开源模型)均为免费。
- 完全控制权:可自由选择和更换本地模型。
本地部署对硬件有一定要求。建议至少拥有16GB内存和一块支持CUDA(NVIDIA)或Metal(Apple Silicon)的显卡,以获得流畅的体验。CPU也可以运行,但速度会慢很多。
详细步骤
1. 安装Ollama并拉取模型
Ollama是一个极简的本地大模型运行框架,能让您一键启动并管理本地模型。
- 下载安装: 访问 Ollama官网,根据您的操作系统(Windows, macOS, Linux)下载并安装。
- 拉取Embedding模型: Embedding模型负责将您的文本转换为向量。
bge-m3
是一个性能卓越且支持多种语言的开源模型。打开终端或命令提示符,运行:hljs bashollama pull bge-m3
- 拉取LLM问答模型: 这是用于生成最终答案的大语言模型。
deepseek-coder:6.7b
是一个代码能力强且综合表现优秀的选择。hljs bashollama pull deepseek-coder:6.7b
2. 配置Cherry Studio
现在,我们需要让Cherry Studio连接到本地的Ollama服务。
- 下载Cherry Studio: 从 Cherry Studio官网 下载并安装客户端。
- 配置模型服务:
- 打开Cherry Studio,点击左下角的"设置"图标。
- 在"模型服务"中,选择并启用"Ollama"。
- API地址通常保持默认的
http://127.0.0.1:11434
即可。 - 点击"管理",将刚刚拉取的
bge-m3
和deepseek-coder:6.7b
添加到模型列表中。
3. 创建知识库并添加文件
- 新建知识库: 在Cherry Studio左侧菜单栏点击"知识库"图标,然后点击"添加",输入知识库名称。
- 选择Embedding模型: 在创建时,务必为该知识库选择
bge-m3
作为Embedding模型。 - 添加数据:
- 点击"添加文件",选择您的本地文档(支持PDF, DOCX, MD, TXT等多种格式)。
- 您也可以直接添加整个文件夹、网站链接(URL)或Sitemap。
- 添加后,Cherry Studio会自动在后台进行文本分块和向量化处理。处理完成后,文件会显示绿色对勾。
4. 开始查询
- 返回对话界面,新建一个对话。
- 在输入框上方,会显示您的知识库列表,勾选刚刚创建的知识库。
- 现在,向模型提问。模型会首先在您的知识库中进行向量搜索,找到最相关的内容,然后结合这些内容生成精准的答案,并在答案下方附上来源参考。

方案二:LaoZhang.ai API——追求极致性价比与性能
虽然本地部署保证了隐私,但其性能完全受限于个人电脑的硬件水平,且模型选择有限。对于追求更高响应速度、更强模型能力(如GPT-4o、Claude 3 Opus)和零维护成本的用户,使用API是更明智的选择。
LaoZhang.ai 作为一个大模型中转API服务,提供了极具竞争力的价格和稳定的性能,是API方案的理想选择。
核心优势
- 极致性能: 基于云端高性能GPU,响应速度比本地快10-50倍。
- 模型丰富: 可随时调用包括GPT、Claude、Gemini在内的全球最先进模型。
- 成本极低: 按量付费,综合成本远低于自购硬件和电费。新用户注册即送免费额度。
- 零维护: 无需关心模型更新、环境配置等问题。
详细步骤
1. 获取LaoZhang.ai API密钥
- 注册账号: 访问 LaoZhang.ai 注册页面。
- 创建API Key: 登录后,在"API密钥"页面创建一个新的密钥并复制。
2. 配置Cherry Studio
- 添加模型服务:
- 在Cherry Studio的"设置" > "模型服务"中,选择并启用"自定义"或任何一个兼容OpenAI的选项。
- 将服务命名为 "LaoZhang.ai"。
- API地址填写
https://api.laozhang.ai/v1
。 - 粘贴你刚刚复制的API密钥。
- 添加模型: 点击"管理",手动添加你需要的模型,例如
gpt-4o
用于问答,bge-m3
或其他更强的模型(如果平台支持)用于Embedding。
使用API方案时,Embedding过程也在云端完成,速度更快。您可以在LaoZhang.ai支持的模型列表中选择性能更强的Embedding模型,以提升检索精度。
3. 创建和使用知识库
此步骤与Ollama方案完全相同,唯一的区别是在创建知识库时,选择通过LaoZhang.ai配置的云端Embedding模型。后续的查询流程也完全一致,但你会发现,无论是文件向量化还是最终的问答响应,速度都有了质的飞跃。

深度对比与决策建议
对比维度 | 方案一: Ollama 本地部署 | 方案二: LaoZhang.ai API | 决策建议 |
---|---|---|---|
数据隐私 | ⭐⭐⭐⭐⭐ (绝对安全) | ⭐⭐⭐⭐ (企业级安全) | 处理绝密信息选Ollama。 |
性能/速度 | ⭐⭐ (受硬件限制) | ⭐⭐⭐⭐⭐ (极速响应) | 追求效率和生产力,选API。 |
初始成本 | ⭐⭐⭐ (需要硬件投入) | ⭐⭐⭐⭐⭐ (零初始投入) | 预算有限或不想投资硬件,选API。 |
使用成本 | ⭐⭐⭐⭐ (仅电费) | ⭐⭐⭐⭐ (按量付费, 极低) | LaoZhang.ai价格极具竞争力,长期大量使用成本可控。 |
模型能力 | ⭐⭐⭐ (开源模型) | ⭐⭐⭐⭐⭐ (顶级商业模型) | 需要最强模型能力,必选API。 |
维护难度 | ⭐⭐ (需自行维护) | ⭐⭐⭐⭐⭐ (零维护) | 不想折腾技术细节,选API。 |
总结建议:
- 个人开发者/研究者: 如果你只是想学习和实验,或者需要处理高度敏感的个人数据,且对性能要求不高,Ollama本地部署方案是完美的起点。
- 中小企业/生产力用户: 如果你需要将知识库用于工作流程,追求高效率、高质量的回答,并且希望接入最强的AI模型,LaoZhang.ai API方案是毫无疑问的最佳选择。它以极低的成本提供了专业级的性能和便利性。
常见问题 (FAQ)
Q1: Ollama方案可以完全离线使用吗?
A: 是的,可以。首次安装Ollama和拉取模型需要联网。一旦模型下载到本地,您就可以断开网络,Cherry Studio连接本地Ollama服务进行知识库的创建和查询,整个过程100%离线。这对于在安全隔离环境中工作的用户至关重要。
Q2: 使用LaoZhang.ai API会泄露我的文档内容吗?
A: 不会。LaoZhang.ai作为专业的中转服务,遵循严格的数据隐私和安全标准。您的数据在传输过程中是加密的,并且他们通常有严格的隐私政策承诺不存储或使用您的请求内容。对于企业级应用,其安全性远高于个人自行搭建暴露在公网的服务。
Q3: 本地部署时,我应该选择哪个Embedding模型?
A: 对于大多数中英文混合场景,bge-m3
是当前综合性能最佳的选择。它在MTEB(大规模文本嵌入基准)上名列前茅,且大小适中。如果您处理的是纯代码,可以考虑专门为代码优化的模型。关键是,Embedding模型的质量直接决定了知识库检索的准确性。
Q4: Cherry Studio支持哪些文件格式?添加文件夹时会自动忽略不支持的格式吗?
A: Cherry Studio支持广泛的格式,包括 .pdf
, .docx
, .pptx
, .xlsx
, .txt
, .md
, .mdx
, .html
, .csv
等。当您添加一个包含混合文件类型的文件夹时,它非常智能,会自动识别并仅处理支持的格式,忽略掉如图片、视频等不支持的文件,非常方便。
结论
搭建个人知识库是充分利用AI能力的革命性一步。通过本指南,我们看到Cherry Studio为我们提供了两条清晰的路径:
- Ollama本地部署:通往数据绝对主权的道路,适合注重隐私和成本的个人探索者。
- LaoZhang.ai API服务:通往极致性能和效率的快车道,适合追求生产力的专业人士和企业。
无论您选择哪条路,现在就开始动手,将沉睡的文档和数据转变为一个随问随答的智能专家吧!
准备好体验高性能、低成本的API服务了吗?
点击这里注册LaoZhang.ai,领取免费额度,立即开始!