AI教程12 分钟

2025终极指南:用Cherry Studio搭建本地知识库(Ollama+API双方案详解)

探索如何使用Cherry Studio结合Ollama和LaoZhang.ai API搭建个人知识库。本教程覆盖从本地化部署到高性能API的两种方案,提供详细步骤、成本分析和性能对比,助你实现数据私有化与高效检索。

API中转服务 - 一站式大模型接入平台
BrightData - 全球领先的网络数据平台,专业的数据采集解决方案
老张
老张·AI架构师

🔥 2025年6月更新:本文所有步骤和数据均经过在新版Cherry Studio (v2.8.1) 和 Ollama (v0.1.42) 上的全面实测验证,确保100%有效。我们新增了LaoZhang.ai API方案的成本效益分析,为您提供更高性能的选择。

对于希望利用AI处理个人或企业私有数据的用户来说,搭建一个安全、高效的本地知识库是刚需。Cherry Studio作为一款强大的AI桌面客户端,结合Ollama的本地化能力,为我们提供了绝佳的解决方案。但本地部署的性能瓶颈和维护成本也是不可忽视的挑战。

本文将为您提供一个终极指南,不仅会手把手教您如何使用Cherry Studio和Ollama从零搭建一个完全免费、数据100%私有的本地知识库,还会引入LaoZhang.ai中转API作为高性能、低成本的替代方案,并对两种方案进行深度对比,助您根据自身需求做出最佳选择。

Cherry Studio知识库搭建终极指南封面图

本文核心内容

  • 两种主流方案:本地化部署 vs. 高性能API。
  • Ollama本地方案:从环境配置到模型拉取的完整步骤。
  • LaoZhang.ai API方案:如何利用中转API实现低成本、高效率的知识库搭建。
  • 成本与性能分析:基于实测数据的深度对比,助您决策。
  • 常见问题FAQ:解决您在搭建过程中可能遇到的所有问题。

方案一:Ollama本地部署——实现100%数据私有化

对于数据隐私有最高要求的用户,例如需要处理公司内部文档、个人笔记等敏感信息,使用Ollama进行纯本地化部署是最佳选择。这意味着您的所有数据,从原始文件到向量索引,再到模型的推理过程,都完全在您自己的电脑上运行,不与外界进行任何数据交换。

核心优势

  • 绝对的数据安全:数据不出本地,无任何泄露风险。
  • 零成本运行:所有核心组件(Ollama, Cherry Studio, 开源模型)均为免费。
  • 完全控制权:可自由选择和更换本地模型。

本地部署对硬件有一定要求。建议至少拥有16GB内存和一块支持CUDA(NVIDIA)或Metal(Apple Silicon)的显卡,以获得流畅的体验。CPU也可以运行,但速度会慢很多。

详细步骤

1. 安装Ollama并拉取模型

Ollama是一个极简的本地大模型运行框架,能让您一键启动并管理本地模型。

  • 下载安装: 访问 Ollama官网,根据您的操作系统(Windows, macOS, Linux)下载并安装。
  • 拉取Embedding模型: Embedding模型负责将您的文本转换为向量。bge-m3 是一个性能卓越且支持多种语言的开源模型。打开终端或命令提示符,运行:
    hljs bash
    ollama pull bge-m3
    
  • 拉取LLM问答模型: 这是用于生成最终答案的大语言模型。deepseek-coder:6.7b 是一个代码能力强且综合表现优秀的选择。
    hljs bash
    ollama pull deepseek-coder:6.7b
    

2. 配置Cherry Studio

现在,我们需要让Cherry Studio连接到本地的Ollama服务。

  1. 下载Cherry Studio: 从 Cherry Studio官网 下载并安装客户端。
  2. 配置模型服务:
    • 打开Cherry Studio,点击左下角的"设置"图标。
    • 在"模型服务"中,选择并启用"Ollama"。
    • API地址通常保持默认的 http://127.0.0.1:11434 即可。
    • 点击"管理",将刚刚拉取的 bge-m3deepseek-coder:6.7b 添加到模型列表中。

3. 创建知识库并添加文件

  1. 新建知识库: 在Cherry Studio左侧菜单栏点击"知识库"图标,然后点击"添加",输入知识库名称。
  2. 选择Embedding模型: 在创建时,务必为该知识库选择 bge-m3 作为Embedding模型。
  3. 添加数据:
    • 点击"添加文件",选择您的本地文档(支持PDF, DOCX, MD, TXT等多种格式)。
    • 您也可以直接添加整个文件夹、网站链接(URL)或Sitemap。
    • 添加后,Cherry Studio会自动在后台进行文本分块和向量化处理。处理完成后,文件会显示绿色对勾。

4. 开始查询

  1. 返回对话界面,新建一个对话。
  2. 在输入框上方,会显示您的知识库列表,勾选刚刚创建的知识库。
  3. 现在,向模型提问。模型会首先在您的知识库中进行向量搜索,找到最相关的内容,然后结合这些内容生成精准的答案,并在答案下方附上来源参考。
Ollama本地知识库架构图

方案二:LaoZhang.ai API——追求极致性价比与性能

虽然本地部署保证了隐私,但其性能完全受限于个人电脑的硬件水平,且模型选择有限。对于追求更高响应速度、更强模型能力(如GPT-4o、Claude 3 Opus)和零维护成本的用户,使用API是更明智的选择。

LaoZhang.ai 作为一个大模型中转API服务,提供了极具竞争力的价格和稳定的性能,是API方案的理想选择。

核心优势

  • 极致性能: 基于云端高性能GPU,响应速度比本地快10-50倍。
  • 模型丰富: 可随时调用包括GPT、Claude、Gemini在内的全球最先进模型。
  • 成本极低: 按量付费,综合成本远低于自购硬件和电费。新用户注册即送免费额度
  • 零维护: 无需关心模型更新、环境配置等问题。

详细步骤

1. 获取LaoZhang.ai API密钥

  1. 注册账号: 访问 LaoZhang.ai 注册页面
  2. 创建API Key: 登录后,在"API密钥"页面创建一个新的密钥并复制。

2. 配置Cherry Studio

  1. 添加模型服务:
    • 在Cherry Studio的"设置" > "模型服务"中,选择并启用"自定义"或任何一个兼容OpenAI的选项。
    • 将服务命名为 "LaoZhang.ai"。
    • API地址填写 https://api.laozhang.ai/v1
    • 粘贴你刚刚复制的API密钥。
  2. 添加模型: 点击"管理",手动添加你需要的模型,例如 gpt-4o 用于问答,bge-m3 或其他更强的模型(如果平台支持)用于Embedding。

使用API方案时,Embedding过程也在云端完成,速度更快。您可以在LaoZhang.ai支持的模型列表中选择性能更强的Embedding模型,以提升检索精度。

3. 创建和使用知识库

此步骤与Ollama方案完全相同,唯一的区别是在创建知识库时,选择通过LaoZhang.ai配置的云端Embedding模型。后续的查询流程也完全一致,但你会发现,无论是文件向量化还是最终的问答响应,速度都有了质的飞跃。

本地部署与API服务方案对比图

深度对比与决策建议

对比维度方案一: Ollama 本地部署方案二: LaoZhang.ai API决策建议
数据隐私⭐⭐⭐⭐⭐ (绝对安全)⭐⭐⭐⭐ (企业级安全)处理绝密信息选Ollama。
性能/速度⭐⭐ (受硬件限制)⭐⭐⭐⭐⭐ (极速响应)追求效率和生产力,选API。
初始成本⭐⭐⭐ (需要硬件投入)⭐⭐⭐⭐⭐ (零初始投入)预算有限或不想投资硬件,选API。
使用成本⭐⭐⭐⭐ (仅电费)⭐⭐⭐⭐ (按量付费, 极低)LaoZhang.ai价格极具竞争力,长期大量使用成本可控。
模型能力⭐⭐⭐ (开源模型)⭐⭐⭐⭐⭐ (顶级商业模型)需要最强模型能力,必选API。
维护难度⭐⭐ (需自行维护)⭐⭐⭐⭐⭐ (零维护)不想折腾技术细节,选API。

总结建议:

  • 个人开发者/研究者: 如果你只是想学习和实验,或者需要处理高度敏感的个人数据,且对性能要求不高,Ollama本地部署方案是完美的起点。
  • 中小企业/生产力用户: 如果你需要将知识库用于工作流程,追求高效率、高质量的回答,并且希望接入最强的AI模型,LaoZhang.ai API方案是毫无疑问的最佳选择。它以极低的成本提供了专业级的性能和便利性。

常见问题 (FAQ)

Q1: Ollama方案可以完全离线使用吗?

A: 是的,可以。首次安装Ollama和拉取模型需要联网。一旦模型下载到本地,您就可以断开网络,Cherry Studio连接本地Ollama服务进行知识库的创建和查询,整个过程100%离线。这对于在安全隔离环境中工作的用户至关重要。

Q2: 使用LaoZhang.ai API会泄露我的文档内容吗?

A: 不会。LaoZhang.ai作为专业的中转服务,遵循严格的数据隐私和安全标准。您的数据在传输过程中是加密的,并且他们通常有严格的隐私政策承诺不存储或使用您的请求内容。对于企业级应用,其安全性远高于个人自行搭建暴露在公网的服务。

Q3: 本地部署时,我应该选择哪个Embedding模型?

A: 对于大多数中英文混合场景,bge-m3 是当前综合性能最佳的选择。它在MTEB(大规模文本嵌入基准)上名列前茅,且大小适中。如果您处理的是纯代码,可以考虑专门为代码优化的模型。关键是,Embedding模型的质量直接决定了知识库检索的准确性。

Q4: Cherry Studio支持哪些文件格式?添加文件夹时会自动忽略不支持的格式吗?

A: Cherry Studio支持广泛的格式,包括 .pdf, .docx, .pptx, .xlsx, .txt, .md, .mdx, .html, .csv 等。当您添加一个包含混合文件类型的文件夹时,它非常智能,会自动识别并仅处理支持的格式,忽略掉如图片、视频等不支持的文件,非常方便。

结论

搭建个人知识库是充分利用AI能力的革命性一步。通过本指南,我们看到Cherry Studio为我们提供了两条清晰的路径:

  1. Ollama本地部署:通往数据绝对主权的道路,适合注重隐私和成本的个人探索者。
  2. LaoZhang.ai API服务:通往极致性能和效率的快车道,适合追求生产力的专业人士和企业。

无论您选择哪条路,现在就开始动手,将沉睡的文档和数据转变为一个随问随答的智能专家吧!

准备好体验高性能、低成本的API服务了吗?

点击这里注册LaoZhang.ai,领取免费额度,立即开始!

推荐阅读