{"version":"https://jsonfeed.org/version/1.1","title":"奇诺分享 | blog.ccino.cc - 重在分享","home_page_url":"https://blog.ccino.cc","feed_url":"https://blog-ccino-cc.pages.dev/json/","description":"","icon":"https://cdn-blog-ccino-cc.ccino.cc/blog-ccino-cc/production/images/channel-6ebae07c242a357bee27d74ca3e4b3ce.png","favicon":"https://cdn-blog-ccino-cc.ccino.cc/blog-ccino-cc/production/images/favicon-bdc56a1bbdd3d9f75032075380339348.jpg","authors":[{"name":"奇诺分享"}],"language":"zh-cn","items":[{"id":"j-lAtZ2gXyq","title":"实现本地 RAG 服务：整合 Open WebUI、Ollama 和 Qwen2.5","attachments":[{"url":"https://cuterwrite.top/p/integrate-open-webui-ollama-qwen25-local-rag/","mime_type":"text/html"}],"url":"https://blog.ccino.cc/i/implementing-local-rag-services-integrating-open-webui-ollama-and-qwen2.5/","external_url":"https://cuterwrite.top/p/integrate-open-webui-ollama-qwen25-local-rag/","content_html":"

引言


在构建信息检索和生成式 AI 应用时，Retrieval-Augmented Generation (RAG) 模型凭借其能够从知识库中检索相关信息并生成准确答案的强大能力，受到越来越多开发者的青睐。然而，实现端到端的本地 RAG 服务，需求的不只是合适的模型，还需要集成强大的用户界面和高效的推理框架。

在构建本地 RAG 服务时，利用易于部署的 Docker 方式，可以极大简化模型管理和服务集成。这里我们依赖 Open WebUI 提供的用户界面与模型推理服务，再通过 Ollama 来引入 bge-m3 embedding 模型以实现文档向量化方式的检索功能，从而帮助 Qwen 2.5 完成更精准的答案生成。

本文我们将讨论如何通过 Docker 快速启动 Open WebUI，同步 Ollama 的 RAG 能力，并结合 Qwen 2.5 模型实现高效的文档检索与生成系统。

# 项目概览


该项目将使用以下关键工具：

  1. Open WebUI : 提供用户与模型交互的 web 界面。
  2. Ollama : 用于管理 embedding 和大语言模型的模型推理任务。其中 Ollama 中的 bge-m3 模型将用于文档检索，Qwen 2.5 将负责回答生成。
  3. Qwen 2.5 : 模型部分使用阿里推出的 Qwen 2.5 系列，为检索增强生成服务提供自然语言生成。

为了实现 RAG 服务，我们需要以下步骤：

  1. 部署 Open WebUI 作为用户交互界面。
  2. 配置 Ollama 以高效调度 Qwen 2.5 系列模型。
  3. 使用 Ollama 配置的名为 bge-m3 的 embedding 模型实现检索向量化处理。

# 部署 Open WebUI


Open WebUI 提供了一个简洁的 Docker 化解决方案，用户无需手动配置大量依赖，直接通过 Docker 启动 Web 界面。

首先，服务器上需要确保已经安装了 Docker ，如果没有安装，可以通过以下命令进行快速安装：

然后创建一个目录用于保存 Open WebUI 的数据，这样数据不会在项目更新后丢失：

接下来，我们可以通过以下命令来启动 Open WebUI ：

如果想要运行支持 Nvidia GPU 的 Open WebUI ，可以使用以下命令：

这里我们将 Open WebUI 的服务暴露在机器的 3000 端口，可以通过浏览器访问 http://localhost:3000 即可使用（远程访问则使用公网 ip ，开放 3000 端口）。/DATA/open-webui 是数据存储目录，你可以根据需要调整这个路径。

当然除了 Docker 安装方式外，你也可以通过 pip 、源码编译、Podman 等方式安装 Open WebUI 。更多安装方式请参考 Open WebUI 官方文档 。

# 基础设置

  1. 输入要注册的账号信息，设置强密码！！！


重要

第一个注册的用户将被自动设置为系统管理员，所以请确保你是第一个注册的用户。

  1. 点击左下角头像，选择管理员面板
  2. 点击面板中的设置
  3. 关闭允许新用户注册（可选）
  4. 点击右下角保存

# 配置 Ollama 和 Qwen 2.5

# 部署 Ollama


在本地服务器上安装 Ollama。目前 Ollama 提供多种安装方式，请参考 Ollama 的官方文档 下载安装最新的 0.3.11 版本（Qwen 2.5 在该版本才开始支持）。安装细节可以参考我之前写的一篇文章：Ollama：从入门到进阶 。

启动 Ollama 服务（如果是 Docker 方式启动则不需要，但必须暴露 11434 端口）：

Ollama 服务启动后，可以通过访问地址 http://localhost:11434 连接到 Ollama 服务。

Ollama Library 提供了语义向量模型 ( bge-m3 ) 以及各大文本生成模型（包括 Qwen 2.5）。下一步我们将配置 Ollama 以适应本项目对文档检索和问答生成的需求。

# 下载 Qwen 2.5 模型


通过 Ollama 安装 Qwen 2.5，你可以直接在命令行中运行 ollama pull 命令来下载 Qwen 2.5 模型，比如要下载 Qwen 2.5 的 72 B 模型，可以使用以下命令：

该命令将从 Ollama 的模型仓库抓取 Qwen 2.5 模型，并准备运行环境。

Qwen 2.5 提供了多种模型尺寸，包括 72 B、32 B、14 B、7 B、3 B、1.5 B、0.5 B 等，你可以根据自己的需求和 GPU 显存大小选择合适的模型。我采用的是 4 x V 100 的服务器，所以可以直接选择 72 B 模型。如果要求吐字速度快且能接收微小的性能损失的话，可以使用 q4_0 量化版本 qwen2.5:72b-instruct-q4_0 ；如果能接受吐字速度慢一些，可以使用 qwen2.5:72b-instruct-q5_K_M 。对于 4 x V 100 的服务器，虽然 q5_K_M 模型的 token 生成明显卡顿，但是为了试验一下 Qwen 2.5 的性能，我还是选择了 q5_K_M 模型。

对于显存较少的个人电脑，推荐使用 14 B 或 7 B 模型，通过以下命令下载：

或者

如果你同时启动好了 Open WebUI 和 Ollama 服务，那么也可以在管理员面板中下载模型。

# 下载 bge-m 3 模型


在 Ollama 中下载 bge-m3 模型，该模型用于文档向量化处理。在命令行中运行以下命令下载模型（或者在 Open WebUI 界面下载）：

到这里，我们已经完成了 Ollama 的配置，接下来我们将在 Open WebUI 中配置 RAG 服务。

# RAG 集成与配置

# 在 Open WebUI 中配置 Ollama 的 RAG 接口

# 访问 Open WebUI 管理界面


启动 Open WebUI 之后，你可以直接通过 Web 浏览器访问服务地址，登录你的管理员账户，然后进入管理员面板。

# 设置 Ollama 接口


在 Open WebUI 的管理员面板中，点击设置，你会看到外部连接的选项，确保 Ollama API 的地址为 host.docker.internal:11434 ，然后点击右边的 verify connection 按钮确认 Ollama 服务是否正常连接。

# 设置语义向量模型


在 Open WebUI 的管理员面板中，点击设置，接着点击文档，依次完成以下步骤：

  1. 设置语义向量模型引擎为 Ollama 。
  2. 设置语义向量模型为 bge-m3:latest 。
  3. 其余设置可以保持默认，这里我设置了文件最大上传大小为 10 MB，最大上传数量为 3，Top K 设置为 5，块大小和块重叠分别设置为 1500 和 100 ，并开启 PDF 图像处理。
  4. 点击右下角保存。

# 测试 RAG 服务


现在，你已经实现了完整的本地 RAG 系统。你可以在 Open WebUI 的主界面中输入任意自然语言问题，然后上传响应文档，系统会调用语义向量模型向量化文档，再使用 Qwen 2.5 模型检索文档生成答案并返回给用户。

在 Open WebUI 的用户聊天界面，上传你要检索的文档，然后输入你的问题，点击发送，Open WebUI 将会调用 Ollama 的 bge-m3 模型进行文档向量化处理，然后调用 Qwen 2.5 模型进行问答生成。

这里我上传了一个简单的 txt 文件（由 GPT 生成的文本），内容如下：

然后分别提了三个问题：

  1. 艾文在森林中遇到的奇异生物是什么？
  2. 艾文在洞穴中找到的古老石板上刻的是什么？
  3. 艾文在祭坛中心发现了什么宝藏？

下图是回答结果：

# 总结


借助 Open WebUI 和 Ollama，我们可以轻松搭建一个高效、直观的本地 RAG 系统。通过将 bge-m3 语义向量模型用于文本向量化，再结合 Qwen 2.5 生成模型，用户可以在一个统一的 Web 界面中进行文档检索与增强生成任务的高效互动。不但保护了数据隐私，还大幅提升了生成式 AI 的本地化应用能力。

本文出自：实现本地 RAG 服务：整合 Open WebUI、Ollama 和 Qwen2.5

","content_text":"引言\n\n\n\n\n在构建信息检索和生成式 AI 应用时，Retrieval-Augmented Generation (RAG)\n模型凭借其能够从知识库中检索相关信息并生成准确答案的强大能力，受到越来越多开发者的青睐。然而，实现端到端的本地 RAG\n服务，需求的不只是合适的模型，还需要集成强大的用户界面和高效的推理框架。\n\n在构建本地 RAG 服务时，利用易于部署的 Docker 方式，可以极大简化模型管理和服务集成。这里我们依赖 Open WebUI\n提供的用户界面与模型推理服务，再通过 Ollama 来引入 bge-m3 embedding 模型以实现文档向量化方式的检索功能，从而帮助 Qwen 2.5\n完成更精准的答案生成。\n\n本文我们将讨论如何通过 Docker 快速启动 Open WebUI，同步 Ollama 的 RAG 能力，并结合 Qwen 2.5\n模型实现高效的文档检索与生成系统。\n\n\n# 项目概览\n\n\n\n\n该项目将使用以下关键工具：\n\n 1. Open WebUI : 提供用户与模型交互的 web 界面。\n 2. Ollama : 用于管理 embedding 和大语言模型的模型推理任务。其中 Ollama 中的 bge-m3 模型将用于文档检索，Qwen 2.5\n 将负责回答生成。\n 3. Qwen 2.5 : 模型部分使用阿里推出的 Qwen 2.5 系列，为检索增强生成服务提供自然语言生成。\n\n为了实现 RAG 服务，我们需要以下步骤：\n\n 1. 部署 Open WebUI 作为用户交互界面。\n 2. 配置 Ollama 以高效调度 Qwen 2.5 系列模型。\n 3. 使用 Ollama 配置的名为 bge-m3 的 embedding 模型实现检索向量化处理。\n\n\n# 部署 OPEN WEBUI\n\n\n\n\nOpen WebUI 提供了一个简洁的 Docker 化解决方案，用户无需手动配置大量依赖，直接通过 Docker 启动 Web 界面。\n\n首先，服务器上需要确保已经安装了 Docker ，如果没有安装，可以通过以下命令进行快速安装：\n\n然后创建一个目录用于保存 Open WebUI 的数据，这样数据不会在项目更新后丢失：\n\n接下来，我们可以通过以下命令来启动 Open WebUI ：\n\n如果想要运行支持 Nvidia GPU 的 Open WebUI ，可以使用以下命令：\n\n这里我们将 Open WebUI 的服务暴露在机器的 3000\n端口，可以通过浏览器访问 http://localhost:3000 即可使用（远程访问则使用公网 ip ，开放 3000\n端口）。/DATA/open-webui 是数据存储目录，你可以根据需要调整这个路径。\n\n当然除了 Docker 安装方式外，你也可以通过 pip 、源码编译、Podman 等方式安装 Open WebUI 。更多安装方式请参考 Open WebUI\n官方文档 。\n\n\n# 基础设置\n\n 1. 输入要注册的账号信息，设置强密码！！！\n\n\n\n\n重要\n\n第一个注册的用户将被自动设置为系统管理员，所以请确保你是第一个注册的用户。\n\n 1. 点击左下角头像，选择管理员面板\n 2. 点击面板中的设置\n 3. 关闭允许新用户注册（可选）\n 4. 点击右下角保存\n\n[https://cuterwrite-1302252842.file.myqcloud.com/img/2024-09-21_openwebui_admin.webp]\n\n\n# 配置 OLLAMA 和 QWEN 2.5\n\n\n# 部署 OLLAMA\n\n\n\n\n在本地服务器上安装 Ollama。目前 Ollama 提供多种安装方式，请参考 Ollama 的官方文档 下载安装最新的 0.3.11 版本（Qwen 2.5\n在该版本才开始支持）。安装细节可以参考我之前写的一篇文章：Ollama：从入门到进阶 。\n\n启动 Ollama 服务（如果是 Docker 方式启动则不需要，但必须暴露 11434 端口）：\n\nOllama 服务启动后，可以通过访问地址 http://localhost:11434 连接到 Ollama 服务。\n\nOllama Library 提供了语义向量模型 ( bge-m3 ) 以及各大文本生成模型（包括 Qwen 2.5）。下一步我们将配置 Ollama\n以适应本项目对文档检索和问答生成的需求。\n\n\n# 下载 QWEN 2.5 模型\n\n\n\n\n通过 Ollama 安装 Qwen 2.5，你可以直接在命令行中运行 ollama pull 命令来下载 Qwen 2.5 模型，比如要下载 Qwen 2.5\n的 72 B 模型，可以使用以下命令：\n\n该命令将从 Ollama 的模型仓库抓取 Qwen 2.5 模型，并准备运行环境。\n\nQwen 2.5 提供了多种模型尺寸，包括 72 B、32 B、14 B、7 B、3 B、1.5 B、0.5 B 等，你可以根据自己的需求和 GPU\n显存大小选择合适的模型。我采用的是 4 x V 100 的服务器，所以可以直接选择 72 B\n模型。如果要求吐字速度快且能接收微小的性能损失的话，可以使用 q4_0 量化版本 qwen2.5:72b-instruct-q4_0 ；如果能接受吐字速度慢一些，可以使用 qwen2.5:72b-instruct-q5_K_M 。对于\n4 x V 100 的服务器，虽然 q5_K_M 模型的 token 生成明显卡顿，但是为了试验一下 Qwen 2.5\n的性能，我还是选择了 q5_K_M 模型。\n\n对于显存较少的个人电脑，推荐使用 14 B 或 7 B 模型，通过以下命令下载：\n\n或者\n\n如果你同时启动好了 Open WebUI 和 Ollama 服务，那么也可以在管理员面板中下载模型。\n\n[https://cuterwrite-1302252842.file.myqcloud.com/img/2024-09-21_download_qwen2-5-7b.webp]\n\n\n# 下载 BGE-M 3 模型\n\n\n\n\n在 Ollama 中下载 bge-m3 模型，该模型用于文档向量化处理。在命令行中运行以下命令下载模型（或者在 Open WebUI 界面下载）：\n\n到这里，我们已经完成了 Ollama 的配置，接下来我们将在 Open WebUI 中配置 RAG 服务。\n\n\n# RAG 集成与配置\n\n\n# 在 OPEN WEBUI 中配置 OLLAMA 的 RAG 接口\n\n# 访问 OPEN WEBUI 管理界面\n\n\n\n\n启动 Open WebUI 之后，你可以直接通过 Web 浏览器访问服务地址，登录你的管理员账户，然后进入管理员面板。\n\n# 设置 OLLAMA 接口\n\n\n\n\n在 Open WebUI 的管理员面板中，点击设置，你会看到外部连接的选项，确保 Ollama API\n的地址为 host.docker.internal:11434 ，然后点击右边的 verify connection 按钮确认 Ollama 服务是否正常连接。\n\n[https://cuterwrite-1302252842.file.myqcloud.com/img/2024-09-21_ollama_api.webp]\n\n# 设置语义向量模型\n\n\n\n\n在 Open WebUI 的管理员面板中，点击设置，接着点击文档，依次完成以下步骤：\n\n 1. 设置语义向量模型引擎为 Ollama 。\n 2. 设置语义向量模型为 bge-m3:latest 。\n 3. 其余设置可以保持默认，这里我设置了文件最大上传大小为 10 MB，最大上传数量为 3，Top K 设置为 5，块大小和块重叠分别设置为 1500 和\n 100 ，并开启 PDF 图像处理。\n 4. 点击右下角保存。\n\n[https://cuterwrite-1302252842.file.myqcloud.com/img/2024-09-21_openwebui_embedding.webp]\n\n\n# 测试 RAG 服务\n\n\n\n\n现在，你已经实现了完整的本地 RAG 系统。你可以在 Open WebUI\n的主界面中输入任意自然语言问题，然后上传响应文档，系统会调用语义向量模型向量化文档，再使用 Qwen 2.5 模型检索文档生成答案并返回给用户。\n\n在 Open WebUI 的用户聊天界面，上传你要检索的文档，然后输入你的问题，点击发送，Open WebUI 将会调用 Ollama\n的 bge-m3 模型进行文档向量化处理，然后调用 Qwen 2.5 模型进行问答生成。\n\n这里我上传了一个简单的 txt 文件（由 GPT 生成的文本），内容如下：\n\n然后分别提了三个问题：\n\n 1. 艾文在森林中遇到的奇异生物是什么？\n 2. 艾文在洞穴中找到的古老石板上刻的是什么？\n 3. 艾文在祭坛中心发现了什么宝藏？\n\n下图是回答结果：\n\n[https://cuterwrite-1302252842.file.myqcloud.com/img/2024-09-21_qwen2-5-QA.webp]\n\n\n# 总结\n\n\n\n\n借助 Open WebUI 和 Ollama，我们可以轻松搭建一个高效、直观的本地 RAG 系统。通过将 bge-m3 语义向量模型用于文本向量化，再结合\nQwen 2.5 生成模型，用户可以在一个统一的 Web 界面中进行文档检索与增强生成任务的高效互动。不但保护了数据隐私，还大幅提升了生成式 AI\n的本地化应用能力。\n\n本文出自：实现本地 RAG 服务：整合 Open WebUI、Ollama 和 Qwen2.5","image":"https://cdn-blog-ccino-cc.ccino.cc/blog-ccino-cc/production/images/item-2ac21fca3291605b72ada659246e0e8b.png","date_published":"2024-10-09T05:33:06.511Z","_microfeed":{"is_audio":false,"is_document":false,"is_external_url":true,"is_video":false,"is_image":false,"web_url":"https://blog-ccino-cc.pages.dev/i/rag-open-webuiollama-qwen25-j-lAtZ2gXyq/","json_url":"https://blog-ccino-cc.pages.dev/i/j-lAtZ2gXyq/json/","rss_url":"https://blog-ccino-cc.pages.dev/i/j-lAtZ2gXyq/rss/","guid":"j-lAtZ2gXyq","status":"published","itunes:episodeType":"full","date_published_short":"Wed Oct 09 2024","date_published_ms":1728451986511}}],"_microfeed":{"microfeed_version":"0.1.2","base_url":"https://blog-ccino-cc.pages.dev","categories":[],"subscribe_methods":[{"name":"RSS","type":"rss","url":"https://blog-ccino-cc.pages.dev/rss/","image":"https://blog-ccino-cc.pages.dev/assets/brands/subscribe/rss.png","enabled":true,"editable":false,"id":"7-6m9ozpyuG"},{"name":"JSON","type":"json","url":"https://blog-ccino-cc.pages.dev/json/","image":"https://blog-ccino-cc.pages.dev/assets/brands/subscribe/json.png","enabled":true,"editable":false,"id":"kFHio_oK78v"}],"description_text":"","copyright":"©2024","itunes:type":"episodic","items_sort_order":"newest_first"}}