本教程指导您使用+Qwen（统一钱文语言模型）+构建本地知识库，实现手工制作的AI+专家系统。今天，我就给自己安排一个全能的知识助手。我的老板将不再担心我不知道我提出的所有问题。升职加薪不再是梦想！

大型语言模型的发展确实进展迅速。在上一篇教程中，我向观众演示了如何使用清华大学出品的语言模型构建本地大语言模型，并通过API实现自动化写作。

随着转向闭源发布，该模型的受欢迎程度直线下降。新的大型模型不断涌现，新的部署工具也在不断涌现。阿里巴巴出品的统一钱文已经更新到1.5版本，性能基本超越了它，成为我们新的选择。

今天，我们就带领大家使用同易钱文，搭建本地知识库，让电脑成为我们的信息小助手。

1 运行环境

1.1 安装大语言模型

在之前的教程中，我们配置了自己的环境来运行模型。现在，我们有了一个更方便的工具，可以通过一条命令运行本地LLM模型，那就是。

访问下载安装包。目前支持 、 和 操作系统。并支持CPU、GPU和AMD GPU。这意味着如果你的计算机配备了显卡，那么将首先使用显卡进行推理（速度更快）。如果没有显卡，就会调用CPU进行推理（连办公笔记本电脑都可以运行，当然推理速度会慢一点）。

我们先下载最熟悉的安装包。按照默认设置安装。

安装完成后，打开CMD窗口，输入

这将帮助您下载统一钱文1.5_4B模型。该模型大小约为 2.3GB，无需神奇的互联网连接即可下载。

我花了大约20分钟才下载完。下载完成后，即可使用默认界面运行统一钱文1.5_4B模型。

打开CMD窗口并输入

然后，您可以在CMD界面中提问。输入“/bye”退出聊天。

当然这个接口只能用于简单的测试。稍后我们将访问更方便的图形界面（包括我们的老朋友）进行本地对话。

支持流行的开源大语言模型，包括及其众多衍生模型（包括 、 ），以及其他一些热门模型，例如 、 、 等。

访问浏览所有提供的型号。

1.2 安装矢量模型

接下来我们需要使用安装矢量模型。矢量模型比较小、近似，可以快速下载。

这将帮助我们下载--text:。这表示最新版本。

矢量模型是用于将Word和PDF文档转换为矢量数据库的工具。通过向量模型转换后，我们的大语言模型可以更高效地理解文档内容。

矢量模型不能单独使用。

1.3 使用加工文件

它是一组使用大型语言模型处理矢量数据的工具。过去，LLM+运行环境的搭建相对复杂。现在我们可以非常方便地完成这个过程，因为组件已经内置了。

它是一个大型的语言模型集成包，集成度非常高。包括图形对话界面、内置大语言模型、内置语音识别模型、内置矢量模型、内置矢量数据库、内置图形分析库。

不幸的是，目前的易用性和稳定性仍然有所欠缺。因此，在本教程中我们仅使用矢量数据库和会话界面。 LLM模型和矢量模型仍委托管理。

支持本身也非常完善。我们通过图形界面只需点击几下鼠标就可以轻松完成配置。

第一步打开左下角的配置界面

第2步：配置LLM

在 LLM 选项卡中，选择作为后端。填写订单

单击窗口顶部的“保存”进行保存。

步骤 3. 配置模型

在选项卡中，选择作为后端。填写订单

注意：该最大值会影响文档答案的质量。建议设置为128-512范围内的值。从512开始逐步减少，测试一下效果。太低也不好，因为它会消耗大量计算机性能。

单击窗口顶部的“保存”进行保存。

步骤 4：选择矢量数据库

在选项卡中，选择作为后端。这是一个内置的矢量数据库。

如果您熟悉其他云数据库，还可以配置相关数据库来实现数据库漫游。

2 业务逻辑

我们简单介绍一下整个工作流程。

第一步是创建矢量数据库

文档→→( )→矢量数据→()

问题→→(Qwen 4b)→→答案

3 配置与优化

接下来，我们开始输入配置以启动基于文档的对话。

单击“新建”以创建名为“聊天”的工作区。您无需任何设置，即可直接与同易钱文开始对话。

再次单击“新建”以创建一个名为“测试”的新工作区。我们会在这个空间上传一些文档。

单击上传图标并将您的个人资料文档拖至下面的大按钮（您也可以单击它！）

支持几乎所有包含文本的文档格式：txt、doc（word文档）、csv、xls（表格）、pdf等。

我建议您上传word文档或pdf文档。注意：暂时不支持通过扫描图像创建的 PDF。您需要使用OCR软件将此PDF转换为word文档并上传。

上传完成后，选择对应的文档，点击移至。

然后单击“保存并”。

然后开始调用模型来处理您的文件。 CPU处理一个文件大约需要5到10分钟。我上传的《2023年中国网络文学产业研究报告》全文有2万字（已删除图片），处理时间大概有七八分钟。完成后，关闭上传窗口。

单击齿轮图标打开测试空间的设置选项。

选择聊天并将对话模式更改为（默认为聊天）

该架构确保答案中仅使用来自上传文档（而不是来自较大模型本身）的信息。

单击以保存设置。单击返回按钮返回主界面。

下面是不打开文档对话的应答效果（聊天模式，无文档上传）。明显的普遍性。

现在我们来试试基于文档对话的效果（模式，上传1个文档）。

单击“显示”可查看引用的数据。

您可以上传有关某个主题的多个文档，以提高答案的质量。文档越相关，答案的质量就越好。如果你对答案不满意，你也可以尝试重新组织问题的文本，或者用更大的本地模型替换。

4 整合

我们的老朋友也可以轻松融为一体。升级到1.2.2以上后，您可以将其配置为后端，方便使用统一钱文大模进行聊天。

您需要在设置界面中选择后端。

在“模型”选项卡上选择作为AI模型提供者。

填写API域名：

型号选择qwen:4b

保存后即可开始对话。

下面是我使用 Run 7B 进行的对话示例。

在托管的大型语言模型之间切换很容易。

5 总结

通过今天的教程，我们可以轻松地在本地运行大型语言模型，而不需要繁琐的环境设置。

并且方便将我们需要的大语言模型运行环境封装成通用的图形界面，降低了大语言模型本地运行的门槛。同时，我们可以根据我们的硬件配置自动选择使用显卡（GPU）或CPU来运行量化模型。

在我们之前的教程中，只能使用 CPU 来运行量化模型。这使得使用GPU显卡的用户运行速度更慢。很好的解决了这个问题。采用16位GGUF量化模型，相比我们之前介绍的GGML(Int4)量化模型格式，保存数据的精度更高。

此外，它还支持模型，可以应用于更广泛的场景。

目前，对中国型号的支持相对有限。除了统一钱文之外，没有其他大型中文模型可用。鉴于发布模型改为闭源，短期内似乎不会添加对该模型的支持。

虽然还存在一些缺点。但是，并且仍然帮助我们更方便地在本地运行我们自己的大型语言模型，使LLM应用程序更容易被普通人使用。