什么是 CUE 工程？

在人工智能飞速发展的今天，无论是从业者还是爱好者都无法避开一个关键领域——提示工程。简单来说，提示工程是一种用来教导人工智能（尤其是语言模型）如何更好地理解和响应我们的请求的方法。

本文从概念介绍、常见策略实验等角度进行详细阐释。

作者

王凯 | 后端开发工程师

努力做一名刻苦学习、默默踩坑的工程师

什么是 CUE 工程？

提示工程（Hint ，LLM）用于提升大型语言模型（ ，LLM）处理复杂任务场景的能力，例如问答或推理计算。这是一门相对较新的学科，随着AI应用的爆炸式增长而进入公众视野。

提示工程在与大型模型交互和连接，以及理解大型模型的预测能力方面发挥着重要作用。我们熟悉使用提示工程来提高多轮对话的效果。

现实情况是，单个工程师很难拥有深度学习所需的算力，无法提供模型训练和微调所需的资源，在某些特定场景下，快速工程或许是优化大模型的低门槛解决方案之一。

提示词由四个要素组成：

● 说明：你希望模型执行的任务

●上下文：给模型提供一些额外的上下文信息，引导模型输出更好的内容

●输入数据：用户输入或提问

●输出说明：指定模型输出的类型或格式

大模型输出：

以下是⼀个简单的 Go 代码段，⽤于输出 “hello world”：
package main
import "fmt"
func main() {
fmt.Println("hello world")
}

上面例子中，指令或任务为“show a   of code”，输出数据为“   ‘word’”，输出指令为“编程语言为Go语言”，上面的例子没有包含上下文，但是大模型仍然输出了我们期望的结果，说明提示word并不是以上所有元素的必要条件，同时通过大模型的输出可以发现“   ‘word’”被大模型输出为fmt.(" ")，模型修正了word错误。

在使用提示词时，工程师一般通过API调用或者直接与大模型进行交互，在这个阶段可以配置一些参数来优化输出结果，不同的参数对于输出结果非常重要，一些常见的参数设置如下：

●：该参数值越小，模型返回的结果越准确；该参数值越大，模型返回的结果越随机。在一些要求结果准确的应用场景中，可以将此值调整为较小的值。相反，在一些创作场景中，可以将此值调整为较小的值。在生成诗歌或编写故事等场景中搜索次数多就会生成推荐词吗，可以适当增加参数值以丰富模型输出。

●Max：此参数用于控制大模型的输出，防止大模型产生冗长或无意义的响应。

● Stop：控制大模型输出的另一种方式，是一种类型，设置可以控制列表输出项等。

●：用于调整某个单词在多轮对话中在模型输出中出现的次数，参数越高，某个单词再次出现的可能性就越小。

上述示例中的参数为大模型可调参数的一部分，具体请参见大模型相关文档（#glm-4）。本文所有示例均基于 GLM-4搜索次数多就会生成推荐词吗，但不保证模型响应与本文示例一致。

官网提供的Tip   中提出了6条原则：

零样本和少样本提示

通过   训练出来的大模型已经可以胜任零样本任务，也就是不提供任何示例，模型依然会输出比较预期的结果。这是因为 RLHF 技术让模型在深度学习过程中能够更好地适应人类的偏好。在更复杂的场景或问题中，零样本的大模型无法输出更好的结果，这就导致了小样本提示的出现，以引导模型。

零样品提示：

少示例提示：

从以上例子中我们可以观察到，人工编造的单词“槑雷”在零样本生成下可能无法很好地表达其含义，但在少量样本提示的指导下，大模型已经通过例子学会了如何正确使用该单词。

标签和格式在大型模型的输出中也发挥着作用：

即使是随机的标签也会对输出有所帮助，毕竟有总比没有好。

你可以用计算器试试，大模型的这个方面是违反直觉的，用户可能会觉得基础计算应该是万无一失的，其实 151 + 321 + 51 + 131 + 821 + 71 + 121 并不等于 1766，答案是 1677，七个奇数相加怎么会得到一个偶数呢？这个结果也和大模型后续输出的思考内容相悖。

即使提供少量提示百度PC下拉★64xl.com专业搜索下拉词，百度搜索自动出来的词条怎么删除，也很难获得对此类推理问题的可靠答案。

思考链接提示

当任务太复杂，小样本提示无效时，可以使用思维链（CoT）提示。有一种更简单的方法：

“我们来一步一步思考一下”的提示是一种自动化的思维链展示，在提供的例子不多的情况下还是挺有用的，如果用人来手动分析这个计算过程，也有可能输入错误的信息（毕竟人也会犯错误，当然现在在大模型中也是如此）而误导大模型。这种自动化的思维链可以消除手动的方法，但当然这个自动化的过程也会犯错误，所以演示的多样性还是很重要的：

Auto-CoT 有两个阶段：

● 问题聚类：将问题分成几个簇

● 演示抽样，从每组数据中选择一个代表性样本，并使用具有简单启发式方法的 Zero-Shot-CoT 生成其推理链。

简单的启发式方法可以是问题的长度（例如 60）和推理步骤的数量（例如 5 个推理步骤）。这鼓励模型使用简单但准确的演示。

思路链 (CoT) 技巧

还记得开头推荐的六大原则吗？将复杂的任务分解成简单的子任务。就像人类在面对上述计算问题时，会逐渐拆分数字，并在综合多个结果后给出最终答案。所谓链式提示，就是将子任务的提示词交给语言模型。

尖端：

输出：

然后以提示词的形式将第一个输出作为第二个提示的输入：

输出：

链式提示在构建 LLM 驱动的对话助手时特别有用。它们可以在多轮对话中不断优化输出性能。在这个过程中，提示词技术中的“生成知识提示”也参与其中。知识作为提示词输入模型以优化质量。

基于链式思维提示，还衍生出了思维树（ToT）框架，引导模型以思维作为中间步骤来解决一些常见问题，这有点像回归数学，通过广度优先搜索或者深度优先搜索把思维的每一步都采样一遍，然后通过多轮对话搜索树来增强大模型的能力。

ToT 提示示例如下（来源：）：

检索增强生成 (RAG)

通用语言模型只需要进行微调就能完成一些常见的任务，本文采用的智普GLM-4大模型在自洽和零样本提示下已经取得了超出预期的表现，但仍无法完成复杂的知识密集型任务。

检索增强生成（RAG）就是用来优化这类知识密集型任务的。RAG将信息检索组件与文本生成模型相结合，可以简单理解为“将一个大模型联网”，生成知识提示，优化大模型的输出。同时，RAG可以进行调整，而不需要重新训练整个模型，这样不仅节省了算力/时间等资源，也节省了成本。

RAG 会先接受输入，根据输入检索出一组相关文档，然后将这些文档与原始提示词作为上下文组合起来，再输入到大模型中得到最终的输出，这样大模型就能获得新的知识，非常有效，也对传统搜索引擎巨头构成了挑战。一些 AI 搜索应用可以让用户提取更精准的条目，并避开广告。例如 Mita、Bing 等。

RAG 是一种可行的解决方案，在知识密集型任务中越来越受欢迎。文档 () 可帮助您构建 RAG 应用程序。

后记

虽然即时工程是一门比较新的学科，但其发展速度（论文发表速度）却令人吃惊。即使你不开发 AI 应用，作者也建议你阅读即时工程的相关资料。它有助于提高输入质量，并从 AI 产品中获得更准确、更高质量的输出。

学习材料：

1.

2.

3.

“

~

这就是神州数码云基地

编程技巧和前沿技术都在这里

大量原创技术干货持续输出ing~

想要抢先获得

超强的技术知识