（阅读时间：15 分钟）

文章最后有惊喜

大家好！我爱吃、爱玩、爱学技术，我是IT界新晋网红、开发者好朋友——！

今天是我们的【故事集2.0】AOAI专题。4月份我们已经连续做了4场【充电栈】结合实践的Open AI相关技术，所以我们5月份的开播直播会继续做AOAI专题。今天我们邀请了三位风格迥异的嘉宾，用技术圈最新的热门话题来讲述他们的故事！

徐浩

微软大中华区数字应用创新市场业务负责人

#现代化智能应用

#云原生创新

#数字平台工程

#大数据

#开发者生态系统运营

陆建辉

微软高级云技术布道师

“AOAI/Next Gen GPT的快速发展是人工智能技术的重要里程碑，预示着未来AI将更加智能、高效，带来更多令人惊叹的应用和变革。”

#布道者##AI# #

周悦

北京世高盛景软件架构师

“不断更新自我”

#技术方案架构设计

#前高级开发人员

#现在由 AGI 开发人员授权

：GPT火了有一段时间了，刷新了很多人的认知，刚拿到API接口的时候以为就是简单的接口调用，其实更重要的是写好引导。

徐浩：听起来很专业，其实是指跟模型交互的方式，最直观的方式就是用自然语言。今年以来，随着模型的发布，我陆续体验了GPT3、-003、GPT4等模型，也进行了一些个人研究。我的一个感受是，这些模型越来越个性化，越来越像人类对话。GPT3就像一个小学生，需要逻辑指导，而GPT3.5就像一个高中生，可以进行一些深度推理，但还是有一些不足。GPT4就像一个大学生或者研究生，它的能力很强，尤其是在引入外部数据之后。这些模型能力不断增强的原因之一，就是“思维链”的诞生，即模型可以从上下文和给定的推理形式中获取信息。因此，提示词的正确使用和意义的清晰表达，是大模型时代与模型共存的一个核心点。

：我们的大语言模型为什么以这种方式运作？

徐浩：过去几个月我一直在看这个领域的论文，也跟很多用户交流。我发现，这里面有一个认知的问题，过去我们通常用单一的机器学习模型来解决具体的任务，比如分类、识别等。但现在大模型可以处理多种任务，通用性更强，这意味着我们进入了通用人工智能的时代。这些大模型可以同时完成多个任务，模型的能力变得非常强大。

但这也引发了一个问题，我们发现不同的提示词可以引导模型做不同的操作。但业内有些公司发现无法通过模型做出推断和结论，比如他们希望模型告诉他们上一季度的财务报表是什么样的。因为模型是用2020年或者2021年的数据训练的，无法提供最新的信息。所以他们想对模型进行微调，把新的知识引入模型，再重新训练模型。但在大模型时代，这个范式发生了很大的转变。我们可以在不微调模型的情况下引入额外的数据，我们不需要改变模型本身，只需要引入数据。比如我们可以使用搜索增强或者语义向量等外部的方法，将文本数据引入模型。

这些方法演化出了两个流派。一个是无记忆的交互，我们每次跟模型交互的时候，就把数据写到提示词里，让模型去推理、去总结。这个方法看上去很有意思，但是天花板很低，因为它只能完成一些简单的任务。另一个是基于记忆的交互，我们给模型加上记忆，通过向量数据库等方式去实现。这种方式使得模型能够应用到各个行业、业务场景中。特别是在 GPT4 之后，模型的推理和总结能力非常强大，给出各种数据，它能够帮助解读，提供建设性的意见。我们现在跟客户合作去落地应用，基本上就是按照这个模式去做的。

我在实现大语言模型的过程中，总结了五个关键要素，我称之为五大支柱。这五大支柱是大模型应用开发不可避免的核心部分：

LLM AI 应用程序开发的五大基石

⚫第一是模型。因为我们现在看到很多大模型在发布，但是大模型不等同于大模型应用。模型发布之后可能只能进行对话，比如简单的网页界面交互。它属于第一类无记忆的交互应用。你只能通过对话来跟模型交互，把大部分数据写在提示词里。而且这些提示词可能也是有限的，有的可能是 500 个，有的可能是 2000 个，有的可能是 4000 个。在模型的实现过程中我们发现不仅需要用到模型本身，还需要用到一些 模型，也就是把文本转化为向量的过程。

⚫第二个方面是关于使用模型的具体范式，比如使用基于内存的应用和无内存的应用。基于内存的应用可以直接从网上搜索和拉取知识，然后生成。还有一个就是把企业内部知识库转换成内存级别的缓存，在向量表中搜索，获取需要的语义信息，称为cash。还有一个就是多轮对话，让模型自动生成一些知识，然后进行向量化。目前我们还没有看到这些应用范式的天花板，每天都有新的论文、新的玩法，需要我们不断学习和探索。

⚫第三个方面是应用开发工具的框架，作为开发者，我们需要工具、SDK、框架来开发应用。这对于大语言模型的开发非常重要，比如我们可以使用 来和模型进行交互，而不需要写代码。这个改变会改变开发过程中模型调用的框架。微软有一个大语言模型 SDK 叫 ，开源社区也有个 SDK 叫 ，陆总后面会讲到。这两个是目前主流的，主要用来控制提示词，处理语义链等。有了 SDK，开发者就可以使用封装的结构快速开发应用，让开发过程更快更顺畅。

⚫第四个方面是平台基础的重要性。微软目前正在朝着完全基于AI的基础架构迈进。比如我们要进行多轮对话，可能需要一个模型来帮助生成知识，并对其进行推理或者命令控制。在这个过程中，我们需要处理与模型的多轮对话或者模型自调用的递归。如果出现网络断开等问题，我们需要恢复之前的状态。微软的云平台提供了一些任务持久化机制，比如这些机制帮助我们在API调用过程中实现持久化。微软的云平台正在朝着支持AI应用的方向发展。

⚫第五个方面是产学研融合，除了大模型、应用范式、云平台，微软还有一些小模型项目，比如Chat等，未来一个可能的趋势是大模型和周边的小模型结合起来协同工作。

：今天陆老师就给大家科普一下 和 的区别，以及分别适应哪些不同的场景。

陆建晖：首先我们要改造传统的训练、数据获取、测试、部署的方式，现在我们可以通过面向编程，让计算机通过简单的指令来完成相关的工作。以前我们通常都是用编程来完成这些工作，现在我们可以使用自然语言。有人担心智能会取代我们的工作，特别是在编码架构方面。我们怎么把传统的代码和面向编程结合起来，是一个需要考虑的问题。研发团队可能有一些新的想法，我们要想怎么把它融入到智能应用中。在结构化的时候，我们需要考虑怎么划分、怎么管理跟代码的关系。最早的例子是它是一个支撑平台，为很多生成式人工智能和智能应用提供了例子。的作者主要是面向人工智能编程，随时可以调用不同的接口。比如在处理非结构化的文档或者不同的模型、产品调用的时候，它提供了很好的接口和方式，让我们能够快速适应不同的应用场景。

但是使用的时候有一个问题，随着各种生成式AI的不断增加和融合，工作变得更加复杂，为了处理这些问题，它出现了。它不仅支持.NET，而且比较轻量，面向应用级开发，可以更好地管理和转化成不同的技能和能力，这在行业应用中非常重要。两个框架都有各自的优势，使用哪个还是要看实际情况，如果你有丰富的AI经验，它可能更适合你，因为它是基于作者之前的AI经验构建的，在应用层面对开发者更加友好。现在两个框架都在不断的进化和发展，每周都会发布更新版本，这些变化都在不断增强使用方式，思维链，语义等。总体来说，我觉得两个框架都是不错的选择。

：卢老师您能继续讲讲云原生的场景吗？

陆建晖：目前云原生场景已经非常普遍，但是如何把云原生场景和智能应用结合起来，是很重要的一个部分。这方面就不得不谈到不同的智能应用。比如最近很多人在思考，技术文档怎么和应用场景结合起来。在这种智能场景下，我们需要处理非结构化文档管理、信息抽取等任务，这些是我们之前就有的技能，比如AI技术。在寻找企业解决方案的时候，我们可能需要用到企业级的数据，比如认知搜索或者文档搜索等。所以，这些技术是不能被忽视的。

另外，有些服务，我们需要根据不同的需求，把技术细分化，比如和的容器应用，我们可以把文档、档案放在一个微服务上，同时使用各种AP​​I。在企业中，一个简单的例子，比如查询旅行天气情况、自动给出差人员发邮件，我们可以通过微服务把API封装起来，集成到GPT应用中。在前后端，我们可能需要调用不同的服务，比如在提取表单中的信息时，我们可能需要用到OCR，结合认知服务的OCR场景进行扫描、关键字段提取。当然，我们现在提取信息更快的方式，就是利用Open AI，也就是生成式AI写作，快速提取需要的信息。这些都是我们原来的场景，但是我们加入了智能化的部分，把我们的云原生提升到智能云原生的阶段。

对于移动应用来说，除了越来越智能化，我们可以在上面触发更多的功能。在智能应用中，我们可能会开发一些App、前端，将低代码的工作和智能服务结合起来，形成更快更实用的低代码场景，这也是非常必要的。比如之前我帮助教育部门开发的服务，或者可以随时提问的服务，它可以应用到很多场景，比如语音转文字，从文字中寻找我们需要的知识点，并且不断的去整合和拓展，让它包含更多的应用场景。另外我们也在思考，这些技术如何能够更好的实现，比如数据的安全和用户体验。在云​​原生中，已经提供了非常优秀的数据保护，对企业是非常友好的。所以建议大家除了使用服务之外，尽量使用一整套的解决方案来整合自己的智能应用。

：在实际帮助客户方面，我们邀请了已经拥有丰富经验并且正在拓展实践的周老师来分享经验！

周跃：就落地而言，我有一个感受：不管你是企业、组织的管理者（不仅是技术管理者，还有董事长、CEO），还是开发者，我们共同的任务就是不断刷新自我。对于企业管理者来说，最近接触了很多董事长、CEO级别的人，他们对GPT大模型技术的关注让我深受启发。这个时代的技术已经到来，已经不再局限于技术圈的人关注和学习，而是站在企业的角度，从上到下。所以我想强调刷新我们对GPT的认识。很多企业可能还在犹豫，觉得这只是一个热点，一个噱头，但我想告诉大家，不要再观望，要行动起来。微软的产品已经全面采用了AI和GPT技术，包括全家桶、CM系统、云基础设施等。之前接触过的一些企业经过培训，已经开始灰度发布GPT应用，并集成到现有产品中。所以我想告诉管理者，不要再观望了，要行动起来。

对于技术圈的开发者，我想分享几点新的感悟。第一，不要觉得大模型很难，其实你仔细看技术文档，了解API的话，核心就只有两个：提示词和向量。这么简单的模型，却有强大的能力，而且非常好用。有了框架和简洁的API文档，开发者可以尝试把AI能力应用到自己的项目和产品中。正如浩哥和陆老师介绍的，有了框架和API文档的支持，开发者才真正可以为自己的项目和产品加入AI能力。所以我们说GPT的出现，值得我们重新去思考和改变，我觉得这是一个非常实际可行的事情，在我多年的技术工作中，还没有见过一个技术有如此巨大的影响力和潜力，我们自己的产品都加入了GPT的能力。如果你还在犹豫，建议你尝试去和GPT沟通，了解它的能力，看看市面上公开的应用案例，回头想想自己的产品，只要加入一点点AI能力，就能让产品有突破性的改变。在竞争中，如果你能快人一步，对你产品的市场价值会有很大帮助。在过去的两三个月里，我接触了很多公司，他们都愿意采取行动，而不仅仅是了解技术。这给了大家信心，我们真的需要开始采取行动，不要再等待了。

我们必须承认，GPT 的知识储备已经超越了任何人，这得益于其庞大的预训练量和算力。GPT 的固有知识已经非常丰富，不需要再添加额外的企业私有领域知识，这些内置知识本身就已经非常强大。通过结合一些专业性、功能性或者业务提示，我们可以赋予 GPT 特定方向的个性，使其在某一功能或业务领域拥有专属能力。

只需通过提示词就能实现，从而赋能企业。无论你是销售员、营销员，还是其他业务层面，比如文案撰写，都可以拥有一个专属的行业专家助手。很多企业已经开始使用这种方式，我们自己也有类似的产品，取得了不错的效果。通用人工智能的大模型能力已经可以应用到企业实施中。

刚才提到，有了记忆范式，我们可以利用企业的独有知识进行开发。这些独有知识可能因为更新频繁或不公开而无法通过大型模型进行训练。但是，我们可以利用记忆方法开发有针对性的应用，例如客服。通过将智能客服或销售机器人与企业知识相结合，我们可以产生颠覆性的效果，并大大节省成本。在前面的讨论中，我们看到通信行业的很多需求都可以实现。

比特熊：上面的技术分享想必让大家思考颇多，比特熊故事集的专题环节也必不可少，周老师应该在技术层面上也深耕细作过，在职业规划方面有没有什么经验可以分享呢？

周悦：我不敢称自己为人生导师，这个责任太重了。我只想分享一些个人的看法。我们有幸参与了这个时代的发展，这个大模型的出现对我们来说是一个非常好的机遇。可能在这场直播间的观众当中，有的朋友比我年轻，我相信对你们更有益。我建议大家保持对技术的敏感度，当一个新技术出现的时候，要主动去观察、去学习。当你验证了这个方向可行的时候，就去尝试去用。现在有些技术的门槛越来越低了，用起来非常简单。不像过去有些新技术需要深度学习等专业知识，上手比较困难。自从大模型时代以来，很多技术已经普及了，不要置身事外，要保持敏感度。相信我，将来新技术出现的时候，你一定会受益匪浅。

比特熊：卢老师其实是真老师，有可能你随便点开直播，就是卢老师在直播，卢老师好像每天直播的时间都在24小时以上，一般比特熊找到卢老师，都会很及时的回复，卢老师是怎么做到的呢？

陆建晖：我对技术非常热爱，也喜欢说教。就拿AI来说，拿到账号之后，我经常会花时间去摸索、去玩。要理解一门技术，首先要深入理解，所以有时候我会找到浩哥，直接给他一段代码，说我做过，或者在上面做不同的东西，跟不同的人讨论。闲暇之余，我也会看书，或者尝试写代码。有的人会看完一本书再去写代码，而我会边看边写，这让我很有成就感。我会觉得自己一直在学习，包括整天拿着手机看各种内容。

当然，我也会关注一些与技术无关的东西，因为技术一定要体现在生活中。去年我参加发布会，做了一些有意思的短视频，其实这些视频都是我在短视频平台上看到的段子，我就想能不能用这种方式去推广，于是自己就尝试了一下，效果还不错。所以，一定要在生活中寻找灵感，多去尝试，这样才能收获热情。也许你会看到我每天都在直播，但其实我也做了很多其他的工作，所以需要找到自己的平衡点。

：浩哥谈产品和技术的时候思维逻辑非常清晰，他其实以前也是一名专业技术人员，是什么促使你从技术转行做技术？

徐浩：我有一个习惯，就是打破常规，摆脱路径依赖。因为我的性格，我喜欢尝试一些新的东西。在技术上工作久了，我会思考是否还有一些更新的领域可以学习到新的东西，从不同的角度去思考问题。我之前从事技术开发，写过一段时间代码，也做过技术架构，后来转行做营销领域，这是一个很大的跨界。但我从另一个角度重新审视技术，就是在做技术的时候，如何让受众理解。这对我来说是一个全新的课题。一些抽象的概念，比如大模型，能不能被解读和理解，然后传达给受众，这会带来不同的体验。整个思维体系都是建立在自己对事物的理解之上，对我个人来说也是一种思维训练。通过这次跨界的职业转型，我可以接触到各种各样的视角，从不同的角度看待同一个问题，这对我很有吸引力。

有话要说

本期的三位嘉宾风格各异，一位是大家熟悉的、多次全力支持 直播间、多才多艺的陆先生；还有充满创新精神、善于打破常规、最懂技术的营销人的郝先生；忙碌于近期热点、拥有丰富产品实践经验的周先生！三人的经历都离不开技术的更新迭代，可以说他们凭借着内心的激情、耳目一新的学习、创新的意识，与不断演进的技术圈一起前行！

短短一场直播不足以了解他们的方方面面！但他们对新技术的研究与热情、对行业创新的敏感探索、打破常规的勇敢尝试，与众多开发者和技术从业者的闪光点重合在一起！

每一个渴望了解最新技术发布、一次又一次将想法付诸实践、不断挑战固有思维的人，推动了技术的繁荣，创造了加速的技术生态系统！

“夏日好礼”上线

如何参与

➤ 在本文下方留言，说出你对本故事集的看法，点赞量排名前5位（统计截止时间：5月26日0点前）的人将优先获得夏日特别限量好礼。

PS-获奖名单将于5个工作日内在“粉丝俱乐部”微信群中公布，请参与活动的同时添加微信并加入粉丝群，获取第一手资讯！

扫描微信二维码

加入[粉丝俱乐部]

与开发者进行愉快的交谈，期待成为您的朋友〜