12月15日,由腾讯云主办的首届“腾讯云开发者社区开发者大会”在北京召开。本次大会以“新趋势·新技术·新应用”为主题,汇聚了40余位技术专家,共同探讨人工智能、大数据、物联网、小程序、运营等热门技术的最新发展成果和维护开发。吸引了1000多家开发者参与。以下为小程序分会场演讲内容。我简单整理了一下,分享给大家。
插件的诞生为微信小程序注入了新的活力,补充了小程序生态的重要组成部分。本次演讲我们将分享微信同声传译插件案例,解析该插件解决的问题以及给服务商、开发者、商家带来的便利。
今天给大家分享一下我们插件的功能。第一个场景是口语阅读,普通小程序中可能会遇到。需要识别用户所读的中英文单词,并与正确的文本进行比较,以达到英语口语水平并提高;第二种场景是新闻播报,一般情况下一般新闻都是以文字的形式展示,但是如果在小程序中以文字和语音的形式向用户播报,那么就会出现这种场景;三是汉英翻译,用于对外交流,常用于教育。
当我们开发小程序来实现这三个场景时,我们会遇到三个功能:连接用户的语音识别、将现有文本转换为音频进行播放的语音合成以及文本翻译,这是两种语言之间的共同点。转换文本的过程。当我们遇到这种情况时,如果我们想要培养这种能力,会涉及到哪些问题呢?我们先来看看。
开发能力有限。对于一些中小企业或者个人开发者来说,需要开发一整套比较复杂的功能,其实对他们来说难度更大。我们以开发一套会员卡的服务为例。会员卡服务至少需要支持开卡、对话、验证、配合相关商户开展节日活动等功能。这些功能往往会限制技术能力,很多企业可能会因为这个问题而很难开发出这么一套东西。这是我们遇到的第一个问题。
第二个问题是开发周期限制。这对于开发者来说也是一个非常头疼的问题。当我们需要快速搭建demo,或者满足假期需求时,我们可能会快速开发和迭代小程序的现有功能。我们现有的能力和资源可能无法从头到尾自己完成。完成这个过程。
三是许可资质限制问题。如果您曾经接触过小程序开发相关业务,您应该知道,小程序平台会要求小程序开发者提供相应的许可资质,以确保其业务合规合法。例如,在一个电商小程序中,我希望能够以视频的形式播放产品使用教程。小程序希望您提供视频授权。如果我们没有这个许可证,是不是就没有办法实现呢?其实不是,这个问题我们可以稍后再说。
当小程序开发者遇到这些问题时,有哪些解决方案呢?小程序平台提供了可行的解决方案插件。简单来说,插件可以直接在小程序、功能模块中使用。这是一个介绍。我们来看看小程序插件都可以有哪些。
第一类是前端UI组件。
这是程序选择的组件。在很多表单程序中,填写表单都会遇到这个问题。您可能需要填写一个程序。有必要我们自己开发吗?如果我们赶时间,有成熟的插件可供我们使用,我们可以直接使用,以减少开发量。这是第一种前端 UI 组件。
第二类是功能服务模块。
这里有两个例子。面对面翻译其实就是使用微信同声传译插件的一个例子。它利用提供的识别功能来实现翻译识别功能。这是一个独立的功能服务模块。在腾讯Go中,你可以看到底部有一个聊天工具。腾讯围棋具有社交属性。一些观看围棋的用户可以进行实时交流。这也是微信推出的一款聊天室插件。这是一个函数。服务模块。
第三类是线上线下完善的服务。
例如,如果经典想要支持订购、服务和票证验证,它已经有一个现有的插件。这个程序只需要提供相应的文字信息就可以实现我们购买的服务。
除了三大类之外,下面我还可以介绍一些比较常用的插件。例如,第一个日期选择框类似于城市选择。这些都是比较常规的前端UI组件;餐饮服务。现在很多商家都会说想在小程序里做一个餐饮品类,希望在里面进行采购、代购。整个支付和评价功能也可以使用现有的餐饮服务插件或单独支付来实现。对于商家来说,了解支付流程比较麻烦。如果您使用现有插件下单并支付,则无需担心此问题;地图,如果使用地图插件,还可以导航。
通过我们刚才对这些插件的介绍,我们可以知道插件的优点有哪些。 UI组件不需要重复开发。对于普通开发者接触不到或者不需要理解的细节,可以利用现有的功能服务模块来降低技术门槛。 ,最终实现服务共享。
刚才介绍了插件的具体介绍。我们来看看微信同声传译是如何实现的。
微信同声传译是微信志灵语音团队、微信翻译与公众平台联合推出的开放式同声传译界面。在插件提出之前,微信就已经在思考如何开放自己研究的语音识别、文本翻译、语音合成等能力。面向更多用户,而不仅仅是微信APP本身。起初我们尝试把它做成一个小翻译程序,但后来发现效果并不好。为什么?因为对于我们来说,翻译小程序的使用场景很少。它们仅由用户在出国旅行或其他相对小众的地方时使用,因此使用这些服务的用户会很少。
插件概念提出后,给我们提供了一个新的思路,就是我们只作为功能的提供者,把这些能力交给开发者,让他们自己决定在哪里使用。我们只需要专注于我们自己的服务。这些能力就是我在分享开头提到的共享需求场景。
语音识别实际上可以识别用户在刚才提到的口语阅读中实时读出的中英文单词,并将其转换为我们可以看到的文本。语音合成将新闻报道中的新闻文本转换为音频并播放给用户。文本翻译,即在外国教育和英语学习过程中出现的汉英翻译功能。
我们提供了这些功能,难道只做上面三个例子吗?其实还有很多,我可以详细介绍一下。对于一些记录,比如日记、游记,我们通常会以文字和图片的形式记录。如果我们使用语音识别,我们可以直接让用户通过说话将其转换为文本并保存,从而降低了用户的成本。操作难度,或者说优化其体验的能力。
同样属于录音类别,也可能是一个学习笔记小程序。当我们将英文论文或短句粘贴到小程序中并保存时,是否可以使用插件提供的文本翻译功能将其转换为中文?帮助理解吗?
第二个是快递。之所以单独讲这个,是因为我们在使用小程序插件的时候,是利用我们在快递小程序中的功能来帮助用户输入地址、电话号码等信息。这是我在做插件之前从来没有想到的。
还有AI类别。比如我之前接触过很多聊天类型的小程序,包括聊天机器人。它们通常是文本形式,比如今天是星期几,然后小程序机器人会告诉你今天是星期六。如果您使用我们的语音识别插件,机器人可以理解您所说的音频并将其转换为它可以理解的文本。同样,当他今天和周六需要回复你时,他也可以使用微信插件中提供的语音合成将其转换为音频,以实现你和机器人对话的过程。
对于信息来说,比如一些新闻或者报纸或者小说,我希望能够把它转换成中文或者英文的一条信息,或者如果这个文本信息有播放的需求,也可以通过语音的方式将它转换成音频信息。
介绍完它的使用场景,我们再来看看这个插件的优点和亮点。在选择时,我们首先考虑的是功能。我们刚才提到了这三个功能。如果我们从英语语音开始,将英语语音转换为英语文本就是语音识别的过程,而将英语文本转换为中文文本就是翻译两种语言的过程。中文文本到中文语音是语音合成的功能。微信插件提供的三个功能具有连续关系。通过这三个功能,小程序开发者可以实现任意两者之间的功能互通。
我们再举一个例子。当我们在小程序中使用语音命令来控制智能家电时,我们会利用语音识别能力来解读用户说的话,比如“打开电源”或者“把空调开到一定程度”。您只需使用语音识别功能,然后将其嵌入到原有的命令系统中,即可实现通过语音进行控制。
如果这还不够,并且仅仅将音频转换为文本还不够酷,我想再次翻译它。根据我们刚才提到的,只需将英文文本转换为中文,然后使用翻译器即可。这是一个函数。
当我们评估一个小程序插件是否适合我们时,我们考虑的第二点就是服务的稳定性。因为只有你的服务稳定,能够在小程序中继续正常工作,这才是满足功能前提后我们最关心的点。
微信同声传译插件提供的是内部能力对外开放的一次尝试。它提供的语音识别和文本翻译功能是微信APP聊天窗口本身的功能。语音输入是将您所说的内容转换为直接发送的短信。正因为这是微信内部对外开放的尝试,所以我们实际使用的后端服务之一实际上是由微信志灵团队和微信翻译团队长期升级和维护的。
我只是说我们的服务是经过多次测试才可以使用的。当功能和服务稳定性都OK的时候,开发者直接面临的是如何使用这个插件,即如何使用我们提供的功能。
相对于文本翻译和语音合成,语音识别的过程其实是比较复杂的,因为语音识别希望当用户说话的时候,我们已经把他实时语音的音频信息传输给识别服务,并返回给识别服务。当前音频。信息。我们参考小程序原来升级中的一个接口,简单看一下代码。这样,小程序开发者就不需要额外了解一套专门用于微信同声传译插件语音识别的接口,可以为小程序开发者提供帮助。快速接入和使用微信同声传译插件。
其次,为了进一步帮助小程序开发者使用插件,我们自己做了一个同样使用微信同声传译插件进行面对面翻译的小程序,并将其开源,然后让小程序可以使用。程序开发人员直接阅读其使用。代码仅供参考,帮助大家在自己的小程序中实现这样的插件接入流程。
当这些就是我们提到的功能多样性、服务稳定性、接口应用时,这些就是同声传译插件所表现出来的特点。当我们需要找到一个满足自己需求的插件时,我们如何找到呢?
其实微信开启器社区里有一个专门的插件专栏。小程序开发者可以在这里输入相应的功能,比如城市选择、日历、日期等信息来搜索相应的插件。
在插件详情中,我们可以看到这个小程序插件提供的能力都会向我们讲解。如果我们想进一步检查这个插件的每个接口是否符合我的期望?这里还提供了插件使用文档。使用文档中,大家可以阅读文档,看看这个插件是不是我要找的。
这是一个寻找插件的过程。要真正访问和使用它,您需要在公共平台中进行相应的设置。在第三方服务设置中搜索并添加插件。搜索同声传译插件并添加并绑定。这一步,其实我们已经实现了我们开发的小程序和某个插件的关联。
最后在小程序开发者工具中引入该插件的代码包。可以引入多个插件。这就是一个完整的搜索和使用插件的过程。
因为在插件出现之前,我们小程序开发者其实有一个相当痛苦的过程,就像在黑屋子里找路一样,因为所有的路径都需要我们自己去走,甚至需要找到我们自己的路径。通过以各种方式访问它们来拥有自己的功能。该插件的提出是为了让更多的小程序开发者参与小程序的建设,让服务商可以在小程序插件中提供自己的功能服务,从而达到变现的目的。小程序开发者利用插件的功能快速构建自己的小程序。让服务提供商可以专注于自己的功能服务,小程序开发者可以专注于自己的核心业务,从而让越来越多的小程序插件不断积累,让更多的小程序变得更好玩。 ,更多好用的小程序出现在大家面前。
Q:您好,如果插件可以像小程序一样进行授权,是不是给开发者提供不同的插件会更好?
A:其实不仅仅是我们自己开发插件,小程序的开发者也可以开发插件。你可以开放自己感兴趣的服务,然后开放给所有用户。这不仅仅是一家公司可以做到这一点。插件可供所有小程序开发者使用,这将为小程序创造更多可能性。
问:老师您好,我在使用同声传译APP的时候,去上英语外交课,有时是面授,有时是在线,老师说了一段话,我想录下来。当时时间比较紧,所以我录了一段音频并导入,可以发送吗?
A:您刚才提到小程序中有这样一个对话过程?
问:我首先将手机放在笔记本旁边。我用笔记本在外面玩。当外交官老师讲英语的时候,我的声音可以录到手机里,然后翻译的内容就会立即打出来。有时我不能分心,必须听老师讲课。我用录音机录制后,音频可能是MP3文件。我可以导入它并稍后与我的朋友分享吗?
A:在你的场景中,微信上实际上并没有生成音频数据。
问:我想在微信上生成,但不知道怎么做?
A:常青老师刚才说了微信通话不会保存音频信息和语音信息,所以没办法说过程中没有办法保存。在你刚才提到的场景中,其实并不需要使用微信小程序来帮你转换你通过录音生成的音频文件。你已经有了mp3文件,腾讯云可能也有转换它们的过程。小程序插件的目的是为了在小程序中使用。你刚才提到的场景其实是通过录制生成的,不是小程序生成的,而是其他场景生成的。
4.谢涛微信同声传译插件-开放智能语音-.pdf