微信小程序支持 AR 功能,欧莱雅旗下阿玛尼美妆小程序率先应用

2024-05-28
来源:网络整理

本课程主要介绍如何在微信小程序中嵌入.js插件并基于此进行开发。课程以一个姿态检测模型为例,介绍了将.js插件导入微信小程序开发工具后,项目开发的配置、函数调用、模型加载等方法;此外还介绍了如何将在环境中训练好的模型转换并加载到小程序中。

微信近日宣布旗下小程序支持AR功能,其中,欧莱雅集团旗下阿玛尼美妆官方微信小程序“阿玛尼官方精品商城”成为首个支持动态AR试妆的小程序,开创线上零售新体验。

这背后的智慧源自机器学习,“动态”二字是技术突破的关键。相比以往上传照片再下载的方式,动态试妆让试色更加真实、简单,手机成为用户专属的“试妆镜”,所见即所得,即试即买。背后的试妆技术提供商,也是欧莱雅集团旗下的AR及AI解决方案提供商。通过应用.js,开发者可以优化AR渲染性能,提升用户体验。

将机器学习与传统文化相结合

除了商业应用之外,小程序和机器学习能力也赋予了传统文化新的生命。

安徽中医学院胡吉利、阚红星等人联合开发了一款名为“中药饮片百科”的中药饮片识别小程序,共收集数据4.3万余条,涵盖137种中药饮片照片。

通过基于-v3模型的训练,准确率达到88.3%。这款小程序不仅能了解中药的药性、功效,还能识别137种中药饮片,测量大小等,不仅能让学习中医的学生随时随地了解中药知识、熟悉饮片的药性,还能让普通人身边也拥有移动的中药“专家”。

云南大学软件学院老师刘金卓指导学生创作了《民俗国风大迁徙》小程序,通过图片处理,赋予其浓郁的民族艺术风格,让用户体验到民族艺术的独特魅力。

通过对40多万幅各民族艺术图片进行训练,风格迁移模型能够有效提取各民族艺术的特色,同时处理图片仅需0.01到0.06秒,为用户带来良好、响应迅速的民族风格迁移体验。

除了民族风格图片带来的视觉冲击力外,小程序中等待页、介绍页的引导,可以让用户接触到更多民族艺术文化的相关信息,有利于促进优秀民族艺术的传播与发展。

机器学习在微信小程序中的应用是多种多样的,无论是个人开发者还是企业开发者都可以结合各自领域的机器学习能力,开发创新的小程序并向用户提供服务。

为了让小程序中的机器学习更加容易,开发者现在可以在小程序中使用.js插件来实现这一点。

什么是 .js 插件?

微信小程序原生环境为 ,具备简单的移动设备传感器API(如摄像头、麦克风、加速度计、陀螺仪、GPS等),但平台内置的机器学习能力有限,开发者若想在应用中嵌入机器学习技术,则需要在服务端或云端的机器学习栈上进行开发,这增加了大量小程序开发者构建和使用机器学习技术的工作量。

鉴于此,.js 提供了微信小程序插件,帮助小程序开发者将机器学习能力带入到应用中。小程序提供的 API 可以使用手机内置的 GPU 加速器,比 CPU 快 10 到 100 倍,开发者无需担心背后的构建和开发。微信小程序还具备高效执行机器学习模型的能力,与在手机浏览器中运行的应用程序一致。

.js模型库包含以下类型的模型:

类别

型号名称

介绍

图像

用于标记的图像识别。

实时人体姿势识别

详细介绍。

Coco SSD

物体识别模型可以同时识别图像中的物体类别和位置。

基于 API。

使用.js 在浏览器中实时分割人体和身体部位。

嗓音

识别短语音命令,基于。

单词

将文本编码为 512 维嵌入,并将其用作情感分类和文本相似度等自然语言处理任务的输入。

文本

确定评论可能对对话产生的影响,从“有害”到“健康”。

其他

KNN

该包提供了使用 K 算法创建分类器的实用程序,可用于迁移学习。

注:.js模型库链接

为了让更多的小程序开发者了解.js以及如何在小程序环境中应用.js,我们联合微信小程序、腾讯课堂NEXT学院发布了《.js遇见小程序》课程,帮助开发者快速了解和进入机器学习的世界。

小程序与.js技术的融合,旨在降低机器学习的门槛,帮助更多有想法的人利用这项技术创造出更多、更有趣、更有价值的应用,解决更多现实问题,造福社会。

如果您想了解有关 JS 的更多信息,请参阅以下文档。这些文档深入探讨了本文中提到的许多主题:

课程链接:

分享