这是抖音今年11月推出的标志性的AR技术（AR是增强现实的缩写，是指通过计算机视觉算法将虚拟效果叠加在现实场景上的技术）。打开抖音拍摄界面，使用AR特效贴纸，扫描地标建筑即可触发AR效果。首批推出的特效包括北京三里屯、上海东方明珠、澳门大三巴、广州广东博物馆、重庆洪崖洞、西安钟楼等地标建筑。

官方玩法：打开抖音，拍摄地标附近道具里的AR贴纸，或者搜索贴纸名称拍摄

AR 项目由 AI Lab、抖音产品、多媒体研发、UED 设计、数据平台、音乐、运营、市场等十多个部门共同发起，横跨硅谷、洛杉矶、北京、上海、深圳五个办公室。经常有人问我们，这么多办公室，公司是怎么协调的？今天我们就带你走进这个项目团队，了解字节跳动团队如何将中台与产品深度结合，跨时区调动最优秀的资源，高效、创造性地将前沿技术落地。

从第一个示范项目来看，AR距离成为基础设施还有多远？

4G时代，人们扫描二维码。5G时代，人们会扫描什么？答案可能是：扫描任何东西。

现在，二维码是我们从线下进入线上世界的身份证。未来，AR或许也会像二维码一样，成为连接物理空间与虚拟世界的基础设施——扫描现实中的任何物体，便可获得该物体在虚拟世界中的对应信息。一层层的信息叠加在一起，便形成一片覆盖整个世界的AR云。

这是 AR项目对于未来的宏伟愿景，业内同行也已经在这个领域投入了大量的资金。 AR技术的实现基于3D视觉重建算法和SLAM定位算法，这项技术对硬件设备的算力、传感器的精度、算法的稳定性和鲁棒性、工程实现的优化等很多技术环节都提出了非常高的要求。

字节跳动北美技术团队中，不少人都是前沿科技和潮流电子产品的尝鲜者，他们提出了地标性AR的多种玩法，除了简单的在建筑上叠加文字或虚拟物体，还探讨过建筑拟人化/个性化、建筑夸张变形、程序化动画生成等想法。这些创意和玩法无疑需要计算机视觉和图形算法的强大支撑。如何筛选并聚焦最核心的关键技术研发，是团队面临的挑战之一。

林杰是北美人工智能实验室研究员，他于普林斯顿大学计算机系获得博士学位，一直从事3D场景理解、物体检测与追踪方面的研究。今年2月加入公司后，他从零开始打造了具有里程碑意义的AR技术。5月，北美人工智能实验室在终端上完成了实时演示。

业务方在观看演示后敏感地意识到AR能为产品带来更多玩法和可能性，决定首先支持标志性的AR技术在抖音上落地。“我们的产品形态是点对点传播，所以一个有趣的玩法可能会引起全网轰动。”林杰从硅谷社交巨头跳槽到字节跳动，就是被这里产品的影响力吸引。

在众多可能的技术组合中，团队决定先解决最核心的基础算法，并选定中航工业低层建筑作为首个示范项目，作为大家最熟悉的办公楼，中航工业低层建筑很适合进行技术验证和调试。

这项具有里程碑意义的AR技术实施工作量非常大，工程分为五个阶段，硅谷从春季一直跨到秋季，8月是最热的季节，林杰和同事们回到北京，对中航工业的低层建筑进行调试。

在中航工业的低矮建筑里，人工智能实验室和北京的产品研发团队一起调试。“晚上中航工业灯火通明，大家兴致勃勃地讨论着产品的技术细节，年轻公司的活力很有感染力。”林杰回忆道。

经过两个月的努力，中航工业低层建筑地标AR终于上线，项目组在公司内部展开试用，收集反馈意见，不断完善技术和设计。

以中航工业低层建筑为蓝本的“律动舞台”主题设计由北美设计团队完成，音效由音乐团队支持，万事开头难，通过第一个示范项目，把流程跑通，接下来的9月、10月两个月，全力推动首批6个地标建筑顺利落地。

平行发展：走访32个省市，在四个地点开展合作

在研发中航工业低层建筑AR贴纸的同期，字节跳动众测团队在全国32个省市安排了现场图像采集，为AI Lab地标建模提供数据支持。

地标性AR技术最终呈现在抖音的特效道具中，可能只有几秒钟的动画，但用户不知道的是，每一个地标性道具都涉及大量的前期工作。

单单在建模的数据收集阶段，每个地标都需要收集多组数据，不同角度、时间、光照、气候条件都需要相应的照片。日出前出门收集数据，或者在阳光明媚的夏天等待下雨天，都是数据收集中常见的问题。

全国各个城市地标建筑的照片都有上万张，几千GB的数据被传回AI实验室，林杰和同事们对数据进行处理，对模型进行精简优化，再进行模型融合、对齐等。

首批上线的六大地标建筑，分别代表一种建筑类型，澳门大三巴牌坊是牌坊，上海东方明珠塔是高塔。既然做这个，就要兼顾各种模式，让它成为一种普适的技术，而不是只基于一种模式自我复制。

地标 -> 旅游景点 -> 玩乐 -> 享受欢乐 => 主题“玩乐人生”确定

这组地标的创意主题为“玩转生活”，每个地标的创意都是经过项目组百余人头脑风暴后投票选出的，创意确定后，六个项目同时推进，由上海、深圳、北京、硅谷的团队并行开发。

像素风格设计元素单独展示

三里屯像素风效果展示

每个地标都有一个小群，由抖音和多媒体项目经理统筹，设计师独立想出创意效果，对接研发团队进行开发。三里屯贴纸的设计师韩寒来自北京的UED部门，直到项目结束，她才发现，每天对接的研发同事，其实都在上海。

这是一个非常字节跳动的工作场景，全球各地的员工借助简单易用的工具协同工作，不分身份、不分年龄、不分地域，在飞书上坦诚沟通，敏捷执行业务目标。

追求完美，通过技术创新为用户带来新的玩法

在地标设计过程中，项目组发现6个地标各有不同，几乎都需要在通用算法基础上进行“特殊定制”。

地标AR是用户记录城市的工具，一个成功的地标AR贴纸应该能够精准传达地标本身的文化和象征意义。“不是炫耀什么技术，而是根据建筑本身赋予创意，贴合城市的气质。”抖音PM张畅认为，我们的地标AR道具将城市的气质与抖音好玩的产品特性相结合。

深圳影像团队设计师陈欣负责上海东方明珠“天空城市”的创意设计，为确保效果，他专程来到上海办公室，带着特效团队的工程师们到外滩进行实战测试。

东方明珠塔是一座高达114层的巨型建筑，触发范围非常大，大多数人在外滩拍摄黄浦江对岸的远景，也有人到陆家嘴拍摄近景。为了准确识别定位，技术团队对约2平方公里的陆家嘴核心区域进行了三维重建。重建精度可以控制在一米以内，特效也会随着远景和近景位置的变化而呈现不同的效果。为了保证拍摄过程中的精准三维定位，项目组增强了跟踪算法，提升了算法对三维场景的识别和理解能力，减少用户使用和观看过程中可能出现的跟踪丢失问题。

重庆洪崖洞是当地的热门景点，大量游客会在晚上打卡。考虑到实际昼夜光线变化，设计团队将白天的蓝紫色滤光片做得较暗，晚上则换用另一种不太暗的滤光片。

比如澳门大三巴牌坊的特效中，吐金币的石像头原本放在一楼，深圳研发的同事到澳门实地测试后发现，游客与牌坊距离很近，吐金币的石像头与人群会发生重叠，于是将石像搬到了牌坊二楼。

技术方面，项目组对石像面具做了环境适配，使得无论光照等条件如何变化，石像的材质、色彩都能与牌坊自然融合。

追求完美是每个人的工作作风，对细节的把控体现在项目的每一个环节。上海的研发工程师叶华记得，当时他和硅谷的同学紧急开会，AI Lab 根据建筑采集的模型，与设计团队制作的 3D 模型对接不上。在沟通了问题和解决方案后，挂断视频会议，已经是凌晨 2 点了。

在美国AI Lab工作的林杰对国内同学的敬业精神印象深刻。“设计团队看到新技术的demo后很热情，立马说让我们几个全职员工都可以全力以赴支持。”在北美AI Lab工程研发负责人郭晖眼中，公司技术氛围浓厚。“无论是技术同学，还是配合技术落地的非技术同学，都很羡慕新技术对产品的帮助和提升，觉得这个技术很好玩，应用前景广阔，所以毫不犹豫地支持，迎难而上。”

道具上线后，大量用户上传拍摄的照片，浏览量过亿。有人留言称，自己开车两个小时拍摄了这一特效。一些城市旅游部门也表示，想为自己城市的地标建筑定制一款AR道具。

民间玩法：远离地标，瞄准地标的照片、手绘图、或者类似的建筑物。

从一个技术想法到最终结合创意的产出，凝聚了百余名项目团队成员的智慧。不少同学通过高难度的项目挑战提升了个人技术堆栈，为团队带来了技术的积累和沉淀。目前项目组已经梳理出近30项技术，正在准备申请专利。

为数亿用户带来新玩法，是字节跳动对前沿技术的投入和决心的一小部分。除了贴纸道具，项目组还在考虑如何将 AR 商业化，如何利用 AR 作为基础技术，在 AR 交互上做出更多突破。

创新是业务发展的核心驱动力，技术团队希望未来能够走在业务的前面，主动看清发展方向，并通过组织架构的调整，保证团队未来能够持续输出有创意、有影响力的产品。