如何评估设计的价值，成为设计同仁们正在思考和研究的课题。本文将回顾优酷设计针对内容产业构建设计质量评估体系的过程，回顾国内外现有的经验测量理论以及国内现有的实施方法，总结设计模型的构建过程和方法，希望与设计同仁们探讨量化设计价值的方法。通过阅读本文，设计团队也可以为自己的业务构建设计质量评估模型。

为什么要研究设计指标？

设计处于艺术、心理学和技术的交叉点，很难量化。但为了更科学、更有效地进行设计，必须建立设计评价标准。现在，设计质量评价研究已经成为设计行业的趋势，阿里巴巴、滴滴、微软等设计团队都开展了设计质量指标的研究。优酷设计团队在已有研究的基础上，开始构建设计质量评价体系。质量评价体系将帮助设计师明确设计方向和目标，量化设计价值。

设计质量评估体系

设计师在具体工作中可能会面临这样的问题：在设计时，设计方案与产品经营策略高度融合，设计师往往无法清晰地说明自己贡献了哪一部分；又或者由于产品往往是企业内部的工具，缺乏足够完整​​的数据来验证结果。为了给设计师指明方向，量化设计的价值，我们建立了设计质量评价体系，构建了一套“指明方向、树立目标、得出结果”的设计评价方法。此方法可以帮助设计师统一、明确设计方向，正确界定设计目标，并通过科学的手段得出结果。

我们计划用三篇文章来分享以上三点。这是《设计质量评估体系》系列文章的第一篇，主要讲如何构建设计质量评估模型。通过优酷设计团队建立质量评估模型的过程，我们积累了如何构建设计质量评估模型的流程和方法。目前，这个设计质量评估体系正在测试迭代中，欢迎大家提出建议。

模型建立过程

优酷的质量评估模型通过以下三个步骤构建：

Step 1. 构建用户体验测量框架：在对比研究现有用户体验测量模型及相关理论的基础上，通过研究阿里集团内部及外部公司现有的设计测量模型和探索，总结测量设计维度的普适性和差异性，细化用户体验测量模型框架，明确设计在框架中能够影响的维度和比重。

步骤2，构建设计测量模型：此步骤主要是建立模型测量方法与优酷业务的联系。首先我们提炼出优酷各业务的核心目标，围绕核心目标拆解设计目标，梳理并优先考虑影响设计指标的设计因素，反向推导出设计测量模型。与论文中的用户体验测量框架进行拟合，并将模型维度迭代为更适合优酷特点的通用设计测量模型。

步骤3：构建具有业务特征的设计测量模型：为负责不同子业务的设计团队建立模型，并根据各设计团队当前的核心目标为设计师指明方向。

以往的用户体验测量模型和理论研究

在构建模型之前，我们首先回归到最初的用户体验评估模型和方法，围绕四个问题进行研究：

带着以上问题，我们开展了以下四个方面的研究：

1. 国外相关车型

国外用户体验行业的兴起早于国内，因此在理论研究上为用户体验的测量奠定了基础。我们可以参考的关键模型有以下三个，其中该模型是各个公司构建设计质量评估模型的基础。如果要构建用户体验测量模型或者设计质量评估模型，需要对该模型进行深入研究。

2. 国际标准

明确国际标准下的测量标准及相关定义：

3.主观评价指标

了解业界衡量用户体验的主观指标，并结合客观指标来衡量设计体验。

4. 阿里巴巴集团已有模式

对集团现有模型的研究给了我们很大的启发，这些模型都是在已有的国外理论基础上，结合本土业务特点构建的，更适合指导国内业务。通过研究不同团队、不同公司的质量测量模型，我们可以看到不同业务团队关注的核心问题是什么、出于什么目的构建模型，这也决定了模型最终的形态和应用。

接下来我们将详细介绍这些行业中现有的内容，帮助我们了解这些方法的起源和发展，以指导我们当前的研究。

国外相关模型研究

1. 模型-Web体验测量模型

该模型是传统的网站测量指标，通过业务指标和技术指标来衡量网站的整体表现。模型有5个维度：

页面浏览量（Page View）：衡量页面被用户访问次数以及每个页面的点击转化情况的产品指标。

正常运行时间（）：衡量网站持续稳定运行时间的技术指标。

延迟：衡量用户打开页面速度的技术指标。

days user 七天用户活跃度：体现网站实际运行情况的产品指标，用于预估产品的用户规模。

收入：商业指标。电商更看重GMV等指标，视频业务更看重广告、VIP销售等。

模型是传统的网站测量指标，从技术、用户忠诚度、商业效益等角度追求产品整体表现，无法通过模型直接观察到用户体验。

2. 模型-以用户为中心的体验测量模型

该模型于 2010 年发布，是一个以用户为中心的测量模型。模型的出发点是以用户为中心，可以用于广泛的用户体验测量方法。虽然是为 Web 端设计的，但该模型今天仍然可以指导移动端的体验测量。User on a: User-for 是一个以用户为中心的测量模型。

该模型也有5个维度：

愉悦度：用户的主观体验：用户觉得产品有帮助、容易使用，在使用产品或功能时总是感到愉悦。

参与度：用户对产品内容感兴趣，并愿意频繁使用。

：用户看到新产品或者新功能就愿意使用。

：用户愿意在一定时间内回来继续使用产品或功能。

任务：用户能够高效、准确地完成任务。

该模型是一个构建良好的用户体验测量模型，涵盖了主观和客观的用户数据，以及可用性指标。如果你想建立自己的测量模型，你需要从该模型开始，了解用户体验测量的维度和指标，然后看看哪些适合你的业务特点。

3. GSM 模型

“无论一个指标多么以用户为中心，除非它明确与目标挂钩并能用于跟踪进度，否则它在实践中不太可能有用”——来自用户体验团队

为了将指标标准运用到实践中，UX团队提出了GSM模型，G代表Goal（目标），S代表（指标），M代表，是一种按照“目标-信号-指标”的流程来定义数据指标的方法。

4. +GSM

“通过明确团队的产品目标，确定成功或失败的适当信号，然后测量从这些信号中得出的指标，产品团队可以持续有效地评估用户体验并做出决策。”——来自用户体验团队

结合GSM模型可以构建完整的用户体验测评模型，从模型中我们可以看到各个测量维度相关的目标、信号和测量指标，以及获取这些测量指标的评估方法，因此模型的实施和目标的分解是密不可分的。

+ GSM模型为有效、全面的用户体验测量建立了基本方法论，如果想建立自己的测量模型，需要从该模型入手，了解用户体验测量的维度与指标，进而明确基于GSM的模型应用方向。

ISO国际标准研究

1.ISO-9126软件质量模型

ISO/IEC 9126（1991）软件质量模型是评估软件质量的国际标准。该标准从产品、技术和设计三个方面，六个维度对软件质量进行评估。在设计方面，主要涉及的维度有“可移植性”中的“适应性”和“安装方便性”，以及“易用性”中的“理解方便性”、“学习方便性”、“操作方便性”和“一致性”。其中，“易用性”这个概念涵盖了用户体验中常规易用性的维度，“易用性”这个测量维度有很大的参考价值，可以理解为“可用性”的概念拆分。

2. ISO-9241-11 可用性定义

-11（1998）从用户的角度对“可用性”进行了定义。可用性定义为特定用户在特定场景下使用产品实现特定目标的效率和满意度。衡量可用性的三个维度是“效果”、“效率”和“满意度”。与9126的评价维度相比，增加了“满意度”这一主观评价。

可用性定义在如今的设计质量测评中依然具有极强的指导意义和适用性。相比之下，可用性定义更接近可用性测评的实施，可操作性强。在衡量某一具体任务的完成度的过程中，可以通过“效率”和“效果”来评估某一具体任务的可用性，一般是任务完成的程度和所耗费的时间/人力。这在流程较长的B端产品体验测评中尤其常见。

主观指标研究：用户体验三大行业指标对比

1. 满意度 CSAT

“满意度”一词最早于1965年提出，此后被广泛用于衡量用户对产品的主观感受。满意度的适用性很强，可以用来询问用户各种各样的问题，看看整体的产品体验满意度，或者看看对某一特定功能的满意度。满意度可以反映用户对产品的短期幸福感。满意度的缺点是它不能反映用户对产品的长期态度。

2.净推荐值（NPS）

净推荐值（Net ）于2003年被提出，是衡量客户向他人推荐某项业务或服务的可能性的指标。NPS用于衡量用户的长期幸福感，被广泛应用于互联网产品中，用来衡量用户的忠诚度。

3. 消费电子展

即“飞力”，是在2010年基于满意度不能客观反映用户忠诚度的研究而提出的。飞力通过询问用户产品是否容易处理他们的问题，发现对产品最真实的评价和用户的痛点，从而解决用户关心的问题，提高用户忠诚度。目前飞力已经在国内一些B端产品中得到应用，帮助设计师在复杂的流程中发现和解决各种问题。

阿里巴巴集团有一个模型研究

1.支付宝模式

支付宝 UED 团队提供以用户为中心的 UBA（用户行为分析）+APM（应用性能监控）闭环体验洞察，让产品体验可量化、可优化、可监控。可以看出是基于模型构建的，但也根据自身业务特点进行了优化，例如：

NPS改为用户主观满意度：NPS对于C类产品是一个非常有效的指标，对于企业级中后端服务，由于企业产品内环闭环、用户基础等诸多原因，满意度可能更有效。

不强调留存率：企业级产品的用户往往没有太多的选择，因此留存率可能并不适合衡量用户对产品的偏好。

参与度与接受度指标融合：对于企业级中后台系统，用户使用系统的目的性更强，使用系统是为了完成某项任务或者完成工作，因此活跃度与产品是否能满足用户需求强相关。

2.阿里云UES模型

UES（User）是阿里云设计中心经过多年设计实践总结出的一套云产品体验度量体系。阿里云的体验度量模型诞生之初就是以实现阿里云平台产品设计体验的“一致性”为目标，在后续的发展中陆续加入了“易用性”“任务效率”、产品“满意度”、技术“性能”等维度。从设计、产品、技术团队对体验度量模型的认可度，以及在实际应用中来看，它是最具实用性的。UES不仅是一套方法论，更是一套可操作的体系。目前，UES模型已经产品化，可供集团内其他BG应用。

关于此模型的更多细节：

如何量化产品体验？我们来看看阿里巴巴的测量模型

作为一名体验设计师，我们会面临很多问题：复杂的产品需求、纠结的技术逻辑、难以决定的设计方案、难以衡量的设计价值。

阅读文章 >

3. 1688 型号

五度模型是阿里巴巴团队基于该模型，结合国内互联网特点和多年的设计经验总结出来的。五度模型按照用户使用产品的全生命周期，从用户行为和态度、现在和未来两个维度进行分解，五个度分别是吸引力、完成度、满意度、忠诚度和推荐度。相比阿里云和支付宝模型更适合B端产品，五度模型的应用场景更适合C端产品。

来自过往研究的见解

1.通过设计维度与设计目标的交汇，建立设计价值与商业价值的关联性

经过我们的比较研究，我们发现设计质量模型的构建方式是“+业务特性”，通过添加GSM模型，通过业务目标来分解设计目标，从而将设计价值与业务价值联系起来。我们将在下一篇《制定目标》中详细阐述如何分解设计目标。

2. 影响产品用户体验衡量的关键因素

产品类型：企业级产品（B端产品）与消费者级产品（C端产品）可用的评价方式和维度有所不同，这也是由于其用户类型和规模不同。

功能类型：设计时需要考虑的维度也具有很强的共性。例如，任何功能类型都可以从可用性的角度来审视，看设计是否清晰、易读、高效。但如果某个功能需要用户完成一系列复杂的操作，则应该更多地考虑可用性。

用户态度：用户对产品的主观感受，包括心理认知、情感等，可以作为衡量用户体验的一个维度。其中NPS是C端商家最关注的用户忠诚度指标。如果引入NPS，也可以将设计或用户体验对NPS的影响作为设计目标来考虑。

性能体验：产品的稳定性和流畅度，如打开速度、卡顿率、崩溃率等技术指标。

建立用户体验评估模型

测量内容按照C、B端业务分为用户、产品、技术三部分，其中B端按照产品的用户群体分为外部产品和内部产品，外部产品的维度与C端产品的维度更加相似。

设计指标是通过GSM模型推导出来的。

度量和指标。

我们已经有用户体验模型的初步架构，也对产品进行了类型划分，初步划分了不同类型消费品业务的维度，并提供了用户体验的测量方法。但在设计层面还缺少更细致的方向性。因此，我们尝试基于我们最关注的业务核心目标，进一步构建具有一定“业务导向”的“设计型”测量模型。

建立设计指标模型

基于不同的业务特点，每个模型对维度的选择和侧重点都有所不同。阿里云、支付宝、1688等模型都有各自的业务特点。因此，不同的业务也需要认真考虑自己的业务特点，建立适合自己的设计评估模型。在这方面，也需要通过盘点核心业务和用户诉求，将业务目标分解为设计目标，来验证维度的构建是否合理。

1.建立设计测量维度与用户的关系

用户如何通过产品“设计”实现目标？设计可以帮助用户更好地理解和使用产品。我们利用“个体学习的OADI模型（，1992）”来建立用户与设计之间的关系。个体学习过程可以描述为“看-理解-思考-做”的循环，简称OADI循环。

“看”是看见，获取来自外界的信息或经验，在设计层面可以对应到“吸引力”。

“解决方案”即理解，即对所获得的材料进行解释、评价和理解。在设计层面上，可以对应到“可理解性”。

“思考”是吸收，是对所理解的信息进行分析和重构。在设计层面上，可以对应“易用性”。

“行动”即基于信息而采取的行动，在设计层面可以转化为行动的质量，也就是“任务效率”。

2.建立设计测量维度与业务目标的关系

产品如何通过“设计”实现目标？设计应该帮助产品实现商业目标，所以设计需要从产品目标中找到设计重点。我们总结了一套“明确产品诉求-明确产品评价指标-推导出设计目标-建立设计目标与设计维度关系”的方法，建立产品目标与设计目标及测量维度的关系。

3 设计质量评估模型初步构建