傅志华：大数据量化用户体验

作者：傅志华

好的量化用户体验的模型应该符合三个标准：一是具有系统性，即该方法评估用户体验具有系统化全方位的评估;二是具有扩展性，扩展性指行业的扩展性，即不仅仅可以用于互联网行业，而且可以用于传统行业;三是易于落地执行，既在实际的统计和分析中该模型易于执行，也利于问题的发现。本人认为在研究量化用户体验的模型以Google的HEART模型较为符合以上三点，值得我们研究和参考。因此本文将基于这个模型为基础来扩展和细化，以及应用的介绍。

Google的HEART模型是发表于ACM会议的学术论文，ACM论文的具有非常高的权威性。ACM是Association for Computing Machinery国际计算机学会的简称。ACM是全世界计算机领域影响力最大的专业学术组织，每年在全世界(但主要在美国)举办世界性讲座及会谈，以供各会员分享他们的研究成果。Google发表于ACM的HEART模型来自于论文《Measuring the User Experience on a LargeScale：User-Centered Metrics for WebApplications》，即《大规模测量用户体验：以用户为中心的网页应用度量体系》。虽然其研究的对象为网页应用，但我们认为HEART模型由于其框架的扩展型和系统性，我们认为该模型也适用于移动互联网应用，也可以扩展到传统行业的客户体验研究中，只是在HEART的大框架下，不同的行业其细化指标有可能不同。

HEART模型包括五个维度，即Happiness(愉悦度)、Engagement(参与度)、Adoption(接受度)、Retention(留存度)、Task success(任务完成度)。这五项仅仅是大数据用于用户体验监控指标体系的范畴，不同的产品或服务可据此定义具体的指标，用以监控用户或者客户的体验。这五个维度的量化衡量中，愉悦度的量化衡量较为复杂，既需要基于小样本量的用户体验研究方法，更需要基于大数据的用户行为监控方法;而其他四个维度指标均大部分都可以通过基于大数据的用户行为监控方法实现。本文以互联网产品为例，阐述HEART模型的应用。

　　一、愉悦度(Happiness)

愉悦度是用户体验中最重要的用户感受，“用的很爽”“很好看，很好用”“感觉很流畅”“很不错，我会推荐给身边的好友”等等都是产品或者服务的愉悦度好的表现。愉悦度可以从四方面衡量，包括有用性(需求满足甚至超越)、易用性、视觉感受、向别人推荐的意愿。具体指标如下：

(1)有用性

有用性指的是产品满足用户需求的程度。很多产品经理做产品，往往很关注产品原型设计、交互设计和视觉设计，但不会花很多时间在研究用户需求上。360公司的创始人周鸿祎先生常常提到，有的产品不了解刚需，解决的不是痛点，产品经常面临的最大的问题是用户根本不需要这个东西，这种产品解决的需求其实都是“伪需求”。

研究“有用性”有两类方法：(1)定性研究方法：一对一用户访谈、焦点小组、可用性测试和现场调查/观察;(2)定量研究方法方法：问卷调查、眼动仪、产品数据分析、AB Test和基于自然语言处理的数据挖掘。其中，定量研究方法中的产品数据分析、AB Test和基于自然语言处理的数据挖掘属于通过技术手段来实现测量效果，属于大数据范畴。有用性的研究核心是挖掘客户的真正需求，对不同需求进行优先级分类，这方面非常重要，具体如何量化，我们在下一篇文章阐述。

(2)易用性。

易用性指的是产品对用户来说意味着易于学习和使用、减轻记忆负担、使用的满意程度等。产品易用性好，很可能是因为产品功能少，界面简单;也可能是用户认知成本低等因素。同样的产品，功能，界面和环境都相同，对于不同的用户而言，易用性也是不同的，因为用户的认知能力，知识背景，使用经验等都不同。易用性包括三方面：第一方面，(Easy to discover)，即单单凭观察，用户就应知道;第二方面，易学(Easy to learn)，第一次使用，很容易学习上手;第三方面，易用(Easy to use)，使用起来很容易，很简单。

易用性是非功能性需求，加上易用性不像功能那样有明确的界限。所以，易用性有很多的主观成份或无法直接测量，而必须通过间接测量或观察方式。此外，易用性是针对不同人的，开发和测试人员无法准确知道该软件产品是否对别人同样易用。所以，很多时候易用性测试也没有一个通用性标准。但一般来说，软件产品的易用性测试可分为四部分：安装易用性测试、功能易用性测试、用户界面易用性测试和用户文档易用性测试。而对于移动APP，则一般包括：安装测试(包括APP升级管理)、功能测试、性能测试(网络连接速度、操作流畅度、WebService性能、容量内存溢出、耗电量低电量等)、安全性测试、兼容性测试(操作系统兼容性、手机兼容性、分辨率兼容性、网络兼容性、与主流第三方软件兼容性等)、用户界面测试等等。

(3)视觉美观度。

好的视觉设计也能给用户创造出愉悦的产品使用体验，甚至可以掩盖一些产品上的瑕疵。一个产品的精致程度，用户很大程度上都是通过产品的外观来衡量的。良好的视觉体验会让用户觉得我们是在用心做产品，也会增加去深入使用的好感度。让用户觉得“酷”的产品，他在使用的过程当中也就会提升体验度。最基本的视觉传达构成要素是文字、图形、色彩和布局，设计师应当巧妙运用视觉元素进行有效地视觉编排，给用户带来的愉悦的体验。视觉美观度可以通过用户调研评估。

(4)推荐意愿。

推荐意愿，顾名思义即用户向其他人推荐的程度。产品被用户推荐程度越高，该产品的用户体验越好，产品也会越来越受欢迎。推荐度的评估可以参考净推荐值的评估方法。净推荐值(NPS)研究方法由国际知名咨询公司贝恩咨询客户忠诚度业务的创始人佛瑞德·赖克霍徳(Fred Reichheld)在2003《哈佛大学商业评论》文章“你需要致力于增长的一个数字”的文章中首次提到。该方法通过调查客户问题“您有多大可能向您的朋友或同事推荐我们公司的产品或服务?(0-10分)” 来获得，根据客户的回答分数分成三组：

*第一组给公司9分或10分，称之为“推荐者”(promoters);他们是对公司产品或服务满意度和忠诚度非常高的客户。

*第二组给公司7分或8分，为“被动满意者”(passively satisfied);他们对公司产品或服务既无不满意，也无满意的客户，较易被其他竞争者吸引。

*第三组给0至6分，是“贬损者”(detractors)。他们对公司的产品或服务非常不满意，不仅仅停止购买公司的产品或服务，他们会尽一切可能劝周围的人不要买，同时会转向其他竞争者。

NPS值即为推荐者所占百分比与贬低者所占百分比的差值(如下图)。实证研究表明，NPS分数在NPS的得分值在50%以上被认为是表现不错，得分值在70-80%之间则证明公司拥有一批高忠诚度的好客户(如苹果、Google等互联网公司的NPS超过70%)，大部分公司的NPS值在5-10%之间，更差的公司NPS还可能是负值。当然，我们仅了解NPS是不够的，NPS本身不能提供具体的改进意见，我们还需要结合影响满意度的原因深入研究，尤其是对贬损者指标进行深入的满意度研究，挖掘“贬损”背后的原因。

图：NPS计算方法

　　二、参与度(Engagement)

参与度是用户在一个产品或者服务中的参与深度。在互联网产品，通常用一段统计时间内的访问频次、访问时长等指标综合评估。访问频次和使用时长这些指标比较常见，比如平均每个用户每天的访问频次、平均单次访问时长。

除了统计这些指标来衡量参与度外，参与度的应用还有一个很常见的做法，即基于参与度行为进一步定义有效活跃用户，并监控有效活跃用户数。在了解有效活跃用户定义前，我们先了解一下活跃用户的定义。对于移动互联网应用(APP)，活跃用户指在某统计周期内启动过应用(APP)的用户。很多互联网企业对产品负责人的KPI考核指标都以活跃用户数作为考核指标。活跃用户数根据不同统计周期可以分为日活跃数(DAU)、周活跃数(WAU)、月活跃数(MAU)。

如果要在常规的活跃用户数指标上加入参与度的成分，最好的办法是定义有效活跃用户。有效活跃用户通常有三种定义方法：第一种是，每天启动N次(比如2次)以上的活跃用户才为有效活跃用户，因为有些应用开机后就自动打开;第二种是用户使用一定时间的活跃用户才为有效活跃用户;第三种是有主动操作行为的活跃用户才为有效活跃用户，比如打开某个特定的页面。

　三、接受度(Adoption)

接受度监控特定时期内有多少新用户开始“真正”使用产品。顾名思义，该指标需要定义“时间”和“使用”。“时间”即统计周期，可以为一天、七天或一个月;“使用”则为体现用户接受产品的使用行为，比如到达某个特定的页面或者完成某种互动、注册成为会员甚至是付费等。“使用”最好是定义产品的核心使用行为，并对核心使用行为进行监控。

产品核心行为(核心操作)是了解产品接受度很重要的工作之一。比如，对于互联网社交产品来说，核心行为之一是上传照片，因为看朋友发的照片是最有效的了解朋友的动态，如果用户都不上传照片，大家就很难快速的了解朋友的动态，导致社交产品的粘性下降。因此，对于社交产品来说，定义新上传照片用户是衡量这个产品接受度的一个重要指标。新上传照片用户数即在特定统计周期内，第一次成功上传照片的用户。

而对于需要付费的产品来说，首次付费的用户的监控也显得尤为重要，首次付费用户数是衡量付费产品接受度的重要指标。付费产品经理还可以根据付费产品的实际情况定义更严格，比如累计付费达到特定金额的用户才被认为接受该付费产品，进而可以监控累计付费特定金额以上的用户数量。

　四、留存度(Retention)

产品或服务的留存度通常用留存率来衡量。留存率监控特定时期内有多少用户在下稍后一个时期内仍然或活跃。比如，今天的新用户在未来30天后依然活跃的用户。互联网产品的用户留存率是指在某一统计时段内的新增用户数中再经过一段时间后仍启动该应用的用户比例。用户留存率可重点关注次日、7日、14日以及30日留存率。次日留存率即某一统计时段(如今天)新增用户在第二天(如明天)再次启动应用的比例;7 日留存率即某一统计时段(如今天)新增用户数在第 7 天再次启动该应用的比例;14日和30日留存率以此类推。

在一些总体关键指标如APP日活跃用户或全站浏览量等指标有明显波动的时候，接受度和留存度是分析波动原因的较为有效的指标。比如，Google HEART模型论文《Measuring the User Experience on aLarge Scale：User-Centered Metrics for Web Applications》提到的一个案例：在08年证券市场暴跌的那段时间，谷歌金融在浏览量和七日活动用户指标上都有一次井喷，但无法确定数据的剧增是来自关心金融危机的新用户或是恐慌性不停查看他们的投资信息的老用户。在不知道是谁增加了这些访问量之前，决定是否要改版网站以及如何进行修改十分困难的。因此，在这个案例中，研究团队对不同参与度的用户进行分群，观察其后续的留存度，尤其是关注这个期间新增用户的后续留存度。这类信息被Google研究团队利用于解读事件驱动的数据波动以及发现潜在的机会。

　　五、任务完成度(Task success)

任务完成度包括三方面非常基础的用户体验行为指标：

(1)效果，核心指标为任务完成率。完成率是将成功完成任务的用户数除以尝试任务的用户总数得到的结果。比如，100名用户中，有70名用户成功完成了任务，那么完成率是70%。

(2)效率，核心指标为任务时间，指用户成功完成一个预先设置的任务场景的时间总和。有三种测量任务时间的方法：第一种是，用户成功完成任务的时间;第二种是，从开始到用户放弃或者未正确完成任务的时间;第三种是，用户花费在一个任务上的总持续时间。

(3)错误，核心指标为发生错误的数量。错误数则是指用户在尝试任务时产生的任何过失、错车或疏忽。出错数可以从0到无穷大，但在用户体验测试中，一个任务的出错数很少超过20各。集中出错的原因和场景是改善用户体验的重要数据依据，需要重点研究。

Google HEART模型论文《Measuring the User Experience on a LargeScale：User-Centered Metrics for WebApplications》提到的一个案例：谷歌地图曾经有过两种不同的搜索框，一种是用户可以分开输入“目的”和“地点”的双重搜索框，另一种是单个搜索框处理所有的类别。有人觉得单个搜索框就可以胜任一切，同时又保持了效率，在之后的A/B测试中，研究团队测试了仅提供单个搜索框的版本。他们比较了两个不同版本的错误率，发觉用户在单个搜索框版本中能够更加有效的达成他们的搜索目的。最终，这个结果让团队非常有把握的在所有地图上移除了双搜索框功能。

总之，量化用户体验的目标是为了监控和优化用户体验。量化用户体验可以利用HEART模型。本文指出了互联网产品在利用HEART模型的具体指标和测量方法。不同行业不同产品或者服务也可以参考HEART的五大测量方向，并细化HEART的五个测量方向，但还需要根据产品目标和特性来细化Happiness(愉悦度)、Engagement(参与度)、Adoption(接受度)、Retention(留存度)、Task success(任务完成度)，并确定确定每个指标的权重(重要性)和测量方法，才能跟更好的量化不同产品或服务的用户体验。

参考文献：

1. KRodden，H Hutchinson，X Fu , 2010, Measuring the UserExperience on a Large Scale：User-Centered Metrics for Web Applications

2. JeffSauro James R. Lewis著;殷文婧，徐沙，杨晨燕等译，《用户体验度量》