[自译]分析数据的设计tips

作者通过列举了一些数据分析方法,来阐述在分析数据时,会存在的一些干扰效应,并提供了一些解决的方法,文章看起来更像是在教你,如何做实验的误差分析并检验实验方法,哈哈,还是去原文看吧~
原文链接:Designing with Data Interpreting and Analyzing Data as a Designer
原文作者:Joanna Ngai
统计数据可以帮助我们分析和总结收集的信息,直觉也可以帮助我们观察混乱的真实世界,什么是最好的产品-人们想要使用的,喜欢的产品-同时具备这两种功能。-Braden Kowitz
对许多的科技公司而言,设计和数据是交织在一起的,公司不断的从数据流中工作,并监测每一分钟的变化,这都依赖分析人员,数据科学家还有工程师团队持续地监控数百个标准和迭代。
虽然根据直觉的设计很有价值,但是数据和分析可以帮助你增强对产品的理解,并确保你的决策可以让受众满意。作为通过数据分析设计的人员,这里有一些需要记住的事情:
Novelty effect
定义:当新技术诞生时,倾向于提升性能。不是在学习或实现方面有十几的提升,更可能是对新技术的兴趣而激发的。
对数据分析而言,当你尝试了一款新工具后,结果很可能是积极的。
要警惕拿一些前期的结果,它们可能是好得让人难以置信,实际上可能只是因为刚刚出现,而产生了一些好的变化。
Regression toward the mean
【[自译]分析数据的设计tips】在任何依赖多变量的复杂情景中,涉及到几率,极端结果之后,都会伴随着更为温和的结果。简单地说,“事情会随着时间的推移而消失”。
可以通过创建控制组和对小样本的观察来保持警惕。
Hawthorne effect
定义:研究对象由于意识到被观察而改变行为。
通过选择双盲实验-参与者与实验者都不知道是谁在接受研究。通过自动记录,确保对每个个体的信息收集。
Confirmation bias
当人们确信一个结论是正确的,那么他们也可能相信支持它的论点,即时这些论点并不总是正确。
-Daniel Kahneman,Thinking,Fast and Slow
当面对有限资源和高风险时,有些人可能只对支持他们的数字感兴趣。毕竟在实验中投入的资源和时间,都会让你把希望寄托在某个结论上。
一定要意识到你自己和团队的偏见-在解释数据结果时,倾向于将新证据解释与现有的理念相对照。
Instrumentation effect
定义:工具,观察员还有记录员的失误都可能会造成影响。
这一点并能被完全消除。在使用不同的设备之前,对实验进行测试,让另一个人可以在你实验的过程中进行质量控制,在实验开始前发现存在的问题。
A/A test
A/A test与A/B test非常类型,但在这个情况下,对每个分组用户都提供完全相同的体验。
当有疑问时,最好检查实现的效果如何,数据收集情况,以及工具是否完整,不要在过程中丢失和修改了数据。
Twyman’s law
以著名的媒体分析师Tony Twyman的名字命名的定律指出:如果一项统计数据看起来有趣或者不寻常,那么很可能是错误的。
结论可能被许多原因扭曲-上面所提及的偏差影响,数据异常,糟糕的测试条件等等
User Segmentation
知道你的用户是谁是优秀的,如果你知道他们的行为就更好了。
-Jon Miller
你可以根据统计的数据(性别/年龄)活着用户行为(如购买,参与程度,用户状态)将用户群进行划分。
将关键指标优于通用指标
需要强调的一点是,太在意那些很容易被移动的通用指标(功能的点击,获取),容易忽略的关键指标(收益,留存,整体体验)。
Blue Apron就是这样一个例子,Blue Apron在美国的公司中占有最大的份额。但是用户留存率比较低,表面上看,公司的表现不错,流动率高,成本高,这意味着公司可能存在风险。
横向对齐关键指标
可以衡量的东西就可以被管理。
-Peter Drucker
那些用相同语言,对产品有着一致追求的团队,往往是成功的团队。

    推荐阅读