数据分析|写给喜欢数据分析的初学者

这算是我见过对数据分析初学者的概述比较详细的一篇文章了(转自中国统计网)
http://www.afenxi.com/post/10883



十年生死两茫茫
数据人,忙忙忙
良辰美景,平添我凄凉
一天早晚闲不住
调研急
报告狂
夜来思路忽闪现
寻笔记
怕遗忘
需求多变
改改又何妨
料得午夜加班时
听家人
鼾声响
以上是一位资深的数据分析师写的自嘲的段子,却是很多分析师的真实写照。在耀眼的职业光环下,数据分析师自身的成长,几乎是与孤寂相伴,在高级打杂中,锻造而成。
最近接到一个职业访谈的邀请,要给对数据分析感兴趣的新人Y(目前在知名电商从事系统开发和维护)一些建议,才突然发现自己在这个领域打滚了一段时间,一阵感叹后,写下自己的一些体会,尽管不全面,但或许能够给新人一些借鉴。如有不妥地方,请各位数据大牛轻拍。
一、数据分析师有哪些要求?
1、理论要求及对数字的敏感性,包括统计知识、市场研究、模型原理等。
2、工具使用,包括挖掘工具、数据库、常用办公软件(excel、PPT、word、脑图)等。
3、业务理解能力和对商业的敏感性。对商业及产品要有深刻的理解,因为数据分析的出发点就是要解决商业的问题,只有理解了商业问题,才能转换成数据分析的问题,从而满足部门的要求。
4、汇报和图表展现能力。这是临门一脚,做得再好的分析模型,如果不能很好地展示给领导和客户,成效就大打折扣,也会影响到数据分析师的职业晋升。
二、请把数据分析作为一种能力来培养
从广义来说,现在大多数的工作都需要用到分析能力,特别是数据化运营理念深入的今天,像BAT这样的公司强调全员参与数据化运营,所以,把它作为一种能力培训,将会让你终生受益。
三、从数据分析的四个步骤来看清数据分析师需具备的能力和知识:
数据分析的四个步骤(这有别于数据挖掘流程:商业理解、数据理解、数据准备、模型搭建、模型评估、模型部署),是从更宏观地展示数据分析的过程:获取数据、处理数据、分析数据、呈现数据。
(一)获取数据
获取数据的前提是对商业问题的理解,把商业问题转化成数据问题,要通过现象发现本质,确定从哪些纬度来分析问题,界定问题后,进行数据的采集。此环节,需要数据分析师具备结构化的思维和对商业问题的理解能力。
推荐书籍:《金字塔原理》、麦肯锡三部曲:《麦肯锡意识》、《麦肯锡工具》、《麦肯锡方法》
工具:思维导图、mindmanager软件
(二)处理数据
一个数据分析项目,通常数据处理时间占70%以上,使用先进的工具有利于提升效率,所以尽量学习最新最有效的处理工具,以下介绍的是最传统的,但却很有效率的工具:
数据分析|写给喜欢数据分析的初学者
文章图片
Excel:日常在做通报、报告和抽样分析中经常用到,其图表功能很强大,处理10万级别的数据很轻松。
UltraEdit:文本工具,比TXT工具好用,打开和运行速度都比较快。
ACCESS:桌面数据库,主要是用于日常的抽样分析(做全量统计分析,消耗资源和时间较多,通常分析师会随机抽取部分数据进行分析),使用SQL语言,处理100万级别的数据还是很快捷。
Orcle、SQL sever:处理千万级别的数据需要用到这两类数据库。
当然,在自己能力和时间允许的情况下,学习新流行的分布式数据库及提升自身的编程能力,对未来的职业发展也有很大帮助。
分析软件主要推荐:
SPSS系列:老牌的统计分析软件,SPSS Statistics(偏统计功能、市场研究)、SPSS Modeler(偏数据挖掘),不用编程,易学。
SAS:老牌经典挖掘软件,需要编程。
R:开源软件,新流行,对非结构化数据处理效率上更高,需编程。
随着文本挖掘技术进一步发展,对非结构化数据的分析需求也越来越大,需要进一步关注文本挖掘工具的使用。
(三)分析数据
分析数据,需要用到各类的模型,包括关联规则、聚类、分类、预测模型等,其中一个最重要的思想是对比,任何的数据需要在参照系下进行对比,结论才有意义。
推荐的书籍:
1、《数据挖掘与数据化运营实战,思路、方法、技巧与应用》,卢辉著,机械出版社。这本书是近年国内写得最好的,务必把它当作圣经一样来读。
2、《谁说菜鸟不会数据分析(入门篇)》和《谁说菜鸟不会数据分析(工具篇)》,张文霖等编著。属于入门级的书,适合初学者。
3、《统计学》第五版,贾俊平等编著,中国人民大学出版社。比较好的一本统计学的书。
4、《数据挖掘导论》完整版,[美]Pang-Ning Tan等著,范明等翻译,人民邮电出版社。
5、《数据挖掘概念与技术》,Jiawei Han等著,范明等翻译,机械工业出版社。这本书相对难一些。
6、《市场研究定量分析方法与应用》,简明等编著,中国人民大学出版社。
7、《问卷统计分析实务---SPSS操作与应用》,吴明隆著,重庆大学出版社。在市场调查领域比较出名的一本书,对问卷调查数据分析讲解比较详细。
【数据分析|写给喜欢数据分析的初学者】 (四)呈现数据
该部分需要把数据结果进行有效的呈现和演讲汇报,需要用到金字塔原理、图表及PPT、word的呈现,培养良好的演讲能力。
推荐书籍:
1、《说服力让你的PPT会说话》,张志等编著,人民邮电出版社。
2、《别告诉我你懂ppt》加强版,李治著,北京大学出版社。
3、《用图表说话》,基恩。泽拉兹尼著,马晓路等翻译,清华大学出版社。
(五)其他的知识结构
数据分析师除了具备数学知识外,还要具备市场研究、营销管理、心理学、行为学、产品运营、互联网、大数据等方面的知识,需要构建完整广泛的知识体系,才能支撑解决日常遇到的不同类型的商业问题。
推荐书籍:
1、《消费者行为学》第10版,希夫曼等人著,江林等翻译,中国人民大学出版社,现在应该更新到更高的版本。
2、《怪诞行为学》升级版,艾瑞里著,赵德亮等翻译,中信出版社
3、《营销管理》,科特勒等著,梅清豪翻译,格致出版社和上海人民出版社联合出版
4、《互联网思维---独孤九剑》,赵大伟主编,机械出版社
5、《大数据时代---生活、工作与思维的大变革》,舍恩伯格等著,周涛等翻译,浙江人民出版社
四、关于数据分析师的职业发展:
1、数据分析师通常分两类,分工不同,但各有优势。
一类是在专门的挖掘团队里面从事数据挖掘和分析工作的。如果你能在这类专业团队学习成长,那是幸运的,但进入这类团队的门槛较高,需要扎实的数据挖掘知识、挖掘工具应用经验和编程能力。该类分析师更偏向技术线条,未来的职业通道可能走专家的技术路线。
另一类是下沉到各业务团队或者运营部门的数据分析师,成为业务团队的一员。他们工作是支撑业务运营,包括日常业务的异常监控、客户和市场研究、参与产品开发、建立数据模型提升运营效率等。该类型分析师偏向产品和运营,可以转向做运营和产品。
2、数据分析师的理想行业在互联网,但条条大道通罗马,走合适你的路线。
从行业的角度来看:
1)互联网行业是数据分析应用最广的行业,其中的电商企业,更是目前最火的,而且企业也更重视数据分析的价值,是数据分析师理想的成长平台。
2)其次是咨询公司(比如专门的数据挖掘公司Teradata、尼尔森等市场研究公司),他们需要数据分析人才,而且相对来说,数据分析师在咨询公司成长的速度更快,专业也会更全面。
3)再次是金融行业,比如银行和证券等行业,该行业对数据分析的依赖需求,越来越大。
4)最后是电信行业(中国移动、联通和电信),它们拥有海量的数据,在严峻的竞争下,也越来越重视数据分析,但进入这些公司的门槛比较高。
五、什么人适合学习数据分析?
这个问题的答案跟“什么人适合学功夫”一样,毫无疑问,功夫是适合任何人学习的(排除心术不正的人),因为能够强身健体。而功夫的成效,要看习武者的修炼深浅。常常有人争论,是咏春拳厉害,还是散打厉害,其实是颠倒了因果,应该看哪个人练习得比较好,流派之间没有高低,只有人修炼的厚薄。
实际上,问题的潜台词是“什么人学习数据分析,会更容易取得成功(比如职业成功)”,这个要视乎你的兴趣、付出和机遇。但要做到出类拔萃,除了上面三点,还需要一点天赋,这里的机遇是指你遇到的职业发展平台、商业环境、导师和同事。借用管理大师德鲁克的话“管理是可以习得的”,管理并非是天生的,而数据分析能力,也可以后天提升。或许做到优秀,只需要你更加的努力+兴趣,而这个努力的过程,也包括你寻找机遇的部分。
六、关于如何学习:
学习方法千万种,关键是找到适合自己的,最好能够结合你的工作遇到的问题来学习。
1、搜集书籍、案例库和视频,先弄懂理论,然后学会软件操作,自己制作属于自己的教程。
比如,你学习聚类分析模型。
1)搜集相关的聚类分析模型的书籍、案例和教学视频,了解聚类分析的原理,主要有哪几种算法(划分、层次、密度、网格)、模型适用的范围和前提、如何评估模型的精确度等。
2)自己学会用软件来实现。
3)总结整理成一份PPT和制作操作视频,成为自己的学习教程,不断完善。
4)学习到一定程度后,可以在博客、微信等渠道分享,授人与渔,而自己也会有所收获。
下图是我自己整理的聚类分析和判别分析的专题
数据分析|写给喜欢数据分析的初学者
文章图片
2、关注名人、名博、网站,多渠道学习。
1)关注专业的数据分析、咨询公司网站和论坛,特别强调,统计软件公司的网站如SPSS的官网有很多案例库,值得关注。
数据分析网:http://www.afenxi.com/
中国统计网:http://www.itongji.cn/
爱数据网:http://www.lovedata.cn/
人大经济论坛:http://bbs.pinggu.org/
SPSS的案例库,可在官网上搜索各类案例:http://www.ibm.com/developerworks/cn/data/library/techarticle/dm-1108zhangzy/index.html
另外,你最好建一个自己的网址导航目录,提升你的学习效率,可参考文章《如何订制个性化的网址导航》(作者公众号:数据的力量),具体效果如下:
数据分析|写给喜欢数据分析的初学者
文章图片
2)关注名人名博,最好能加他们的微博、微信和微信公众号,看牛人的博客和微信等内容,还是能得到很多引导,这个你懂的。

沈浩老师的博客:http://shenhaolaoshi.blog.sohu.com/
小蚊子乐园:http://blog.sina.com.cn/xiaowenzi22
郑来轶:http://blog.sina.com.cn/zhenglaiyi
数据分析网公众号:afenxi_com
数据分析精选公众号:sjfxjx

3)加入一些有共同爱好的QQ群,互相学习交流。通常群里有人会提出一些真实的运营问题,然后大家用不同的方法去解决,对思路很有启发。
4)碎片化学习,最大化你的时间价值。
为了把零散的时间利用起来,通常我会把一些资料上载到网盘,在零碎的时间里通过手机进行视频、文档学习等。目前使用百度云盘和360网盘。百度云盘应用比较广,通常在网络上搜索“关键词+百度云”后,搜到结果可以直接保存在云盘上,搜索保存速度极大提升。360网盘则空间比较大,可以到达40T,同时有保险箱加密功能,安全性高一些。
手机上安装一些APP,随时随地学习。爱数据APP:可以在各大应用市场下载
七、最后的建议
请再次问问自己,是否真的喜欢数据分析,能否忍受处理数据时的寂寞?如果是,那就开始学习,给你几条建议。
1、把数据分析作为一种能力培养,让自己在现在的团队中展现出良好的数据分析能力,为你以后内部转岗做好准备。如果内部转岗不成,你可以考虑跳槽到我之前分析的行业中,但我强烈建议你还是需要把系统开发的编程能力学习好,并且对商业智能系统(BI和CRM)有一定了解,这也许是应聘数据分析的优势。如果没有数据分析经验去应聘,相对会难一些,用人单位会考你统计和数据挖掘模型方面的知识,以及工具使用情况。
2、在公司里找一些有共同爱好的同事一起学习数据分析,平时多请教数据分析做得好的同事,它山之石,可以攻玉。
3、扎实学好一、两门数据挖掘软件,基于你有编程的基础,建议你可以学SAS或者R,同时辅助学习SPSS Modeler。如果没编程基础或者希望短期能够取得成效,那也可以先学习SPSS。SAS+SPSS,基本能够满足很大部分企业的需求,三者都会,那更好。
4、要了解公司是如何运营,产品是如何开发的,如何做客户研究锁定客户需求,如何做产品营销,这些需要不断工作积累和广泛的阅读。
5、开始学习时,先读几本有趣的数据分析类的书,然后系统学习一下统计知识(建议教材用《统计学》第五版,贾俊平等编著),接着网上快速搜集软件操作视频和案例,然后逐个分析模型进行学习和总结归纳,学习最好能够结合实际工作中的问题进行。
6、学习到一定程度时,参加一些数据分析师的职业认证,进一步梳理知识结构,同时认识一些志同道合的朋友和老师,也是对你有很大帮助。
希望你能够成为你想成为的人!

    推荐阅读