大数据是什么？( 二 ) _经验知识

文章插图
Q4. 企业如何运用数据资料？
A : 阿里巴巴副总裁车品觉提出了数据的5 大价值：
识别与串联：能够辨识出用户的资讯(手机、生日、e-mail等)
描述：举凡用户搜寻的关键字、企业的营运数字、网站活动的相关数据。企业都可以用来做为营运的仪表板。
时间：从用户的行动时间轴推测他的行为。例如刚搜寻过旅馆的使用者。在拜访其他网站时。也能即时看到旅馆广告。
预测：可以帮助公司预测销售。影响公司经营策略。
产出数据：将现有数据组合产生新的数据。像是将网路卖家的各项表现(物流、商品、客服等) 。综合在一起形成店铺评分机制。

文章插图
Q5. 运用大数据的人。就可以称为资料科学家吗？
A : 基于前述资料的特性。大数据的储存、处理和分析绝非易事。通常需要团队支援。才能发挥出资料的最大效果。
大致来说。资料分析领域包含5 个关键职务：资料工程师与软体工程师负责资料的清理、储存和处理；资料分析师将资料视觉化。供资料科学家分析；资料科学家依据想要解决的商业命题建构模型。供决策参考；领域专家则是熟悉领域专业知识。提供专业见解供资料科学家分析参考。扮演发展决策的桥梁。

文章插图
其他观点：
关于大数据。只需要了解这几点。
第一：什么是大数据
简而言之。大数据是指大数据集。这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。数据量不在多。只要足以得出可靠的结论即可。
第二：如何获取大数据
大数据无处不在。随着时间的推移。一个简单的Google搜索就能够找到几乎所有的数据存储库。里面不知道有多少数据可用于访问和分析。我现在这里提供一个可供学习的数据集列表：（https://www.kdnuggets.com/datasets/index.html）

文章插图
第三：用这些数据做什么
数据采集、数据存储、数据清洗、数据分析、数据可视化
1.数据采集
在发生任何事情之前。需要一些数据。这可以通过多种方式获得。通常通过对公司Web服务的API调用。尤其是我们在工作中遇到的数据很多都是来自系统内的数据。来自数据库的数据来自日志的数据。
数据采集常用的手段有：SQL／Python 。其中SQL是数据分析的必备技能。Python是加分项。
2.数据存储
大数据的主要难点在于如何管理数据的存储。这完全取决于负责建立数据存储的预算和个人具备的专业知识。因为大多数需要一些编程知识来实施。一个良好的数据库能让我们直接地存储和查询数据。
3.数据清理
采集来的数据一般是不规整的。字段缺失或者有错误是常有的事情。如果我们不对这些数据进行清洗。分析出的结果就会出现各种异常。在数据清洗这一块就需要用到一些简单的统计学基础。
4.数据挖掘
数据挖掘是发现数据库内的见解的过程。这样做是为了能用掌握的数据提供预测和做出一些正确的决定。这部分往往涉及一些算法。也是最困难的部分。
5.数据分析
一旦收集完所有数据。就需要分析以寻找数据的模式和趋势。发现一些不同寻常的地方。比如异常点或增长点、下降点。
6.数据可视化
也许最重要的是数据的可视化。这是先完成所有工作并输出理想情况下任何人都能理解的可视化的部分。最常使用某种编程语言（如Plot.ly、d3.js）或软件（Tableau）来完成。
第四：就业前景
就根据教育部近日公布的2017年度高校本科专业备案和审批结果显示。新增2311个专业中。“数据科学与大数据技术”、“机器人工程”等专业热度最高。大数据和人工智能一定是未来有美好前景的专业。从谷歌搜索热度看。自2010年左右热度只增不减。