大数据主要涉及的内容有哪些？可以从事哪些岗位？ _经验知识

【大数据主要涉及的内容有哪些？可以从事哪些岗位？】
记得大学毕业的第一份工作。我们公司的业务就是做BI产品研发。哪时候互联网没有今天这样火热。也没有大数据、移动互联网的概念。记得有一次和同事去华师后门买书。同事买了一本javascript,我买了一个ajax 。那时候。我们产品的客户端是用Delphi开发的。其实买书就是为了补充一点新知识。工作中基本用不到。在公司的第三年。公司要转做web的BI展示界面。我帮公司用svg做了两个展示组件。心里还是美滋滋的。
随着时间的推移、电商的发展。大数据、云计算似乎成了每个互联网公司对外宣传的标准说法。如果不讲点这些概念。似乎给人感觉缺少些逼格。记得10年在公司的一次培训上。有个同事问。云计算是不是你搞出来的。就因为我姓云。听到这个问题。我哭笑皆非。

文章插图
大数据这个概念喊了这么多年了。很多人还是不清楚大数据指的是什么？为了回答好这个问题。我还去专门搜索了大数据的概念。老实说百科的解释。连我从事了这么多年互联网的人。也没看懂。
“大数据（big data）。IT行业术语。是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。”
什么是大数据？
大数据说的直白点。就是运用一套技术手段。把数据变成信息和知识的过程。数据对我们来说是没有价值的东西。我们要把数据加工成信息或者知识。才能被人类理解。举个例子：公司一天的考勤数据是意义不大的东西。但是我们通过一月考勤数据的分析和比较。我们发现张三这个员工老是迟到。那么。张三老是迟到这个信息就对公司的管理有帮助了。领导需要去了解下。是不是张三家有什么事？或者张三最近出现别的状况？
大数据的“大”又如何理解呢？所谓“大” 。一层含义指数据的体量大。在数据库时代数据以GB为单位。但在互联网时代以TB为单位。数据的体量升了一个数量级。另一层含义指数据形式的多样化。在传统BI应用中。数据大多是存储在关系型数据库中。但在互联网时代。数据的形式变得多样化了。例如:文本、视频及数据库。明白了大数据的概念。我们下来看。大数据包含哪些内容。
大数据的内涵
大数据从技术的角度去看。包含两大分支：数据分析和数据挖掘。数据分析是对历史数据的分析。为管理提供辅助决策信息。数据挖掘是研究趋势和未来的问题。主要应用在预测方面。从业务的时效性要求去看。分为：实时在线分析系统和离线分析系统。例如:网站的实时用户区域分佈狀況就是实时分析應用；2019年全國各省GDP排名分析就是離綫分析應用。

文章插图
从大数据项目的过程看。大数据包含：数据采集、数据收集、数据转化与存储、数据建模分析、上层应用展示等。大数据的难点。在于海量数据的分析。这又涉及到海量数据存储及分析架构等问题。
按照Hadoop的技术体系来讲。flume用来收集和转化存储在服务器各处的日志及数据。存储在以hdfs文件系统或者hive或者hbase等数据仓库中。再利用hadoop架构的规范。编写mapreduce作业。再把分析结果展示给用户。当然。这里面设计到数据分析的各种算法。
大数据相关的工作岗位
下面介绍下。大数据相关的核心岗位：
业务专家或者顾问：为大数据提供研发方向和确定研究主题。并为技术人员提供业务支持。
数据分析师：从事数据收集、整理、分析并依据数据做出评估和预测的专业人员。
数据挖掘工程师：从海量数据中发现规律。需要较好的算法和数学基础。
可视化工程师：提供美观、便于人们理解的分析的结果展示界面。
维护工程师：负责服务器环境的配置、搭建和运维。
每个公司采用的大数据技术线路不同。工作岗位会有所差距。感兴趣的朋友。可以自己去了解下。现有的几种大数据方案。