大数据分析是指的什么?


大数据分析是指对规模巨大的数据进行分析 。
对大数据bigdata进行采集、清洗、挖掘、分析等 。大数据主要有数据采集、数据存储、数据管理和数据分析与挖掘技术等:
数据处理:自然语言处理技术 。
统计分析:假设检验、显著性检验、差异分析、相关分析、多元回归分析、逐步回归、回归预测与残差分析等 。
数据挖掘:分类 (Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinity grouping or association rules)、聚类(Clustering)、描述和可视化、Description and Visualization)、复杂数据类型挖掘(Text, Web ,图形图像 。视频 。音频等) 。
随着大数据的发展 。大数据分析广泛应用在各行各业 。其中金融与零售行业 应用较为广泛 。
大数据分析方法:
大数据挖掘:定义目标 。并分析问题
开始大数据处理前 。应该定好处理数据的目标 。然后才能开始数据挖掘 。
大数据挖掘:建立模型 。采集数据
可以通过网络爬虫 。或者历年的数据资料 。建立对应的数据挖掘模型 。然后采集数据 。获取到大量的原始数据 。
大数据挖掘:导入并准备数据
在通过工具或者脚本 。将原始转换成可以处理的数据 。
大数据分析算法:机器学习
通过使用机器学习的方法 。处理采集到的数据 。根据具体的问题来定 。这里的方法就特别多 。
大数据分析目标:语义引擎
处理大数据的时候 。经常会使用很多时间和花费 。所以每次生成的报告后 。应该支持语音引擎功能 。
大数据分析目标:产生可视化报告 。便于人工分析
通过软件 。对大量的数据进行处理 。将结果可视化 。
大数据分析目标:预测性
通过大数据分析算法 。应该对于数据进行一定的推断 。这样的数据才更有指导性 。
其他观点:
大数据分析是指对规模巨大的数据进行采集、存储、管理和分析 。大数据主要分为可视化分析、数据挖掘算法、预测性分析能力、语义引擎、数据管理、数据质量、数据存储和数据仓库六个基本方面 。
首先企业需要制定一套完善的数据治理标准 。来简化数据的清洗工作 。将内外部的基础数据进行统一治理整合 。解决数据不精确、不完整、不一致的问题 。通过数据来发现问题、然后将发现的问题进行反馈 。通过一些数学算法深入挖掘数据的价值从而获取黄金数据 。保证数据的一致性、完整性、准确性 。实现数据的价值 。
然后可以通过构建大数据分析平台对数据进行处理和分析 。其中大数据分析平台具备数据采集、数据存储、数据交换、数据分析与处理、数据展示等功能 。在企业已有数据的基础上构建数据仓库 。然后将数据使用ETL进行抽取到中间库 。在中间库对数据进行处理后再储存到数仓之中 。接着对处理后的数据进行分析和预测判断 。
最终再以导出报表、大屏可视化展示或者以PPT的形式直观的提供给企业经营决策者 。方便决策者进行经营决策方面的管控以及帮助企业分析利润、项目、经营、营销等运行情况 。
其他观点:
我觉得对于大数据分析 。你首先要弄明白大数据分析的目的是什么 。无论用什么工具分析和处理数据 。最终输出的结果都是为了:1.得到有价值的结论(对应分析报告);2.得到有价值的决策过程(对应机器学习模型) 。
它包括以下几个步骤:1.提出假设;2.用统计方法验证假设;3.选取数据(excel/Hive/Spark);3.清洗和整理数据(R);4.可视化(excel);5.显示给其他人(PPT) 。
所以在学习过程中 。要学会提取数据(很多数据都不是一手的 。要学会提取有效有用数据) 。清洗数据(去除噪声和无关数据)处理数据(用软件处理数据) 。分析数据(要能看懂数据得到有价值的结论) 。可视化(将数据转为图像或图形) 。也要学会数据库需要 。必要的编程等 。
【大数据分析是指的什么?】这是一个慢慢进阶的过程 。需要多学习 。多实践 。多坚持 。

    推荐阅读