什么叫大数据？ _经验知识

本人工作岗位是大数据咨询顾问。从事大数据行业多年。IT行业十年经验。
大数据是一个统称。是相对于小数据而说的。比如以前采用ORACLE SQL MYSQL 数据库存储的数据基本是几十G到几百G 。而且大多以结构化的数据为主。但现在随着互联网的爆发。数据量越来越大（从GB、TB、PB、ZB）。类型越来越多（结构化传统数据库的数据、半结构化网页、文件、邮件。非结构化的视频、图片、音频）。所以原来的数据库技术已经无法满足需求了。所以才有了大数据。
大数据几个关键的技术如下：
1.存储能力。大数据平台可支持结构化（常规数据库存放的规范化数据）、半结构化（文档、网页、邮件）、非结构化的数据存储（视频、图片、音频）。并且可以支持分布式存储。可以很方便的扩展。成本也很低。
2.计算能力。可以支持大批量离线计算（PB级、亿级大量数据）和实时计算（低延迟毫秒急出结果）。
3.AI能力。支持多种算法。机器学习、神经网络等算法。可开发很多人工智能应用。
4.为什么需要大数据平台。因为传统的ORACLE SQL数据库对非结构化数据处理不好。并且不支持分布式存储和计算。对单机的性能要求很高。导致成本很高。所以需要大数据平台。
其他观点：
本人工作岗位是大数据咨询顾问。从事大数据行业多年。IT行业十年经验。
大数据是一个统称。是相对于小数据而说的。比如以前采用ORACLE SQL MYSQL 数据库存储的数据基本是几十G到几百G 。而且大多以结构化的数据为主。但现在随着互联网的爆发。数据量越来越大（从GB、TB、PB、ZB）。类型越来越多（结构化传统数据库的数据、半结构化网页、文件、邮件。非结构化的视频、图片、音频）。所以原来的数据库技术已经无法满足需求了。所以才有了大数据。
其他观点：
大数据技术是相对于传统数据库和其应用技术而言的。
伴随移动互联网时代和工业物联网时代的快速发展。每时每刻企业、城市、社会都产生大量数据。比如资源卫星影像数据、地震钻探测井数据、气象预报数据、安全视频监控数据、森林火灾检测与实时报警数据、海洋污染环实时境监测数据、自动驾驶的实时分析决策判断。等等。这些数据不仅仅采集量极其大。而且分析决策判断系统需要智能化、实时化。且结果必然可靠精确。依靠传统的技术人员手工处理和分析决策是无法想象的。也是不可能的。
因此。除升级更新传统的关系型数据库技术外。必须使用创新技术来实时地、可靠地对这些非关系型海量数据进行数据存储、处理、分析、决策。这就是大数据技术。
实践中。由于大数据具有数据量大、数据类型丰富复杂、数据增长速度快等特点。想要学好大数据那就要学好一系列的大数据生态圈技术组件。以及贯穿整个数据分析流程的分析方法和思维。只有明确了数据分析场景与流程。才能够确定需要整合哪些组件来解决这一问题。
总体而言。大数据技术涵盖大数据平台和人工智能两个方面。比如 Hadoop、OpenStack 云平台、MindSpore AI建模、R & Python 等等。
【什么叫大数据？】当然。大数据技术不包括相关的大数据采集平台和技术。比如说卫星、无人机、各种 IoT 感应器、地质石油勘探、手机、汽车… 此外。大数据技术中也不包括相关的平台构架、数据安全、维护等等。这些均属于 IT 技术范畴 …
总之。大数据技牵扯到社会管理和人们生活的方方面面。可以说涉及到各个行业和企业。是数据工程师、数据科学家的“核心”必备技能。也是工程师、科学家、经济学家等等必要的“基本”技能。包括自身行业企业相关实践的AI建模、BI数据分析。R 和 Python 编程。