1.数据：
“所有的数字都是数据”，“图片、字母、文字等都是数据”，只要承载了一定的信息，这些数字、图片、文本、声音等都可以认为是数据。没有承载信息的数字是不能作为数据的，认识清楚这个问题，是踏入大数据之门的第一步。
2.常用的数据格式：
HTML、Json、XML、txt、csv、doc、XLS、PDF
3.大数据生命周期：
文章图片
数据采集–>数据存储–>数据处理–>数据展现(可视化，报表和监控)
4.数据采集方法：
大数据环境下数据来源非常丰富且数据类型多样，存储和分析挖掘的数据量庞大，对数据展现的要求较高，并且很看重数据处理的高效性和可用性。从采集方法上，大致分为离线采集、实时采集、互联网采集和其他采集。
（1）离线采集
工具：ETL
在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的抽取（Extract)、转换(Transform)和加载(Load)。在转换的过程中，需要针对具体的业务场景对数据进行治理，例如进行非法数据监测与过滤、格式转换与数据规范化、数据替换、保证数据完整性等。
文章图片
数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境，是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持经营管理中的决策制定过程。
数据库和数据仓库区别如下
数据库是面向事务的设计，而数据仓库是面向主题设计的。
数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。
数据库是为捕获数据而设计，数据仓库是为分析数据而设计。
数据库一般存储在线交易数据，数据仓库一般存储的是历史数据。
（2）实时采集
工具：Flume、Kafka、Spark Streaming
实时采集主要用在考虑流处理的业务场景，比如，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据采集会成为Kafka的消费者，就像一个水坝一般将上游源源不断的数据拦截住，然后根据业务场景做对应的处理（例如去重、去噪、中间计算等），之后再写入到对应的数据存储中。
这个过程类似传统的ETL，但它是流式的处理方式，而非定时的批处理Job，些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求
（3）互联网采集
工具：Scrapy、pyspider等
又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的采集。
（4）其他数据采集方法
对于企业生产经营数据上的客户数据，财务数据等保密性要求较高的数据，可以通过与数据技术服务商合作，使用特定系统接口等相关方式采集数据。
5.脏数据
脏数据即数据不完整有缺失、存在错误和重复的数据，数据存在不一致和冲突等缺陷
【数据采集|python数据采集概述】6.数据清洗
广义上，数据清洗是将原始数据进行精简以去除冗余和消除不一致，并使剩余的数据转换成可接收的标准格式的过程；
狭义上的数据清洗特指在构建数据仓库和实现数据挖掘前对数据源进行处理，使数据实现准确性、完整性、一致性、唯一性和有效性以适应后续操作的过程。一般而言，凡是有助于提高信息系统数据质量的处理过程，都可认为是数据清洗
数据清洗就是对原始数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并使得数据保持精确性、完整性、一致性、有效性及唯一性，还可能涉及数据的分解和重组，最终将原始数据转换为满足数据质量或应用要求的数据
推荐阅读
- Python Scrapy 学习笔记
- 移动开发|想学编程语言，Python、JavaScript、Swift、Java如何选（）
- Python会消亡吗（）
- opencv|dlib和opencv编程——人脸识别数据集的建立
- 学习|（系列更新完毕）深度学习零基础使用 PyTorch 框架跑 MNIST 数据集的第一天（LeNet 网络的搭建）
- 学习|（系列更新完毕）深度学习零基础使用 PyTorch 框架跑 MNIST 数据集的第二天（加载 MNIST 数据集）
- Pytorch例程|pytorch 实现MNIST数据集建立及训练
- Python|（系列更新完毕）深度学习零基础使用 PyTorch 框架跑 MNIST 数据集的第三天（训练模型）
- Python|（系列更新完毕）深度学习零基础使用 PyTorch 框架跑 MNIST 数据集的第四天（单例测试）