锐客网

  1. 首页 > 睿知 > it技术 > >

数据分析之数据预处理

IT知识预处理数据预处理

高斋晓开卷，独共圣人语。这篇文章主要讲述数据分析之数据预处理相关的知识，希望能为你提供帮助。
本文给大家介绍数据分析中一个基础也是比较核心关键的环节——数据预处理，这是我们在做数据分析时候的最重要的前提，如果这步要是处理的很好的话，在后期的数据分析的环节中会很顺畅的，并且分析出来的结论也是很准确的。因此这个环节至关重要的。
数据预处理其实严格的说是在数据分析之前的一个环节，当我们从数据库或者其他途径获取到数据之后，接下来的环节不是马上对数据进行数据分析的。因为总有一些数据不是完整的或者不是我们业务所需要的，这写不需要的数据就是我们经常提到的“脏数据”。这个时候，我们就需要在做数据分析之前对数据进行相应的预处理，即把这些“脏数据”做一定的处理。首先我们介绍的是数据的无量钢化。
一、数据无量钢化【数据分析之数据预处理】在机器学习算法的实践中，我们往往有着将不同规格的数据规格转换到同一规格，或不同分布的数据转换到某个特定分布的需求，这种需求就是我们经常提到的将数据进行“无量钢化”。正如梯度和矩阵为核心的算法中，对于逻辑回归(Logistic Regression，LR)、支持向量机(Support Vector Machine, SVM)、神经网络(Neural Networks, NN)，无量钢化可以加快求解速度；而在距离类模型，比如K近邻，k-Means聚类中，无量钢化可以帮助我们提升模型精度，避免某一个取值范围特别大的特征对距离计算造成的影响。这里有一个使用无量钢化处理特别成熟的领域——在决策树和树的集成算法们，对决策树我们不需要无量钢化，决策树可以把任意数据处理的都很好的。
数据的无量钢化可以是线性的，也可以是非线性的。线性的无量钢化包括中心化(Zero-centered或者Mean-subtraction)处理和缩放处理(Scale)。其实中心化的本质就是让所有的记录减去一个固定好的值，即让数据样本数据平移到某个位置。缩放的本质是通过除以一个固定值，将数据固定在某个范围之中，取对数也算是一种缩放处理。
1、数据归一化
当数据(x)按照最小值中心化后，再按极差(最大值-最小值)缩放，数据就移动了最小值个单位，并且会被收敛到[0-1]之间，而这个过程我们就叫做数据归一化(Normalization，又称Min-Max Scaling)。这里需要我们注意的是：Normalization是归一化并不是正则化，其实真正的正则化是regularization。不是数据预处理的一种手段。具体的数据归一化公式如下：

我们通过代码来事项数据的简单归一化，具体实现如下：

import numpy as np
import pandas as pd
data = https://www.songbingjia.com/android/[[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
x = np.array(data)
print(x)
# 实现numpy来实现归一化
x_nor = (x - x.min(axis=0)) / (x.max(axis=0) - x.min(axis=0))
print(x_nor)
# 逆转归一化
x_returned = x_nor * (x.max(axis=0) - x.min(axis=0)) + x.min(axis= 0)
print(x_returned)
# 使用pandas来实现归一化
x_pandas = pd.DataFrame()
# 使?pandas来实现归?化
x_normor =(x - x.min()) / (x.max() - x.min())
print(x_normor)
#逆转归?化
x_adverse = x_normor * (x.max() - x.min()) + x.min()
print(x_adverse)

具体的执行结果如下：

在sklearn工具中，我们使用??preprocessing.MinMaxScaler???来是现在这个功能。??MinMaxScaler???有一个重要的参数，??feature_range??——控制我们希望把数据压缩到一定的范围，其中默认是[0,1]。具体实现如下：
from sklearn.preprocessing import MinMaxScaler
data = https://www.songbingjia.com/android/[[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
#实现归?化
scaler = MinMaxScaler()# 实例化
scaler = scaler.fit(data) #fit，在这?本质是?成min(x)和max(x)
result = scaler.transform(data) #通过接?导出结果
print(result)
result_ = scaler.fit_transform(data) #训练和导出结果?步达成
scaler.inverse_transform(result) #将归?化后的结果逆转
#使?MinMaxScaler的参数feature_range实现将数据归?化到[0,1]以外的范围中
scaler_1 = MinMaxScaler(feature_range=[5,10]) #依然实例化
result_1 = scaler.fit_transform(data) #fit_transform?步导出结果
print(result_1)

具体代码的执行结果如下：

2、数据标准化
当数据(x)按均值(μ)中心化后，再按标准差(δ)缩放，数据就变成满足均值为0，方差为1的分布，而这个过程就叫做数据标准化(Standardization，又称Z-score normalization)，具体公式如下：

同样地，我们也可以通过??sklearn???中??preprocessing.StandardScaler模块??可以实现这一功能。具体实现如下：
from sklearn.preprocessing import StandardScaler
data = https://www.songbingjia.com/android/[[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
scaler = StandardScaler() #实例化
print(scaler.fit(data)) #fit，本质是?成均值和?差
print(scaler.mean_) #查看均值的属性mean_
print(scaler.var_) #查看?差的属性var_
x_std = scaler.transform(data) #通过接?导出结果
print(x_std.mean()) #导出的结果是?个数组，?mean()查看均值
print(x_std.std()) #?std()查看?差
print(scaler.fit_transform(data)) # 使?fit_transform(data)?步达成结果
print(scaler.inverse_transform(x_std)) #使?inverse_transform逆转标准化

具体执行结果如下：

我们刚才介绍的是通过??sklearn???中??preprocessing.StandardScaler模块???实现了数据的归一化以及标准化。但是对于??StandardScaler???和??MinMaxScaler???来说，??空值NaN??会被当做是缺失值，在fit的时候忽略。在transform的时候保持缺失NaN的状态显示。并且，尽管去量纲化过程不是具体的算法，但在fit接口中，依然只允许导入至少二维数组，一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，但是在现实案例中特征矩阵不太可能是?维所以不会存在这个问题。
我们刚才在进行代码实现的时候，我们同时引用了sklearn中的??StandardScaler???和??MinMaxScaler???，那么这两个我们一般在解决实际问题的时候应该如何选择呢？其实这需要看情况的，具体问题其实需要具体分析的。大多数机器学习算法中，会选择??StandardScaler???来进行特征缩放，因为??MinMaxScaler???对异常，值非常敏感。在PCA，聚类，逻辑回归，支持向量机，神经网络这些算法中，StandardScaler往往是最好的选择。MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛，比如，数字图像处理中量化像素强度时，都会使用??MinMaxScaler??将数据压缩于[0,1]区间之中。这个时候建议先试试看StandardScaler，效果不好换MinMaxScaler。
除了??StandardScaler???和??MinMaxScaler???之外，??sklearn???中也提供了各种其他缩放处理（中心化只需要一个pandas广播一下减去某个数就好了，因此??sklearn???不提供任何中心化功能）。比如，在希望压缩数据，却不影响数据的稀疏性时（不影响矩阵中取值为0的个数时），我们会使用??MaxAbsScaler???；在异常值多，噪声非常大时，我们可能会选择分位数来无量纲化，此时使用??RobustScaler??。
二、缺失值处理机器学习和数据挖掘中所使用的数据，永远不可能是完美的。很多特征，对于分析和建模来说意义非凡，但对于实际收集数据的人却不是如此，因此数据挖掘之中，常常会有重要的字段缺失值很多，但是不能舍弃字段的情况。因此，数据预处理中非常重要的一项就是处理缺失值。
我们通过??pandas???来实现这一缺失值的处理，再实现之前，我们首先创建一个名为??Narrativedata.csv??的数据文件，具体内容如下：

为了方便大家练习，大家也需要在自己电脑上创建这么一个名字一样的文件，数据可以随便造，但是标题一定要一模一样，否则会报错的。将创建好的文件放到我们代码同一级目录，本人放置的位置如下：

都准备好数据和文件的前提下，我们接着去实现相应的代码，具体实现如下：
import pandas as pd
data = https://www.songbingjia.com/android/pd.read_csv("Narrativedata.csv")
print(data.head())

具体执行的结果如下：

在这里，我们需要解释一下数据的来源，该数据是从一个特别经典的《泰坦尼克号》提取出来的数据，这个数据有三个特征，一个数值型，两个字符型，标签也是字符型。（数据说明：Embarked指乘客登船港?，S是英国的Southampton，C是法国的Cherbourg，Q是爱尔兰的Queens town）从这里开始，我们就使用这个数据给大家作为例子，让大家慢慢熟悉sklearn中数据预处理的各种方式。
首先就是??impute.SimpleImputer??，具体源码是这样的：
class sklearn.impute.SimpleImputer (missing_values=nan, strategy=’mean’,

    推荐阅读


    上一篇：switch分支

    下一篇：golang实现grpc的tcp示例