实用机器学习模板|实用机器学习模板 pipeline - 5 分钟快速搭建模型实用机器学习模板pipeline-5分钟

如果想要快速的搭建机器学习的模型，scikit - learn 是最好的工具之一，他提供的 packages 能够快速帮助我们使用 Python 搭建起一个机器学习模型，在这里我们就用一个 cheatsheet 来快速展示一个用机器学习 Pipeline。
一个基础的机器学习Pipeline 主要包含了下述 5 个步骤：

- 数据读取
- 数据预处理
- 创建模型
- 评估模型结果
- 模型调参

那我们接下去就根据 Pipeline 里面的 5 个步骤，来分别结合 scikit-learn 进行说明。
1. 数据读取，拆分训练集、测试集数据读取之后，通常可以存储在 NumPy 数组或 SciPy 矩阵或者 Pandas DataFrame 中。我们一般推荐 Pandas 的处理方法，其后也会介绍 Pandas 库中的缺失值处理。
- NumPy

>>> import numpy as np
>>> X = np.random.random((10,5))
>>> y = np.array(['M','M','F','F','M','F','M','M','F','F','F'])
>>> X[X < 0.7] = 0

- Pandas

>>> import pandas as pd
>>> data = https://www.it610.com/article/pd.read_csv('data.csv')
>>> X = data[['a',''b]]
>>> y = data['c']

加载数据后，您的下一个任务就是将数据集：
- 拆分训练数据和测试数据
当然你也可能听说过训练集、验证集、测试集，他们的关系是训练集（可在训练时拆分成训练集、验证集）、测试集。所以在此处单独划分出测试集，没有任何的问题。

>>> from sklearn.model_selection import train_test_split
>>> X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

注解一下 random_state，这是计算机内部的一个随机函数，通过这个参数设置可以确保每次拆分的测试集是一样的，方便在后续测试不同模型性能时进行控制变量。
2. 数据预处理 - 数据标准化
数据标准化是数据预处理步骤之一，用于重新调整一个或多个属性，使属性的平均值为0，标准差为1。标准化会让数据符合高斯（钟形曲线）分布。

>>> from sklearn.preprocessing import StandardScaler
>>> scaler = StandardScaler().fit(X_train)
>>> standardized_X = scaler.transform(X_train)
>>> standardized_X_test = scaler.transform(X_test)

- 归一化
归一化是一种通常用于机器学习的数据预处理方法。归一化的主要目标是更改数据集中数字列的值，以便数据可以具有相同的比例。

>>> from sklearn.preprocessing import Normalizer
>>> scaler = Normalizer().fit(X_train)
>>> normalized_X = scaler.transform(X_train)
>>> normalized_X_test = scaler.transform(X_test)

- 二值化
二值化是对文本计数数据执行的常见操作。使用二值化，我们可以用该指来分析特征的存在与否，而不是例如具有量化的出现次数。

>>> from sklearn.preprocessing import Binarizer
>>> binarizer = Binarizer(threshold=0.0).fit(X)
>>> binary_X = binarizer.transform(X)

- 编码
LabelEncoder是用于编码类级别的数据预处理的另一个类型，它还可用于将非数字标签转换为数字标签。

>>> from sklearn.preprocessing import LabelEncoder
>>> enc = LabelEncoder()
>>> y = enc.fit_transform(y)

- 填充缺失值
python 中的 Imputer 类可以用于填充缺失值。它通过使用缺失值所在的行或列的平均值，中值或最常值来实现此目的。此类还允许编码不同的缺失值。
缺失值的去除和补充十分的重要，因为机器学习的大部分模型是不能处理缺损值的。

>>> from sklearn.preprocessing import Imputer
>>> imp = Imputer(missing_values=0, strategy='mean', axis=0)
>>> imp.fit_transform(X_train)

-- 去掉缺失值
这里主要是针对 Pandas 读入方法的数据来进行缺失值的处理。

>>> import pandas as pd
>>> data = https://www.it610.com/article/pd.read_csv("data.csv")
>>> data.dropna()

- 生成多项式特征
多项式特征生成一个新的特征矩阵，该特征矩阵由度数小于或等于指定度数的特征的所有多项式组合组成。该处理是为了增加更多的数据特征。例如，如果输入样本是二维的并且形式为[a，b]，那么2次多项式特征是[1，a，b，a ^ 2，ab，b ^ 2]。

>>> from sklearn.preprocessing import PolynomialFeatures
>>> poly = PolynomialFeatures(5)
>>> poly.fit_transform(X)

3. 创建模型 - 监督学习
监督学习是一种机器学习，使模型能够在对标记数据进行培训后预测未来结果。在这里你会发现，真实的模型创建只需要一句代码。
# Linear Regression Algorithm

>>> from sklearn.linear_model import LinearRegression
>>> lr = LinearRegression(normalize=True)

# Naive Bayes Algorithm

>>> from sklearn.naive_bayes import GaussianNB
>>> gnb = GaussianNB()

# KNN Algorithm

>>> from sklearn import neighbors
>>> knn = neighbors.KNeighborsClassifier(n_neighbors=5)

# Support Vector Machines (SVM)

>>> from sklearn.svm import SVC
>>> svc = SVC(kernel='linear’)

- 无监督学习
无监督学习可以使模型能够预测未来结果，而无需对标记数据进行训练，通常用于特征的提取。
# Principal Component Analysis (PCA)

>>> from sklearn.decomposition import PCA
>>> pca = PCA(n_components=0.95)

# K Means Clustering Algorithm

>>> from sklearn.cluster import KMeans
>>> k_means = KMeans(n_clusters=3, random_state=0)

- 模型数据拟合
我个人更愿意称这一步为模型数据装载，但是在 scikit-learn 里面，这一步是拟合，也是用于衡量机器学习模型对类似数据的概括程度与其训练结果的衡量标准。
# For Supervised learning

>>> lr.fit(X, y)
>>> knn.fit(X_train, y_train)
>>> svc.fit(X_train, y_train)

# For Unsupervised Learning

>>> k_means.fit(X_train)#Fits data into the model
>>> pca_model = pca.fit_transform(X_train)

- 预测
预测用来得到训练的结果，我们需要喂入test模型中的特征值。
# For Supervised learning

>>> y_pred=svc.predict(np.random((2,5)))#svc model
>>> y_pred=lr.predict(x_test)#lr model
>>> y_pred=knn.predict_proba(x_test)#knn model

# For Unsupervised Learning

>>> y_pred=k_means.predict(x_test)#predict labels in clustering algorithm

4. 估算模型效果 - 分类指标评价
sklearn.metrics模块实现了多个损失，分数和效用函数来衡量分类性能。
# Mean Absolute Error

>>> from sklearn.metrics import mean_absolute_error
>>> y_true = [3, -0.5, 2]
>>> mean_absolute_error(y_true, y_pred)

# Mean Squared Error

>>> from sklearn.metrics import mean_squared_error
>>> mean_squared_error(y_test, y_pred)

# R2 Score

>>> from sklearn.metrics import r2_score
>>> r2_score(y_true, y_pred)

- 回归指标
sklearn.metrics模块实现了几个损失，分数和效用函数来衡量回归性能。
# Accuracy Score

>>> knn.score(X_test, y_test)
>>> from sklearn.metrics import accuracy_score
>>> accuracy_score(y_test, y_pred)

# Classification Report

>>> from sklearn.metrics import classification_report
>>> print(classification_report(y_test, y_pred))

# Confusion Matrix

>>> from sklearn.metrics import confusion_matrix
>>> print(confusion_matrix(y_test, y_pred))

- 聚类评估指标
# Adjusted Rand Index

>>> from sklearn.metrics import adjusted_rand_score
>>> adjusted_rand_score(y_true, y_pred)

# Homogeneity

>>> from sklearn.metrics import homogeneity_score
>>> homogeneity_score(y_true, y_pred)

# V-measure

>>> from sklearn.metrics import v_measure_score
>>> metrics.v_measure_score(y_true, y_pred)

- 交叉验证

>>> from sklearn.cross_validation import cross_val_score
>>> print(cross_val_score(knn, X_train, y_train, cv=4))
>>> print(cross_val_score(lr, X, y, cv=2))

5. 模型调参 - 网格搜索
GridSearchCV 实现了“fit”和“score”方法，它还可以实现“predict”， “predict_proba”， “decision_function”， “transform”和“inverse_transform”。

>>> from sklearn.grid_search import GridSearchCV
>>> params = {"n_neighbors": np.arange(1,3), "metric": ["euclidean", "cityblock"]}
>>> grid = GridSearchCV(estimator=knn, param_grid=params)
>>> grid.fit(X_train, y_train)
>>> print(grid.best_score_)
>>> print(grid.best_estimator_.n_neighbors)

- 随机网格搜索
RandomizedSearchCV对超参数执行随机搜索。与GridSearchCV相比，并未尝试所有参数值，而是从指定的分布中采样固定数量的参数设置。尝试的参数设置数由n_iter给出。

>>> from sklearn.grid_search import RandomizedSearchCV
>>> params = {"n_neighbours": range(1,5), "weights":["uniform", "distance"]}
>>>rserach = RandomizedSearchCV(estimator=knn,param_distribution=params, cv=4, n_iter=8, random_state=5)
>>> rsearch.fit(X_train, Y_train)
【实用机器学习模板|实用机器学习模板 pipeline - 5 分钟快速搭建模型】>>> print(rsearch.best_score)