Python|Python 对数据集进行归一化处理并存储为 mat 格式的文件 python|数据集|归一化|问题随笔

Python 对数据集进行归一化处理并存储为 mat 格式的文件

0. 导论
1. 下载数据集
2. 归一化处理
- 2.1 读入文本
- 2.2 处理文本值
- 2.3 使用归一化函数
3. 存储为 mat 文件
4 总结

0. 导论在做科研工作时，我们不仅从理论角度分析所提 idea 的种种优势，还需要进行大量的实验，得到的实验效果可以进一步地支撑 idea 的优越性，这样更具有说服力。实验所使用的数据集作为实验的重要组成部分，我们往往需要对拿来的数据集进行数据预处理工作，因为通常使用的数据集是来自各行各业的数据，而一个数据集往往具有多个属性，每个属性的值是否使用的是同一量纲得到的，这往往是个问题，如果不是采用同一个量纲进行评价，得到的属性值放在一起进行运算，是否公正合理？
因此，数据归一化处理工作尤为重要，我们要将不同量纲的表达式变为无量纲，也就是将数据集的属性值变为纯量。Python 的 sklearn 包提供了归一化函数，可以方便地对数据集进行处理。
我们以https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary.html 上面的数据集 fourclass 为例，对原始数据进行归一化处理。
1. 下载数据集打开数据集网址，点击 fourclass 链接，可以看到数据是在网页页面上展示的，没有提供下载形式，这里的下载需要将数据复制下来保存到 txt 文本文件中。

文章图片

文章图片

新建文本文件可以命名为 fourclass.txt.
2. 归一化处理观察我们下载的 fourclass 数据集，可以发现这是一个二维二分类数据集，也就是说只有两个属性，并且它的标签值分为两类。
以第一行数据为例，标签放在第一列，标签值为 +1 和 -1 两种；后两列为属性值,1:167.000000 2:178.000000 表示第一列属性值为 167.000000, 第二列属性值为 178.000000. 我们的目标是将属性值缩放到 (0,1) 之间，标签值放到最后一列。
2.1 读入文本

# 可读模式读入文本内容 f = open(r"C:\Users\Desktop\fourclass.txt", 'r') # 将文本内容以多行方式一次性读入 lines = f.readlines() res = [] for i in lines: # 根据每行各个列之间的空格，返回一个每行3列的列表 line = i.split(' ') res.append(line)# res 得到一个由若干行组成的列表

【Python|Python 对数据集进行归一化处理并存储为 mat 格式的文件】读入之后，可以对列表 res 进行遍历操作，观察 res 存放的数据。

文章图片

列表 res 的元素类型是列表类型，res 是一个嵌套列表，本质上还是个列表。
2.2 处理文本值处理文本值就是将标签列值为 " +1" 前面的 “+” 去掉，将属性列值前面的 “1:” 和 “2:” 去掉，将最后一列删掉，处理代码如下：

for i in range(len(res)): # 将 "+" 替换掉 res[i][0] = res[i][0].replace('+','') # 对第 i 行，索引为 1 的列，字符串切片，重新赋值给第 i 行第 1 列 res[i][1] = res[i][1][2:] res[i][2] = res[i][2][2:] # 将 res 转换为 numpy 数组类型，取所有行，不取最后一列，也就是剔除掉最后一列 data = https://www.it610.com/article/np.array(res)[:,:-1]

处理完成之后，再将 data 的内容进行打印出来。

文章图片

通过观察我们可以发现，属性值和标签值都得到了处理。
2.3 使用归一化函数

minMax = MinMaxScaler()# Normalize data data = https://www.it610.com/article/np.hstack((minMax.fit_transform(data[:, 1:]), data[:, 0].reshape(data.shape[0], 1)))

在归一化时，我们需要使用 MinMaxScaler() 函数，这是一个归一化相关的函数。其中，minMax.fit_transform(data[:, 1:]) 是将 data 数组从第二列开始进行归一化处理，属性值缩放到 (0,1) 之间。 data[:, 0].reshape(data.shape[0], 1) 是将标签列单独抽出来，抽出来之后实际为一个一行多列的列表，而我们需要改变它的形状，转换成一列多行。np.hstack() 函数是将两个数组在水平方向上平铺，目的就是将标签列拼接到属性列后面，放到 data 最后一列。
处理完成之后，可以打印一下 data 的内容。

文章图片

这就是我们想要的数据，下一就是将数组存放为 mat 格式的文件了。
3. 存储为 mat 文件其实，存储为 mat 格式的文件只需要一行代码就可以完成：

scipy.io.savemat('fourclass.mat', {'data': data})

但是，在存储之前我们还需先观察一下，data 中数据是否为整型或浮点型，因为字符串类型虽然可以存放到 mat 文件中，但是后续用于运算时必然会出现类型错误这样的异常。例如，我们就取第一列元素观察它的类型，观察数据类型的代码段如下：

for i in data: print(type(i[0]))

打印之后，我们发现元素类型都为 numpy.str, 也就是我们通常理解的字符串类型，显然这是不满足要求的。

文章图片

所以，正确的做法应该是，先将 data 所有元素转换为浮点型，之后才可以进行存储为 mat 格式的文件。

data = https://www.it610.com/article/data.astype(float) scipy.io.savemat('fourclass.mat', {'data': data})

在存储时，savemat() 函数第一个参数是我们的文件名，第二个参数是一个字典，前面的 ‘data’ 是键，后面的 data 是我们的 numpy 数组。需要注意的是，这个键名非常重要，这决定你后面用 Python 读取生成的 mat 文件如何取值，建议就用 ’data‘ 键名即可，不要自己去定义其他名字。
4 总结上面我们将每个子过程单独拆开进行处理，主要是为了方便大家理解。整个过程的代码如下:

import numpy as np import scipy.io from sklearn.preprocessing import MinMaxScaler f = open(r"C:\Users\Desktop\fourclass.txt", 'r') lines = f.readlines() res = [] for i in lines: line = i.split(' ') res.append(line)for i in range(len(res)): res[i][0] = res[i][0].replace('+','') res[i][1] = res[i][1][2:] res[i][2] = res[i][2][2:]data = np.array(res)[:,:-1]minMax = MinMaxScaler()# Normalize data data = np.hstack((minMax.fit_transform(data[:, 1:]), data[:, 0].reshape(data.shape[0], 1)))#for i in data: #print(type(i[0]))data = https://www.it610.com/article/data.astype(float) scipy.io.savemat('fourclass.mat', {'data': data})

运行代码，我们可以看到生成一个 fourclass.mat 格式文件。至此，利用 Python 对数据集进行归一化处理，并存储为 mat 格式的文件操作全部结束，以后可以自己去按照类似的过程去处理数据集。