1、预备知识-python核心用法常用数据分析库(上)
文章目录
- 1、预备知识-python核心用法常用数据分析库(上)
-
- 概述
- 实验环境
- 任务一:环境安装与配置
-
- 【实验目标】
- 【实验步骤】
- 任务二:Pandas数据分析实战
-
- 【任务目标】
- 【任务步骤】
概述 Python 是当今世界最热门的编程语言,而它最大的应用领域之一就是数据分析。在python众多数据分析工具中,pandas是python中非常常用的数据分析库,在数据分析,机器学习,深度学习等领域经常被使用。使用 Pandas 我们可以 Excel/CSV/TXT/MySQL 等数据读取,然后进行各种清洗、过滤、透视、聚合分析,也可以直接绘制折线图、饼图等数据分析图表,在功能上它能够实现自动化的对大文件处理,能够实现 Excel 的几乎所有功能并且更加强大。
本实验将通过实战的方式,介绍pandas数据分析库的基本使用,让大家在短时间内快速掌握python的数据分析库pandas的使用,为后续项目编码做知识储备
实验环境
- Python 3.7
- PyCharm
本实验主要目标为在Windows操作系统中,完成本次实验的环境配置任务,本实验需要的软件为PyCharm+Python 3.7
【实验步骤】
1、安装Python 3.7
2、安装Pycharm
3、安装jupyter、pandas、numpy、notebook
打开CMD,并输入以下命令,安装jupyter、notebook、pandas和numpy
pip install jupyter notebook pandas numpy
安装完成后会有类似如下文字提示:
文章图片
【数据分析|pandas数据分析之数据清洗(上)】以上步骤完成后,实验环境配置工作即已完成,关闭CMD窗口
任务二:Pandas数据分析实战 【任务目标】
本任务主要目标为使用pandas进行数据分析实战,在实战过程中带大家了解pandas模块的一下功能:
- 准备工作
- 检查数据
- 处理缺失数据
- 添加默认值
- 删除不完整的行
- 删除不完整的列
- 规范化数据类型
- 重命名列名
- 保存结果
1、打开CMD,执行如下命令,开启jupyter
jupyter notebook
成功执行以上命令后,系统将自动打开默认浏览器,如下图所示:
文章图片
成功打开浏览器后,按如下流程创建 notebook 文件
文章图片
对新建notebook进行重命名操作
文章图片
文章图片
2、notebook 文件新建完成后,接下来在新建的 notebook 中编写代码
导入 Pandas 到我们的代码中,代码如下
import pandas as pd
小提示:输入完成代码后,按下【Shift + Enter】组合键即可运行该单元格中的代码,后面输入完每个单元格的代码后都需要进行类似操作,代码才会运行
加载数据集,代码如下:
data = https://www.it610.com/article/pd.read_csv('./data/movie_metadata.csv')
3、检查数据
查看数据集前5行
data.head()
运行结果如下图所示:
文章图片
我们可以通过上面介绍的 Pandas 的方法查看数据,也可以通过传统的 Excel 程序查看数据
Pandas 提供了一些选择的方法,这些选择的方法可以把数据切片,也可以把数据切块。下面我们简单介绍一下:
- 查看一列的一些基本统计信息:data.columnname.describe()
- 选择一列:data[‘columnname’]
- 选择一列的前几行数据:data[‘columnsname’][:n]
- 选择多列:data[[‘column1’,‘column2’]]
- Where 条件过滤:data[data[‘columnname’],condition]
缺失数据是最常见的问题之一。产生这个问题有以下原因:
- 从来没有填正确过
- 数据不可用
- 计算错误
- 为缺失数据赋值默认值
- 去掉/删除缺失数据行
- 去掉/删除缺失率高的列
使用空字符串来填充country字段的空值
data.country= data.country.fillna('')
使用均值来填充电影时长字段的空值
data.duration = data.duration.fillna(data.duration.mean())
4.2、删除不完整的行
data.dropna()
运行结果如下(由于输出内容给较多,结果中省略了中间部分数据,只显示开头和结尾部分):
文章图片
由上图可以看出,由于第4行数据存在缺失值,因此被删除
提示:dropna操作并不会在原始数据上做修改,它修改的是相当于原始数据的一个备份,因此原始数据还是没有变
删除一整行的值都为 NA:
data.dropna(how='all')
运行结果如下:
文章图片
从上图可知,由于限定条件为:删除一整行都为NA的数据,因此不满足此条件的数据行还是会被保留
我们也可以增加一些限制,在一行中有多少非空值的数据是可以保留下来的(在下面的代码中,行数据中至少要有 5 个非空值)
data.dropna(thresh=5)
运行结果如下:
文章图片
也可指定需要删除缺失值的列
我们以 title_year 这一列为例,首先查看 title_year 这一列中存在的缺失值:
data['title_year'].isnull().value_counts()
结果如下:
文章图片
由上图可知,title_year 这一列中存在108个缺失值
接下来查看 title_year 删除完缺失值后的情况
new_data = https://www.it610.com/article/data.dropna(subset=['title_year'])
new_data['title_year'].isnull().value_counts()
上面的 subset 参数允许我们选择想要检查的列。如果是多个列,可以使用列名的 list 作为参数。
运行结果如下:
文章图片
4.3、删除不完整的列
我们可以上面的操作应用到列上。我们仅仅需要在代码上使用 axis=1 参数。这个意思就是操作列而不是行。(我们已经在行的例子中使用了 axis=0,因为如果我们不传参数 axis,默认是axis=0)
删除一整列为 NA 的列:
data.dropna(axis=1, how='all')
运行结果如下:
文章图片
删除任何包含空值的列:
data.dropna(axis=1,how='any')
文章图片
这里也可以使用像上面一样的 threshold 和 subset
5、规范化数据类型
加载数据集时指定字段数据类型
data = https://www.it610.com/article/pd.read_csv('./data/movie_metadata.csv', dtype={'title_year':str})
这就是告诉 Pandas ‘duration’列的类型是数值类型。查看加载后各数据列的类型
data.info()
运行结果如下:
文章图片
object 即代表数据类型为字符串类型
6、必要的变换
人工录入的数据可能都需要进行一些必要的变换,例如:
- 错别字
- 英文单词时大小写的不统一
- 输入了额外的空格
data.movie_title
结果如下:
文章图片
我们数据中所有的 movie_title 改成大写:
data['movie_title'].str.upper()
结果如下:
文章图片
同样的,我们可以去掉末尾余的空格:
data['movie_title'].str.strip()
运行结果如下:
文章图片
7、重命名列名
我们需要进行重新赋值才可以:
data = https://www.it610.com/article/data.rename(columns={'title_year':'release_date',
'movie_facebook_likes':'facebook_likes'})
查看重命名后的数据列名称
data.info()
输出结果如下:
文章图片
8、保存结果
完成数据清洗之后,一般会把结果再以 csv 的格式保存下来,以便后续其他程序的处理。同样,Pandas 提供了非常易用的方法:
data.to_csv('./data/cleanfile.csv',encoding='utf-8')
查看 /home/student/data 目录内容如下,新增保存的 cleanfile.csv 文件
文章图片
推荐阅读
- python算法|100个python算法超详细讲解(魔方阵)
- python|python 数组,array --- 高效的数值数组 — Python 3.9.2 文档
- 不会sql也能玩转的sql数据分析-上篇
- Python识别同构数
- python 包之 random 随机数库教程
- python|【Python分子动力学】
- Python|【Kay】机器学习之XGBoost——鸢尾花数据集
- 大数据|一图看懂华为数字化转型规划的“三阶十二步法”,值得收藏!
- 学习|Python学习路线图(从入门到上手)