python|用python玩转办公软件（pandas数据分析）入门数据分析|数据挖掘|python

用python玩转办公软件（pandas数据分析）入门
文章目录

用python玩转办公软件（pandas数据分析）入门
- 1、pandas介绍
- 2、csv文件介绍
- 3、pandas常用操作csv
- - （1）pandas读入csv操作
  - （2）常用参数解释：read_csv与read_table常用的参数（更多参数查看官方手册）
  - （3）csv处理操作
  - - 常用的操作：
    - 常用查看打印：
    - 常用数据统计：
- 4、搜指令网站

1、pandas介绍 Pandas 是python的一个数据分析包
pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。
Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。
pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
pandas可以读取/写入txt、dox、excal、csv等文件，原理都一样，深度学习通常使用csv文件。
2、csv文件介绍其文件以纯文本形式存储表格数据（数字和文本）。
纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。
即csv可以用txt编写，在txt中每一行输入若干数据，每个数据用逗号隔开，一行数据结束后换行写下一行，转成csv文件后打开后风格和excal一样。
效果如图：
txt文件数据：

文章图片

csv文件数据：

文章图片

3、pandas常用操作csv （1）pandas读入csv操作
就一个函数：pandas.read_csv（…）
将 CSV 文件读入 pandas DataFrame

import pandas df = pandas.read_csv(r'C:\Users\zhaohaobing\Desktop\pythond的pandas数据分析\111.csv', #文件路径 index_col='Employee', #将Employee列为索引 parse_dates=['Hired'], #将Hired列存储为日期格式（2014-03-15，不加这行的话是2003/15/14） sep = ',',#表明文件txt格式中数据分隔符是用','来表示的 header=0, #将首行设为列名 encoding="utf-8", #可以读取中文 names=['Employee', 'Hired','Salary', 'Sick Days']) #修改第一行列名 df.to_csv('hrdata_modified.csv')#另存为hrdata_modified.csv文件 print(df)

重要：
? 1）header第一行的设置：
? header=0（将首行设为列名）；header=None，则首行最为数据，那么names第一行标题必须制定！
? 2）列名的设置：
? names=[‘Employee’, ‘Hired’,‘Salary’, ‘Sick Days’] #修改第一行列名
? 3）索引列的设置：
? 若不设置，默认最前一列加上0，1，2，3…；index_col=‘Employee’ #将Employee列为索引
效果：

文章图片

（2）常用参数解释：read_csv与read_table常用的参数（更多参数查看官方手册）

pandas.read_csv(filepath_or_buffer, sep=', ', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, skiprows=None, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, skip_blank_lines=True, parse_dates=False, infer_datetime_format=False, keep_date_col=False, date_parser=None, dayfirst=False, iterator=False, chunksize=None, compression='infer', thousands=None, decimal=b'.', lineterminator=None, quotechar='"', quoting=0, escapechar=None, comment=None, encoding=None, dialect=None, tupleize_cols=None, error_bad_lines=True, warn_bad_lines=True, skipfooter=0, doublequote=True, delim_whitespace=False, low_memory=True, memory_map=False, float_precision=None）filepath_or_buffer #需要读取的文件及路径 sep / delimiter 列分隔符，普通文本文件，应该都是使用结构化的方式来组织，才能使用dataframe header header=0（将首行设为列名）；header=None，则首行最为数据，那么names第一行标题必须制定！ shkiprows= 10 # 跳过前十行 nrows = 10 # 只取前10行 usecols=[0,1,2,...] #需要读取的列，可以是列的位置编号，也可以是列的名称 parse_dates = ['col_name'] # 指定某行读取为日期格式 index_col = None /False /0，重新生成一列成为index值，0表示第一列，用作行索引的列编号或列名。可以是单个名称/数字或由多个名称/数宇组成的列表（层次化索引） error_bad_lines = False # 当某行数据有问题时，不报错，直接跳过，处理脏数据时使用 na_values = 'NULL' # 将NULL识别为空值 encoding='utf-8' #指明读取文件的编码，默认utf-8

（3）csv处理操作
列举几个常用的，保证能入门
常用的操作：

df['新一列']='new' #在后面新加一列，数据全是new df.fillna(value=https://www.it610.com/article/0,inplace=True) #表中所有的空值用0填充 df['0']=df['0'].map(str.strip) #第一列，清除city字段的字符空格，字符串(str)的头和尾的空格，以及位于头尾的\n \t之类给删掉 df['0']=df['0'].str.lower() #第一列，大小写转换 df.drop_duplicates(['0'],inplace=True) #第一列，删除重复出现的值 df['0'].replace('111','222',inplace=True) #第一列，将111替换成222#数据输出： df_inner.to_excel('excel_to_python.xlsx', sheet_name='bluewhale_cc') df_inner.to_csv('excel_to_python.csv') df.to_sql(table_name, connection_object)# 导出数据到SQL表 df.to_json("filename")# 以Json格式导出数据到文本文件

常用查看打印：

print(df.head(3)) #读取前3行 print(df.tail(3)) #读取后3行 print(df.shape) #查看为几行几列 print(df.info()) #数据表基本信息（维度、列名称、数据格式、所占空间等) print(df.dtypes) #每一列数据的格式# 主要函数是groupby和pivote_table print(df_inner.groupby('city').count())# 对所有的列进行计数汇总 print(df_inner.groupby('city')['id'].count())# 按city对id字段进行计数 print(df_inner.groupby(['city','price'])['id'].count())# 对两个字段进行汇总计数 print(df_inner.groupby('city')['price'].agg([len,np.sum, np.mean]) )# 对city字段进行汇总，并分别计算prince的合计和均值# 使用与、或、非三个条件配合大于、小于、等于对数据进行筛选，并进行计数和求和。 print(df_inner.loc[(df_inner['age'] > 25) & (df_inner['city'] == 'shanghai'), ['id','city','age','category','gender']]) print(df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'shanghai'), ['id','city','age','category','gender']] ) print(df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']])# 对筛选后的数据按city列进行计数 print(df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].city.count())# 使用query函数进行筛选 print(df_inner.query('city == ["beijing", "shanghai"]'))# 对筛选后的结果按price进行求和 print(df_inner.query('city == ["Shenzhen", "shanghai"]').price.sum())

常用数据统计：

# 数据采样，计算标准差，协方差和相关系数 print(df_inner.sample(n=3))# 简单的数据采样（随机取3行数据）# 手动设置采样权重，这里指3／4／5的权重比较高，随机取时概率较大 weights = [0, 0, 0, 0.5, 0.5, 0.5] print(df_inner.sample(n=2, weights=weights))print(df_inner.sample(n=6, replace=False))# 采样后不放回 print(df_inner.sample(n=6, replace=True))# 采样后放回# 数据表描述性统计 print(df_inner.describe().round(2).T) #round函数设置显示小数位，T表示转置# 标准差和协方差 print(df_inner['price'].std())# 计算列的标准差 print(df_inner['price'].cov(df_inner['m-point']))# 计算两个字段间的协方差 print(df_inner.cov())# 计算数据表中所有字段间的协方差# 计算两个字段的相关性分析，相关系数在-1到1之间，接近1为正相关，接近-1为负相关，0为不相关 print(df_inner['price'].corr(df_inner['m-point']))print(df.describe())# 查看数据值列的汇总统计 print(df.mean())# 返回所有列的均值 print(df.corr())# 返回列与列之间的相关系数 print(df.count())# 返回每一列中的非空值的个数 print(df.max())# 返回每一列的最大值 print(df.min())# 返回每一列的最小值 print(df.median())# 返回每一列的中位数 print(df.median())# 返回每一列的标准差

4、搜指令网站 pandas了解后，就跟数据库一样，需要什么操作直接网上搜指令就行了OVER
你学会了吗？
【python|用python玩转办公软件（pandas数据分析）入门】常用指令网站：
https://www.cnblogs.com/zhuminghui/p/9401489.html