Pandas Pandas - 锐客网

Pandas 安装 pip install pandas
import pandas as pd
Series 类似于一维数组的对象，由一组数据和一组与之相关的数据标签（索引）组成
创建方式

pd.Series([4,7,-5,3])，列表或者数组都行
pd.Series([4,7,-5,3],index=['a','b','c','d']) 设置索引标签
pd.Series({'a':1,'b':2}
pd.Series(0,index=['a','b','c','d'])

获取值数组和索引数组：values属性和index属性
比较像数组和字典的结合体
使用特性

运算和numpy的array是一样的
切片和列表一样，可以通过索引标签来切片
支持numpy的通用函数
支持布尔索引
可以使用字典创建Series对象
遍历打印的是值而不是键，这是和dict的区别

整数索引

sr = Series(np.range(20)) sr2 = sr[10:].copy() >> 1010 1111 1212 1313 1414 1515 1616 1717 1818 1919 sr2.loc[10] # 以标签为整数10作为索引 >> 10 sr2.iloc[10]# 以下标为整数10作为索引 >> 19

注意：下标和标签是不一样的,所以使用整数作为索引要使用iloc
数据对齐
pandas在进行两个Series对象的运算时，会按索引标签进行对其然后计算，一般index是去重的

sr1 = pd.Series([1,2,3],index=['c','a','d']) sr2 = pd.Series([4,5,6,9],index=['d','c','a','b']) sr1 + sr2 >> a8# 2+6 bNaN c6# 1+5 d7# 4+3 sr1.add(sr2,fill_vlue=0) a8 b9# 9+0 c6 d7

缺失数据处理

删掉缺失数据：
1. sr.[sr.notnull()]
2. sr.dropna()
为缺失数据赋值0
1. sr.fillna(0)
2. 若想保存则sr = sr.fillna(0)
为缺失数据赋值平均数
1. sr.fillna(sr.mean())

DataFrame 是一个表格型的数据结构，含有一组有序的列。可以看作是由Series组成的字典，并且共用一个索引
创建方式

pd.DataFrame({'one':[1,2,3],'two':[2,3,4]})
pd.DataFrame({'one':pd.Series([1,2,3],index=['a','b','c']),'two':pd.Series([2,3,4,5],index=['a','b','c','d'])})

csv文件读取与写入

df.read_csv('file_nam.csv')
df.to_csv()

常用属性

属性	描述
index	获取索引
T	转置
columns	获取列索引
values	获取值数组
describe()	获取快速统计

索引和切片

df.loc['行索引'，'列索引']
df.iloc['行索引'，'列索引']
df.loc[花式索引,切片]
- 例如：df.[['a','c'],:]

不要用两个中括号来索引
数据对齐

在运算时，会进行数据对其，其行索引和列索引分别对其

缺失数据处理

dropna(axis=0,where='any',...)
- df.dropna(how='all')：这一行的值全为空则删除
- axis=0，是竖轴，删行；axis=1，是横轴，删列
fillna()
isnull()
notnull()

其他常用方法

方法	描述
mean()	axis=0,按列求平均值; axis=1,按行求平均值
sum()	求和
sort_index()	索引排序，有缺失值的排最后
sort_values(by='',ascending=true)	值排序，有缺失值的排最后
Numpy的通用函数

时间对象

import dateutil
- dateutil.parser.parse('02/03/2001')
pd.to_datetime(['2001-01-01','2010/Feb/02'])：转成DatetimeIndex对象

时间对象生成

pd.date_range()
- start：开始使劲按
- end：结束时间
- periods：长度
- freq：频率，默认'D'
  - H：hour
  - B：business
  - SM：semi month，半个月
  - T：minutes
  - S：second
  - W-Mon：每周一
  - 1h20：每1小时20分钟

时间序列
以时间对象为索引的Series或DataFrame
例如：sr = pd.Series(np.arange(1000),index=pd.date_range('2021-01-01',periods=1000))
datetime对象作为索引时存储在Datetimeimdex对象中
特殊功能：

【Pandas】传入”年“或”年-月“作为切片
传入日期范围作为切片方式
丰富的函数支持：resample()，truncate()...
- sr.resample('M').sum()：求每月的和

文件处理常用文件格式：csv
读取文件
pandas读取文件：从文件名、URL、文件对象中加载数据

read_csv 默认分隔符为逗号
- pd.read_csv('file_name.csv',index_col='date',parse_dates=True)：指定date列变成时间对象
- 会默认把第一行作为列名
read_table 默认分隔符为制表符
主要参数
- sep：指定分隔符
- header：指定文件无列名
- name：指定列名
- index_col：指定某列作为所引
- skip_row：指定跳过某些行
- na_values：指定某些字符串表示缺失值
- parse_dates：指定某些列是否被解析为日期，类型为布尔值或列表
还有：read_json()，read_html()，read_excel()，read_sql()
- read_excel()需要安装xlrd的包