锐客网

  1. 首页 > 睿知 > it技术 > >

python函数自动填充 python抓取数据自动填充( 六 )

IT技术Pownerdesign


所以在数据处理前，要安装好numpy , pandas 。接下来就看看如何完成一套完整的数据操作 。
创建数据表的方法分两种，分别是从外部导入数据，以及直接写入数据 。
在python中，也可外部导入xlsx格式文件，使用read_excel()函数：
import pandas as pd
from pandas import DataFrame,Series
data=https://www.04ip.com/post/DataFrame(pd.read_excel('c:/python27/test.xlsx'))
print data
输出：
Gene Size Function
0 arx1 411 NaN
1 arx2 550 monooxygenase
2 arx3 405 aminotransferase
……
即：调用pandas中read_excel属性，来读取文件test.xlsx，并转换成DataFrame格式，赋给变量data 。在每一行后，自动分了一个索引值 。除了excel ， 还支持以下格式文件的导入和写入：
Python写入的方法有很多，但还是不如excel方便 。常用的例如使用相等长度的字典或numpy数组来创建：
data1 = DataFrame(
{'Gene':['arx1','arx2','arx3'],
'Size':[411,550,405],
'Func':[np.NaN,'monooxygenase','aminotransferase ']})
print data1
输出
Func Gene Size
0 NaN arx1 411
1 monooxyg arx2 550
2 amino arx3 405
分配一个行索引后，自动排序并输出 。
在python中 ， 可以使用info()函数查看整个数据的详细信息 。
print data.info()
输出
RangeIndex: 7 entries, 0 to 6
Data columns (total 3 columns):
Gene 7 non-null object
Size 7 non-null int64
Function 5 non-null object
dtypes: int64(1), object(2)
memory usage: 240.0+ bytes
None
此外，还可以通过shape, column, index, values, dtypes等函数来查看数据维度、行列组成、所有的值、 数据类型：
print data1.shape
print data1.index
print data1.columns
print data1.dtypes
输出
(3, 3)
RangeIndex(start=0, stop=3, step=1)
Index([u'Func', u'Gene', u'Size'], dtype='object')
Func object
Gene object
Size int64
dtype: object
在excel中可以按“F5”，在“定位条件”中选择“空值”，选中后 ， 输入替换信息，再按“Ctrl+Enter”即可完成替换 。
在python中，使用函数 isnull 和 notnull 来检测数据丢失, 包含空值返回True ， 不包含则返回False 。
pd.isnull(data1)
pd.notnull(data1)
也可以使用函数的实例方法，以及加入参数，对某一列进行检查：
print data1['Func'].isnull()
输出
Func Gene Size
0 True False False
1 False False False
2 False False False
再使用fillna对空值进行填充：
data.fillna(value=https://www.04ip.com/post/0)
#用0来填充空值
data['Size'].fillna(data1['Size'].mean())
#用data1中Size列的平均值来填充空值
data['Func']=data['Func'].map(str.strip)
#清理Func列中存在的空格
Excel中可以按“Ctrl+F” ， 可调出替换对话框，替换相应数据 。
Python中，使用replace函数替换：
data['Func'].replace('monooxygenase', 'oxidase')
将Func列中的'monooxygenase'替换成'oxidase' 。
Excel中 ， 通过“数据-筛选-高级”可以选择性地看某一列的唯一值 。
Python中，使用unique函数查看：
print data['Func'].unique()
输出
[nan u'monooxygenase' u'aminotransferase' u'methyltransferase']
Excel中，通过UPPER、LOWER、PROPER等函数来变成大写、小写、首字母大写 。
Python中也有同名函数：
data1['Gene'].str.lower()
Excel中可以通过“数据-删除重复项”来去除重复值 。
Python中 ， 可以通过drop_duplicates函数删除重复值：
print data['Func'].drop_duplicates()

推荐阅读


上一篇：mysql数据库算计算机吗，计算机二级mysql数据库难吗

下一篇：dns服务器的配置，网络服务器配置与管理