第五,数据筛选汇总
Python中使用loc函数配合筛选条件来完成筛选功能,配合sum和count函数还能实现Excel中sumif和countif函数的功能 。Python中使用的主要函数是groupby和pivot_table 。
Python气象数据处理与绘图(1):数据读取python很多库支持python函数loc了对nc格式文件的读取python函数loc,比如NetCDF4,PyNio(PyNio和PyNgl可以看做是NCL的Python版本)以及Xarray等等 。
我最初使用PyNio,但是由于NCL到Python的移植并不完全,导致目前远不如直接使用NCL方便,而在接触Xarray库后,发现其功能强大远超NCL(也可能是我NCL太菜的原因) 。
安装同其它库一致:
我这里以一套中国逐日最高温度格点资料(CN05.1)为例,其水平精度为0.5°X0.5° 。
可以看到 , 文件的坐标有时间 , 经度,纬度,变量有日最高温
我们将最高温数据取出
这与Linux系统中的ncl_filedump指令看到的信息是类似的
Xarray在读取坐标信息时 , 自动将时间坐标读取为python函数loc了datetime64 格式,这对我们挑选目的时间十分方便 。Xarray通常与pandas配合使用 。
比如我们想选取1979.06.01-1979.06.20时期数据,我们只需
再比如我们想选取夏季数据时 , 只需
更多的时间操作同python的datetime函数类似 。
当我们想选取特定经纬度范围(高度)的数据时,.loc[]函数同样可以解决 。
在这里 , 我选取了40°N-55°N,115°E-135°E范围的数据
甚至,我们还可以套娃 , 同时叠加时间和范围的选取
这足够满足常用到的数据索引要求 。
对于这类简单排列的.txt文件,可以通过np.load读取,用pandas的.read_csv更为方便
读取txt的同时,对每列赋予了一个列名,通过data.a可以直接按列名调用相应数据 。
对于较复杂的.txt文件 , 仍可通过该函数读取
skiprows=5跳过了前5行的文件头,sep='\s+'定义了数据间隔为空格,这里用的是正则表达 。
pd.read_csv函数有很多的参数 , 可以处理各种复杂情况下的文本文件读取 。
grib文件可通过pygrib库读取
import pygrib
f = pygrib.open('xxx.grb')
python做数据分析主要干哪些事情第一、检查数据表
Python中使用shape函数来查看数据表的维度,也就是行数以及列数 。你可以使用info函数来查看数据表的整体信息,使用dtype函数来返回数据格式;lsnull是Python中检验空值的函数,可以对整个数据表进行检查,也可以单独对某一行进行空值检查,返回的结构是逻辑值 , 包含空值返回true,不包含则返回false 。
第二、数据清洗
Python可以进行数据清洗 , Python中处理空值的方法比较灵活,可以使用Dropna函数用来删除数据表中包含空值的数据,也可以使用fillna函数对空值进行填充;Python中dtype是查看数据格式的函数,与之对应的是astype函数,用来更改数据格式,Rename是更改列名称的函数,drop_duplicates函数删除重复值,replace函数实现数据替换 。
第三、数据提取
进行数据提取时,主要使用三个函数:loc、iloc以及ix 。Loc函数按标签进行提?。琲loc按位置进行提?。?ix可以同时按照标签和位置进行提取 。除了按标签和位置提取数据之外,还可以按照具体的条件进行提?。?比如使用loc和isin两个函数配合使用 。
第四、数据筛选
Python数据分析还可以进行数据筛?。琍ython中使用loc函数配合筛选条件来完成筛选功能 , 配合sum和count函数还能实现Excel中sumif和countif函数的功能 。使用的主要函数是groupby和pivot_table;groupby是进行分类汇总的函数,使用方法比较简单,groupby按列名称出现的顺序进行分组 。
推荐阅读
- 捡装备像素动作游戏下载,捡装备的游戏有哪些
- 物流信息电商运输如何,电商物流运作
- 游戏显卡怎么换硅脂视频,显卡怎么换硅脂教程
- 什么是视频直播功能分析,视频直播有哪些特征
- vb.net文本写入 vb中如何写入文本文件
- 联想电脑修复按什么键关机,联想电脑开机修复一直开不了机
- 逛呗直播怎么在电脑上登陆,逛呗直播怎么在电脑上登陆账号
- vb.net文件选择控件 vb中打开文件对话框选择文件
- html标签最大宽度,html最大的标题