python气象数据分析_利用python-cdo处理气象数据
如果你不喜欢命令行的操作方式,那么你可以尝试使用python-cdo,利用python脚本语言的优势来处理气象数据。命令行的方式有其优势,比如简单易操作,可扩展性更强等,利用CDO的python接口也有其特有的优势,比如:通过numpy/narray可以进行直接的数据操作
临时文件自动处理
灵活的并行化计算
条件处理操作
扩展新操作符
安装
安装方式非常简单,运行以下命令即可:pip install cdo或conda install python-cdo
操作符
一般情况下导入库时不建议使用如下方式导入的,建议使用 from ... import ... as ... 。为了调用所有操作符,建议按照 In [5] 方式执行赋值语句,以防出现属性调用错误。
查看文件信息In [4]: from cdo import *In [5]: cdo = Cdo()In [6]: cdo.sinfon(input = "wrfout_d02_2016-06-23_06_00_00")Out[6]:["File format : NetCDF2", "-1 : Institut Source Steptype Levels Num Points Num Dtype : Parameter name", "1 : unknown unknown instant 1 1 48240 1 F32 : LU_INDEX", ..... "175 : unknown unknown instant 1 1 1 7 I32 : SEED2", "Grid coordinates :", "1 : curvilinear : points=48240 (240x201)", "XLONG : 115.839 to 123.957 degrees_east", "XLAT : 30.0914 to 35.6799 degrees_north", ........ "7 : generic : points=1", "Vertical coordinates :", "1 : surface : levels=1", ........ "4 : generic : levels=4", "lev : 1 to 4 by 1 level", "Time coordinate : 36 steps", "YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss YYYY-MM-DD hh:mm:ss", "2016-06-23 06:00:00 2016-06-23 06:10:00 2016-06-23 06:20:00 2016-06-23 06:30:00", ..... "2016-06-23 11:20:00 2016-06-23 11:30:00 2016-06-23 11:40:00 2016-06-23 11:50:00"]
查看文件信息的操作符与CDO命令行操作符相同,在python中是以方法的方式调用。
通过 input 参数指定输入文件,如果需要输出文件时,则通过 output 参数指定:In [8]: cdo.timmean(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfmean.nc")
性能对比
对比CDO命令行和Python-cdo接口的执行效率:
以下两个命令执行相同的操作:先选择1-5时步的所有变量数据,然后在结果中选择指定的变量。In [21]: %time os.system("cdo -selname,SCW,SCTOT,SCH,SCS,REFL_10CM -seltimestep,1/5 wrfout_d02_2016-06-23_06_00_00 wrfsub_cdo.nc")CPU times: user 0 ns, sys: 3.29 ms, total: 3.29 msWall time: 36.9 sOut[21]: 0In [22]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub_python.nc")CPU times: user 0 ns, sys: 3.65 ms, total: 3.65 msWall time: 41.4 sOut[22]: "wrfsub_python.nc"
In [23]: %time os.system("cdo copy wrfout_d02_2016-06-23_06_00_00 wrfcopy_cdo.nc")CPU times: user 2.3 ms, sys: 174 µs, total: 2.48 msWall time: 10min 1sOut[23]: 0In [24]: %time cdo.copy(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfcopy_python.nc")CPU times: user 0 ns, sys: 3.73 ms, total: 3.73 msWall time: 10min 43sOut[24]: "wrfcopy_python.nc"
从上述结果中可以看出,CDO命令行的耗时和python接口的耗时差别不大。测试数据大小:19G。如果是对大量数据进行操作的话,可以优先使用命令行方式,效率相对会高一些。
注:未进行完全测试,结果可能存在一定偏差。
参数
在利用 CDO转换数据集格式 时,需要指定输出文件格式,比如选择变量或时步时也需要指定操作符的参数。
在使用pyhon接口时如何指定CDO命令行方式的参数呢?In [25]: %time cdo.copy(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfcopy.grb", option = "-f grb")CPU times: user 0 ns, sys: 4.12 ms, total: 4.12 msWall time: 12min 18sOut[25]: "wrfcopy.grb"
只需要在调用方法时添加 option参数即可。
为每个操作符添加参数时,只需要将参数作为方法的第一个参数即可。比如:In [26]: %time cdo.seltimestep("1/3",input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub1.grb", option = "-f grb")CPU times: user 244 µs, sys: 3.87 ms, total: 4.11 msWall time: 44.9 sOut[26]: "wrfsub1.grb"
链式操作
python-cdo中完整的支持类似CDO命令行的链式操作符,执行顺序和CDO命令行操作相同。In [27]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub.grb", option = "-f grb")CPU times: user 4.58 ms, sys: 349 µs, total: 4.93 msWall time: 37.6 sOut[27]: "wrfsub.grb"
通过上述命令可以看出,除了 selname 操作的参数时在方法内单独给出之外,其余操作符(seltimestep)的调用方式和CDO命令行调用方式相同。
相当于:cdo -selname,SCW,SCTOT,SCH,SCS,REFL_10CM -seltimestep,1/5 wrfout_d02_2016-06-23_06_00_00 wrfsub_cdo.nc
临时文件
CDO命令行的链式操作可以省却中间临时文件的输出,从而节省了不必要的空间存储,python-cdo也提供了临时文件的处理。
当不指定 output参数时,当前文件夹下是不会生成输出文件的,但是从输出结果可以看出,输出文件存放到了临时文件夹下。In [28]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00")CPU times: user 3.05 ms, sys: 4.09 ms, total: 7.14 msWall time: 38.2 sOut[28]: "/tmp/cdoPy_f_c2j0l"
类似临时文件的处理方式,当需要处理大量数据时,可以控制输出文件的输出,从而节省大量的时间(前提是不需要输出文件或是输出文件本身已经存在了)。可以通过以下两种方式控制输出文件的输出:设置全局属性
cdo.forceoutput = True/False操作符选项
cdo.selname("SCW", input = "wrfout_d02_2016-06-23_06_00_00", force = False)
多线程处理
python-cdo提供了多线程处理方式,可以处理能并行执行的任务。比如:from cdo import *import multiprocessingdef showlevel(arg): return cdo.showlevel(input=arg)cdo = Cdo()cdo.debug = Trueifile = "../wrfsub.nc"pool = multiprocessing.Pool(1)results = []for i in range(0,5): results.append(pool.apply_async(showlevel, [ifile]))pool.close()pool.join()for res in results: print(res.get())
python-cdo最重要的更新之一就是支持 numpy/narray 数组操作。通常有3中方式来获取数据:
文件句柄
使用文件句柄可以非常方便的获取变量,属性,维度等信息。可以使用 returnCdf关键词或 readCdf 方法。比如:In [50]: t = cdo.seltimestep("1/3", input = "wrfout_d02_2016-06-23_06_00_00", options = "-f nc", returnCdf = True).variables["T"][:]In [51]: t.shapeOut[51]: (3, 59, 201, 240)
In [46]: ff = cdo.readCdf("wrfout_d02_2016-06-23_06_00_00")In [47]: t = ff.variables["T"]In [48]: t.shapeOut[48]: (36, 59, 201, 240)
numpy/narray 对象
当需要读取特定变量时可使用此方式In [52]: t = cdo.seltimestep("1/3", input = "wrfout_d02_2016-06-23_06_00_00", options = "-f nc", returnArray = "T")In [53]: t.shapeOut[53]: (3, 59, 201, 240)
掩膜数组
如果目标变量含有缺省值,即有FillValue之类表示缺省值的属性,则会影响返回结果。比如:对海洋区域数据进行掩膜。oro = cdo.setrtomiss(-10000, 0, input = cdo.topo( options = "-f nc"), returnMaArray = "topo")
setrtomiss 表示将在 -10000, 0 之间的数设置为缺省值。
绘图
能够直接操作 numpy/narray 数据的好处之一就是处理好之后既可以直接进行绘图。当然,CDO也可以编译为支持 Magics++,然后在操作之后进行绘图操作,但是仍没有在python中利用 matplotlib 等绘图库要方便。
由于变量 t 在上面已经获取并且处理了,因此此处直接使用。In [62]: import matplotlib.pyplot as pltIn [63]: plt.contourf(t[1, 6, :, :])Out[63]: In [64]: plt.colorbar()Out[64]: In [65]: plt.show()
关于python-cdo中提供的方法的使用方式,可以查看帮助。如果帮助看不明白,可以查看单元测试脚本,单元测试脚本中基本上包含了所有使用方式,比官方文档要更靠谱 [注1]。
注1:https://github.com/Try2Code/cdo-bindings/blob/master/python/test/test_cdo.py
python气象数据分析_利用python-cdo处理气象数据相关推荐
- 利用python进行数据分析_利用python进行数据分析复现(1)
一直以来,都想学习python数据分析相关的知识,总是拖拖拉拉,包括这次这个分享也是.<利用python进行数据分析 第2版>是一次无意之间在简书上看到的一个分享,我决定将很详细.一直都 ...
- python营业数据分析_利用Python对咖啡馆营业做一个简单的数据分析
准备数据 1.导入python数据分析模块三剑客:pandas\matplotlib\numpy 2.用read_excel()方法导入数据源 .输出结果截图如下(部分): 可以看到有这些数据:订单日 ...
- python股票数据分析_利用PYTHON全自动生成分析报告
日常工作当中,特别是金融行业当中,有不少人的工作是提取数据,分析数据,得到可视化图表,并加入自已的研究分析结论,最终生成分析报告,并且有不少报告是定期生成,存在不少重复手工劳动.本文通过一个简单实例, ...
- 用python做数据分析pdf_利用python进行数据分析pdf
利用python进行数据分析pdf微盘下载!<利用python进行数据分析>利用Python实现数据密集型应用由浅入深帮助读者解决数据分析问题~适合刚刚接触Python的分析人员以及刚刚接 ...
- python高斯求和_利用Python进行数据分析(3)- 列表、元组、字典、集合
本文主要是对Python的数据结构进行了一个总结,常见的数据结构包含:列表list.元组tuple.字典dict和集合set. image 索引 左边0开始,右边-1开始 通过index()函数查看索 ...
- 用python进行股票数据分析_利用python进行股票数据分析
个人觉得这问题问的不太对,说句不好的话,你是来搞编程的还是做股票的. 当然,如果题主只是用来搜集资料,看数据的话那还是可以操作一波的,至于python要怎么入门,个人下面会推荐一些入门级的书籍,通过这 ...
- python气象数据分析_基于Python的气象观测数据的解析与存储
基于 Python 的气象观测数据的解析与存储 师利霞, 黄元媛 [摘 要] 为了达到"一次解析,各处使用"的目的,根据工作的实际需要,使 用 Python 技术对以文本格式存放的 ...
- python和excel数据分析_利用Python处理和分析Excel表中数据实战
作为一个学习用Python进行数据分析的新手来说,通过本文来记录分享一些我在用Python中的pandas.numpy来分析Excel表中数据的数据清洗和整理的工作,目的是熟悉numpy以及panda ...
- python怎么做面板数据分析_利用python进行数据分析之准备(一)
原标题:利用python进行数据分析之准备(一) 欢迎关注天善智能微信公众号,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区. 对商业智能BI.大数据分析挖掘.机器学习,python,R等数 ...
最新文章
- IPinfoga查询地理位置
- 印度Thermax携FRENELL执行亚洲首个集成太阳能热电厂
- JMS Java消息服务(Java Message Service)
- struts2教程(5)--请求参数校验
- python在工程管理专业的应用案例_工程项目管理软件应用案例(精)
- 数学狂想曲(十二)——熵(2), 阴影面积, 肺炎版《黄冈密卷》
- 将Object structure IBASE从UI上隐藏
- 老赖名下无财产,可以执行老赖子女名下的财产吗?
- YodaOS: 一个属于 Node.js 社区的操作系统
- 防止电子邮件地址被搜索到的新方法
- XEngine:深度学习模型推理优化
- html5 上海,【上海校区】HTML5新特性
- mysqld和mysql区别_mysqld与mysqld_safe的区别
- python: 抓取免费代理ip
- Win10 删除网络驱动器
- HTML编辑器-HTML网页表单可视化在线编辑器插件大全
- SYD8821或SYD8811连接《SYDTEK Studio》异常状况说明
- Vue使用fabric图片缩放失效
- D. Sequence and Swaps
- AI+BI,悬在云上的梦想,难以落地的应用