一个简单的批量下载网站数据的脚本,主要用到urllib2等库。
参考资料来自:https://wulc.me/2015/12/02/python%E6%89%B9%E9%87%8F%E4%B8%8B%E8%BD%BD%E6%96%87%E4%BB%B6/

#!/usr/bin/python
#-*- coding: utf-8 -*-
import urllib2
import osdef getLegalUrl(year,mon,day,time):base_url="http://ftp.cpc.ncep.noaa.gov/precip/CMORPH_V0.x/RAW/8km-30min/"
    url_preletter='CMORPH_V0.x_RAW_8km-30min_'
    try:url=base_url+str(year)+'/'+str(year)+str(mon).zfill(2)+'/'+url_preletter+str(year)+str(mon).zfill(2)+str(day).zfill(2)+str(time).zfill(2)+'.gz'
        f=urllib2.urlopen(url)return urlexcept urllib2.URLError:return " "

def download(url,year,mon,day,time):f=urllib2.urlopen(url)data=f.read()url_preletter = 'CMORPH_V0.x_RAW_8km-30min_'
    pathgz = "E:\\CMORPH\\" + str(year) + str(mon).zfill(2) + "\\"
    with open(os.path.join(pathgz,url_preletter+str(year)+str(mon).zfill(2)+str(day).zfill(2)+str(time).zfill(2)+'.gz'),'wb') as file:file.write(data)if __name__ == '__main__':days=[31,30,31,31,30]for year in range(2017,2018):for mon in range(5,10):for day in range(1,days[mon-4]):for time in range(0,24):url=getLegalUrl(year,mon,day,time)if url=="":with open("download.log",'a') as log:log.write(str(year)+str(mon).zfill(2)+str(day).zfill(2)+str(time).zfill(2)+'not found\n')else:download(url,year,mon,day,time)

python批量下载Cmorph降水资料相关推荐

  1. 群里又会python的吗_自从会了Python在群里斗图就没输过,Python批量下载表情包!...

    原标题:自从会了Python在群里斗图就没输过,Python批量下载表情包! 导语 最近图慌,于是随便写了个表情包批量下载的脚本,没什么技术含量,纯娱乐性质. 让我们愉快地开始吧~ 开发工具 Pyth ...

  2. python批量下载b站_python 批量下载bilibili视频的gui程序

    运行效果: 完整代码: # !/usr/bin/python # -*- coding:utf-8 -*- # time: 2019/07/02--08:12 __author__ = 'Henry' ...

  3. python批量下载bilibili视频_python 批量下载bilibili视频的gui程序

    运行效果: 完整代码: # !/usr/bin/python # -*- coding:utf-8 -*- # time: 2019/07/02--08:12 __author__ = 'Henry' ...

  4. python下载网页里面所有的图片-Python批量下载网页图片详细教程

    很多朋友在网上查找批量下载图片的方法~发觉挺凌乱的,无从下手.这里绿茶小编就来跟大家分享下使用Python批量下载图片方法. 目标:爬取某个网站上n多页的链接,每个链接有n多张图片,每一页对应一个文件 ...

  5. Python 批量下载SIGMOD,VLDB的论文 Mac OS

    这里写自定义目录标题 Python 批量下载SIGMOD,VLDB的论文 Mac OS 实现 0.要爬取的网站 1.下载单篇论文 2.获得所有论文的链接 完整代码 Python 批量下载SIGMOD, ...

  6. 教你怎么使用python批量下载图片

    教你怎么使用python批量下载图片 文章目录 教你怎么使用python批量下载图片 前言 一.运行环境 1. win10 2. python==3.7.2 二.需要用到的参数 1. download ...

  7. python批量下载模库网图片

    这里写自定义目录标题 python批量下载模库网图片 步骤: 代码 python批量下载模库网图片 步骤: 获取页数 获取列表页 获取图片链接和名字相关字典 创建存放图片的文件夹 下载图片 代码 im ...

  8. python怎么批量下载年报_使用Python批量下载Wind数据库中的PDF报告

    原标题:使用Python批量下载Wind数据库中的PDF报告 背景 最近小编出于工作需要,准备在Wind金融数据终端批量下载上市公司2019年第一季度业绩预告.通过相关的条件检索,发现其相关数据有近百 ...

  9. 使用Python批量下载哨兵一号(sentinel-1)的精密轨道数据(precise orbit data)

    使用Python批量下载哨兵一号(sentinel-1)的精密轨道数据 1. 安装Python及data_downloader包 2. 下载精密轨道数据与辅助数据 1. 安装Python及data_d ...

最新文章

  1. SpringSecurity安全验证中文乱码问题
  2. 移动端手势库Hammer.js学习
  3. 自适应xib比代码frame布局更优秀
  4. CSS------给字体添加边框时,边框大小无法改变问题
  5. Web高效管理多个项目的SVN仓库
  6. matlab实现脑电信号的相位同步分析,视听刺激脑电信号的相位同步分析
  7. 2022蓝骑士发展与保障报告
  8. Vue extend 学习
  9. RBAC权限模型库表设计
  10. python pyquery不规则数据的抓取_11. 数据提取-PyQuery
  11. 响应式编程、反应式编程的简易教程-超赞演讲
  12. 黑客帝国装逼的代码雨
  13. 运营天猫商城的注意事项
  14. svg的学习笔记《一》:如何使用svg sprite
  15. (C)输入一个字符串(串长不超过60),删除字符串中所有的空格符
  16. 帮我写一个无数爱心滑落的html
  17. one-hot和multi-hot编码
  18. 0428-团队项目2
  19. QQ在线图标 离线 QQ开通在线QQ服务 QQ陌生人直接聊天
  20. 如何最大效率压缩视频文件(ffmpeg)

热门文章

  1. Console方式下俩台思科路由器间局域网通信配置
  2. Python神经网络1之TensorFlow
  3. 这是一个三年前就应该开的博客
  4. qq气泡php接口,h5实现QQ聊天气泡的实例介绍
  5. oracle成功的原因,【案例】Oracle报错OUI-67076产生原因和MOS官方解决办法
  6. Java中动态加载字节码的方法 (持续补充)
  7. WIN10电脑中禁止软件/.exe文件联网
  8. 【docker】docker run的--rm选项详解
  9. 3d量测怎么学距离_3D游戏角色建模怎么学?
  10. 单细胞基因可视化之UMAP图修饰