爬取并下载国家地理杂志官网8月份照片

刚看完urlretrieve函数，想要实战一下它的效果，于是找了国家地理杂志中国官网爬一下，网站http://www.nationalgeographic.com.cn/

开发环境是Python2.7&&Pycharm

图片的src是这样的：

我们用正则&&BeautifulSoup匹配它的标签img的src属性，得到了下面代码中的正则匹配，我在Pycharm中建立了photo文件夹，来存放下载的图片。

代码如下：

# encoding: utf-8import urllib
from bs4 import BeautifulSoup
import redef graph(url):page = urllib.urlopen(url).read()soup = BeautifulSoup(page, 'html.parser', from_encoding='utf-8')result = soup.find_all('img', src=re.compile(r'http://image.nationalgeographic.com.cn/2017/08\d{2}/201708\d{11}.jpg'))return resultif __name__ == '__main__':url = 'http://www.nationalgeographic.com.cn/'result = graph(url)count = 0for photo in result:count = count+1urllib.urlretrieve(photo['src'], 'photo/%s.jpg'%count)print '下载完成总共%d张照片'%count

最后的效果：

美国8.21的大日食照片

爬取并下载国家地理杂志官网8月份照片相关推荐

正则表达式爬取贵州财经大学-信息学院官网
在学习完正则表达式.常用网络数据爬取模块.正则表达式爬取数据常见方法等内容之后,我将操作一个简单的正则表达式爬取网站的实例.这里我以爬取贵州财经大学-信息学院官网作为实战操作, 网址"htt ...
利用aiowebsocket库爬取websocket实例：莱特币官网
转载自公众号:FightingCoder 一.前言作为一名爬虫工程师,在工作中常常会遇到爬取实时数据的需求,比如体育赛事实时数据.股市实时数据或币圈实时变化的数据.如下图: image image ...
python爬取云顶之弈官网排名数据
因为宿舍想搞个云顶之弈排名,我并没有找到腾讯官方查询战绩的网站,所以决定对云顶官网的排行榜下手,云顶官网的数据排行网页(下链接)对排名的显示是一个可以滑动的divbox https://lol.qq ...
python代码示例下载-python爬取音频下载的示例代码
抓取"xmly"鬼故事音频 import json # 在这个url,音频链接为JSON动态生成,所以用到了json模块 import requests headers = { & ...
Java爬取并下载酷狗音乐
本文方法及代码仅供学习,仅供学习. 案例: 下载酷狗TOP500歌曲,代码用到的代码库包含:Jsoup.HttpClient.fastJson等. 正文: 1.分析是否可以获取到TOP500歌单打开 ...
Python爬取De下载站相关代码
Python爬取De下载站相关代码,因为没有设置代理,所以爬到800页左右就被干掉了,后续要加上 import urllib.request import bs4 import re import t ...
python爬虫公众号音频源代码_python爬取音频下载的示例代码
抓取"xmly"鬼故事音频 import json # 在这个url,音频链接为JSON动态生成,所以用到了json模块 import requests headers = { & ...
python实战-HTML形式爬虫-批量爬取电影下载链接
文章目录一.前言二.思路 1.网站返回内容 2.url分页结构 3.子页面访问形式 4.多种下载链接判断三.具体代码的实现四.总结一.前言喜欢看片的小伙伴,肯定想打造属于自己的私人影院 ...
一键ghost【onekey ghost】最新版本下载,一键ghost官网
一键ghost[onekey ghost]最新版本下载,一键ghost官网一键ghost[onekey ghost]最新版本下载,一键ghost官网 posted on 2013-11-09 23: ...

爬取并下载国家地理杂志官网8月份照片

刚看完urlretrieve函数，想要实战一下它的效果，于是找了国家地理杂志中国官网爬一下，网站http://www.nationalgeographic.com.cn/

爬取并下载国家地理杂志官网8月份照片相关推荐

最新文章

热门文章