最近在自学python,尝试一下它的爬虫功能。于是脑袋一热就像把网页上的推背图的图片都爬下来放一个文件夹里。于是就有了下面的代码。

注：本教程只做学习交流使用，下载的图片只是本地查看，未做他用，如有侵权，还请站长私信我，我会删除本篇博客。

1.找到需要爬取的网页

百度“推背图”，在搜索结果里有一个推背图图片的网站，果断点击。个人理解，所谓的爬虫，就是先找到目标网站的入口，然后根据规律爬取想要的内容。网页的网址如为：http://www.tuibt.com/

2.发现爬取内容的规律

点击每一个卦象的内容，发现地址是按顺序增长的，所以就好办了。

for num in range(1, 61):#请求网页pageTuibei = requests.get("http://www.tuibt.com/tuibeitu/" + str(num) + ".html", proxies=proxy_dict)

3.截取需要的内容

根据返回的页面数据，找到我们需要的内容，这里我需要一个图片的地址和图片名称，直接解析即可（因为逻辑简单，直接按字符串截取）

 #页面源码里的编码是gb2312,若不指定，中文会出现乱码pageTuibei.encoding = "gb2312"#获取页面的源码mainStr = pageTuibei.text#截取我们需要的信息的部分mainStr = mainStr[mainStr.find("<P align=center><IMG height="):]mainStr = mainStr[:mainStr.find("<BR>")]#截取出图片路径imgSource = mainStr[mainStr.find("\"")+1:mainStr.find("\" width")]#截取出图片名称imgName = mainStr[mainStr.find("alt=")+4:mainStr.find(" src")]

4.下载到本地

剩下的事就是将图片下载到本地了。直接将源码都附上吧，我用的是公司的网，所以要使用到代理，正常的网络是不需要配置的

import requests
proxy_dict = {"http": "http://*****:*****@proxy.*****.com:8080/","https": "http://*****:*****@proxy.*****.com:8080/"
}
#推背图共60张，所以循环60次
for num in range(1, 61):#请求网页pageTuibei = requests.get("http://www.tuibt.com/tuibeitu/" + str(num) + ".html", proxies=proxy_dict)#页面源码里的编码是gb2312,若不指定，中文会出现乱码pageTuibei.encoding = "gb2312"#获取页面的源码mainStr = pageTuibei.text#截取我们需要的信息的部分mainStr = mainStr[mainStr.find("<P align=center><IMG height="):]mainStr = mainStr[:mainStr.find("<BR>")]#截取出图片路径imgSource = mainStr[mainStr.find("\"")+1:mainStr.find("\" width")]#截取出图片名称imgName = mainStr[mainStr.find("alt=")+4:mainStr.find(" src")]# 读取图片imgByte = requests.get(imgSource,proxies=proxy_dict)# 将图片写入文件夹内with open("tbt/"+imgName+".jpg", "wb") as file:print("下载图片"+imgName)file.write(imgByte.content)

整个功能写完，算上注释都没到30行，我发现我有点喜欢上这个东西了。

5.发个效果图

python爬取推背图图片相关推荐

使用Python爬取网页图片
使用Python爬取网页图片李晓文 21 天前近一段时间在学习如何使用Python进行网络爬虫,越来越觉得Python在处理爬虫问题是非常便捷的,那么接下来我就陆陆续续的将自己学习的爬虫知识分享给 ...
利用python爬取网页图片
学习python爬取网页图片的时候,可以通过这个工具去批量下载你想要的图片开始正题: 我从尤物网去爬取我喜欢的女神的写真照,我们这里主要用到的就两个模块 re和urllib模块,有的时候可能会用到t ...
python爬取美女图片的练习
python 爬取美女图片的练习主要使用 xpath 定位获取图片的链接本次练习使用到os库 ,lmxl库 , requests库 import requests from lxml impor ...
Python爬取bing图片
我之前写过一篇Python爬取百度图片,有兴趣的朋友可以去读一下,这次写的是爬取Bing的图片. 打开Bing图片,搜索关键词,开始分析页面,可以发现bing和百度一样都是下滑自动加载,百度默认一次加 ...
python爬取搜狗图片
python爬取搜狗图片 cond(`""" 对于动态加载的网站图片的获取,我们需要去分析js内容一定要让网页发生加载后去分析,分析network 里的XHR,可以看到需 ...
Python爬取网站图片并保存，超级简单
Python爬取网站图片并保存,超级简单先看看结果吧,去bilibili上拿到的图片=-= 第一步,导入模块 import requests from bs4 import BeautifulSou ...
Python爬取网页图片至本地
Python爬取网页图片至本地爬取网页上的图片至本地参考代码如下: # -*- codeing = utf-8 -*- import requests import rephotos = [] h ...
Python爬取网站图片数据
Python爬取网站图片数据找到需要爬取的网站地址模拟网站http请求根据调试模式获取的了解读取到真实的地址url,读取请求头数据和参数信息,模拟http请求调用 import requests ...
如何使用python爬取百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...

python爬取推背图图片