python 爬取 mm131 图片

#!/usr/bin/env python
#-*-conding:utf-8-*-import requests # 发送http请求
from bs4 import BeautifulSoup # 解析html
import lxml # 解析器 中文不乱码
import os #创建文件夹# 爬取 mm131 图片
start_url = "http://www.mm131.com/xinggan/"headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6788.400 QQBrowser/10.3.2864.400',
'Referer':start_url
}
path = 'C:/Users/Administrator/Desktop/tmp' #保存文件路径
folder = '/mm131/'# 下载图片
def download_img(img_url, path):img = requests.get(img_url,  headers=headers)name = path+'/'+img_url.split('/')[-1]with open(name, "ab") as f:f.write(img.content)# 1.获取html内容
ret_html = requests.get(url=start_url, headers=headers)# 2.解析html内容
soup = BeautifulSoup(ret_html.content, "lxml")# 查找标签
a_list = soup.find("div", attrs={"class":"main"}).find("dl",attrs={"class":"list-left public-box"}).find_all("a",  attrs={"target":"_blank"}, recursive=True)url_list = []
for i in a_list:url_list.append(i["href"])for i in url_list:headers['Referer'] = iret_html = requests.get(url=i, headers=headers)soup = BeautifulSoup(ret_html.content, "html.parser")title = soup.find("h5").text # 文件名page = soup.find("div",attrs={'class':'content-page'}).find_all('a')[-2].textimg_url = soup.find("div",attrs={'class':'content-pic'}).find("img")['src']if not os.path.isdir(path+folder+title):os.makedirs(path+folder+title)# 下载第一张图片headers['Referer'] = idownload_img(img_url, path+folder+title)for j in range(2,int(page)+1):img_url2 = img_url.split('1.jpg')[0]+str(j)+'.jpg'# 下载图片headers['Referer'] = i.split('.html')[0]+'_'+i+'.html'download_img(img_url2, path+folder+title)

python 爬取 mm131 图片相关推荐

使用Python爬取网页图片
使用Python爬取网页图片李晓文 21 天前近一段时间在学习如何使用Python进行网络爬虫,越来越觉得Python在处理爬虫问题是非常便捷的,那么接下来我就陆陆续续的将自己学习的爬虫知识分享给 ...
利用python爬取网页图片
学习python爬取网页图片的时候,可以通过这个工具去批量下载你想要的图片开始正题: 我从尤物网去爬取我喜欢的女神的写真照,我们这里主要用到的就两个模块 re和urllib模块,有的时候可能会用到t ...
python爬取美女图片的练习
python 爬取美女图片的练习主要使用 xpath 定位获取图片的链接本次练习使用到os库 ,lmxl库 , requests库 import requests from lxml impor ...
Python爬取bing图片
我之前写过一篇Python爬取百度图片,有兴趣的朋友可以去读一下,这次写的是爬取Bing的图片. 打开Bing图片,搜索关键词,开始分析页面,可以发现bing和百度一样都是下滑自动加载,百度默认一次加 ...
python爬取搜狗图片
python爬取搜狗图片 cond(`""" 对于动态加载的网站图片的获取,我们需要去分析js内容一定要让网页发生加载后去分析,分析network 里的XHR,可以看到需 ...
Python爬取网站图片并保存，超级简单
Python爬取网站图片并保存,超级简单先看看结果吧,去bilibili上拿到的图片=-= 第一步,导入模块 import requests from bs4 import BeautifulSou ...
Python爬取网页图片至本地
Python爬取网页图片至本地爬取网页上的图片至本地参考代码如下: # -*- codeing = utf-8 -*- import requests import rephotos = [] h ...
Python爬取网站图片数据
Python爬取网站图片数据找到需要爬取的网站地址模拟网站http请求根据调试模式获取的了解读取到真实的地址url,读取请求头数据和参数信息,模拟http请求调用 import requests ...
如何使用python爬取百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...

python 爬取 mm131 图片

python 爬取 mm131 图片相关推荐

最新文章

热门文章