python爬取欧美美女图片---xpath方法

这里爬取的是http://sc.chinaz.com/tag_tupian/OuMeiMeiNv.html网站
献上欧美美女！！！！

from lxml import etree
import urllib.request,os,timeclass OuMeiSpider(object):def __init__(self,start_page,end_page):self.start_page = start_pageself.end_page = end_pageself.first_url = 'http://sc.chinaz.com/tag_tupian/OuMeiMeiNv.html'self.url = 'http://sc.chinaz.com/tag_tupian/OuMeiMeiNv_{}.html'self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',}def get_request(self,page):#判断使得否为第一页if page == 1:url = self.first_urlelse:url = self.url.format(page)#构建请求对象request = urllib.request.Request(url=url,headers=self.headers)return requestdef parse_content(self,content):#生成tree对象tree = etree.HTML(content)#图片地址img_src_list = tree.xpath('//div[@id="container"]/div/div/a/img/@src2')# print(len(img_src))img_name_list = tree.xpath('//div[@id="container"]/div/div/a/img/@alt')#下载图片for img_src in img_src_list:filename = img_name_list[img_src_list.index(img_src)] + '.' + img_src.split('.')[-1]dirname = 'oumei'print("正在下载%s-----"%filename)filepath = os.path.join(dirname,filename)#写入图片urllib.request.urlretrieve(img_src,filepath)print("结束下载%s-----" % filename)time.sleep(2)def run(self):for page in range(self.start_page,self.end_page+1):#拼接地址request = self.get_request(page)#发送请求得到响应，并且将响应直接转化为内容content = urllib.request.urlopen(request).read().decode('utf8')#解析内容self.parse_content(content)def main():start_page = int(input("请输入起始页"))end_page = int(input("请输入终止页"))obj = OuMeiSpider(start_page,end_page)obj.run()if __name__ == '__main__':main()

python爬取欧美美女图片---xpath方法相关推荐

python爬取百度美女图片
首先用chrome浏览器打开百度图片官网,抓包发现url https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj& ...
python爬取网站美女图片
今天周五,项目刚刚上线完,有些时间,闲着无聊,继续复习爬虫,这次打算爬取网站的美女图片.得先找到目标,然后目标网站还不会反爬虫,因为自己只是小白,好了开始. 寻找目标,发现了目标,哈哈 http:// ...
利用Python爬取网页美女图片，哇太多了，我U盘装满了！
最近几天,研究了一下一直很好奇的爬虫算法.这里写一下最近几天的点点心得.下面进入正文: 你可能需要的工作环境: Python 3.9官网下载我们这里以sogou作为爬取的对象. 首先我们进入搜狗图片 ...
Python—爬取简历模板案例(Xpath方法)
源码: import requests import os from lxml import etreeif not os.path.exists('./简历模板'):os.mkdir('./简历模板 ...
使用Python爬虫爬取网络美女图片
代码地址如下: http://www.demodashi.com/demo/13500.html 准备工作安装python3.6 略安装requests库(用于请求静态页面) pip instal ...
python爬取网站美女图（附代码及教程）爬虫爬取海量手机壁纸，电脑壁纸，美女图片，风景图片等
想要练习爬虫的兄弟们,可以看看这个如果大神们看到有哪里可以改进的地方,请告诉小弟,我是个纯纯新手,练习了几次爬虫以前一直用的BeautifulSoup,一直没有接触过正则表达式正则表达式是一个非 ...
Python爬取自然风景图片代码
Python爬取自然风景图片代码 \qquad 需要用到python的etree库和requests库,需要提前下载安装. from lxml import etree import requests ...
python爬取贴吧图片_Python爬取贴吧多页图片
Python爬取贴吧图片都只能爬取第一页的,加了循环也不行,现在可以了. #coding:utf-8 import urllib import urllib2 import re import os ...
python爬取网站的图片
python爬取网站的图片本次爬取图片所需要用到的库:Requests库,BeautifulSoup库,正则表达式,os库. 思路:先爬一张图片,再爬一个网站的图片先爬一张图片: 首先要得到这张图 ...

python爬取欧美美女图片---xpath方法

python爬取欧美美女图片---xpath方法相关推荐

最新文章

热门文章