爬虫爬取煎蛋网美女图片

第一次真正的完成了一个爬虫，爬的是煎蛋网图片，望大神指点

爬取的时候只需要设置PAGE参数就可以来，爬取的总页数会比设置的页数多一页

# @Time    : 2020-07-20
# @Author  : 黎先生
# @FileName: jandan.py
# @Blog    ：https://blog.csdn.net/q79815321import requests
from bs4 import BeautifulSoup
import re#正则表达式匹配图片
FIND_IMG = re.compile(r'src="//(.*?)"')#爬取页数
PAGE = 0#初始首页
URL = "http://i.jandan.net/ooxx"#请求头
HEADERS = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36","Connection":"keep-alive",}#下载图片
def Get_Img(URL):#发送请求response = requests.get(URL,headers=HEADERS)bs = BeautifulSoup(response.text,"html.parser")#用BeautifulSoup对象查找图片标签data_list = bs.find_all("img",referrerpolicy="no-referrer")#循环写入图片for i in data_list:#用正则匹配图片urlimg = re.findall(FIND_IMG,str(i))#写入图片with open("./pic/{}".format(img[0][-10:]),'wb') as f:#打开图片链接response = requests.get(url="http://" + img[0],headers=HEADERS)#写入f.write(response.content)#得到下一页的链接
def Get_Next_Url(URL):response = requests.get(URL,headers=HEADERS)bs = BeautifulSoup(response.text,"html.parser")#用BeautifulSoup查找下一页的标签html = bs.find_all('a',class_="previous-comment-page")#正则匹配下一页链接next_url = re.findall(r'href="//(.*?)#comments',str(html[0]))#返回链接return "http://" + next_url[0]if __name__ == "__main__":#爬取起始页得图片Get_Img(URL)#循环爬取for i in range(PAGE):#得到下一页的链接URL = Get_Next_Url(URL)#传入下一页得链接并开始爬取Get_Img(URL)

爬虫爬取煎蛋网美女图片相关推荐

python爬虫图片实例-Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
python爬图代码实例_Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
python 爬虫爬取煎蛋网妹子图，我1T的硬盘装满了！
前言大家好,这里是「brucepk」爬虫系列教程.此系列教程以实例项目为材料进行分析,从项目中学习 python 爬虫,跟着我一起学习,每天进步一点点. 煎蛋网站 image 很多朋友都反应学 p ...
python3网络爬虫：爬取煎蛋网美女照片
1.1 前言今天开学不久,课也不多,就想着来做个爬虫,看着好多老司机喜欢看美女图片,想做个爬去煎蛋网的小爬虫.哈哈,下面开车了,各位,上车记得滴卡参考: http://blog.csdn.net/ ...
python学习之爬取煎蛋网美女图
用到库 os ,requests, base64 os简单介绍:点这里 requests介绍:点这里 base64介绍:点这里其中 requests和 base64属于第三方库,需要自己安装 pip ...
Python Scrapy 爬取煎蛋网妹子图实例（一）
前面介绍了爬虫框架的一个实例,那个比较简单,这里在介绍一个实例爬取煎蛋网妹子图,遗憾的是上周煎蛋网还有妹子图了,但是这周妹子图变成了随手拍, 不过没关系,我们爬图的目的是为了加强实战应用,管 ...
selenium爬取煎蛋网
selenium爬取煎蛋网直接上代码 from selenium import webdriver from selenium.webdriver.support.ui import WebDriv ...
利用Selenium爬取煎蛋网妹纸图原来是这么简单！！！
上期说到,下期更新爬取煎蛋网妹纸的selenium版本,它来了!!! 获取页面url信息获取图片url信息永久性保存图片注释: 想要获取GeckoDriver安装包的小伙伴,可以给博主留言或者搜 ...
python爬取煎蛋网妹子图
看了小甲鱼的python教学视频,爬取煎蛋网妹子图的代码已经不适用了,网上其它人的代码多有报错,本萌新结合其他人的方法,终于写出一个可行的,在此分享_(:з)∠)_(运行非常慢就是了) import ...

爬虫爬取煎蛋网美女图片

爬虫爬取煎蛋网美女图片相关推荐

最新文章

热门文章