python妹子图爬虫5千张高清大图突破防盗链
代码思路/程序流程:
我通过观察发现meizitu网站的分布结构虽然找不到切入口但是其结构每一个页面都会展示一个main-image主图,并且页面下面都会有 推荐 这个板块,所以就i昂到了利用从 一个页面当作入口,利用beautifulsoup或者pyquery分析HTML页面提取出推荐的其他页面,添加到循环访问队列,整体程序最外蹭利用while循环控制结构,循环不重复地遍历队列里面的url页面,每个页面都只保存一个作为展示的主图这样就循环下去程序不停歇地运行也可以放到服务器上面爬取,顺便上传到网盘分享给广大--你懂的
Python学习群:835017344,有大牛答疑,有资源共享!是一个非常不错的交流基地!欢迎喜欢Python的小伙伴!
下面是功能以及效果展示
整体展示
爬取效果展示-丰功伟绩
image
爬取效果展示-硕果累累
image
定制请求头
image
代码展示
python源代码如下
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
# 定制请求头
headers = {'Referer':'https://www.mzitu.com','User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3679.0 Safari/537.36'}
path = 'R:/python123全国等考/meizitu/'
meizi_url = []
meizitu_img = []
start_url = 'https://www.mzitu.com/177007'
meizi_url.append(start_url)
r = requests.get(start_url)
soup = BeautifulSoup(r.text)
main_img = soup.find('div', 'main-image').img.get('src')
meizitu_img.append(main_img)
guess_like = soup.find('dl', 'widgets_like').find_all('a')
for a in guess_like:meizi_url.append(a.get('href'))
# 删除起始引导url
# del meizi_url[0]
# print(meizi_url)
# print(meizitu_img)
with open("R:/python123全国等考/meizitu/meizi-main-jpg.txt", "w") as fo:x = 1y = 1for node_url in meizi_url:r = requests.get(node_url)soup = BeautifulSoup(r.text)main_img = soup.find('div', 'main-image').img.get('src')# 添加到文件日志并下载主图if main_img not in meizitu_img:x += 1meizitu_img.append(main_img)# 写入日志fo.write(main_img+'\n')# 下载主图res = requests.get(main_img, headers=headers)if res.status_code == 200:with open(path+str(x)+'-'+str(y)+'.jpg', 'wb') as f:f.write(res.content)print('成功保存图片') # 猜你喜欢,跳转其他页面guess_like = soup.find('dl', 'widgets_like').find_all('a')for a in guess_like:like = a.get('href')# 添加推荐页面if like not in meizi_url:y += 1meizi_url.append(like)
python妹子图爬虫5千张高清大图突破防盗链相关推荐
- python妹子图爬虫5千张高清大图突破防盗链福利5千张福利高清大图
meizitu-spider python通用爬虫-绕过防盗链爬取妹子图 这是一只小巧方便,强大的爬虫,由python编写 所需的库有 requests BeautifulSoup os lxml 伪 ...
- python爬虫 批量下载高清大图
文章目录 前言 下载免费高清大图 下载带水印的精选图 代码与总结 前言 在上一篇写文章没高质量配图?python爬虫绕过限制一键搜索下载图虫创意图片!中,我们在未登录的情况下实现了图虫创意无水印高清小 ...
- 第二弹!python爬虫批量下载高清大图
文章目录 前言 下载免费高清大图 下载带水印的精选图 代码与总结 前言 在上一篇写文章没高质量配图?python爬虫绕过限制一键搜索下载图虫创意图片!中,我们在未登录的情况下实现了图虫创意无水印高清小 ...
- python爬取“唯一图库->美图“前11页高清大图代码
请复制粘贴的小伙伴注意,如果该程序被执行不主动停止的话,将会在你的电脑 D:/图片及视频/图片/爬虫 目录中一直自动创建分类文件夹并自动下载图片直到程序循环结束. 运行条件:需要在pycharm中安装 ...
- python爬虫批量下载高清大图
推荐原来的博主文章https://blog.csdn.net/qq_40693171/article/details/102220448
- Python爬取豆瓣裤袜视界高清大图
文章目录 前言 第一步:整合URL 第二步:过滤URL 第三步:批量下载图片 完整代码 前言 今天刚好有个朋友托我写一个脚本,需求是爬取他刚看的一部动漫的剧照,于是我就开始着手满足他这个需求哈哈哈~因 ...
- python爬虫王者荣耀高清皮肤大图背景故事通用爬虫
wzry-spider python通用爬虫-通用爬虫爬取静态网页,面向小白 基本上纯python语法切片索引,少用到第三方爬虫网络库 这是一只小巧方便,强大的爬虫,由python编写 主要实现了: ...
- 爬虫案例:利用python爬虫关键词批量下载高清大图
环境: python3+pycharm+requests+re+BeatifulSoup+json 这个确实也属实有一些勉强,不少童鞋私信问我有木有 下载大图 的源码,我说可能会有,现在分享给大家. ...
- 利用python爬虫关键词批量下载高清大图!
前言 在上一篇 写文章没高质量配图?python爬虫绕过限制一键搜索下载图虫创意图片 !中,我们在未登录的情况下实现了图虫创意 无水印高清小图 的批量下载.虽然小图能够在一些移动端可能展示的还行,但是 ...
最新文章
- FPGA block RAM和distributed RAM区别(以及xilinx 7系列CLB资源)
- 数字图像处理实验(7):PROJECT 04-03 , Lowpass Filtering
- 如何在10亿个整数中找出前1000个最大的数(TopN算法)
- 上传文件漏洞防御手段
- java如何解析word大纲_Java POI 解析word文档
- ipv6 ripng配置
- 防御DDoS 攻击的方法
- Element-ui中table使用row-class-name无效的锅
- 学习Java编程语言难不难
- 计算机去掉word2007,研习office 2007兼容包怎么卸载
- NginxWebUI - 图形化的 Nginx 配置管理工具
- 微信机器人之PC微信hook
- win10如何开启自带虚拟机
- 薅羊毛赚钱,也可操作
- 优思学院|六西格玛管理的经典六步法
- xmind做会议记录的方法
- 夯实基础—java关键字
- 2021年金融机构贷款投向统计报告
- 基于Zedboard的PetaLinux
- 「镁客早报」NASA成立寻找外星人研究小组;CBInsights公布全球32家AI独角兽名单...