一．絮叨

1.接上

自己挖的坑，自己填。上一篇python3APP爬虫–爬取王者荣耀英雄图片（附源码）爬取了王者荣耀英雄图片，数据量有些少，是不是不过瘾？这篇带您使用线程池爬取王者荣耀小姐姐cosplay照片，依然是APP爬虫。
准备工作和思路和上一篇大致相同，由于图片数据量大，加入了线程池，提高下载效率。

2.启下

本次要爬取王者荣耀盒子APP-辅助-精彩合集中所有图片，并且实现分类存储。

二．代码

import json
import requests
import os
from concurrent.futures import ThreadPoolExecutorclass Wzry_Cosplay_Spider(object):def __init__(self):self.base_dir='./wzry_cosplay_pics/'self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'}def get_pics(self):n=1while True:url=f'http://gamehelper.gm825.com/wzry/gallery/list?pn={n}'try:r=requests.get(url,headers=self.headers)json_data=json.loads(r.text)pics_list=json_data.get('list')if len(pics_list)!=0:for pic in pics_list:pic_title=pic.get('title')pic_imgs=pic.get('thumb_img')yield pic_title,pic_imgselse:breakn+=1except:passdef download_pics(self,dirname,imgs):path=self.base_dir+dirnametry:os.makedirs(path)except:passfor img in imgs:filename=img.split('/')[-1]r=requests.get(img,headers=self.headers)with open(path+'/'+filename,'wb')as f:f.write(r.content)print(f'----------------------------\033[31;44m下载{filename}\033[0m成功----------------------------')print(f"----------------------------\033[35;46m[{dirname}]\033[0m下载完成----------------------------")def main():#使用线程池，创建四个线程pool=ThreadPoolExecutor(max_workers=4)wzry_cosplay_spider=Wzry_Cosplay_Spider()for pic_title,pic_imgs in wzry_cosplay_spider.get_pics():pool.submit(wzry_cosplay_spider.download_pics,pic_title,pic_imgs)pool.shutdown()if __name__ == '__main__':main()

在代码中使用了线程池，创建了四个线程，您需量力而行。
控制台一直在输出数据。

三．查看数据

好多小姐姐cosplay图片，都分别存储到了对应的文件夹中，至于您做什么，我就无权多问了。

四．总结

本次爬取了王者荣耀盒子的所有cosplay图片，数据量相比上一篇
有明显的增加，因此加入了线程池，创建了四条线程，并行地执行任务，大大提高了下载效率。思路、代码方面有什么不足欢迎各位大佬指正、批评！

python3APP爬虫--爬取王者荣耀小姐姐cosplay照片（附源码）相关推荐

python爬虫爬取王者荣耀官网全部英雄头像(源码分享)
这篇文章为源码分享,爬虫的分析过程请阅读文章 <用python爬取王者荣耀官网的英雄皮肤海报(含源码)> 源码 import requests import json from bs4 i ...
python爬虫爬取王者荣耀官网全部装备图片(源码分享)
这篇文章为源码分享,爬虫的分析过程请阅读文章 <用python爬取王者荣耀官网的英雄皮肤海报(含源码)> 源码 import requests from bs4 import Beauti ...
python3APP爬虫--爬取王者荣耀英雄图片（附源码）
文章目录一．准备工作 1．工具二．思路 1．整体思路 2．爬虫思路三．获取数据 1.抓包 2.分析json 四．撰写爬虫五．得到数据六．总结之前有写过抖音app用户信息爬虫,因为当时是第一 ...
用python爬小说_今天分享一个用Python来爬取小说的小脚本！（附源码）
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章天气预报数据分析与统计之美 ,作者:❦大头雪糕❦ Python GUI制作小说下载器教学讲 ...
python爬取天气预报数据并保存为txt格式_今天分享一个用Python来爬取小说的小脚本！（附源码）...
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章天气预报数据分析与统计之美 ,作者:❦大头雪糕❦ Python GUI制作小说下载器教学讲 ...
今天分享一个用Python来爬取小说的小脚本！（附源码）
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章来源于大邓和他的Python ,作者:大邓 Python爬取知乎数据案例讲解视频 http ...
Java爬虫 --- 爬取王者荣耀英雄图片
Java爬虫 - 爬取王者荣耀英雄图片 import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.nodes.Docu ...
Python爬虫 | 爬取高质量小姐姐照片
Python爬虫 | 爬取高质量小姐姐照片 1.数据来源分析 2.获取author_id_list和img_id 3.制作detial 4.制作detial_list 5.数据保存 6.批量获取 7. ...
Python爬虫爬取王者荣耀英雄人物高清图片
Python爬虫爬取王者荣耀英雄人物高清图片实现效果: 网页分析从第一个网页中,获取每个英雄头像点击后进入的新网页地址,即a标签的 href 属性值: 划线部分的网址是需要拼接的在每个英雄的具体 ...

python3APP爬虫--爬取王者荣耀小姐姐cosplay照片（附源码）

文章目录