本教程使用Chrome

最近看到了个网站:https://sc.chinaz.com/tubiao/
上面有1万多个图标
所以点一波鼠标图标(也可以换成别的):

URL:

https://sc.chinaz.com/tag_tubiao/DianNao.html

开F12:

可以看到class为pngblock pks imgload的ul存放了这堆超链接:

找到超链接,在li标签下的span里:

右键 Open in a new tab
URL:

https://sc.chinaz.com/tubiao/201021283110.htm

点一下每个图片上的ICO:

我直呼好家伙……

开F12,找到ICO,是个class为ico_b的a标签:

写代码

安装第三方库:

pip install requests
pip install beautifulsoup4

python代码:

import os
import requests
from bs4 import BeautifulSoup
def download_icons_from_chinaz(url, save_path='images', headers=None,encoding='utf-8', parser='html.parser',ul_class_name='pngblock pks imgload',max_download=30):if not os.path.isdir(save_path):os.mkdir(save_path)if headers is None:headers = {'User-Agent': ('Mozilla/5.0 (Windows NT 6.2; WOW64) ''AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/30.0.1599.17 Safari/537.36')}  # 伪装请求头response = requests.get(url, headers=headers)response.encoding = encodingsoup = BeautifulSoup(response.text, parser)  # beautifulsoup解析ul = soup.find('ul', attrs={'class': ul_class_name})lis = ul.find_all('li')urls = []for li in lis:span = li.find('span')a = span.find('a')href = a['href']  # 获取每个页面的urlurls.append(href)images = []for url in urls:url = 'https:' + url  # 由获取到的url是“//”开头的，加上“https:”response = requests.get(url, headers=headers)  # requests请求response.encoding = encodingsoup = BeautifulSoup(response.text, parser)  # beautifulsoup解析div = soup.find('div', attrs={'class': 'down_img'})icons = div.find_all('a', attrs={'class': 'ico_b'})for a in icons:href = a['href']images.append(href)n = 0for im in images:print('█', flush=True, end='')  # 显示进度条n += 1if n > max_download:breakpath = os.path.join(save_path, f'{n}.ico')response = requests.get(im, headers=headers)with open(path, 'wb') as fp:fp.write(response.content)

参数	意义	类型
url	类似我的https://sc.chinaz.com/tag_tubiao/DianNao.html	str
save_path	图片保存的文件夹	str
headers	自定义请求头	dict
encoding	网页编码	str
parser	beautifulsoup解析器	str
ul_class_name	存放a标签的ul的class	str
max_download	最大下载数量	int

注意:连续爬图片可能请求频繁,加个time.sleep就好了

nice!

python 爬虫下载ico相关推荐

python 爬虫下载网易歌单歌曲
python 爬虫下载网易歌单歌曲可以根据歌单 id 来下载歌单中的所有音乐,付费音乐除外可以自己输入歌单 id 来进行单个歌单下载,也可以结合上一篇文章爬取网易云音乐所有歌单信息先取到所有的 ...
Python爬虫——下载音乐
Python爬虫--下载音乐 1.调用需要库安装库: Windows + R 输入cmd 后执行下面这两行 pip install requests -i https://pypi.tuna.ts ...
python爬虫下载视频网站视频
python爬虫下载视频网站视频 xpath解析页面源码 requests.Session() 解决 status_code 302 网页重定向 selenium 获取网页遇到 iframe 标签解 ...
python爬虫下载王者荣耀图片
python爬虫下载王者荣耀图片腾讯课堂白嫖的一堂课,大佬勿喷. import requests import jsondata = requests.get('http://pvp.qq.com/ ...
Python爬虫下载王者荣耀全皮肤
python爬虫下载王者荣耀全皮肤 import requests import os from time import timestart = time() headers = {'User-Age ...
Python爬虫——下载PPT模板
Python爬虫--下载PPT模板 1.调用需要库安装库: Windows + R 输入cmd 后执行下面这两行 pip install requests pip install lxml imp ...
python爬虫下载影视网站的电影
python爬虫下载影视网站的电影我这边选取了vip网站 F12打开调试抓包模式搜索影片的名称, 观察看看给那个url地址发送了请求, 我看到了这个请求需要携带发送数据而这个数据就是我们要的影 ...
利用Python爬虫下载王者荣耀教学视频
前言: 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道如何去学习更加高深的知识. 那么针对这三类人,我给 ...
python爬虫下载-python爬虫之下载文件的方式总结以及程序实例
python爬虫之下载文件的方式以及下载实例目录第一种方法:urlretrieve方法下载第二种方法:request download 第三种方法:视频文件.大型文件下载实战演示第一种方法: ...

python 爬虫下载ico

本教程使用Chrome

写代码

python 爬虫下载ico相关推荐

最新文章

热门文章