python爬取天堂网图片有毒蘑菇(完善版)

直接上代码

import requests
from bs4 import BeautifulSoup
import urllib
import urllib.requestdef cbk(a, b, c):'''''回调函数@a:已经下载的数据块@b:数据块的大小@c:远程文件的大小'''per = 100.0 * a * b / cif per > 100:per = 100print('%.2f%%' % per)print(" ")url = 'https://www.ivsky.com/tupian/dumogu_t28446/'  # 取一个图片目录  有毒蘑菇
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3427.400 QQBrowser/9.6.12513.400','Referer': 'http://www.ivsky.com/tupian/qita/index_11.html'}
html = requests.get(url, headers=headers, timeout=800)  # 获取网页内容soup = BeautifulSoup(html.text, 'html.parser')def spidertupian():for i in range(1, 11):link = url + '/index_' + str(i) + '.html'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3427.400 QQBrowser/9.6.12513.400','Referer': 'http://www.ivsky.com/tupian/qita/index_11.html'}html = requests.get(link, headers=headers)mess = BeautifulSoup(html.text, 'html.parser')# 查找标签为'ul', class属性为'pli'的标签元素，因为class是python的关键字，所以这里需要加个下划线'_'for page in mess.find_all('ul', class_='pli'):x = 0for img in page.find_all('img'):  # 文件夹的url# print(img)imgurl = img.get('src')  # 获取src字段save_path = "E:/the_data/mogo/" + str(i) + "_" + str(x) + ".jpg"  # 拼接图片保存路径imghttp = 'https:' + imgurl  # 拼按图片的url路径urllib.request.urlretrieve(imghttp, save_path, cbk)x = x + 1if __name__ == '__main__':spidertupian()

效果展示：

补充：
1：headers

2：x = x + 1
3：寻找需要爬的对象
比如植物花蕊(爬完有毒蘑菇打开开发者工具有些信息就变了，所以以植物花蕊为例找吧)

欢迎来玩爬虫哦

python爬取天堂网图片有毒蘑菇(完善版)相关推荐

超详细解析python爬取外网图片
废话不多说直接上货 from bs4 import BeautifulSoup #网页解析库 import requests #网页请求库 import json #json数据解析库 import ...
【python实现网络爬虫（13）】python爬取全景网图片
目标网址:全景网山水壁纸,页面如下 1. 网页分析还是和之前爬取文字信息一致,需要进行网页信息的解析,获得图片数据所在的地址,然后进行图片的下载分析网页后发现所需要的图片的url在[a.item. ...
python 批量下载网页图片_手把手教你爬取天堂网1920*1080大图片（批量下载）——实战篇|python基础教程|python入门|python教程...
https://www.xin3721.com/eschool/pythonxin3721/ /1 前言/ 上篇文章手把手教你爬取天堂网1920*1080大图片(批量下载)--理论篇我们谈及了天堂网 ...
python从键盘上输入五个数字打一成语_Python快速爬取车标网图片，以后不要说这什么车你不认识了！...
知识不分边界...... 人,为什么要读书?举个例子: 当看到天边飞鸟,你会说:"落霞与孤鹜齐飞,秋水共长天一色."而不是:"卧靠,好多鸟."; 当你失恋时你低 ...
Python爬取小姐姐图片
使用Python爬取小姐姐图片首先上网站链接唯美女生爬取图片主要分为一下几步: 1.打开一个你喜欢的小姐姐的网站 E.g xiaojiejie web 2.下载并安装python环境 pytho ...
python爬取贴吧图片_Python爬取贴吧多页图片
Python爬取贴吧图片都只能爬取第一页的,加了循环也不行,现在可以了. #coding:utf-8 import urllib import urllib2 import re import os ...
python爬取东方财富网资金流向数据（在本地生成csv文件）
今天我们来试着用python爬取东方财富网资金流向的表格数据. 第一步:程序及应用的准备首先我们需要安装selenium库,使用命令pip install selenium;然后我们需要下载对应的c ...
利用python爬取东方财富网股吧评论并进行情感分析（一）
利用python爬取东方财富网股吧评论(一) python-东方财富网贴吧文本数据爬取分享一下写论文时爬数据用到的代码,有什么问题或者改善的建议的话小伙伴们一起评论区讨论.涉及内容在前人的研究基础之 ...
Python爬取自然风景图片代码
Python爬取自然风景图片代码 \qquad 需要用到python的etree库和requests库,需要提前下载安装. from lxml import etree import requests ...

python爬取天堂网图片有毒蘑菇(完善版)

python爬取天堂网图片有毒蘑菇(完善版)相关推荐

最新文章

热门文章