爬虫-图像批量下载实战

通过新东方网站下载教师头像

import requests
from bs4 import BeautifulSoup
import os# 通过图片网页地址，写入到本地
def get_image(url,fn):resp =requests.get(url)with open('头像\{}.png'.format(fn),'wb') as f:f.write(resp.content)   # 图片要要通过二进制格式写入# 获取网页、网页解析
def loan_image(url):while True:r = requests.get(url)soup = BeautifulSoup(r.text)for jj in soup.select('dl[class="clearfix"]'):for dt in jj.find_all('dt'):img_ad = dt.img.attrs['src']name = dt.h3.a.stringfor dd in jj.select('p[class="ppl2 clearfix"]'):class_name = dd.em.stringget_image(img_ad,name+'-'+class_name)   # 此处用到前一个函数if soup.find_all('a',class_='end'):         # []空列表表示False,非空表示Trueurl = url+soup.find_all('a',class_='end')[0].attrs['href']else:break# 通过新东方太原地区网站下载教师头像
url = 'https://laoshi.xdf.cn/21/category?part=190&p=1'
os.chdir(r'C:\Users\99452\Desktop')
loan_image(url)

- 上面代码写的过程中遇到的情况注意一下：

# 下面两段代码返回的内容不一致：
# 这个就仅仅返回dl标签中class属性为'clearfix'的标签
for jj in soup.select('dl[class="clearfix"]'):print(jj)  # 如下不仅返回dl标签中class属性为'clearfix',还返回了class属性为'clearfix sx'的等,属于多值属性，不知道用find什么方法可以解决for jj in soup.find_all('d1',class_="clearfix"):print(jj)

参考
1、CDA课程
2、新了解的知识点：if/while语句中的True/False

爬虫-图像批量下载实战相关推荐

2021-03-10 Python多线程爬虫快速批量下载图片
Python多线程爬虫快速批量下载图片 1.完成这个需要导入的模块 urllib,random,queue(队列),threading,time,os,json 第三方模块的安装键盘win+R,输入 ...
python爬虫实现批量下载百度图片
今天和小伙伴们合作一个小项目,需要用到景点图片作为数据源,在百度上搜索了一些图片,感觉一个一个手动保存太过麻烦,于是想到用爬虫来下载图片. 本次代码用到了下列一些python模块,需要预先安装Beau ...
python爬虫+ffmpeg批量下载ts文件，解密合并成mp4
标题 python爬虫+ffmpeg批量下载ts文件,解密合并成mp4 文章目录标题前言一.分析目标二.寻找url规律三.写代码总结前言 (第一次写博客,写的不好请见谅哈~~) 目标是大 ...
爬虫案例：利用python爬虫关键词批量下载高清大图
环境: python3+pycharm+requests+re+BeatifulSoup+json 这个确实也属实有一些勉强,不少童鞋私信问我有木有下载大图的源码,我说可能会有,现在分享给大家. ...
【爬虫】批量下载B站收藏夹视频 - Python
批量下载B站收藏夹视频起因开发过程环境需求 B站API介绍收藏夹基本信息收藏夹中各个视频的AV号收藏夹中各个视频的BV号最终代码起因不知道大家在浏览自己的B站收藏夹的时候,有没有遇到 ...
微信公众平台接口调试工具json格式不对怎么搞_一步步教你打造微信公众号文章爬虫(3)-批量下载...
本文为本专题第3篇,如果你基础不错的话只看这一篇的讲解及源代码应该就能轻松实现批量下载所有文章了,基础稍差的可以先看一下前两篇,只要你有点基础,有点耐心,八成朋友都至少能照葫芦画瓢实现批量下载文章的功 ...
爬虫python创意_爬虫案例：利用python爬虫关键词批量下载高清大图
环境: python3+pycharm+requests+re+BeatifulSoup+json 这个确实也属实有一些勉强,不少童鞋私信问我有木有下载大图的源码,我说可能会有,现在分享给大家. ...
利用python爬虫关键词批量下载高清大图！
前言在上一篇写文章没高质量配图?python爬虫绕过限制一键搜索下载图虫创意图片 !中,我们在未登录的情况下实现了图虫创意无水印高清小图的批量下载.虽然小图能够在一些移动端可能展示的还行,但是 ...
python+selenium爬虫自动化批量下载文件
一.项目需求在一个业务网站有可以一个个打开有相关内容的文本,需要逐个保存为TXT,数据量是以千为单位,人工操作会麻木到崩溃. 二.解决方案目前的基础办法就是使用python+selenium自动化 ...
Node爬虫：批量下载网页
编写网页爬虫时,爬取 html 页面是基本功能.在 Node.js 中,只需借助内置的 http 模块,即可实现一个网页下载器,代码如下: const http = require('http') c ...

爬虫-图像批量下载实战

爬虫-图像批量下载实战相关推荐

最新文章

热门文章