前言

本篇文章主要介绍使用bs4解析来爬取某网站上的唯美高清大图，涉及到的零碎知识较多，详细易懂，适合新手小白爬虫入门。
思路如下：
①拿到主页面的源代码，然后提取到子页面的链接地址href；
②通过href进入子页面，从子页面源代码中找到图片的下载地址，img ->src；
③下载图片；

下面通过代码讲解具体做法：

import requests
from bs4 import BeautifulSoup
import time
url="https://www.umei.cc/bizhitupian/weimeibizhi/"
resp=requests.get(url)
resp.encoding='utf-8' #处理中文乱码。这里的内容需要与源代码中charset的值保持一致。
#把源码交给bs解析
main_page=BeautifulSoup(resp.text,"html.parser") #指定html解析器
#使用find()在源代码中找到div,其属性为class且其属性值为TypeList的代码段，返回一个列表；
#在这个列表中找所有的a标签
alist=main_page.find("div",class_="TypeList").find_all("a")
#print(alist) #拿到定位到此区域下面的所有内容
for a in alist: href=a.get("href") #直接通过get就可以拿到属性的值#print(href) #拿到每个子页面后面一截链接child_href="https://www.umei.cc"+href #通过字符串拼接，得到子页面链接print(child_href)#拿到子页面的源码child_page_resp=requests.get(child_href) child_page_resp.encoding='utf-8'child_page_text=child_page_resp.text #从子页面中拿到图片的下载路径child_page=BeautifulSoup(child_page_text,"html.parser")p=child_page.find("p",align="center") img=p.find("img")#下载图片src=img.get("src")img_resp=requests.get(src)#img_resp.content #这里拿到的是字节img_name=src.split("/")[-1] #拿到url中的最后一个/以后的内容with open(img_name,"wb") as f:f.write(img_resp.content) #将图片内容写入文件print("over!!",img_name)time.sleep(1)
print("all over!!!")

官网首页

右键，拿到源页面代码，找到<div class="TypeList"的位置，下方即为我们要找的每个子页面的链接地址，这个地址即为a标签中href的值（后期需要拼接）

进入其中任意一个子页面，如姜子牙

相同方式打开此页面的源代码，可以利用选中的这部分文字定位图片的链接（举的栗子是姜子牙，其他同理）

注意：find()找到一个就返回，而findall()是找所有。
得到的列表利用循环对其中的每一个子部分进行相同的操作，然后输出。
得到的链接并不是子页面的链接地址，还需要进行字符串的拼接，拼接成真正的子页面的链接。

python超详细零基础 bs4解析之爬取唯美图片相关推荐

Python爬取 | 唯美女生图片
这里只是代码展示,且复制后不能直接运行,需要配置一些设置才行,具体请查看下方链接介绍: Python爬取 | 唯美女生图片 from selenium import webdriver from fa ...
python使用 Scrapy 爬取唯美女生网站的图片资源
python python使用 Scrapy 爬取唯美女生网站的资源,图片很好,爬取也有一定的难度,最终使用Scrapy获取了该网站 1.5W多张美眉照片....如有侵权,联系,立删除. ==== ...
python数据解析——xpath爬取文字和图片
xpath解析:最常用且最便捷高效的一种解析方式,通用性. xpath解析原理: 1.实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中. 2.调用etree对象中的xpath方法 ...
python画龙猫_宫崎骏王国——《龙猫》小梅（超详细零基础马克笔手绘教程）
大家好,我是刀刀.我特别喜欢宫崎骏的动漫,也特别喜欢用马克笔画画!我想和大家一起来,把宫崎骏笔下可爱的角色都画一遍,如果你也感兴趣,请和我同行. 这节课我们来先学一学零基础马克笔,第二课.我们一起来画 ...
python爬虫酷狗_python爬虫教程：爬取酷狗音乐，零基础小白也能爬取哦
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云作者:python学习教程 ( 想要学习Python?Pyt ...
python爬虫教程：爬取酷狗音乐，零基础小白也能爬取哦
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云作者:python学习教程 ( 想要学习Python?Pyt ...
python下载图片代码并解析_Python爬取小姐姐图片代码_批量下载
本帖最后由 OnlineYx 于 2021-1-13 14:44 编辑我试着改了一下,写了个循环和判断,输出起始网页的ID和结束网页的ID就能批量地下载小姐姐了. 001.png (83.38 KB ...
py3+requests+urllib+bs4+threading，爬取斗图图片
实现原理及思路请参考我的另外几篇爬虫实践博客 py3+urllib+bs4+反爬,20+行代码教你爬取豆瓣妹子图:http://www.cnblogs.com/uncleyong/p/6892688. ...
[STM32] Stm32f103c8t6+RC522 实现读卡写卡功能(超详细,零基础,小白)
本篇文章内容总结下来就是读卡使用默认密码读卡所有扇区所有块的数据写ID 使用默认密码读取卡一的0扇区的第一块数据并写入到卡二的0扇区的第一块里密码读 ...

python超详细零基础 bs4解析之爬取唯美图片

文章目录

前言

python超详细零基础 bs4解析之爬取唯美图片相关推荐

最新文章

热门文章