爬取wallheaven壁纸

爬取的网址为 https://wallhaven.cc/toplist

爬取流程：

在首页中F12检查html
在详情页中检查html

编码

# -- coding:UTF-8 --
import requests
from bs4 import BeautifulSoup
import os'''
思路：获取网址获取图片地址爬取图片并保存
'''# 获取网址
def getUrl(url):# 请求头headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/108.0.0.0 Safari/537.36 "}try:read = requests.get(url, headers=headers)  # 获取urlread.raise_for_status()  # 状态响应 返回200连接成功read.encoding = read.apparent_encoding  # 从内容中分析出响应内容编码方式return read.text  # Http响应内容的字符串，即url对应的页面内容except:return "连接" + url + "失败！"# 获取图片地址并保存下载
def getPic(html):soup1 = BeautifulSoup(html, "html.parser")# 通过分析网页内容，查找img的统一父类及属性all_a = soup1.find_all(name='a', attrs={"class": "preview"})  # a为图片的标签for img in all_a:href = img['href']  # 获取a标签里的href内容，是该图片的详情页img_href = hrefsecond_html = getUrl(img_href)soup2 = BeautifulSoup(second_html, "html.parser")# 通过分析网页内容，查找img的统一父类及属性img = soup2.find(name='img', attrs={'id': "wallpaper"})  # img为图片的标签,id属性值为wallpaperdownload_link = img['src']  # 获取img的src属性值print("图片下载地址："+download_link)root = "F:/Pic/"  # 保存的路径，可以自定义path = root + download_link.split('/')[-1]  # 获取img的文件名print("图片保存路径："+path)try:if not os.path.exists(root):  # 判断是否存在文件并下载imgos.mkdir(root)if not os.path.exists(path):read = requests.get(download_link)with open(path, "wb") as f:f.write(read.content)f.close()print("文件保存成功！")else:print("文件已存在！")except:print("文件爬取失败！")# 主函数
if __name__ == '__main__':init_page = int(input("请输入读取的初始页码："))max_page = int(input("请输入读取的最大页码："))# 分页读取图片for page in range(init_page, max_page):  # 此为1~5页，自行设定html_url = getUrl("https://wallhaven.cc/toplist?page=" + str(page))getPic(html_url)

爬取wallheaven壁纸相关推荐

python爬取桌面壁纸（初学者），一看就会
今天想给我的电脑里面多加点壁纸,但是嫌弃一个个保存太慢,于是想着写个爬虫直接批量爬取,正好我也刚刚学完爬虫. 我们要爬取一个壁纸网站 http://www.netbian.com/weimei/ind ...
Python爬取wallhaven壁纸 2023.1.31
Python爬取wallhaven壁纸壁纸页面前言源码壁纸页面前言学习中,未加多线程,由于网站.图片大小等因素导致下载缓慢望各位大神提出建议并加以修善网站主页及其爬取页如下,可自行修改 ...
用Python爬取手机壁纸，太简单了吧
用Python爬取手机壁纸,太简单了吧! 人生苦短,快学Python! 在Python爬虫的学习过程中,爬取图片几乎是每个初学者都练习过的项目,比如我们之前就分享过:如何用Python快速爬取小姐姐的 ...
Python【爬虫实战】爬取美女壁纸资源
Python[爬虫实战]爬取美女壁纸资源一:首先选取一个网站,这里我们选择了一个壁纸网站二:进入网站,我们可以看到很多图片放在一页里三:按下F12开发者工具,点击Elments查看网页的代码四 ...
Python爬虫-爬取wallhaven壁纸
Python爬虫-爬取wallhaven壁纸前言可行性分析功能介绍效果展示基本思路 1.获取每页(1页24张)壁纸的url 2.获取每张壁纸缩略图的url 3.获取壁纸原图下载的url 4. ...
python爬取InterfaceLIFT壁纸，下载到本地，数据存入数据库（mysql，mongodb）
github地址欢迎star,欢迎拍砖适用pythopn版本 Python 2.7 or Python 3.6 只在这两个版本之下测试过,正常运行项目文件说明 main.py 主要文件 mysq ...
利用Python爬取必应壁纸
前言一个喜欢折腾的人,长期看到桌面只有一种壁纸,就想着自己从网上爬取一些壁纸,存下来,随机切换壁纸. 本文仅供学习交流. 工具 Python3 + requests + re Fiddler 抓包工 ...
Python爬取百度壁纸图片
Python爬取百度壁纸图片 #! /usr/bin/python -- coding: utf-8 -- @Author : declan @Time : 2020/05/31 16:29 @Fil ...
爬虫之Scrapy框架爬取彼岸壁纸案例分享
爬虫之Scrapy框架爬取彼岸壁纸案例分享前段时间在网上看到有人爬取了彼岸壁纸的案例,由于爬取的图片较多,爬取速度感觉不快,所以就自己写了个Scrapy框架,个人觉得爬取速度快多了. 代码如下. 文 ...

爬取wallheaven壁纸

爬取wallheaven壁纸

爬取wallheaven壁纸相关推荐

最新文章

热门文章