python爬虫学习之爬取超清唯美壁纸
简介
壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物。然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现网上的壁纸要么分辨率低,要么带有水印。
壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物。然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现网上的壁纸要么分辨率低,要么带有水印。
演示图片
完整源代码
1 ''' 2 在学习过程中有什么不懂得可以加我的 3 python学习交流扣扣qun,934109170 4 群里有不错的学习教程、开发工具与电子书籍。 5 与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容。 6 ''' 7 # -*- coding:utf-8 -*- 8 9 from requests import get 10 from filetype import guess 11 from os import rename 12 from os import makedirs 13 from os.path import exists 14 from json import loads 15 from contextlib import closing 16 17 18 # 文件下载器 19 def Down_load(file_url, file_full_name, now_photo_count, all_photo_count): 20 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"} 21 22 # 开始下载图片 23 with closing(get(file_url, headers=headers, stream=True)) as response: 24 chunk_size = 1024 # 单次请求最大值 25 content_size = int(response.headers['content-length']) # 文件总大小 26 data_count = 0 # 当前已传输的大小 27 with open(file_full_name, "wb") as file: 28 for data in response.iter_content(chunk_size=chunk_size): 29 file.write(data) 30 done_block = int((data_count / content_size) * 50) 31 data_count = data_count + len(data) 32 now_jd = (data_count / content_size) * 100 33 print("\r %s:[%s%s] %d%% %d/%d" % (file_full_name, done_block * '█', ' ' * (50 - 1 - done_block), now_jd, now_photo_count, all_photo_count), end=" ") 34 35 # 下载完图片后获取图片扩展名,并为其增加扩展名 36 file_type = guess(file_full_name) 37 rename(file_full_name, file_full_name + '.' + file_type.extension) 38 39 40 41 # 爬取不同类型图片 42 def crawler_photo(type_id, photo_count): 43 44 # 最新 1, 最热 2, 女生 3, 星空 4 45 if(type_id == 1): 46 url = 'https://service.paper.meiyuan.in/api/v2/columns/flow/5c68ffb9463b7fbfe72b0db0?page=1&per_page=' + str(photo_count) 47 elif(type_id == 2): 48 url = 'https://service.paper.meiyuan.in/api/v2/columns/flow/5c69251c9b1c011c41bb97be?page=1&per_page=' + str(photo_count) 49 elif(type_id == 3): 50 url = 'https://service.paper.meiyuan.in/api/v2/columns/flow/5c81087e6aee28c541eefc26?page=1&per_page=' + str(photo_count) 51 elif(type_id == 4): 52 url = 'https://service.paper.meiyuan.in/api/v2/columns/flow/5c81f64c96fad8fe211f5367?page=1&per_page=' + str(photo_count) 53 54 # 获取图片列表数据 55 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"} 56 respond = get(url, headers=headers) 57 photo_data = loads(respond.content) 58 59 # 已经下载的图片张数 60 now_photo_count = 1 61 62 # 所有图片张数 63 all_photo_count = len(photo_data) 64 65 # 开始下载并保存5K分辨率壁纸 66 for photo in photo_data: 67 68 # 创建一个文件夹存放我们下载的图片 69 if not exists('./' + str(type_id)): 70 makedirs('./' + str(type_id)) 71 72 # 准备下载的图片链接 73 file_url = photo['urls']['raw'] 74 75 # 准备下载的图片名称,不包含扩展名 76 file_name_only = file_url.split('/') 77 file_name_only = file_name_only[len(file_name_only) -1] 78 79 # 准备保存到本地的完整路径 80 file_full_name = './' + str(type_id) + '/' + file_name_only 81 82 # 开始下载图片 83 Down_load(file_url, file_full_name, now_photo_count, all_photo_count) 84 now_photo_count = now_photo_count + 1 85 86 87 88 if __name__ == '__main__': 89 90 # 最新 1, 最热 2, 女生 3, 星空 4 91 # 爬取类型为3的图片(女生),一共准备爬取20000张 92 wall_paper_id = 1 93 wall_paper_count = 10 94 while(True): 95 96 # 换行符 97 print('\n\n') 98 99 # 选择壁纸类型 100 wall_paper_id = input("壁纸类型:最新壁纸 1, 最热壁纸 2, 女生壁纸 3, 星空壁纸 4\n请输入编号以便选择5K超清壁纸类型:") 101 # 判断输入是否正确 102 while(wall_paper_id != str(1) and wall_paper_id != str(2) and wall_paper_id != str(3) and wall_paper_id != str(4)): 103 wall_paper_id = input("壁纸类型:最新壁纸 1, 最热壁纸 2, 女生壁纸 3, 星空壁纸 4\n请输入编号以便选择5K超清壁纸类型:") 104 105 106 # 选择要下载的壁纸数量 107 wall_paper_count = input("请输入要下载的5K超清壁纸的数量:") 108 # 判断输入是否正确 109 while(int(wall_paper_count) <= 0): 110 wall_paper_count = input("请输入要下载的5K超清壁纸的数量:") 111 112 113 # 开始爬取5K高清壁纸 114 print("正在下载5K超清壁纸,请稍等……") 115 crawler_photo(int(wall_paper_id), int(wall_paper_count)) 116 print('\n下载5K高清壁纸成功!')
转载于:https://www.cnblogs.com/xiaoyiq/p/11337829.html
python爬虫学习之爬取超清唯美壁纸相关推荐
- Python爬虫学习笔记 -- 爬取糗事百科
Python爬虫学习笔记 -- 爬取糗事百科 代码存放地址: https://github.com/xyls2011/python/tree/master/qiushibaike 爬取网址:https ...
- Python爬虫学习之爬取淘宝搜索图片
Python爬虫学习之爬取淘宝搜索图片 准备工作 因为淘宝的反爬机制导致Scrapy不能使用,所以我这里是使用selenium来获取网页信息,并且通过lxml框架来提取信息. selenium.lxm ...
- 5.爬取5K分辨率超清唯美壁纸
目录 README.MD main.py requirement.txt 相信大家都很需要哪些既好看又能符合自己当时的心情的高清壁纸,很多时候壁纸反应我们当时的心情,一张好的壁纸就一道靓丽的风景,让人 ...
- 爬取5K分辨率超清唯美壁纸
@[toc] 爬取5K分辨率超清唯美壁纸 简介 壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物.然而,终究有一天你已经产生审美疲劳了, ...
- 为了部落 来自艾泽拉斯勇士的python爬虫学习心得 爬取大众点评上的各种美食数据并进行数据分析
为了希尔瓦娜斯 第一个爬虫程序 csgo枪械数据 先上代码 基本思想 问题1 问题2 爬取大众点评 URL分析 第一个难题 生成csv文件以及pandas库 matplotlib.pyplot库 K- ...
- python手机壁纸超清_python爬虫学习之爬取5K分辨率超清唯美壁纸
前言 Python现在非常火,语法简单而且功能强大,很多同学都想学Python!所以小的给各位看官们准备了高价值Python学习视频教程及相关电子版书籍,欢迎前来领取! 简介 壁纸的选择其实很大程度上 ...
- Python爬虫教程-爬取5K分辨率超清唯美壁纸源码
简介 壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物.然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现网上的壁 ...
- 用Python爬取5K分辨率超清唯美壁纸
简介 壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物.然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现网上的壁 ...
- 【Python实战】爬取5K分辨率超清唯美壁纸
简介 壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物.然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现网上的壁 ...
最新文章
- VUE3.0 一.安装node.js、vue3.0脚手架
- 4-1 复数类的运算符重载
- oracle删除后电脑卡,彻底删除oracle服务 -电脑资料
- 【电子书类】C/C++电子书下载汇总
- 内连接,外链接(左连接、右连接、全连接),交叉连接大总结
- python不合法的布尔表达式_python测试题
- 《Ansible权威指南 》一第2章 Ansible基础元素介绍
- [容易]在二叉查找树中插入节点
- Nginx+Tomcat负载均衡群集
- 安装Google版本的金山词霸会导致播放Silverlight视频的时候IE或者是FF崩溃
- 利用python分析微信聊天记录
- 机器学习开源框架系列:Torch:1:简介与安装
- 计算机启动后出现黑屏鼠标,电脑开机黑屏只有鼠标,小编教你电脑开机黑屏鼠标能动怎么办...
- 《区块链技术与应用》学习笔记10——ETH数据结构
- SPSS打开问卷星下载的数据乱码解决办法
- Python爬虫之实现百度翻译
- 如何调出手机信任计算机的指令,苹果手机怎么连接到电脑上面去发(苹果在哪设置信任电脑)...
- Livy REST API使用教程
- 全球及中国医学新生儿筛查解决方案行业专项研究与运营前景调研报告2022版
- 当这个类被修饰public的话,为什么源文件名必须要与类名相同