效果

目标网站

图片网站

目标接口：

# GET 请求
https://www.logosc.cn/api/so/get?page=0&pageSize=20&keywords=&category=local&isNeedTranslate=undefined

通过分析，我们可以知道应该可以修改page和pageSize参数来控制获取的图片。

导入第三方模块

import requests
import os.path

分析要爬取的信息

代码

封装getPicture(page,pageSize)方法，来爬取图片素材的地址，在通过download(urls)方法来进行下载！

# author: LiuShihao
# data: 2020/12/3 5:23 下午
# youknow: 各位老铁,我的这套代码曾经有人出价三个亿我没有卖,如今拿出来和大家分享,不求别的,只求大家免费的小红心帮忙点一点,这里谢过了。
# desc:  爬取搜图神器网站的图片素材
"""
https://www.logosc.cn/so/
目标接口： https://www.logosc.cn/api/so/get?page=0&pageSize=20&keywords=&category=local&isNeedTranslate=undefined
"""
import requests
import os.path
# page = 0
# pageSize = 50headers = {"user-agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36",
}
# 获取素材地址
def getPicture(page,pageSize):urls = []url = f"https://www.logosc.cn/api/so/get?page={page}&pageSize={pageSize}&keywords=&category=local&isNeedTranslate=undefined"print(url)response = requests.get(url=url, headers=headers)content = response.json()if "data" in content:i = 0while True:try:if content["data"][i]["large_img_path"]["url"]:picture_url = content["data"][i]["large_img_path"]["url"]print("picture_url" + str(i) + ":", picture_url)i = i + 1urls.append(picture_url)except:breakprint("没有数据！")else:print("没有获取到数据！")return urls# 下载素材
def download(urls):i = 0for image in urls:i += 1image = requests.get(image).contentif os.path.exists('images'):with open('images/' + str(i) + '.jpg', 'wb') as f:  # 注意打开的是就jpg文件 w 只读 b二进制print(str(i) + '.jpg 正在保存。。。')f.write(image)else:print('目录不存在')if __name__ == '__main__':urls = getPicture(0,40)print(f"获取到{len(urls)}个地址")download(urls)

Python爬虫学习（四）爬取图片素材网站素材相关推荐

python爬虫学习之爬取某网站上的视频
""" 实现步骤:发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据 1.发送请求,对于视频信息数据包发 ...
Python爬虫学习笔记 -- 爬取糗事百科
Python爬虫学习笔记 -- 爬取糗事百科代码存放地址: https://github.com/xyls2011/python/tree/master/qiushibaike 爬取网址:https ...
Python爬虫学习之爬取淘宝搜索图片
Python爬虫学习之爬取淘宝搜索图片准备工作因为淘宝的反爬机制导致Scrapy不能使用,所以我这里是使用selenium来获取网页信息,并且通过lxml框架来提取信息. selenium.lxm ...
爬虫学习,尝试爬取小说网站
初步学习了scrapy 尝试着爬取小说网站全部小说(发现没问题就停了) 以下为scrapy中基础爬虫的写法 # -*- coding: utf-8 -*- import scrapy from scr ...
python爬虫学习之爬取全国各省市县级城市邮政编码
实例需求:运用python语言在ip查询查ip 网站ip查询同ip网站查询 iP反查域名 iP查域名同ip域名网站爬取全国各个省市县级城市的邮政编码,并且保存在excel文件中实例环境:pyt ...
python爬虫学习一--爬取网络小说实例
最近疫情猖獗,长假憋在家里实在无聊,早上突然看了一篇python爬虫文章,当场决定试验一下,参照了一下别人的案例,自己各种踩坑捣鼓了好几个小时,终于成功最后把具体步骤和注意点分享给大家: 1.Pyth ...
为了部落来自艾泽拉斯勇士的python爬虫学习心得爬取大众点评上的各种美食数据并进行数据分析
为了希尔瓦娜斯第一个爬虫程序 csgo枪械数据先上代码基本思想问题1 问题2 爬取大众点评 URL分析第一个难题生成csv文件以及pandas库 matplotlib.pyplot库 K- ...
python爬虫学习之爬取超清唯美壁纸
简介壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物.然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现网上的壁 ...
杭州python爬虫招聘_python爬取招聘网站（智联，拉钩，Boss直聘）
刚好最近有这需求,动手写了几个就贴上代码算了 1.智联将结果保存为python的一个数据框中 import requests from requests.exceptions import Req ...
python爬虫学习(2) —— 爬一下ZOL壁纸
我喜欢去ZOL找一些动漫壁纸当作桌面,而一张一张保存显然是太慢了. 那怎么办呢,我们尝试使用简单的爬虫来解决这个问题. 0. 本爬虫目标抓取给定分类「或子分类」网址的内容分析并得到每个分类下的所有 ...

Python爬虫学习（四）爬取图片素材网站素材

效果

目标网站

导入第三方模块

分析要爬取的信息

代码

Python爬虫学习（四）爬取图片素材网站素材相关推荐

最新文章

热门文章