爬取并下载用360搜索下雪的图片

'''
https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=9cfc409470d5bd63c8b81518528743d7&q=%E4%B8%8B%E9%9B%AA随便选一个标题查看源代码搜索，没有搜索到，说明这些图片是异步请求的
开发者模式查看异步请求xhk,如上图1.首先request爬去这个异步请求
2.提取响应的数据转为python数据
3.取出list
4.遍历取出每一个的图片链接，在请求链接写入文件
'''

import requests
import json
import os'''
只爬一页
'''file_dir = os.getcwd() + '/360下雪图片'
if not os.path.exists(file_dir):os.mkdir(file_dir)res = requests.get('https://image.so.com/j?q=%E4%B8%8B%E9%9B%AA&pd=1&pn=60&correct=%E4%B8%8B%E9%9B%AA&adstar=0&tab=all&sid=d93700112307ab92dfbf0847d897aae8&ras=6&cn=0&gn=0&kn=50&crn=0&bxn=20&i=0&cmg=9cfc409470d5bd63c8b81518528743d7&src=360pic_normal&sn=130&ps=99&pc=99')# print(res.text)# 提取响应的json数据将json数据转为python列表
data = json.loads(res.text)['list']
# data = res.json()   # 360这个页面返回的纯json数据，这个方法也行
# print(data)for i, d in enumerate(data, start=1):name = str(i)img_utl = d['_thumb']print(img_utl)finame = file_dir + '/' + name + '.jpg'if os.path.exists(finame):continueimg_res = requests.get(img_utl)with open(finame, 'wb') as fb:fb.write(img_res.content)

爬取并下载用360搜索下雪的图片相关推荐

python实战-HTML形式爬虫-批量爬取电影下载链接
文章目录一.前言二.思路 1.网站返回内容 2.url分页结构 3.子页面访问形式 4.多种下载链接判断三.具体代码的实现四.总结一.前言喜欢看片的小伙伴,肯定想打造属于自己的私人影院 ...
Python爬虫-从pixabay网站爬取并下载图片
Python爬虫--Python爬虫爬取Demo图片数据 GitHub:https://github.com/kevinten10/Lifecat-Python pixabay是优秀的图片搜索网站:h ...
python代码示例下载-python爬取音频下载的示例代码
抓取"xmly"鬼故事音频 import json # 在这个url,音频链接为JSON动态生成,所以用到了json模块 import requests headers = { & ...
Java爬取并下载酷狗音乐
本文方法及代码仅供学习,仅供学习. 案例: 下载酷狗TOP500歌曲,代码用到的代码库包含:Jsoup.HttpClient.fastJson等. 正文: 1.分析是否可以获取到TOP500歌单打开 ...
Python爬取De下载站相关代码
Python爬取De下载站相关代码,因为没有设置代理,所以爬到800页左右就被干掉了,后续要加上 import urllib.request import bs4 import re import t ...
python爬虫公众号音频源代码_python爬取音频下载的示例代码
抓取"xmly"鬼故事音频 import json # 在这个url,音频链接为JSON动态生成,所以用到了json模块 import requests headers = { & ...
Python网络爬虫：爬取并下载个性化签名图片附GUI窗体版
Hello,大家好,我是wangzirui32,最近我开了个新的系列,是"Python网络爬虫"分类,还请大家多多支持! 今天,我们来学习如何爬取并下载个性化签名图片,开始学习吧! ...
Java爬虫爬取天猫淘宝京东搜索页和商品详情
Java爬虫爬取天猫淘宝京东搜索页和商品详情先识别商品url,区分平台提取商品编号,再根据平台带着商品编号爬取数据. 1.导包 <d ...
用Python爬取动态加载的诸如百度的图片
用Python爬取动态加载的诸如百度的图片使用原因代码如下模块介绍 selenium模块 lxml解析模块 requests模块去除重复开启多线程效果如下留言使用原因学习Python ...

爬取并下载用360搜索下雪的图片

爬取并下载用360搜索下雪的图片相关推荐

最新文章

热门文章