分析Ajax爬取今日头条街拍美景

# -*- coding: utf-8 -*-
import os
import re
import json
import requests
from urllib.parse import urlencodedef get_one_page(offset, keyword):'''获取网页html内容并返回'''paras = {'offset': offset,  # 搜索结果项开始的位置'format': 'json',  # 返回的数据格式'keyword': keyword,  # 搜索的关键字'autoload': 'true',  # 自动加载'count': 20,  # 每次加载结果的项目数'cur_tab': 3,  # 当前的tab页索引，3为“图集”'from': 'gallery'  # 来源，“图集”}url = 'https://www.toutiao.com/search_content/?' + urlencode(paras)try:# 获取网页内容，返回json格式数据response = requests.get(url)# 通过状态码判断是否获取成功if response.status_code == 200:return response.textreturn Noneexcept requests.ConnectionError:return Nonedef parse_one_page(html):'''解析出组图网址,并将网页中所有图集的标题及图片地址返回'''urls = []data = json.loads(html)for item in data.get('data'):page_urls = []title = item.get('title')image_detail = item.get('image_list')for i in range(len(image_detail)):# 获取large图片地址url = 'https:' + image_detail[i]['url']page_urls.append(url)urls.append({'title': title, 'url_list': page_urls})return urlsdef save_image_file(url, path):'''保存图像文件'''ir = requests.get(url)if ir.status_code == 200:with open(path, 'wb') as f:f.write(ir.content)f.close()def main(offset, word):html = get_one_page(offset, word)urls = parse_one_page(html)# 图像文件夹不存在则创建root_path = wordif not os.path.exists(root_path):os.mkdir(root_path)for i in range(len(urls)):print('---正在下载 %s' % urls[i]['title'])folder = root_path + '/' + urls[i]['title']if not os.path.exists(folder):try:os.mkdir(folder)except NotADirectoryError:continueexcept OSError:continueurl_list = urls[i]['url_list']for j in range(len(url_list)):path = folder + '/index_' + str("%02d" % j) + '.jpg'if not os.path.exists(path):save_image_file(urls[i]['url_list'][j], path)if __name__ == '__main__':# 抓取2000个图集，基本上包含全部图集for i in range(100):main(i * 20, '街拍')

---正在下载 成都街拍，牛仔裙与牛仔裤的夏季时尚单品，更能彰显青春范十足
---正在下载 重庆街拍，夏季休闲穿搭参考，你喜欢哪一款？
---正在下载 北京街拍，漂亮的连衣裙搭配起来，让你女人味十足！
---正在下载 成都街拍，好看的T恤与小背心，个性百搭又不失时尚！
---正在下载 成都街拍，好看的连衣裙，一万条也不会嫌多！
---正在下载 「街拍分享时间」在重庆，遇见最美的女神
---正在下载 重庆街拍，连衣裙与长裙，怎么搭配才好看？
---正在下载 最美街拍，不老情怀
---正在下载 南京路步行街街拍
---正在下载 成都街拍，黑色与白色的混搭，碰撞出不一样的时尚美！
---正在下载 成都街拍，连衣裙与短裙的夏季穿搭，哪一个更美？
---正在下载 王鸥最美的一组街拍，优雅时尚的精致女人，迷人至极的小姐姐
---正在下载 杨幂又变瘦了，腿细到吓人，网友：哪怕只有一天也想以这身材活着
---正在下载 街拍美：被风吹过的夏天
---正在下载 成都街拍，夏季搭配单品，牛仔裤与牛仔裙你更喜欢哪一个？
---正在下载 街拍性感长发美女
---正在下载 本来就很白，再配上一身白造型，感觉何穗都要白到反光了！
---正在下载 成都街拍，夏季牛仔裤与阔腿裤的穿搭，哪一个才是你的最爱？
---正在下载 李冰冰穿这么休闲坐飞机肯定很舒服，黑白配超经典，腿长两米八哦
---正在下载 街拍，不同年龄不同职业的人展现出不同的魅力
---正在下载 街拍，不同年龄不同职业的人展现出不同的魅力
---正在下载 宋祖儿机场街拍
---正在下载 奚梦瑶现身法国玩街拍，对镜头微笑打招呼引来大叔频频回头
---正在下载 蒋梦婕这腿真的太细了，女生看了估计都想拥有！
---正在下载 街拍婚纱照就是要有点时尚感
---正在下载 元气少女赵艺，时尚街拍酷美时髦气场足
---正在下载 街拍是潮流所向，街拍是最好的穿衣示范
---正在下载 杨洋怕赶不上飞机一路狂奔，可面对镜头还是要很帅气地凹造型！
---正在下载 很有味道的街拍
---正在下载 街拍女神高圆圆踩单车，360度无死角美出新高度！
---正在下载 刘诗诗气质短发街拍
---正在下载 街拍：重庆小姐姐街拍，是谁说重庆没有美女的？
---正在下载 短牛仔美女街拍
---正在下载 阅乐随街拍
---正在下载 鲁豫上海机场街拍
---正在下载 国际机场的街拍与街头街拍鲜明对比
---正在下载 倪妮清爽可爱街拍
---正在下载 半红不紫的范玮琪，机场街拍曝光 俏皮灵动元气满满
---正在下载 马思纯，网友：包包开关没弄好就街拍，看了肯定很难受！
---正在下载 图虫街拍摄影：街拍
---正在下载 「街拍」《Vogue》编辑的10个街拍穿搭造型
---正在下载 香港街拍！
---正在下载 费启鸣机场街拍
---正在下载 迪丽热巴机场街拍
---正在下载 炎炎夏日，街拍
---正在下载 苏州十全街街拍
---正在下载 日本旅行——街拍
---正在下载 时尚最街拍
---正在下载 环球小姐的街拍
---正在下载 图虫摄影：街拍
---正在下载 街拍超模吉吉·哈迪德Gigi Hadid曼哈顿街拍！
---正在下载 图虫街拍摄影：长沙扫街
---正在下载 古巴街拍一掠
---正在下载 图虫街拍摄影：南浔古镇花间堂
---正在下载 图虫摄影：街拍人生。
---正在下载 张天爱街拍
---正在下载 图虫摄影：万博街拍
---正在下载 韩庚机场街拍
---正在下载 娜雅·里维拉 街拍
---正在下载 王凯红色主题街拍
---正在下载 北京798艺术区街拍
---正在下载 佟丽娅，街拍，自然美
---正在下载 图虫风光摄影：街拍
---正在下载 米兰时装周精选街拍（一）
---正在下载 杨幂，大衣被街拍
---正在下载 Selina街拍美照曝光
---正在下载 街拍,Street snap
---正在下载 图虫摄影：新春袁家村街拍
---正在下载 街拍日记，温暖回忆
---正在下载 图虫街拍摄影：佚姝街拍
---正在下载 图虫街拍摄影：街拍——北京清晨，路灯
---正在下载 街拍：什么是合格的老公？就是老婆怀孕后给老婆打扮的漂漂亮亮的
---正在下载 春夏港风街拍
---正在下载 夏季街拍达人走心推荐的几款T恤，看着洋气减龄，不仅凉快还显瘦
---正在下载 王鸥最美的一组街拍，优雅时尚的精致女人，迷人至极
---正在下载 图虫摄影：街拍
---正在下载 迪丽热巴最新街拍
---正在下载 图虫摄影：美丽街拍。
---正在下载 图虫摄影：残幅街拍
---正在下载 图虫摄影：长沙街拍
---正在下载 图虫摄影：爱街拍
---正在下载 图虫摄影：街拍
---正在下载 图虫人像摄影：街拍
---正在下载 图虫街拍摄影：P20P手持街拍
---正在下载 图虫街拍摄影：街拍
---正在下载 迪丽热巴甜美气质街拍
---正在下载 图虫摄影：佛山街拍红棉。
---正在下载 图虫街拍摄影：街拍
---正在下载 图虫人像摄影：街拍
---正在下载 图虫摄影：春节街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫摄影：新浪微博：小平街拍
---正在下载 图虫摄影：街拍：百姓生活65
---正在下载 图虫街拍摄影：无锡街拍
---正在下载 图虫街拍摄影：街拍，人像
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫摄影：随性街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫街拍摄影：岘港街拍
---正在下载 图虫街拍摄影：街拍
---正在下载 图虫街拍摄影：街拍
---正在下载 图虫街拍摄影：除夕夜景街拍
---正在下载 图虫摄影：街拍《元宵节》
---正在下载 图虫街拍摄影：街拍
---正在下载 图虫街拍摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫黑白摄影：街拍
---正在下载 图虫街拍摄影：街拍，狗狗
---正在下载 图虫街拍摄影：街拍南京

分析Ajax爬取今日头条街拍美景相关推荐

[Python3网络爬虫开发实战] --分析Ajax爬取今日头条街拍美图
[Python3网络爬虫开发实战] --分析Ajax爬取今日头条街拍美图学习笔记--爬取今日头条街拍美图准备工作抓取分析实战演练学习笔记–爬取今日头条街拍美图尝试通过分析Ajax请求来抓取 ...
python爬取今日头条_Python3网络爬虫实战-36、分析Ajax爬取今日头条街拍美图
本节我们以今日头条为例来尝试通过分析 Ajax 请求来抓取网页数据的方法,我们这次要抓取的目标是今日头条的街拍美图,抓取完成之后将每组图片分文件夹下载到本地保存下来. 1. 准备工作在本节开始之前请 ...
Python3网络爬虫开发实战分析Ajax爬取今日头条街拍美图
本节中,我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法.这次要抓取的目标是今日头条的街拍美图,抓取完成之后,将每组图片分文件夹下载到本地并保存下来. 1. 准备工作很多人学习pyt ...
分析Ajax爬取今日头条街拍图片
# -*- coding:UTF-8 -*- import requests import time import os from hashlib import md5def get_page(off ...
分析Ajax抓取今日头条街拍美图
声明:此篇文章主要是观看静觅教学视频后做的笔记,原教程地址https://cuiqingcai.com/ 实现流程介绍 1.抓取索引页内容:利用requests请求目标站点,得到索引网页HTML代码, ...
转：【Python3网络爬虫开发实战】6.4-分析Ajax爬取今日头条街拍美图
[摘要] 本节中,我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法.这次要抓取的目标是今日头条的街拍美图,抓取完成之后,将每组图片分文件夹下载到本地并保存下来. 1. 准备工作在本节 ...
【Python3网络爬虫开发实战】6.4-分析Ajax爬取今日头条街拍美图
[摘要] 本节中,我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法.这次要抓取的目标是今日头条的街拍美图,抓取完成之后,将每组图片分文件夹下载到本地并保存下来. 1. 准备工作在本节 ...
python爬虫今日头条街拍美图开发背景_【Python3网络爬虫开发实战】6.4-分析Ajax爬取今日头条街拍美图...
[摘要] 本节中,我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法.这次要抓取的目标是今日头条的街拍美图,抓取完成之后,将每组图片分文件夹下载到本地并保存下来. 1. 准备工作在本节 ...
使用ajax爬取今日头条街拍图片
文章目录分析请求获取一组信息解析json 获取图片列表本地存储整合功能分析请求地址:https://www.toutiao.com/search/?keyword=%E8%A1%97%E ...

分析Ajax爬取今日头条街拍美景

分析Ajax爬取今日头条街拍美景相关推荐

最新文章

热门文章