利用asyncio aiohttp爬取蜂鸟网美图

利用asyncio aiohttp同步抓取网站的上的图片

图片url: https://tu.fengniao.com/5968/

可知获取图片信息的具体url为

https://tu.fengniao.com/ajax/ajaxTuPicList.php?page=1&tagsId=5968&action=getPicLists

tagsId=5968 为图片的分类，另外

tagsId=13 # 类别为美女图片
tagsId=15  # 类别为儿童图片
tagsId=6391 #类别为私房照

page=1 #为页码，你可以多获取不同页面的图片信息

点击Preview，可以返回内容为JSON，其中src为具体图片的链接地址，可以下载图片

直接上干货

import aiohttp
import asyncio
import jsonasync def down_save_pic(pic_id, pic_url):async with aiohttp.ClientSession() as session:async with session.get(pic_url) as response:with open(f'./landscape/{pic_id}.jpg', 'wb') as fp:fp.write(await response.content.read())print(f'{pic_id}.jpg finished, url is {pic_url}')async def get_one_page(url):print(url)async with aiohttp.ClientSession() as session:async with session.get(url) as response:web_text = await response.text()web_json = json.loads(web_text)photos = web_json['photos']['photo']for photo in photos:pic_url = photo['src']pic_id = photo['id']await down_save_pic(pic_id, pic_url)async def get_all_jobs():tagsId=5968 # landscape photos# tagsId=6391 # private photos# tagsId = 15  # kids# tagsId = 13 # beautiful grisurl_a = f'https://tu.fengniao.com/ajax/ajaxTuPicList.php?tagsId={tagsId}&action=getPicLists&page='urls = [url_a + page_no for page_no in range(1, 15)]tasks = [asyncio.create_task(get_one_page(url)) for url in urls]await asyncio.wait(tasks)if __name__ == '__main__':asyncio.run(get_all_jobs())

这段代码可以直接运行，使用的python版本为3.7

利用asyncio aiohttp爬取蜂鸟网美图相关推荐

httpclient爬取性感美图
依赖httpclient4.2,Jsop SemeiziCrawler.java package kidbei.learn.crawler;import java.io.File; import ja ...
Java爬虫代码示例｜入门教程 1- 快速爬取百度美图
文章目录前言源码参考前言说起搜索,大家一定对百度不陌生.每个搜索引擎后边都是一个大型爬虫调度系统. 第一篇我们先以百度为例每天都被它爬,今天我们来爬一下它. 源码 url分析 https: ...
爬取一个美图网站的图片脚本
# -*- coding: utf-8 -*- """ Created on Thu Dec 9 23:31:12 2021@author: davis "&q ...
利用协程爬取m3u8视频
利用协程爬取m3u8视频在进行了爬虫的相关学习之后,自己尝试爬取了一些视频,但动辄ts文件就几百个,单线程伤不起那时间,一个一个等实在太慢了,想利用多线程,查看相关资料,又说python是假的多 ...
爬取唯美女生网站上所有小姐姐的照片
爬取唯美女生网站前几天刚好看到有人在教学爬取唯美女生网站(https://www.vmgirls.com)的图片,大致听了一下,只是介绍了一次爬取某一个小姐姐的照片,因此就尝试做一个爬取全站小姐姐照 ...
第一个爬虫项目-爬取唯美小姐姐网站
爬取唯美小姐姐网站链接: 源代码文件下载地址展示源代码 import requests import re import os import time# 伪装用于可以伪装成浏览器. heade ...
Python爬取系列妹子图实战总结（程序员节福利哟）
Python爬取系列妹子图(福利哟~~~) 用到的模块:requests 和 lxml中的html 今天呢是10月24日,天气一如既往的好,也是传说中的程序员节,来爬波妹子图岂不美哉!!! 开始操作: ...
利用搜索关键字爬取今日头条新闻评论信息案例
利用搜索关键字爬取今日头条新闻评论信息案例爬虫4步骤: 1.分析网页 2.对网页发送请求,获取响应 3.提取解析数据 4.保存数据本案例所用到的模块 import requests import ...
python爬虫利用Scrapy框架爬取汽车之家奔驰图片--实战
先看一下利用scrapy框架爬取汽车之家奔驰A级的效果图 1)进入cmd命令模式下,进入想要存取爬虫代码的文件,我这里是进入e盘下的python_spider文件夹内 C:\Users\15538&g ...
利用CSS选择器爬取豆瓣上的图书
利用CSS选择器爬取豆瓣上的图书主要技术:熟练掌握requests.BeautifulSoup 爬取图书链接 "https://book.douban.com/latest?icn=ind ...

利用asyncio aiohttp爬取蜂鸟网美图

利用asyncio aiohttp爬取蜂鸟网美图相关推荐

最新文章

热门文章