python+scrapy爬取斗鱼图片
创建scrapy的项目请参考:https://blog.csdn.net/qq_35723619/article/details/83614670
items的实现:
DouyumeinvSpider创建:
这次我们爬去的是json数据包:我们可以通过network监控:
# -*- coding: utf-8 -*-
import scrapy
import json
from douyu.items import DouyuItemclass DouyumeinvSpider(scrapy.Spider):name = 'douyumeinv'allowed_domains = ['capi.douyucdn.cn']offset = 0url = "http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset="start_urls = [url + str(offset)]def parse(self, response):data = json.loads(response.text)['data']for each in data:item = DouyuItem()item['name'] = each['nickname']item['imglink'] = each['vertical_src']yield itemself.offset += 20yield scrapy.Request(self.url + str(self.offset), callback=self.parse)
配置setting
创建ImagePipeline我们这里继承了scrapy处理图片的ImagesPipeline重新构建
get_media_requests(self, item, info)和item_completed(self, results, item, info)方法
运行结果:
谢谢浏览!!!!
python+scrapy爬取斗鱼图片相关推荐
- 利用python爬虫爬取斗鱼图片(简单详细)
关于 在一个安静的夜晚,我缓慢的打开了电脑,望着已经睡着的父母,我轻轻的把门关上,看着斗鱼颜值主播的魅力,我不尽感叹,要是每天都可以不需要那么麻烦的去看那该有多好! 于是我想起了最近刚学的爬虫,嘴角露 ...
- scrapy爬取斗鱼图片并且重命名后保存
斗鱼的api为: http://capi.douyucdn.cn/api/v1/live?limit=20&offset=0 建立一个scrapy爬虫 douyu.py import json ...
- 使用Scrapy爬取斗鱼图片
1.具体文件结构 2.代码: items # -*- coding: utf-8 -*-# Define here the models for your scraped items # # See ...
- Python爬虫:scrapy爬取斗鱼直播图片
通过斗鱼给出的api,获取json文件,解析出图片地址,可以获取直播间的图片 斗鱼api接口: http://open.douyucdn.cn/api/RoomApi/live/{num} 比如: h ...
- 使用scrapy框架爬取斗鱼图片
使用scrapy框架爬取斗鱼图片 首先我们先认识一下框架 scrapy-Scrapy是Python开发的一个快速.高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scr ...
- Scrapy爬取美女图片续集 (原创)
上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片,而今天接着讲解Scrapy爬取美女图片,不过采取了不同的方式和代码实现,对Scrapy的功能进行更深入的运用. 在学习Scra ...
- Python+scrapy爬取36氪网
Python+Scrapy爬取36氪网新闻 一.准备工作: ①安装python3 ②安装scrapy ③安装docker,用来运行splash,splash是用来提供js渲染服务(pyth ...
- Scrapy爬取ammmi图片
Scrapy爬取ammmi图片 相关配置: python version:3.7 IDE:Pycharm environment:windows10 Framework:Scrapy 相关链接: We ...
- 使用scrapy爬取斗鱼直播间信息
目录 1. 谷歌抓包工具的使用 1.1 打开Chrome开发者工具的方法 1.2 开发者工具的结构 1.3 network模块 2. 使用谷歌抓包工具抓取斗鱼数据 3. 使用scrapy爬取斗鱼直播间 ...
最新文章
- 美国多所高校宣称9月线下开学,纽约大学教授:请停止妄想!
- stm32 基本定时器TIM6、TIM7的使用
- linux grouplist groupinstall groupremove 简介
- spring框架ioc(控制反转)第二讲
- SCOUNIX第十二讲:使用TCP/IP
- 为什么说 Flink + AI 值得期待?
- python web开发 网络编程 TCP/IP UDP协议
- 机试指南第二章-经典入门-查找例题自解
- Java 联系Oracle 数据库
- Mac下编译OpenCV for android
- UAC遭禁用?UAC知识了解
- 查看Win10是否永久激活
- mysql登录密码mysql重置root密码
- 如何格式化日期和时间
- 阿里云人脸对比API使用
- Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
- CnnDroid 优化加速原理
- 如何用C语言开发图形化游戏
- 主宰操作系统的经典算法
- HTC Vive与Oculus Rift全面对比
热门文章
- Linux运行jar包报错:Error:Invalid or corrupt jarfile xxx.jar
- Antimalware Service Executable占用内存过高怎么办
- 软考中项:常考知识点及案例分析要点总结
- 计算机管理老是自动打开,win10系统打开设备管理器后一直自动刷新的设置方案...
- 电路课组(一)电路原理 Part 0 电路仿真(1)Multisim基本功能
- 相机拍出来的图片有“水波纹”的原因
- 网页marc数据采集器(国图marc数据批量下载)
- 【金山文档】 2021级2021-2022学年第二学期大学物理实验考试表格-软件2112https://kdocs.cn/l/cmrTqjJ1ogsN
- altera fpga 型号说明_Actel与Altera、Xilinx的FPGA选型对比参考
- 用python解决鸡兔同笼问题