文章分两部分，先简单介绍下feapder，然后通过阅读原文里的视频教程教大家快速上手feapder。相信你耐心看完，会有所收获！

简介

feapder是一款上手简单，功能强大的Python爬虫框架

读音: [ˈfiːpdə]

1.拥有强大的监控，保障数据质量

2. 简单易用，框架内置3种爬虫，适应各种需求场景

**AirSpider 轻量爬虫：**学习成本低，可快速上手

**Spider 分布式爬虫：**支持断点续爬、爬虫报警、数据自动入库等功能

**BatchSpider 批次爬虫：**可周期性的采集数据，自动将数据按照指定的采集周期划分。（如每7天全量更新一次商品销量的需求）

feapder对外暴露的接口类似scrapy，可由scrapy快速迁移过来。支持断点续爬、数据防丢、监控报警、浏览器渲染下载、海量数据去重等功能

3. 文档地址

官方文档：http://feapder.com
国内文档：https://boris-code.gitee.io/feapder
github：https://github.com/Boris-code/feapder
更新日志：https://github.com/Boris-code/feapder/releases
爬虫管理系统：http://feapder.com/#/feapder_platform/feaplat

环境要求：

Python 3.6.0+
Works on Linux, Windows, macOS

安装：

From PyPi:

通用版

pip3 install feapder

完整版：

pip3 install feapder[all]

通用版与完整版区别：

完整版支持基于内存去重
完整版可能会安装出错，若安装出错，请参考安装问题

小试一下

创建爬虫

feapder create -s first_spider

创建后的爬虫代码如下：

import feapderclass FirstSpider(feapder.AirSpider):def start_requests(self):yield feapder.Request("https://www.baidu.com")def parse(self, request, response):print(response)if __name__ == "__main__":FirstSpider().start()

直接运行，打印如下：


Thread-2|2021-02-09 14:55:11,373|request.py|get_response|line:283|DEBUG|-------------- FirstSpider.parse request for ----------------url  = https://www.baidu.commethod = GETbody = {'timeout': 22, 'stream': True, 'verify': False, 'headers': {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36'}}<Response [200]>
Thread-2|2021-02-09 14:55:11,610|parser_control.py|run|line:415|DEBUG| parser 等待任务...
FirstSpider|2021-02-09 14:55:14,620|air_spider.py|run|line:80|INFO| 无任务，爬虫结束

代码解释如下：

start_requests：生产任务
parse：解析数据

在这里我也整理了一份学习资料，主要包含爬虫入门(爬虫工作流程 http工作流程)、逆向工程、逆向算法、异步爬虫、安卓逆向这几个板块，适合Python入门的朋友学习，都是精华，有需要的话可以添加名片领取。

feapder入门教程之AirSpider相关推荐

HealthKit开发快速入门教程之HealthKit数据的操作
HealthKit开发快速入门教程之HealthKit数据的操作数据的表示在HealthKit中,数据是最核心的元素.通过分析数据,人们可以看到相关的健康信息.例如,通过统计步数数据,人们可以知 ...
HealthKit开发快速入门教程之HealthKit框架体系创建健康AppID
HealthKit开发快速入门教程之HealthKit框架体系创建健康AppID HealthKit开发准备工作在开发一款HealthKit应用程序时,首先需要讲解HealthKit中有哪些类,在i ...
HealthKit开发快速入门教程之HealthKit开发概述简介
HealthKit开发快速入门教程之HealthKit开发概述简介 2014年6月2日召开的年度开发者大会上,苹果发布了一款新的移动应用平台,可以收集和分析用户的健康数据.该移动应用平台被命名为&qu ...
nodejs入门教程之http的get和request简介及应用
nodejs入门教程之http的get和request简介及应用前言上一篇文章,我介绍了nodejs的几个常用的模块及简单的案例,今天我们再来重点看一下nodejs的http模块,关于http模块 ...
python语言if语句-Python入门教程之if语句的用法
这篇文章主要介绍了Python入门教程之if语句的用法,是Python入门的基础知识,需要的朋友可以参考下 OK分享完毕!需要Python资料的可以加QQ群:832339352 进群免费领取下面资料! ...
java jni helloword_JNI入门教程之HelloWorld篇
JNI入门教程之HelloWorld篇来源:互联网宽屏版评论 2008-05-31 09:07:11 本文讲述如何使用JNI技术实现HelloWorld,目的是让读者熟悉JNI的机制并编写第 ...
linux lvm界面,Linux使用入门教程之LVM
Linux使用入门教程之LVM 1.pvscan #查看当前系统是否存在 PV(物理卷) 2.fdisk -l #查看当前系统分区 3.pvcreate /dev/sda{5,6} /dev/sdb1 ...
php zend framework 教程,Zend Framework入门教程之Zend_Session会话操作详解
本文实例讲述了Zend Framework入门教程之Zend_Session会话操作.分享给大家供大家参考,具体如下: 会话命名空间实现会话代码: require_once "Zend/ ...
python3菜鸟教程-python3入门教程之hello world
概述 python 这门语言这几年非常的火,很多技术都用的到,像爬虫,大数据,人工智能等,包括很多的小孩都首选python作为入门学习语言,那python 究竟是怎样一门语言呢? Python 是一个 ...

feapder入门教程之AirSpider

目录

简介