python爬虫scrapy比较常用的三个命令

scrapy命令有哪些，其实灰常少，也就十四五个，在这十四五个中，常用的就纳么两三个而已，如：

scrapy startproject XXX（创建项目）、

scrapy genspider XX （创建XX蜘蛛）

scrapy crawl XX（运行XX蜘蛛）、

scrapy shell http://www.163.com（调试网址为http://www.163.com的网站）

1、startproject 创建项目命令：

这个是见得最多，创建项目的，如，创建一个名为：taobao的项目：

scrapy strartproject taobao

2、genspider 创建蜘蛛命令：

cd进入startproject 创建的项目，然后运行genspider 命令创建进行爬取的蜘蛛，这个命令的话是根据蜘蛛模板创建蜘蛛的命令，如，创建一个爬取店铺的蜘蛛

scrapy genspider shop

3、crawl 命令是运行创建的蜘蛛：

scrapy crawl shop

4、shell蜘蛛调试工具：

这个命令比较重要，主要是调试用，比如我们要调试http://www.taobao.com，看我们的选择器到底有木有正确选中某个元素，那我们就可以这样来玩，首先用调试打开：http://www.taobao.com：

scrapy shell http://www.163.com

然后我们可以直接执行命令，response，比如我们要测试我们获取标题的选择器正不正确，我们可以这样：

response.css("title::text").extract_first()

python爬虫scrapy比较常用的三个命令相关推荐

Python爬虫——Scrapy 的基本使用
文章目录 Python爬虫--Scrapy 的基本使用 1.创建 Scrapy 爬虫项目 2.Scrapy-创建爬虫文件 3.Scrapy-运行爬虫文件 Python爬虫--Scrapy 的基本使用 ...
Python爬虫 - scrapy - 爬取妹子图 Lv1
0. 前言这是一个利用python scrapy框架爬取网站图片的实例,本人也是在学习当中,在这做个记录,也希望能帮到需要的人.爬取妹子图的实例打算分成三部分来写,尝试完善实用性. 系统环境 Sys ...
python爬虫--Scrapy框架--Scrapy+selenium实现动态爬取
python爬虫–Scrapy框架–Scrapy+selenium实现动态爬取前言本文基于数据分析竞赛爬虫阶段,对使用scrapy + selenium进行政策文本爬虫进行记录.用于个人爬虫学习记 ...
python 爬虫数据抓取的三种方式
python 爬虫数据抓取的三种方式常用抽取网页数据的方式有三种:正则表达式.Beautiful Soup.lxml 1.正则表达式正则表达式有个很大的缺点是难以构造.可读性差.不易适用未来 ...
Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
这篇文章主要介绍了Python爬虫 scrapy框架爬取某招聘网存入mongodb解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下创建项目 sc ...
Python爬虫—Scrapy框架—Win10下载安装
Python爬虫-Scrapy框架-Win10下载安装 1. 下载wheel 2.下载twisted 3. 下载pywin32 4. 下载安装Scrapy 5. 创建一个scrapy项目 6. fir ...
Python爬虫——Scrapy 简介和安装
文章目录 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 2.Scrapy 下载安装 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 Scrapy 简介 S ...
Python爬虫-Scrapy框架（四）- 内置爬虫文件 - 4.2 初探Crawl Spider
Python爬虫-Scrapy框架(四)- 内置爬虫文件 - 4.2 初探Crawl Spider 写在前面初探Crawl Spider 创建Crawl Spider项目对比Basic与Crawl ...
Python爬虫基础：常用HTML标签和Javascript入门
1 HTML基础大部分HTML标签是闭合的,由开始标签和结束标签构成,二者之间是要显示的内容,例如:<title>网页标题</title>.也有的HTML标签是没有结束标签 ...

python爬虫scrapy比较常用的三个命令

python爬虫scrapy比较常用的三个命令相关推荐

最新文章

热门文章