Unknown command: crawl（爬虫框架Scrapy遇到的常见错误）

前言序锦

今天在用scrapy框架运行多爬虫的时候，遇到了一个比较棘手的问题，刚开始进行了各种尝试，却还是不行，最后终于还是找到了原因！

正文

当我们在cmd中或者PyCharm中使用Terminal输入scrapy crawl lieping（lieping是我项目里的爬虫的名字，name = “lieping”，爬取猎聘网的职位信息），总会报如下的错误：
E:\Study\Python\Codes\Spiders\0301\job_spider>scrapy crawl lieping
Scrapy 1.5.0 - no active project

Unknown command: crawl

Use “scrapy” to see available commands

原因

第一种
如果是用的cmd的话，那是应为没有cd到项目的根目录，因为crawl会去搜索cmd目录下的scrapy.cfg文件,官方文档中也进行了说明：http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/commands.html
第二种
当我们使用的PyCharm来进行运行的时候，我们所处的位置本来就是项目的根目录，而这个时候还是报错误的话，那就不是没有进入根目录的问题了，而是其他原因了……
当我们去反复查看错误语句后，我们发现那一句：“no active project”，这就说明是我们的工程有问题，于是去官方文档查看了一下我们的目录结构，并对照看来一下我的项目的结构，发现，在使用命令行startproject的时候，会自动生成scrapy.cfg，问题就出现在这里，那是因为这个项目文件中只有代码，没有配置文件，或者配置文件被移去其他位置了，导致报错。
解决办法：
找一个配置文件，修改为如下格式，

# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html
[settings]
default = **job_spider**.settings
[deploy]
#url = http://localhost:6800/
project = **job_spider**
其中的job_spider是你的项目的名字
放在项目代码的外面，注意是项目代码的外面。不确定的可以看下scrapy文档->入门教程->创建项目，其中有目录结构。
放好配置文件后，再进入Terminal执行scrapy crawl job_spider，完美抓取。

Unknown command: crawl（爬虫框架Scrapy遇到的常见错误）相关推荐

scrapy框架爬虫遇到的问题：Unknown command: crawl
使用Scrapy框架爬取百度的标题'百度一下,你就知道'时遇到的问题Unknown command: crawl 在cmd可以正常运行scrapy crawl baidu(爬虫名),如下图: 在VS ...
Scrapy周期性爬取（解决Unknown command: crawl报错）
Scrapy框架(1.2.0)并没有直接周期性爬取的命令,而且如果配置不当,会导致Unknown command: crawl的报错,配置周期执行并不简单,因此这篇博客解决这个问题,一劳永逸. 思路是 ...
Pycharm调试scrapy报错：Unknown command: crawl Use amp;quot;scrapyamp;quot; to see available commands
crawl 是我们调试运行python爬虫的命令在终端命令中,我们输入 scrapy crawl projectname 就可以运行我们的爬虫然而在终端cmd中调用成功,发现在Pycharm执 ...
解决Scrapy报错: Unknown Command ‘crawl‘
问题描述: 编写好的项目(douban)在终端cmd运行 scrapy crawl douban可以运行.但通过vs code创建main.py却无法运行,出现报错'unknow command: c ...
爬虫教程（ 2 ） --- 爬虫框架 Scrapy、Scrapy 实战
From:https://piaosanlang.gitbooks.io/spiders/content/ scrapy-cookbook :https://scrapy-cookbook.readt ...
python数据分析案例2-1：Python练习-Python爬虫框架Scrapy入门与实践
本文建立在学习完大壮老师视频Python最火爬虫框架Scrapy入门与实践,自己一步一步操作后做一个记录(建议跟我一样的新手都一步一步进行操作). 主要介绍: 1.scrapy框架简介.数据在框架内如 ...
Unknown command: crawl
部署在服务器中,设置定时任务时: 52 11 * * * nohup /home/anaconda3/bin/python3 /home/monitor/monitor/resources/start ...
Unknown command:crawl 报错在vscode中的处理办法
问题描述我的scrapy项目在cmd可以正确运行,但是在我编写好的用于运行的main.py文件里运行却会报错,报错内容是"unknown command crawl". 排除的原 ...
python常用命令汇总-Python爬虫框架Scrapy常用命令总结
本文实例讲述了Python爬虫框架Scrapy常用命令.分享给大家供大家参考,具体如下: 在Scrapy中,工具命令分为两种,一种为全局命令,一种为项目命令. 全局命令不需要依靠Scrapy项目就可以 ...

Unknown command: crawl（爬虫框架Scrapy遇到的常见错误）

Unknown command: crawl（爬虫框架Scrapy遇到的常见错误）相关推荐

最新文章

热门文章