Scrapy: 爬虫返回403错误

问题

抓取数据时，通常调试信息是：

DEBUG: Crawled (200) <GET http://www.techbrood.com/> (referer: None)

如果出现

DEBUG: Crawled (403) <GET http://www.techbrood.com/> (referer: None)

表示网站采用了防爬技术anti-web-crawling technique（Amazon所用），比较简单即会检查用户代理（User Agent）信息。

解决方法

在请求头部构造一个User Agent，如下所示：

    def start_requests(self):yield Request("http://www.techbrood.com/",headers={'User-Agent': "your agent string"})

By Techbrood Co.

Scrapy: 爬虫返回403错误相关推荐

scrapy爬虫返回302，301，解决方法
scrapy爬虫返回302,301,解决方法参考文章: (1)scrapy爬虫返回302,301,解决方法 (2)https://www.cnblogs.com/s5vc/p/10437242.ht ...
scrapy爬虫出现10054错误远程主机强迫关闭了一个现有的连接
** 解决:python爬虫出现10054错误远程主机强迫关闭了一个现有的连接 ** 问题: 1,网络问题. 确定是否是本机或爬虫目标网站出现网络问题 2,单位时间内请求页面频率过高 3,网站监测 ...
python爬虫遇到403错误
这段时间我很想去p站爬一爬,之前有试过,但都失败了,有一次用phantomJS尝试,结果卡死在登录页面,太复杂了.有一次卡死在编码上,一直无法获取到页面.这次是卡死在403上,我获取了图片的链接,正要 ...
爬虫出现403错误解决办法
转载自https://blog.csdn.net/jsqfengbao/article/details/44594985 在python写爬虫的时候,html.getcode()会遇到403禁止访问的 ...
img标签src引用网络图片，页面不显示，返回403错误，网络图片地址在浏览器能加载，放html却不能显示
在html页面加入<meta name="referrer" content="no-referrer">标签,就可以解决页面加载网络图片的问题, ...
PHP Curl出现403错误的解决办法 beecloud webhook订单状态返回服务器403的问题
http://write.blog.csdn.net/postedit PHP Curl出现403错误的解决办法作者: 字体:[增加减小] 类型:转载时间:2014-05-29 我要评论这篇文 ...
scrapy爬虫使用简明教程
目录一.基本框架介绍二.安装与基本命令三.scrapy框架基本使用及完整案例四.各组件的一些用法说明一.基本框架介绍 Scrapy框架介绍: Scrapy是: 由Python语言开发的一个快 ...
Scrapy爬虫教程二浅析最烦人的反爬虫手段
最近一直在弄爬虫,也爬取了知名网站的一些数据(这里只是个人学习使用,不是商用!!!),大家都知道,爬虫和反爬虫一直以来都是相爱相杀的,爬虫程序员希望破解反爬虫手段,反爬虫程序员希望建立更加有效的反爬虫 ...
html403禁止访问怎么解决,http出现“禁止访问 403”错误的起因和解决方法
如果某个网页出现问题,访问这个网页的用户就会被返回 403错误,这类问题大多数出现在http脚本发生错误的故障上,不过 403 错误也有很多细节分类,比如 403.1 就是禁止执行访问错误.阅读下文了 ...
奇怪的curl 403错误
最近在一家公司实习,按照他们技术总裁的要求写一个URL连接检查器,从数据库里面select出url后判断他的访问状态生成报告,php或者python任选,我自然选择了自己最熟悉的php了但是程序跑了 ...

Scrapy: 爬虫返回403错误

问题

解决方法

Scrapy: 爬虫返回403错误相关推荐

最新文章

热门文章