python3下scrapy爬虫(第二卷:初步抓取网页内容之直接抓取网页）

上一卷中介绍了安装过程，现在我们开始使用这个神奇的框架

跟很多博主一样我也先选择一个非常好爬取的网站作为最初案例，那么我先用屌丝必备网站http://www.shaimn.com/xinggan/作为这一卷的案例，不用想有图，有字

第一步：

创建爬虫文件：

现在切换到scrapy_test的根目录下：

我们现在创建了爬虫文件，这个网页正常情况下就可以直接抓取，不像糗事啊，天猫啊需要到SETTING里去设置对抗ROBOT cookie user-AGENT这样的反爬手段

现在开始创建代码

现在在终端切换到爬虫文件的目录中

执行命令：

scrapy crawl crawler1 --nolog

--nolog是为了隐藏日志文件时我添加的命令语句，因为这个网页过于简单，所以为了方便数据的展示，我加了这句语句，但是如果抓取复杂的网站时我建议添加，一旦出问题可以立马发现问题的所在：

现在看下结果：

这样这个网页就爬了下来，但是数据内容不精准，我相信没有人会把别让人的所有网页代码拿来用，要用的是其中的数据，图片，视频，音频等内容

转载于:https://www.cnblogs.com/woshiruge/p/8391226.html

python3下scrapy爬虫(第二卷:初步抓取网页内容之直接抓取网页）相关推荐

python爬取网页上的特定链接_python3下scrapy爬虫(第三卷:初步抓取网页内容之抓取网页里的指定数据）...
上一卷中我们抓取了网页的所有内容,现在我们抓取下网页的图片名称以及连接现在我再新建个爬虫文件,名称设置为crawler2 做爬虫的朋友应该知道,网页里的数据都是用文本或者块级标签包裹着的,scrap ...
php抓取网页内容，获取网页数据
php通过simple_html_dom实现抓取网页内容,获取核心网页数据,将网页数据写入本地 xxx.json 文件其代码实现逻辑: 1. 引入simple_html_dom.php文件 requ ...
php 获得其他网页数据,php抓取网页内容，获取网页数据
php通过simple_html_dom实现抓取网页内容,获取核心网页数据,将网页数据写入本地 xxx.json 文件其代码实现逻辑: 1. 引入simple_html_dom.php文件 requ ...
python爬取网页内容post_python爬虫之使用POST抓取网页内容
首先先向小伙伴介绍一下HTTP中GET和POST 教小伙伴们写爬虫,通过POST获取网页内容使用POST的原因: GET是不安全的,因为在传输过程,数据被放在请求的URL中,而如今现有的很多服务器. ...
Python3网络爬虫之Scrapy框架实现招聘数据抓取
项目需求: 某招聘网上面有公司发布的的各种工作岗位,进入首页 https://careers.tencent.com/ 后可见到一个搜索框,如下图所示: 在搜索框输入岗位名称,跳转到如下图所示页面, ...
[Python爬虫] 三、数据抓取之Requests HTTP 库
往期内容提要: [Python爬虫] 一.爬虫原理之HTTP和HTTPS的请求与响应 [Python爬虫] 二.爬虫原理之定义.分类.流程与编码格式一.urllib 模块所谓网页抓取,就是把URL ...
小白爬虫第一弹之抓取妹子图
点击上方"程序员大咖",选择"置顶公众号" 关键时刻,第一时间送达! 这是一篇完全给新手写的爬虫教程由于经常在群里装逼加上群主懒啊(你看有多久没更新文章就知道 ...
Python爬虫实战六之抓取爱问知识人问题并保存至数据库
大家好,本次为大家带来的是抓取爱问知识人的问题并将问题和答案保存到数据库的方法,涉及的内容包括: Urllib的用法及异常处理 Beautiful Soup的简单应用 MySQLdb的基础用法正则表 ...
手机应用url抓取_Python爬虫入门，快速抓取大规模数据(第六部分)
在前面的章节中,我们以尽量少的代码演示了爬虫的基本原理.如果只是需要抓取一些简单的数据,那么我们修改一下前面的代码就可以完成任务了.但是当我们需要完成一些复杂的大型抓取任务时,我们就需要考虑更多东西, ...

python3下scrapy爬虫(第二卷:初步抓取网页内容之直接抓取网页）

python3下scrapy爬虫(第二卷:初步抓取网页内容之直接抓取网页）相关推荐

最新文章

热门文章