Scrapy教程demo

1.创建一个爬虫项目

#创建蜘蛛
#scrapy startproject tutorial

2.定义自己要爬去的数据（在items.py中定义）

import scrapy
class ManscrapyItem(scrapy.Item):# define the fields for your item here like:name = scrapy.Field()href=scrapy.Field()content=scrapy.Field()pass

3.编写爬虫

import scrapy
import json
from  ..items import ManscrapyItem
class MaospiderSpider(scrapy.Spider):name = 'maospider'allowed_domains = ['cntour.cn']start_urls = ['http://www.cntour.cn/news/list.aspx?tid=51&page=1']# //*[@id="main"]/div/div[2]/div[1]/div[1]/ul/li/text()def parse(self, response):names=response.css('.newsList>ul>li')for name in names:item=ManscrapyItem()href=name.xpath('a/@href').extract()item['href']=hrefname=name.xpath('a/text()').extract()item['name']=name# content=name.xpath('/text()').extract()# item['content']=contentyield item

4.在piplins中实现你要爬去数据的保存逻辑：

import codecs
import json
class ManscrapyPipeline(object):def __init__(self):self.file=codecs.open('dataTest','wb',encoding='utf-8')def process_item(self, item, spider):line=json.dumps(dict(item),ensure_ascii=False)+'\n'self.file.write(line)return item

这里有个问题就是编码问题：

line=json.dumps(dict(item),ensure_ascii=False)+'\n' //当中的这个ensure_ascii=False 很重要

4.启动爬虫（启动的方式也有几种）

# 启动蜘蛛
#scrapy crawl quotes

Scrapy教程demo相关推荐

python爬虫执行scrapy crawl demo出现： import win32api ModuleNotFoundError: No module named 'win32api'错误
执行: >scrapy crawl demo 可能会出现这个错误: import win32api ModuleNotFoundError: No module named 'win32api' ...
python3 scrapy 教程_Scrapy 教程
Scrapy 教程¶ 在本教程中,我们假定scrapy已经安装在您的系统上.如果不是这样的话,看安装指南 . 我们将抓取' quotes.toscrape.com ' _,这是一个列出著名作家名言的 ...
微信小程序联盟：官方文档+精品教程+demo集合（12月更新……）
1:官方工具:https://mp.weixin.qq.com/debug/w ... tml?t=1476434678461 2:简易教程:https://mp.weixin.qq.com/debu ...
微信小程序导航：官方文档+精品教程+demo集合（5月9日更新)
微信小程序联盟:官方文档+精品教程+demo集合 1:官方工具:https://mp.weixin.qq.com/debug/wxadoc/dev/devtools/download.html?t=1 ...
八月微信小程序导航：官方文档+精品教程+demo集合（8月25...
2019独角兽企业重金招聘Python工程师标准>>> 1:官方工具: https://mp.weixin.qq.com/debug/w ... tml?t=147643467846 ...
Delphi xe6 andriod 编程入门教程demo随书光盘
网上找到的 Delphi xe6 andriod 编程入门随书光盘代码 Delphi xe6 andriod 编程入门教程demo随书光盘1 http://download.csdn.net/de ...
Scrapy1.5入门（三）——Scrapy教程
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/intro/tutorial.html Scrapy教程在本教程中,我们假设Scrapy已经在你的系统上成 ...
scrapy教程基础篇
文章目录 scrapy教程 1.安装 2.简介 3.项目教学命令行全局命令项目命令创建流程实战讲解文件作用代码实例 `chin.py` `items.py` `pipelines.py` ...
Python学习之Scrapy教程
介绍: 这是我的Scrapy教程系列的第一篇文章,在这个Scrapy教程中,我将讨论Scrapy,BeautifulSoup的特性,比较它们,并帮助您决定哪个更适合您的项目. 谈论BeautifulS ...

Scrapy教程demo

Scrapy教程demo相关推荐

最新文章

热门文章