New Scrapy project 'ArticleSpider', using template directory '/Users/qiuyang/virtualenv/scrapy/lib/python3.6/site-packages/scrapy/templates/project', created in:/Users/qiuyang/Documents/python/ArticleSpiderYou can start your first spider with:cd ArticleSpiderscrapy genspider example example.com

from scrapy.cmdline import executeimport sys,os
# 获取项目路径，将项目路径添加到系统path路径中
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
# print(os.path.dirname(os.path.abspath(__file__)))# 执行命令，在命令行中是$ scrapy crawl jobbole
execute(['scrapy','crawl','jobbole'])

    def parse(self, response):# 通过XPATH查找这个‘h1’标签re_selector = response.xpath('//*[@class="entry-header"]/h1')# 可以通过text（）的方法获取内部文本信息re_selector_data = response.xpath('//*[@id="post-114329"]/div[1]/h1/text()')# 获取title的标签的文本信息title = response.xpath('//*[@class="entry-header"]/h1/text()')

# 在终端中，可以通过这个命令，对网址进行请求
scrapy shell http://blog.jobbole.com/114329/#然后在终端中会显示如下：
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object at 0x10e40a6d8>
[s]   item       {}
[s]   request    <GET http://blog.jobbole.com/114329/>
[s]   response   <200 http://blog.jobbole.com/114329/>
[s]   settings   <scrapy.settings.Settings object at 0x10f1c76d8>
[s]   spider     <DefaultSpider 'default' at 0x10f487898>
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser# 这其中，response对象就是我们获取的html返回

>>> title = response.xpath('//*[@class="entry-header"]/h1')
>>> title
[<Selector xpath='//*[@class="entry-header"]/h1' data='<h1>如何在 Linux Shell 编程中定义和使用函数</h1>'>]
>>> title = response.xpath('//*[@class="entry-header"]/h1/text()')# 我们可以用extract()命令将selector对象转换为列表对象
>>> title.extract()
['如何在 Linux Shell 编程中定义和使用函数']# 从列表对象中取出的第一个值，就是我们希望得到的字符串
>>> title.extract()[0]
'如何在 Linux Shell 编程中定义和使用函数'# 获取p标签的内容
>>> create_date = response.xpath('//*[@id="post-114329"]/div[2]/p/text()')
# 此时我们看到，标签内容中有很多的换行符，我们可以通过strip()命令进行过滤
>>> create_date.extract()
['\r\n\r\n 2018/08/29 · ', '\r\n \r\n \r\n\r\n \r\n · ', '\r\n \r\n']
# 过滤后的内容中还有一个‘.‘存在
>>> create_date.extract()[0].strip()
'2018/08/29 ·'
# 我们可以将这个.进行替换操作
>>> create_date.extract()[0].strip().replace('·','')
'2018/08/29 '
# 随后再进行一个strip()操作，即可得到一个理想的值
>>> create_date.extract()[0].strip().replace('·','').strip()
'2018/08/29'

def parse_detail(self,response):# 提取文章的具体字段# re_selector_data = response.xpath('//*[@id="post-114329"]/div[1]/h1/text()')title = response.xpath('//*[@class="entry-header"]/h1/text()').extract()[0]create_date = response.css('.entry-meta .entry-meta-hide-on-mobile::text').extract()[0].strip().replace('·','').strip()vote_num = int(response.xpath('//span[contains(@class,"vote-post-up")]/h10/text()').extract()[0])faver_num = response.xpath('//span[contains(@class,"bookmark-btn")]/text()').extract()[0]match_fav_re = re.match(".*(\d+).*",faver_num)if match_fav_re:faver_num = int(match_fav_re.group(1))else:faver_num = 0comment_num = response.xpath('//a[@href="#article-comment"]/span/text()').extract()[0]match_com_re = re.match(".*(\d+).*",comment_num)if match_com_re:comment_num = int(match_com_re.group(1))else:comment_num = 0cotent = response.xpath('//div[@class="entry"]').extract()[0]tag_list = response.css('.entry-meta-hide-on-mobile a::text').extract()# 列表去重，去掉以评论字符为结尾的所有项tag_list = [element for element in tag_list if not element.strip().endswith("评论")]pass

from scrapy.loader.processors import TakeFirst
from scrapy.loader import ItemLoader# 自定义一个类，继承ItemLoader类，就可以修改其中的配置
class ArticleItemLoader(ItemLoader):# 自定义itemloader,修改默认取第一个值，全部变为strdefault_output_processor = TakeFirst()

def parse_detail(self, response):# 提取文章的具体字段# 将原来代码中的meta传来的url获取一下front_image_url = response.meta.get('front_image_url', '')# 通过item loader加载item，通过自定义的ArticleItemLoader类进行实例对象，传入两个参数，一个是item对象，一个是获取的responseitem_loader = ArticleItemLoader(item=JobboleArticleItem(), response=response)# item_loader.add_xpath()item_loader.add_css('title', '.entry-header h1::text')item_loader.add_css('create_date', '.entry-meta .entry-meta-hide-on-mobile::text')item_loader.add_xpath('vote_num', '//span[contains(@class,"vote-post-up")]/h10/text()')item_loader.add_xpath('faver_num', '//span[contains(@class,"bookmark-btn")]/text()')item_loader.add_xpath('comment_num', '//a[@href="#article-comment"]/span/text()')item_loader.add_css('tag_list', '.entry-meta-hide-on-mobile a::text')item_loader.add_xpath('cotent', '//div[@class="entry"]')item_loader.add_value('front_image_url', [front_image_url])item_loader.add_value('url', response.url)item_loader.add_value('url_object_id', get_md5(response.url))# 调用默认的item方法以后，会将所有的值全部变为list形式article_item = item_loader.load_item()# yield之后，会传递到pipelines.py中，需要在settings中将pipelines生效，将系统已经生成好的ITEM_PIPELINES打开注释yield article_item

# 测试函数，可以将值后面增加字符串
def add_jobbole(value):return value+'jobbole'# 将日期格式字符串格式化为日期格式
def date_convert(value):try:create_date = datetime.datetime.strptime(value, "%Y/%m/%d").date()except Exception as e:create_date = datetime.datetime.now().date()return create_date# 获取文字中的数字的函数
def get_num(value):match_re = re.match(".*(\d+).*", value)if match_re:num = int(match_re.group(1))else:num = 0return num# 专门去掉标签中的'评论字样'
def remove_comment_tags(value):if '评论' in value:return ''else:return value# 空函数，用于将值变为列表格式
def return_value(value):return value# 自定义一个类，继承ItemLoader类，就可以修改其中的配置
class ArticleItemLoader(ItemLoader):# 自定义itemloader,修改默认取第一个值，全部变为strdefault_output_processor = TakeFirst()class JobboleArticleItem(scrapy.Item):# scrapy只有一个Field类型# title = scrapy.Field()              # 文章名称# create_date = scrapy.Field()        # 创建日期# url = scrapy.Field()                # 文章url# url_object_id = scrapy.Field()      # url->md5# front_image_url = scrapy.Field()    # 封面图片# front_image_path = scrapy.Field()   # 封面图片存放路径# vote_num = scrapy.Field()           # 点赞数# faver_num = scrapy.Field()          # 收藏数# comment_num = scrapy.Field()        # 评论数# cotent = scrapy.Field()             # 文章正文html# tag_list = scrapy.Field()           # 文章标签
title = scrapy.Field(# 给title全部增加一个jobbole的结尾，甚至可以调用多个函数#input_processor=MapCompose(add_jobbole, lambda x: x+'-Trunkslisa'))              # 文章名称create_date = scrapy.Field(# 给时间格式进行转换input_processor=MapCompose(date_convert),# 将获取的值取第一个# output_processor=TakeFirst())        # 创建日期url = scrapy.Field()                # 文章urlurl_object_id = scrapy.Field()      # url->md5front_image_url = scrapy.Field(# 下载文件时，系统需要数组形式的数据,调用一个空函数，重新赋值output_processor=MapCompose(return_value),)    # 封面图片front_image_path = scrapy.Field()   # 封面图片存放路径vote_num = scrapy.Field(input_processor=MapCompose(get_num))           # 点赞数
faver_num = scrapy.Field(input_processor=MapCompose(get_num))          # 收藏数comment_num = scrapy.Field(input_processor=MapCompose(get_num))        # 评论数cotent = scrapy.Field()             # 文章正文htmltag_list = scrapy.Field(# 由于获取的内容本身就是list，这时候使用默认的TakeFirst()就不是太合适了# 这时使用scrapy提供的Join类output_processor=Join(","),)           # 文章标签

from scrapy.http import Requestdef parse(self, response):"""1、获取文章列表页中的文章url 并scrapy下载后交给解析函数进行具体字段的获取2、获取下一页的url 并交给scrapy进行下载，下载完成后再交给parse函数"""post_list = response.css("#archive .floated-thumb .post-thumb a::attr(href)").extract()for plist in post_list:# 如果页面的url没有全部，只能提取到url的部分，需要针对url做拼接操作# Request(url=parse.urljoin(response.url, plist), callback=self.parse_detail)yield Request(url=plist, callback=self.parse_detail)# print(post_list)# 提取下一页的url，并交给scrapy进行下载# 同一个节点2个class标签，可以通过没有空格的方式指定next_urls = response.css(".next.page-numbers::attr(href)").extract()[0]if next_urls:yield Request(url=next_urls, callback=self.parse)

class JobboleArticleItem(scrapy.Item):# scrapy只有一个Field类型title = scrapy.Field()              # 文章名称create_date = scrapy.Field()        # 创建日期url = scrapy.Field()                # 文章urlurl_object_id = scrapy.Field()      # url->md5front_image_url = scrapy.Field()    # 封面图片front_image_path = scrapy.Field()   # 封面图片存放路径vote_num = scrapy.Field()           # 点赞数faver_num = scrapy.Field()          # 收藏数comment_num = scrapy.Field()        # 评论数cotent = scrapy.Field()             # 文章正文htmltag_list = scrapy.Field()           # 文章标签

# 实例化Item类
article_item = JobboleArticleItem()# 给item设置的字段赋值
article_item['title'] = title
article_item['create_date'] = create_date
article_item['url'] = response.url
article_item['front_image_url'] = [front_image_url]
article_item['vote_num'] = vote_num
article_item['faver_num'] = faver_num
article_item['comment_num'] = comment_num
article_item['cotent'] = cotent
article_item['tag_list'] = tag_list# 这是将获取到的url进行了md5的编码
article_item['url_object_id'] = get_md5(response.url)# yield之后，会传递到pipelines.py中，需要在settings中将pipelines生效，将系统已经生成好的ITEM_PIPELINES打开注释
yield article_item

import hashlibdef get_md5(url):# 判断传入的url是否是str格式的（str格式的默认都是unicode编码），并用utf8进行编码，用来确保可以进行md5运算if isinstance(url,str):url = url.encode('utf8')m = hashlib.md5()m.update(url)return m.hexdigest()

# 默认路径是注释掉的，打开注释
ITEM_PIPELINES = {'ArticleSpider.pipelines.ArticleSpiderPipeline': 300,# 如果希望使用系统的功能对图片进行下载，需要加入这个pipelines，并设置一下pipylines的执行顺序，数字越小，越早执行 'scrapy.pipelines.images.ImagesPipeline': 1,
}# 这里设置一下是哪个字段为下载图片的字段
IMAGES_URLS_FIELD = "front_image_url"
# 获取工程路径
project_dir = os.path.abspath(os.path.dirname(__file__))
# 加入图片保存路径
IMAGES_STORE = os.path.join(project_dir, 'image')# 配置下载100*100以上的图片
IMAGES_MIN_HEIGHT = 100
IMAGES_MIN_WIDTH = 100

# 引入类
from scrapy.pipelines.images import ImagesPipeline# 新建一个类，并继承系统的ImagesPipeline类
class ArticleImagePipeline(ImagesPipeline):"""自定义编写这个函数，可以通过results获取文件保存的路径通过debug可以看到results是一个元组形式的，元组第一个值是True，第二个值是一个字典。字典中有一个path的key，value是保存的地址通过一个for循环，将value取出,这个value是一个列表形式的"""def item_completed(self, results, item, info):for ok, value in results:img_file_path = value['path']# 此时我们就可以将文件保存的路径保存在front_image_path中item['front_image_path'] = img_file_path# pipeline类必须要返回itemreturn item    

import codecs   # codecs与open类似，但是减少了很多的编码工作
import json# 自定义保存json的pipeline
class JsonWithEncodingPipeline(object):def __init__(self):self.file = codecs.open('artcle.json','w',encoding='utf-8')# 处理item的写入文件的主要函数def process_item(self,item,spider):lines = json.dumps(dict(item), ensure_ascii=False) + "\n"self.file.write(lines)return item# 定义一个关闭文件的函数def spider_closed(self,spider):self.file.close()

# 调用scrapy提供的JsonExporter导出json文件
class JsonExporterPipeline(object):def __init__(self):self.file = open('articleexport.json','wb')self.exporter = JsonItemExporter(self.file,encoding='utf-8',ensure_ascii=False)self.exporter.start_exporting()def close_spider(self,spider):self.exporter.finish_exporting()self.file.close()def process_item(self,item,spider):self.exporter.export_item(item)return item

# 需要在虚拟环境安装 mysqlclient
# pip3 install mysqlclientimport MySQLdbclass MysqlPipeline(object):def __init__(self):# self.conn = MySQLdb.connect('host','user','password','dbname',charset="utf8",use_unicode=True)self.conn = MySQLdb.connect('127.0.0.1','root','123','article_spider',charset="utf8",use_unicode=True)self.cursor = self.conn.cursor()def process_item(self,item,spider):insert_sql = "insert into jobbole(title,create_date,url,url_object_id,front_image_url,front_image_path,vote_num,faver_num,comment_num,cotent) values (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"sql = self.cursor.execute(insert_sql, (item['title'],item['create_date'],item['url'],item['url_object_id'],item['front_image_url'],item['front_image_path'],item['vote_num'],item['faver_num'],item['comment_num'],item['cotent'],# 这里本来希望把标签也进行导入,但是实际操作过程中报错了，就先注释掉了# item['tag_list']
        ))self.conn.commit()