pyspider 爬取去哪儿旅游攻略

创建就不说了，直接撸代码

运行环境：python 3.6.0

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2019-04-01 22:30:10
# Project: qunarfrom pyspider.libs.base_handler import *class Handler(BaseHandler):crawl_config = {}@every(minutes=24 * 60)def on_start(self):self.crawl('http://travel.qunar.com/travelbook/list.htm', callback=self.index_page)@config(age=10 * 24 * 60 * 60)def index_page(self, response):for each in response.doc('li > .tit > a').items():self.crawl(each.attr.href, callback=self.detail_page, fetch_type='js')next = response.doc('.next').attr.hrefself.crawl(next, callback=self.index_page)@config(priority=2)def detail_page(self, response):return {"url": response.url,"title": response.doc('#booktitle').text(),"data": response.doc('.when .data').text(),"day": response.doc('.howlong .data').text(),"who": response.doc('.who .data').text(),"text": response.doc('#b_panel_schedule').text(),"image": response.doc('.cover_img').attr.src,}

运行结果：

ok，运行，结果看截图

pyspider 爬取去哪儿旅游攻略相关推荐

Python 爬取蚂蜂窝旅游攻略（+Scrapy框架+MySQL）
前言:使用python+scrapy框架爬取蚂蜂窝旅游攻略 Git代码地址:https://github.com/qijingpei/mafengwo 获取代理IP地址的开源项目ProxyPool-m ...
Python采集去哪儿旅游攻略(爬虫+数据分析),快过年了,这不得全家一起出去玩一次
本次目的: Python采集去哪儿旅游攻略(爬虫+数据分析) 内容介绍: 2021有哪些好玩的地方?今天用python分析适合年轻人的旅游攻略 (数据分析) 知识点: requests 发送网络请求 ...
广州去厦门旅游攻略--（转自 #散文吧网站#）
广州去厦门旅游攻略发布时间:2016-12-11 17:30 厦门由厦门岛.离岛鼓浪屿.内陆九龙江南岸海沧半岛.集美半岛.翔安区以及同安等组成,陆地面积1699.39Km2,海域面积300多平方公里 ...
Python爬取去哪儿旅游数据
1.爬取去哪儿页数 import requests from bs4 import BeautifulSoup import re import time import csv import rand ...
爬取马蜂窝英国旅行攻略
Life is short The world is big... 没钱请无视上面这句话,我们还是老老实实看别人的攻略脑部脑补吧.. ----- 项目为抓取英国旅游的所有攻略,并且转成pdf保存到本地 ...
python 爬取《延禧攻略》所有的演员参演的电视剧
# -*- coding: utf-8 -*- #@Time :18-9-23 上午11:22 #@Author : LiMeng #@Email : 925762221@qq.com #@File ...
python爬取去哪儿网机票_干货｜Python爬取《去哪儿》攻略库，制作一份详细的旅行攻略，疫情后来一场说走就走的旅行！...
去哪儿是中国领先的在线OTA网站,为消费者提供机票.酒店.会场 .度假产品的实时搜索,并提供旅游产品团购以及其他旅游信息服务.去哪儿网站上有丰富的图片.评论数据,这些大量的数据对于从事数据岗位的来说的 ...
Scrapy+MySQL爬取去哪儿网
Scrapy+MySQL爬取去哪儿旅游[超详细!!!] 基于Python语言,利用Scrapy框架爬取信息,并持久化存储在MySQL 文章目录 Scrapy+MySQL爬取去哪儿旅游[超详细!!!] ...
Python 网络爬虫实战：爬取《去哪儿》网数千篇旅游攻略数据，再也不愁旅游去哪儿玩了
好久不见! 今天我们来爬取去哪儿网站的旅游攻略数据. 0x00 找一个合理的作案动机作为一名立志成为技术宅的普通肥宅,每次一到周末就会面临一个人生难题:这周末怎么过? 本来是没有这些问题的 ...

pyspider 爬取去哪儿旅游攻略

pyspider 爬取去哪儿旅游攻略相关推荐

最新文章

热门文章