Python爬取去哪了旅游景点数据
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
本次目标
爬取去哪了湖南旅游景点信息
https://piao.qunar.com/ticket/list.htm?from=mpshouye_hotdest_more&keyword=%E6%B9%96%E5%8D%97&page=1
环境
- Python3.6
- pycharm
爬虫代码
导入工具
import requests
import parsel
import csv
import time
请求网站
url = 'https://piao.qunar.com/ticket/list_%E5%BC%A0%E5%AE%B6%E7%95%8C.html?from=mps_search_suggest_c&keyword=%E5%BC%A0%E5%AE%B6%E7%95%8C&page={}'.format(page)
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
解析网站数据
for page in range(1, 11):time.sleep(1)for li in lis:title = li.css('.sight_item_caption a::attr(title)').get() # 景区名字dit['景区名字'] = titlelevel = li.css('.sight_item_info .level::text').get() # 景区等级dit['景区等级'] = levelarea = li.css('.area a::attr(title)').get() # 地区dit['地区'] = areaaddress = li.css('.address span::attr(title)').get() # 地址dit['地址'] = addressstring = li.css('.product_star_level em::attr(title)').get() # 热度star_level = float(string.strip('热度: '))dit['热度'] = star_levelintro = li.css('.intro::attr(title)').get() # 简介dit['简介'] = introprice = li.css('.sight_item_price em::text').get() # 价格dit['价格'] = pricehot_num = li.css('.hot_num::text').get() # 月销dit['月销'] = hot_numcsv_writer.writerow(dit)
保存数据
f = open('旅游景点.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['景区名字', '景区等级', '地区', '地址', '热度', '简介', '价格', '月销'])
csv_writer.writeheader()
print(dit)
运行代码,效果如下图
Python爬取去哪了旅游景点数据相关推荐
- Python爬取去哪网旅游景点保存到csv文件
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
- 【爬虫】用Python爬取去哪儿网热门旅游信息(并打包成旅游信息查询小工具)
以下内容为本人原创,欢迎大家观看学习,禁止用于商业用途,谢谢合作! ·作者:@Yhen ·原文网站:CSDN ·原文链接:https://blog.csdn.net/Yhen1/article/det ...
- python爬取去哪儿网酒店信息
python爬取去哪儿网酒店信息 利用selenium+python爬取去哪儿网酒店信息,获取酒店名称.酒店地址.第一条评论.评论数.最低价格等信息,写入excel表. 1.观察网页结构 浏览器地址栏 ...
- Python爬取南京地铁微博发布客流数据并进行分析
Python爬取南京地铁微博发布客流数据并进行分析 之前在网上看到了分析北京地铁客流数据的开源项目,就想试着分析一下南京地铁的客流数据,可是找了很久没有找到可以获得南京地铁客流数据的接口,就去南京地铁 ...
- python爬取微博评论(无重复数据)
python爬取微博评论(无重复数据) 前言 一.整体思路 二.获取微博地址 1.获取ajax地址2.解析页面中的微博地址3.获取指定用户微博地址 三.获取主评论 四.获取子评论 1.解析子评论2.获 ...
- 利用Python爬取全国250m精度的人口数据
此次以GeoQ(智图)为基础,利用Python爬取全国250m精度的人口数据(GeoQ)这个网站开放过250m精度的人口分布数据,而且人口分布有年龄分段等属性.先得注册登录到达创建地图的界面. 看人口 ...
- Python爬取王者荣耀英雄的皮肤数据并下载皮肤图片项目
Python爬取王者荣耀英雄的皮肤数据,并下载皮肤图片!高清的图片用来做桌面也不错哟~ 网址:https://pvp.qq.com/web201605/herolist.shtml 1.获得英雄信息, ...
- 利用python爬取丁香医生上新型肺炎数据,并下载到本地,附带经纬度信息
新增:国外疫情网站介绍 已更新:爬取国外疫情数据 已更新:新型肺炎历史数据下载 2020年3月27日补充: 制作了一个全球肺炎数据查询下载网站,效果如下: 访问地址:http://119.3.227. ...
- python爬取电脑本地数据_利用python爬取丁香医生上新型肺炎数据,并下载到本地,附带经纬度信息...
原标题:利用python爬取丁香医生上新型肺炎数据,并下载到本地,附带经纬度信息 新型肺炎肆虐全国,可以预知,最近一两年地理学中会有一部分论文研究新型肺炎的空间分布及与其他指标的关联分析.获取其患病人 ...
最新文章
- iOS Xcode 项目重命名
- 2013-2014集训第二次个人积分赛
- ubuntu php 源,Ubuntu18.04更换国内源
- qnetworkreply 获取状态_《DNF》魔界人二觉宠物怎么获取 魔界人二觉宠物获取方法分享...
- 收集sqlite常见问题
- 网站链接跳转安全警告提示l单页源码
- 开幕倒计时3天 | 2019中国大数据技术大会(BDTC)邀您一同共赴大数据+AI盛宴!...
- flex align-center:center多行垂直方向居中 align-items:center垂直方向单行居中
- 天正如何转为t3_天正插件 t3 天正文件转T3格式CAD图
- android 利用shape做控件背景(小圆点,空心带边框背景)
- 武音硕士研究生《计算机音乐作曲》培训,武汉音乐学院2013年硕士研究生招生计算机音乐作曲科目考试大纲及参考书目...
- matlab 颜色半透明,使用matlab画半透明椭圆
- html零基础学习入门,nlp网站例:HTML零基础入门-HTML学习大纲.doc
- 什么是OXC(全光交叉)?
- 分析中国古建筑最大的特点
- 为什么电脑无限重启,难道是我的电脑装了无限宝石?
- 记:EVE模拟器拓扑配置的保存及导入
- android framelayout 高度,Android SupportLib – FrameLayout在CoordinatorLayout中与AppBarLayout消耗整个屏幕高度...
- 用JavaScript实现倒记时特效代码--Java自学网
- 怎样写一篇文章 施工中~
热门文章
- Cloudcompare点云渲染的多种方式
- [诈骗]“中国移动”发送诈骗短信,china mobile 是骗子吗?
- Linux主机和Windows主机有什么区别?
- matlab 更新数据刷新图
- 利用红外发射遥控电器
- 网络三大参数(IP、NETMASK、PORT)简述
- 微软官方工具安装Win10的教程
- 单通道驱动LVDS驱动1080P液晶屏
- 如果在git配置中报错fatal: Authentication failed for ‘‘,其实就是凭证失败的意思
- 元胞自动机--大黄蜂预测