利用selenium爬取携程酒店信息

上节博客我们利用requests请求库，正则表达式来提取信息（链接https://mp.csdn.net/postedit/81865681），提到过使用selenium也可以抓取酒店信息，在这里利用selenium模块优点是不需要数据处理过滤，只需要处理异常，（实际上也是一样的效果）但是对于使用selenium爬取效率太慢。

具体的分析如上节分析的类似，只是定位元素是利用find_element(s)_by_id，find_element(s)_by_class_name等等定位方法。下面直接给出代码。如有疑问，可留言一起探讨。

import time
from selenium  import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.common.exceptions import NoSuchElementException  ###导入异常属性
from pymongo import MongoClient
driver=webdriver.Chrome()
url='http://hotels.ctrip.com/hotel/nanjing12#ctm_ref=ctr_hp_sb_lst'
driver.get(url)
time.sleep(2)
button=driver.find_element_by_css_selector('#appd_wrap_close')
button.click()
page=driver.find_element_by_css_selector('#page_info > div.c_page_list.layoutfix > a:nth-child(9)')  ###定位总页数
for m in range(int(page.text)) :if m :next_button=driver.find_element_by_css_selector('.c_down')       next_button.send_keys(Keys.ENTER)driver.execute_script('window.scrollBy(0,5800)')time.sleep(2)    infor=driver.find_element_by_css_selector('#hotel_list').find_elements_by_class_name('hotel_new_list')# print(len(infor))for data in infor :try:hotel_level=data.find_element_by_css_selector('ul > li.hotel_item_judge.no_comment > div.hotelitem_judge_box > a > span.hotel_level').textexcept NoSuchElementException :hotel_level=''try:recommend=data.find_element_by_css_selector(' ul > li.hotel_item_judge.no_comment > div.hotelitem_judge_box > a > span.recommend').textexcept NoSuchElementException :recommend=' 'hotel_information= {'title':data.find_element_by_css_selector(' ul > li.pic_medal > div > a').get_attribute('title'),'adress':data.find_element_by_css_selector(' ul > li.hotel_item_name > p.hotel_item_htladdress').text.rstrip('地图'and'地图街景') ,'hotle_score':hotel_level+data.find_element_by_css_selector('ul > li.hotel_item_judge.no_comment > div.hotelitem_judge_box > a > span.hotel_value').text,'lowestprice':data.find_element_by_css_selector('ul > li.hotel_price_icon > div > div > div > a > span').text,'recommend':recommend,}print(hotel_information)client=MongoClient()db=client['ctrip']collection=db['hotels information']collection.insert_one(hotel_information)

运行得到部分结果截图如下：

原创不易，如若转载，请注明出处与作者，谢谢！

利用selenium爬取携程酒店信息相关推荐

python爬取携程酒店信息_不写代码玩转爬虫实例（3） - 抓取携程酒店信息
背景需求有不少朋友问永恒君携程网站的酒店信息怎么抓取,今天这篇文章来分享一下使用web scraper来快速实现抓取携程酒店信息. 例如,在携程官网搜索北京密云水库的酒店信息, 可以搜索到非常多的 ...
最新爬取携程酒店信息上：思路讲解
本以为携程的信息很好爬,但是在我目前能力一般的时候,经过尝试,发现了携程真的有太多坑了,虽然说代码和大佬比起来不是最优的,但是可以完成爬取任务. 在这里记录一下本次学习过程,为后人乘凉. 要爬取所有的 ...
python携程酒店评论_Python基于selenium爬取携程酒店评论信息
爬取站点任意一个携程酒店的详细链接,这里给出了四个,准备开四个线程爬取: https://hotels.ctrip.com/hotel/6278770.html#ctm_ref=hod_hp_hot ...
最新爬取携程酒店信息代码
代码方面,我们使用scrapy框架爬取酒店信息,经过测试发现,使用这种方法不会被封ip和cookie. 思路: 1.得到城市的编号 2.通过编号,进入酒店列表,并且得到酒店总数 3.计算酒店页数,构造 ...
Python爬取携程酒店信息
文章目录前言一.请求头,请求参数二.获取JSON数据总结前言还是毕设- 要用到哈尔滨黑河酒店的数据但每个城市都一样还是从携程下手- 一.请求头,请求参数在携程主页搜索我们要爬取的城市 ...
利用selenium爬取携程旅游网的景区评论
第一步:打开携程网,获取该景点的网址.以我的为例,我爬取的是湖北省恩施州的恩施大峡谷景区的评论.网址为:https://you.ctrip.com/sight/enshi487/51386.html ...
快速简单爬取携程酒店信息简介
先查看网站发送信息格式,发现可以通过ajax来拿取信息,还没有ip访问限制.然后顺便爬了杭州5000家酒店信息 import scrapy import time import json from x ...
Java数据爬取——爬取携程酒店数据（二）
在上篇文章Java数据爬取--爬取携程酒店数据(一)爬取所有地区后,继续根据地区数据爬取酒店数据 1.首先思考怎样根据地域获取地域酒店信息,那么我们看一下携程上是怎样获得的. 还是打开http://h ...
Java数据爬取——爬取携程酒店数据（一）
最近工作要收集点酒店数据,就到携程上看了看,记录爬取过程去下 1.根据城市名称来分类酒店数据,所以先找了所有城市的名称在这个网页上有http://hotels.ctrip.com/domestic- ...

利用selenium爬取携程酒店信息

利用selenium爬取携程酒店信息相关推荐

最新文章

热门文章