第2期-通过去哪儿爬取机票价格

上期分析了携程的机票，本次来对比一下去哪儿的机票看看有什么不同。

接口地址：https://flight.qunar.com/touch/api/domestic/wbdflightlist

有一个加密参数__m__，看上去的话，这个__m__的获得应当是没有之前的携程的v那么困难的，但是很显然，也不是一时半会能够解决的

data: r({departureCity: i,arrivalCity: s,departureDate: o,ex_track: u,__m__: (0, l["default"](h["default"].encrypt()).toString(),st: GodEye.getST()
}, t)

首先我们找到了__m__，那么问题又来了，l是什么，h又是什么呢

如果直接通过selenium获取源码的话，确实难度会下降很多

地址：https://flight.qunar.com/site/oneway_list.htm?searchDepartureAirport={}&searchArrivalAirport={}&searchDepartureTime={}

但是，但是啊，问题在于，直接使用selenium是进不去查询机票价格的地址的，因为去哪儿把selenium给拦截了，如果你常规使用selenium去请求机票地址的话，根本就没有响应。必须要通过消除特征的办法，绕过检测。

绕过检测以后，拿到了源代码，还没有完，我们还会遇到最后的一个困难，那就是去哪儿的css加密。

/* 去哪儿的css加密 */<b style="width:48px;left:-48px">
<i title="326" style="width: 16px;">3</i>
<i title="326" style="width: 16px;">7</i>
<i title="326" style="width: 16px;">6</i>
</b>
<b title="326" style="width: 16px;left:-32px">2</b><b style="width:48px;left:-48px">
<i title="328" style="width: 16px;">5</i>
<i title="328" style="width: 16px;">6</i>
<i title="328" style="width: 16px;">7</i>
</b>
<b title="328" style="width: 16px;left:-48px">3</b>
<b title="328" style="width: 16px;left:-32px">2</b>
<b title="328" style="width: 16px;left:-16px">8</b>

以上代码就是去哪儿的css加密了，虽然说最后这关并不难，很容易解决，但是最后也还是要让你痛苦一下的

这个css加密的原理就是通过数字加移动距离，硬是拼接出来了价格，而不是直接把价格给你，这里面还混杂了假的价格，因此在提取数据的时候会造成一些困难，也就是你要区分哪些价格是假的，这些真的价格如何拼装在一起，这倒也不是困难的事情了。

不过有趣的是，这些代码包含了一个title属性，这个title属性已经给出了价格，这个title是可以相信的吗？还是是一个陷阱呢。大概是可以相信的吧，可能主要原因在于，我们运行了js，这个css加密不是留给我们的，而是留给直接从接口获取数据的人的，又或者是css加密方案被废弃了？谁知道呢

结论：去哪儿的反爬力度要强于携程，首先设置了js加密，还设置了selenium的检测，最后还有css的干扰，从去哪儿获取机票价格，比起携程还要困难。

查看2021更多爬虫分析，点击这里

注：由于个人精力有限，只能分析大概的思路，没办法将所有的代码都完整复原，请谅解。如果有爬虫需求，欢迎来找我，qq群地址：383472162，感谢支持！

第2期-通过去哪儿爬取机票价格相关推荐

第1期-通过携程爬取机票价格
首先我们先找到携程机票的地址携程机票的地址为,https://flights.ctrip.com/online/list/oneway-{a}-{b}?depdate={c} 其中,a为起始地,b为 ...
第3期-通过途牛爬取机票价格
前两期,我们已经研究过了携程和去哪儿的机票.作为同样有名的出行平台,我们自然也应该再研究一下途牛的机票价格. 首先,登录途牛的界面,我感觉,非常的熟悉.虽然我是第一次打开途牛的机票价格的界面,但是我就 ...
躲避雪糕刺客？通过爬虫爬取雪糕价格
需求分析夏天天气实在是太热了,热的让人不想动,只有一直呆在空调房里,才能带来一点点安慰.当然,也少不了吃雪糕不过,现在的雪糕的价格也不便宜,比如说某爱多巧克力雪糕零售已经卖到5块钱了,我怎么记得以 ...
python爬取机票信息
python爬取机票信息飞机和高铁列车不同,在同样的航线中有着不同的票价,借此我们希望获取尽量多的机票信息来分析机票的变化规律. 首先我们选取京东机票为爬取对象http://jipiao.jd.co ...
java爬去赶集,爬取赶集网二手物品下所有物品的信息
四周爬虫课第二周的练习,爬取赶集网二手物品下所有物品的信息. 大致思路: 1.爬取频道页url: 2.爬取商品详情页url,写入mongodb,url_list表: 3.从url_list表读取url ...
第4期-通过起点中文网爬取小说
起点中文网的历史比较悠久,一般来说,新的小说和古老的小说的格式恐怕是不太一样的,甚至vip章节和普通章节也是不一样的,因此,我们就尽量挑选最新的小说研究一下. 首先是排行榜的地址 https://ww ...
Github每日精选（第75期）：colly 爬取网站所有的数据
colly colly 是一个优雅的 Golang 爬虫框架. colly 提供了一个干净的接口来编写任何类型的爬虫/scraper/spider. 使用 Colly,您可以轻松地从网站中提取结构化数 ...
python 报价_python爬取京东价格
昨天准备爬取一个京东商品的价格,正则写好了一直是空的后来我去页面里面看了下,价格标签里果然是空的百度了下,大家都说是js来控制显示价格的于是去抓包试试,找到了一条mgets的请求中间很多参数不 ...
破解携程中文验证码爬取机票价格数据
国内机票预定APP携程处于垄断地位,但是携程有反爬虫策略,对于密集的查询请求会要求验证,验证操作有两次,一次是拖动验证,一次是点选中文,selenium+webdriver可以轻松绕过这一反爬虫设置. ...

第2期-通过去哪儿爬取机票价格

第2期-通过去哪儿爬取机票价格相关推荐

最新文章

热门文章