java爬取闲鱼商品信息(三)_java爬取闲鱼商品信息（三）

这一篇距离前两篇更新的时间有点久了，最近忙着刷题- -。又笔试了两轮猪厂一轮鹅厂，结果还没出来，不过感觉都凉了。

好了，上次说到没办法获取到动态加载的部分。

我用了phantomjs尝试了一下，多获取到的部分是复杂的js代码，代码量太大了，没找到我们需要的信息。

也可能是我使用的方式不对，要是有可以获得的方法欢迎大家在评论介绍一下，我去试试看。

好了，最后我还是弄到了动态加载的数据，当然不是用的phantomjs。

既然找不到数据，那为什么不问问神奇的fiddler呢。

我们打开fiddler，然后访问闲鱼闲置广场的3C数码。

再看看突然多出来的数据包。

看。我们发现了什么，没错，翻下去我们发现了很多在闲鱼倒卖小米MIX2S的老黄牛。。。。。

更重要的是，发现了需要动态加载出来的数据。。当然这是json格式的数据，被我们拦截下来了。。

然后看看这些个数据的网址。

https://s.2.taobao.com/list/waterfall/waterfall.htm?wp=3&_ksTS=1523262257881_271&callback=jsonp272&stype=1&catid=57544002&oon=10&st_trust=1&ist=1

然后用浏览器打开。

可以看到，是json格式的数据，那这个网址又和我们要的数据有什么关系呢？

https://s.2.taobao.com/list/waterfall/waterfall.htm?wp=3&_ksTS=1523262257881_271&callback=jsonp272&stype=1&catid=57544002&oon=10&st_trust=1&ist=1

再次仔细看一下，这两个参数是我们需要的，catid可以控制商品类型(结合第一篇)，而ist则是第几页的动态数据。

接下来的事情就水到渠成了，下载这个页面，正则提取，然后和上一篇的处理方法封装在一起，就变成了一个获取完整的网页的方法。

接下篇，下篇刷阵题更新，不过剩下的都是简单的事情了。

欢迎大家探讨获取网页的其他方法，我这个效率好像还可以但是有些取巧，也没有普适性。

java爬取闲鱼商品信息(三)_java爬取闲鱼商品信息（三）相关推荐

java爬取闲鱼商品信息(三)_java爬取闲鱼商品信息(二)
有了需要爬取的起点队列. 接下来就可以细看一下源码中html的规则. 上面这一段就是一个商品在html源码中的结构. 这里面包含了,卖家头像,ID,vip等级,主页,各种图片,商品基本信息,地址等等东 ...
java类与对象实验报告心得体会_java实习实训报告心得【三篇】
[导语]Java是一种可以撰写跨平台应用软件的面向对象的程序设计语言.而学习Java的同学java实习实训是必经的过程.以下是无忧考网整理的java实习实训报告心得,欢迎阅读! java实习实训报告心 ...
java录入个人信息程序_Java：用键盘输入个人信息并输出
V.1 */ public class ShowResume{ public static void main(String[] args) { int age=25; //年龄 String nam ...
java获取系统时间的几种方法_Java篇—获取当前系统时间的三种方式（超详细+多方法）...
1.通过util包中的Date类来获取当前时间方法1详细代码: public class Exercise17 { public static void main(String[] args){ D ...
闲鱼商品详情抓取系统开发/测试完毕，可自动采集闲鱼商品详情信息
原来开发的闲鱼工具,一直采集的是闲鱼的搜索列表页,在采集字段上浅显地使用基本没有问题,但对于浏览量.收藏.用户销售量.以及一些用于智能判断商品质量.用户是否涉嫌造假的字段数据上,并没有采集到,因为这些 ...
iphone看python文件_Python实战 | 只需 ”三步“ 爬取二手iphone手机信息（转发送源码）...
原标题:Python实战 | 只需 "三步" 爬取二手iphone手机信息(转发送源码) 本次实战是爬取二手苹果手机的信息,共爬取了300部手机信息,效果如下: 开发环境环境:M ...
爬虫项目三：爬取选课信息
爬虫项目三:爬取whut-jwc选课信息项目实现:主要获得通识选修.个性选课.英语体育选课的课程信息核心: 1.实现网页登陆 2.爬取课程信息一.网页信息登陆 from selenium imp ...
webscraper多页爬取_爬虫工具实战篇（Web Scraper）- 京东商品信息爬取（原创）
一.背景与目的数字化营销时代,快速掌握了解数据是一项基本技能,本文主要讲解里面Web Scraper工具如何爬取公开数据,比如爬取京东的店铺售卖商品情况数据,以便我们更好地了解竞品对手的产品情况和定 ...
python爬取京东手机参数_python爬虫——分页爬取京东商城商品信息（手机为例）...
1.最近刚开始学习python 写了个爬虫练习,感觉主要是得会用F12查询网站结构代码.还涉及到反爬虫,每个网站都不一样,拿到的解析出的json数据格式也不同.得有些Web知识的基础才行. htt ...

java爬取闲鱼商品信息(三)_java爬取闲鱼商品信息（三）

java爬取闲鱼商品信息(三)_java爬取闲鱼商品信息（三）相关推荐

最新文章

热门文章