闲鱼java系统_java爬取闲鱼商品信息(一)

闲鱼真是一个很神奇的地方，= =能让我等学生狗不用花很多钱就能体验科技的乐趣，当然，前提是别翻车。

好了，这当然是题外话，这阵子总结了自己学习的一些技能，就写一个对闲鱼的数据抓取来练练手。

预计达到的目标：第一步，将闲鱼上发布的商品信息爬取到本地。

第二步，实现关键词价格域提醒，比如设置想要找一个5000以下的IPHONE X，可爱的爬虫在闲鱼抓信息的时候，当发现匹配的商品的时候，就会给你疯狂打call，好吧，给你发邮件之类的。

首先，我们看一下闲鱼闲置商品的网址：

https://s.2.taobao.com/list/list.htm?spm=2007.1000337.0.0.6e0f2979exfsD7&oon=10&st_trust=1&ist=1

样子呢是这样的

可以看出来女装鞋子什么的占了很大一部分，= = 看来都是女装大佬。

好了，从哪入手呢，当然是从这么多的分类入手了。我们都可以很轻松的发现，每个分类的链接相似度很高，大家可以自己看看。

分类的不同主要是取决于URL的catid参数。

很明显，URL和分类名称形成了一中key-value的对应关系，在程序执行过程中我们可以将其存储在hashmap中

由于hashmap的特性，就算抓取算法有问题导致重复也不会产生很大影响。

我们查看一下网页的源码，

很容易发现

标签里保存的是链接和分类名信息。

获取网页源码后，(如果不知道怎么获取的话，请看我之前写的爬微博热搜的文章)

我们可以利用正则表达式来把需要的信息提取出来。

如下public static HashMap get_list(String text){

HashMap list=new HashMap();//url,类别

String rule="(.*?)";

Pattern pattern =Pattern.compile(rule);

Matcher matcher = pattern.matcher(text);

while (matcher.find()) {

list.put("https://s.2.taobao.com/list/list.htm?catid="+matcher.group(1)+"&oon=10&st_trust=1&ist=1", matcher.group(3));

}

return list;

}

这样就返回了一个hashmap，key是url，value是分类名。

这样我们需要爬取遍历的起点队列就很明确了，很大的简化了程序。

接下篇。

闲鱼java系统_java爬取闲鱼商品信息(一)相关推荐

java redis多线程爬取国美商品信息
前面那篇爬虫文章用的是单线程没有用到其它一些比较提高效率的工具比较遗憾,所以今天做了一个比较全面的爬虫.首先谢谢 @[天不生我万古长](https://www.jianshu.com/u/e34019 ...
利用Selenium爬取淘宝商品信息
文章来源:公众号-智能化IT系统. 一. Selenium和PhantomJS介绍 Selenium是一个用于Web应用程序测试的工具,Selenium直接运行在浏览器中,就像真正的用户在操作一样. ...
2021-11-16爬取淘宝商品信息时如何获取cookie
爬取淘宝商品信息时如何获取cookie ###一.基本环境 1.win10系统 2.火狐浏览器 3.编程软件anaconda 4.淘宝的robots:https://www.taobao.com/ro ...
爬取淘宝商品信息selenium+pyquery+mongodb
''' 爬取淘宝商品信息,通过selenium获得渲染后的源码,pyquery解析,mongodb存储 '''from selenium import webdriver from selenium. ...
Python爬虫自学之第（⑤）篇——爬取某宝商品信息
题外话: <Pi Network 免费挖矿国外热门项目一个π币大约值3元到10元>相信过去BTC的人,信不信未来的PI,了解一下,唯一一个高度与之持平的项目能看到这里说明快进入动态网页 ...
Python高级特性与网络爬虫（二）：使用Selenium自动化测试工具爬取一号店商品信息
上一篇介绍了Ajax动态渲染的页面的分析和爬取,通过JavaScript动态渲染的页面的方式不只有ajax这一种,还有很多其他的方式,分析他们的网页结构和加密参数难度非常大,为了解决这样的页面的数据爬 ...
Python爬取淘宝商品信息保存到Excel
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
python爬虫——用selenium爬取淘宝商品信息
python爬虫--用selenium爬取淘宝商品信息 1.附上效果图 2.淘宝网址https://www.taobao.com/ 3.先写好头部 browser = webdriver.Chrome ...
python+scrapy简单爬取淘宝商品信息
python结合scrapy爬取淘宝商品信息一.功能说明: 已实现功能: 通过scrapy接入selenium获取淘宝关键字搜索内容下的商品信息. 待扩展功能: 爬取商品中的全部其他商品信息. 二. ...

闲鱼java系统_java爬取闲鱼商品信息(一)

闲鱼java系统_java爬取闲鱼商品信息(一)相关推荐

最新文章

热门文章