Java，jsoup天龙八部畅易阁爬虫

获取角色元宝数量和采矿等级。

public class Changyige {public static void main(String[] args) throws InterruptedException  {for (int i =2; i < 22; i++) {String htmlAdress = "http://tl.cyg.changyou.com/goods/selling?world_id=5121&world_name=%25E6%25B8%2585%25E6%25AD%258C%25E9%2581%25A5%25E6%259C%259B%25E6%259C%2588&area_name=%25E7%25BA%25B5%25E6%25A8%25AA%25E5%258F%258C%25E7%25BA%25BF&have_chosen=&page_num="+i;Document doc = null;try {doc = Jsoup.connect(htmlAdress).get();} catch (IOException e) {System.out.println(i);e.printStackTrace();}Elements link = doc.select("a");//查找第一个a元素Set<String> s = new TreeSet<>();for (int j = 0; j < link.size(); j++) {String linkHref = link.get(j).attr("href"); // "http://example.com/"//取得链接地址//System.out.println(linkHref);if(j>=123 && j<=181) { s.add(linkHref); }}for (String address : s) {Document docc = null;try {docc = Jsoup.connect(address).get();} catch (IOException e) {System.out.println(address);e.printStackTrace();}try {//if(getYBCount(docc)>4000 ) {//  System.out.println(address);//}if( getLifeCount(docc) >6) {System.out.println("    -        "+address);}} catch (IOException e) {e.printStackTrace();}Thread.sleep(1000l);}Thread.sleep(200l);}}//获取元宝数量public static int getYBCount(Document doc) throws IOException {//201909212135597616Elements links = doc.getElementsByClass("row2");String linkText = links.get(29).text();int count = Integer.valueOf(linkText.substring(5));return count;}//获取采矿等级public static int getLifeCount(Document doc) throws IOException{Elements elements = doc.getElementsByTag("script");String text = elements.get(8).data();Document document = Jsoup.parse(text);Elements links = document.getElementsByClass("method-info");String text2 = links.get(links.size()-6).text();int level = Integer.valueOf(text2.substring(6));return level;}}

Java，jsoup天龙八部畅易阁爬虫相关推荐

畅易阁老是显示服务器忙,畅易阁全服开放盘点天龙玩家卖号的几大原因
相信不少需要卖号的玩家或者需要买号,或者是关注畅易阁已久的人都相当兴奋!不过之前关于畅易阁的报导太多太多了,在这里轩轩想掰一掰哪些卖号的原因. 卖号原因之一:现实过于忙碌其实现实过于忙碌分好多好多种 ...
Jsoup：用Java也可以爬虫，怎么使用Java进行爬虫，用Java爬取网页数据，使用Jsoup爬取数据，爬虫举例：京东搜索
Jsoup:用Java也可以爬虫,怎么使用Java进行爬虫,用Java爬取网页数据,使用Jsoup爬取数据,爬虫举例:京东搜索一.资源为什么接下来的代码中要使用el.getElementsByTa ...
java jsoup 网络爬虫 jsoup解析html Java爬虫 Jsoup爬虫 jsoup例子
java jsoup 网络爬虫 java jsoup 网络爬虫学习例子(一)抓取豆瓣电影名称+推荐星级 java jsoup 网络爬虫学习例子(二)只抓取豆瓣电影5星(力荐)电影名称 java j ...
java jsoup 多线程爬虫Miner
java jsoup 多线程爬虫Miner 需要配置项: 1.URL包含关键字. 2.存储方式:DB-数据库存储;FILE-文件存储. 3.爬取页面最大深度. 4.下载页面线程数. 5.分析页面线程数 ...
java毕业设计——基于java+Jsoup+HttpClient的网络爬虫技术的网络新闻分析系统设计与实现（毕业论文+程序源码）——网络新闻分析系统
基于java+Jsoup+HttpClient的网络爬虫技术的网络新闻分析系统设计与实现(毕业论文+程序源码) 大家好,今天给大家介绍基于java+Jsoup+HttpClient的网络爬虫技术的网络 ...
java jsoup 网络爬虫学习例子（八）京东和淘宝商品比价 PhantomJS
java jsoup 网络爬虫学习例子(八)京东和淘宝商品比价 PhantomJS /** filename getHtml.js* phantomjs.exe 2.0.0* author InJa ...
Java+Jsoup爬虫小红书
源码链接:https://pan.baidu.com/s/1oOAxJqSMCyVJPNv-iAYW7A 提取码:1co9 Java+Jsoup爬虫小红书,微博,B站爬取地址:https://www ...
Java+Jsoup爬虫微博
源码链接:https://pan.baidu.com/s/1oOAxJqSMCyVJPNv-iAYW7A 提取码:1co9 Java+Jsoup爬虫小红书,微博,B站爬取地址:https://wei ...
java jsoup 网络爬虫学习例子（六）京东和当当商品比价
java jsoup 网络爬虫学习例子(六)京东和当当商品比价 package com.iteye.injavawetrust.jdvsdd;import java.util.List;/*** * ...

Java，jsoup天龙八部畅易阁爬虫

Java，jsoup天龙八部畅易阁爬虫相关推荐

最新文章

热门文章