SpringBoot集成Jsoup爬虫

爬取三级行政区域划分，三级列表，存入数据库中

前言

爬取获取三级行政区域划分，三级列表，根据三级划分将区域代码和城市存入数据库中

提示：以下是本篇文章正文内容，下面案例可供参考

一、爬虫是什么？

网络爬虫为一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。
将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索。

二、使用步骤

1.引入库

代码如下（示例）：


import crawl.JdbcUtil;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

2.爬虫过程

代码如下（示例）：

    String result = "";String charset = "UTF-8";try {URL url = new URL(strUrl);InputStream inputStream = url.openStream();InputStreamReader inputStreamReader = new InputStreamReader(inputStream, Charset.forName(charset));BufferedReader bufferedReader = new BufferedReader(inputStreamReader);String s;StringBuffer stringBuffer = new StringBuffer();while ((s = bufferedReader.readLine()) != null) {stringBuffer.append(s);}result = stringBuffer.toString();} catch (Exception e) {System.out.println("错误信息");e.printStackTrace();}return result;
}

    Document document = Jsoup.parse(content);Elements element = document.select("table").select("tr");// 记录省String province = "";// 记录市String city = "";// 记录编码String code = "";String[] dataArr = new String[5];boolean flag = false;for (int i = 0; i < element.size(); i++) {String str = element.get(i).text();if (flag == true) {break;}dataArr = str.split(" ");// 从省开始判断if (i < 3) {continue;}code = dataArr[0];if (code.endsWith("0000")) {// 省province = str;Map<String, List<String>> cityMap = new HashMap<>();countryMap.put(str, cityMap);} else if(code.endsWith("00") && !code.endsWith("0000")) {// 市city = str;Map<String, List<String>> cityMap = countryMap.get(province);cityMap.put(str, new ArrayList<String>());} else {// 区// 取出市Map<String, List<String>> cityMap = countryMap.get(province);// 取出区List<String> classifyList = cityMap.get(city);// 如果classify为null，没有走市的if判断，这是一个直辖市if (classifyList == null) {// 市为空，将北京省当做市classifyList = new ArrayList<>();cityMap.put(city, classifyList);city = province;}classifyList.add(str);}if (str.startsWith("820000")) {flag = true;}}

总结

知识点，基本类型和包装类型的值传递和引用传递。List，Map是引用传递，在别处进行add或者put，Map和List中的数据都将跟着变。

SpringBoot集成Jsoup爬虫——三级列表相关推荐

SpringBoot集成jsoup多线程爬取美剧天堂全部电影资源
SpringBoot集成jsoup爬取美剧天堂全部美剧资源准备工作这次我的目的是获取这个网站的所有美剧的信息和迅雷的BT地址,我们需要获取的信息都在上万个类似于下面个页面结构的页面上确定了目标, ...
ElasticSearch（五）SpringBoot+ES+Jsoup实现JD（京东）搜索
标题SpringBoot+ES+Jsoup实现JD搜索文章目录标题SpringBoot+ES+Jsoup实现JD搜索 1.功能概述 2.工具简介 3.操作步骤 4.总结项目效果 1.功能概述 ...
Windows下安装Mongodb SpringBoot集成MongoDB和Redis多数据源
全文内容: Mongodb安装说明:Mongodb和redis是开发中常用的中间件,Redis的安装使用比较简单就不写了,只说本地也就是Windows安装Mongodb. SpringBoot集成M ...
SpringBoot笔记：SpringBoot集成MinIO分布式文件系统
文章目录搭建MinIO集群 SpringBoot集成添加依赖添加配置获取MinioClient MinioUtils完整工具类测试代码搭建MinIO集群首先搭建MinIO的分布式集群,集 ...
九、SpringBoot集成Thymeleaf模板引擎
Thymeleaf咋读!??? 呵呵,是不是一脸懵逼...哥用我的大学四级英文知识告诉你吧:[θaimlif]. 啥玩意?不会音标?...那你就这样叫它吧:"赛母李府",大部分中国 ...
springboot md5加密_SpringSecurity入门-SpringBoot集成SpringSecurity
前言至今Java能够如此的火爆Spring做出了很大的贡献,它的出现让Java程序的编写更为简单灵活,而Spring如今也形成了自己的生态圈,今天咱们探讨的是Spring旗下的一个款认证工具:Spr ...
后端：SpringBoot集成Swagger-Bootstrap-UI，界面美观！
SpringBoot集成Swagger-Bootstrap-UI,界面美观.下面给大家介绍一下! 该开源项目GitHub地址: https://github.com/xiaoymin/Swagger- ...
SpringBoot集成Actuator端点配置
1.说明 Actuator端点可以监控应用程序并与之交互. Spring Boot包括许多内置的端点, 比如health端点提供基本的应用程序运行状况信息, 并允许添加自定义端点. 可以控制每个单独的 ...
Java使用Springboot集成Es官方推荐(RestHighLevelClient)
SpringBoot集成ElasticSearch的四种方式(主要讲解ES官方推荐方式) TransportClient:这种方式即将弃用官方将在8.0版本彻底去除 Data-Es:Spring提供 ...
jsoup爬虫简书首页数据做个小Demo
代码地址如下: http://www.demodashi.com/demo/11643.html 昨天LZ去面试,遇到一个大牛,被血虐一番,发现自己基础还是很薄弱,对java一些原理掌握的还是不够稳固 ...

SpringBoot集成Jsoup爬虫——三级列表