前言

爬爬爬!

一、依赖

        <dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.4.5<</version></dependency><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.14.2</version></dependency>

ImagesUtil

/*** @author lanys* @Description:* @date 31/8/2021 上午9:12*/public class ImagesUtil {/*** 获取CPU个数*/private static int corePoolSize = Runtime.getRuntime().availableProcessors();/*** 创建线程池  调整队列数 拒绝服务*/private static ThreadPoolExecutor executor = new ThreadPoolExecutor(corePoolSize, corePoolSize + 1, 10L, TimeUnit.SECONDS,new LinkedBlockingQueue<>(1000));/*** 最大页数*/private static Integer max;/*** 首页地址*/public static final String startAddress = "http://www.netbian.com/1920x1080/";/*** 图片详情壁纸*/public static final String detailsAddress = "http://www.netbian.com";public static void main(String[] args) throws IOException {Connection connect = Jsoup.connect(startAddress);Document document = connect.get();//获取class pagefinal Elements prev = document.getElementsByClass("page");for (Element ps : prev) {//<a>标签final Elements byTag = ps.getElementsByTag("a");//最大页数max = Integer.parseInt(byTag.get(7).text());}for (int i = 1; i < max; i++) {if (i == 1) {//初始页地址publicPool(startAddress);i++;}publicPool(startAddress+"index_"+i+".htm");}}private static void publicPool(String path) throws IOException {//初始页地址Connection connect1 = Jsoup.connect(path);//获取Document document1 = connect1.get();//获取图片标签Elements elements = document1.body().getElementsByClass("list").select("li");for (Element img : elements) {//加入线程池Runnable task = () -> {try {//详情下载publicDownload(img);} catch (IOException e) {e.printStackTrace();}};executor.execute(task);}}private static void publicDownload(Element img) throws IOException {try {/*** 获取套图地址*/String href = img.child(0).attr("href");Connection subConnect = Jsoup.connect(detailsAddress + href).header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0").timeout(8000);Document subDocument = subConnect.get();final String location = subDocument.location();final Connection connect1 = Jsoup.connect(location);Document subDocument1 = connect1.get();final Elements pic = subDocument1.getElementsByClass("pic");for (Element element : pic) {final Elements img1 = element.getElementsByTag("img");for (Element element1 : img1) {System.out.println("开始下载.....");String src = element1.attr("src");System.out.println("src:" + src);//糊涂工具下载HttpUtil.downloadFile(src, FileUtil.mkdir("e:/妹子/"));System.out.println("结束下载.....");}}} catch (IOException e) {e.printStackTrace();}}
}

爬完后好像被禁爬了：

总结

每个网站html代码不一样，如果是其他网站需要自己手动改，自己爬完后，可能是网站不允许，致503报错，我第二天在试试！

java100行代码爬取妹zi图片相关推荐

Python用10行代码爬取大批美女图片
说到美女,第一个想到的就是美女云集的相亲网站了.所以今天也是选取某个相亲网站作为素材,爬取美女图片. 1.准备工作首先需要一个相亲网站的账号,我这里选取的是"我主良缘".注册登陆 ...
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片下面开始上代码需要用到的库 import request #页面请求 import time #用于时间延迟 import re #正则表达式 ...
简单20行代码爬取王者荣耀官网1080p壁纸
简单20行代码爬取王者荣耀官网1080p壁纸 # -*- coding: utf-8 -*- # @Time : 2020/12/13 18:08 # @Author : ningfangcong i ...
python爬取妹纸图片
初学python,刚好看到爬取妹纸图片的教学视频,于是跟着学习学习python网络爬虫,使用python爬取图片. 进入主页,可以看到妹子自拍,一共446页之多 0.0 ,如下图所示: 查看网页url ...
pyquery获取不到网页完整源代码_爬虫神器之PyQuery实用教程（二），50行代码爬取穷游网...
爬虫神器之PyQuery实用教程(二),50行代码爬取穷游网前言上篇文章 PyQuery (一) 回顾.今天来介绍具体 PyQuery 的使用方法. 穷游网目标与分析开始之前,按照之前的套路一步 ...
python爬上市公司信息_实战项目 1：5 行代码爬取国内所有上市公司信息
实战项目 1:5 行代码爬取国内所有上市公司信息 Python入门爬虫与数据分析在正式开始这门专栏课的学习之前,我们先来看一个简单的爬虫案例.兴趣是最好的老师,当你对爬虫产生兴趣的时候,才会更有动力 ...
Python25行代码爬取豆瓣排行榜数据
Python25行代码爬取豆瓣排行榜数据只需要用到requests, re ,csv 三个库即可. code import re import requests import csv url = ' ...
python：利用20行代码爬取网络小说
文章目录前言一.爬虫是什么? 二.实现过程总结提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档前言今天,来给大家一个分享一下如何使用20爬虫行代码爬取网络小说(这里我们以龙 ...
python59行代码爬取免费ppt模板
Python59行代码爬取某站中秋节ppt模板网址:https://www.1ppt.com/moban/zhongqiujie/ 用到的库:requests.re.os.lxml 请求方式:GET ...

java100行代码爬取妹zi图片

前言

一、依赖

ImagesUtil

总结

java100行代码爬取妹zi图片相关推荐

最新文章

热门文章