Java爬虫-爬取四级词汇网站音频

背景:

作为一个久不过四级的程序员有点不好意思啊,所以网购了冲刺卷认真过四级,签收后发现附送的词汇书音频网站竟然没有一键下载全部.只能自己写个伪爬虫了.

知识点:

Java网络连接
字节流
文件输入输入

开工:

分析页面:

四级词汇乱序版网站:

http://download.dogwood.com.cn/online/4jlxbx/index.html

发现都是极具规律性的格式就像这样

http://download.dogwood.com.cn/online/4jlxbx/01.mp3

所以直接在基础string 后面添加 MP3编号即可,出于对复用考虑设计成一个下载工具类,方便以后爬虫时复用

代码

package top.chen.dogwood;import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;public class DownloadUtils {// 目标链接字符串private String[] urlString;// 目标文件的格式private String targetType;// 存放文件路径private File rootDir;public String[] getUrlString() {return urlString;}public void setUrlString(String[] urlString) {this.urlString = urlString;}public String getTargetType() {return targetType;}public void setTargetType(String targetType) {this.targetType = targetType;}public File getRootDir() {return rootDir;}public void setRootDir(File rootDir) {this.rootDir = rootDir;}public DownloadUtils(String[] urlString, String targetType, File rootDir) {super();this.urlString = urlString;this.targetType = targetType;this.rootDir = rootDir;}public DownloadUtils(String[] urlString, String targetType, String rootDir) {super();this.urlString = urlString;this.targetType = targetType;this.rootDir = new File(rootDir);}public DownloadUtils() {super();}/*** 开始下载* * @throws Exception*/public void httpDownload() throws Exception {validate();final String[] urls = urlString;HttpURLConnection urlConnection;for (int i = 0; i < urls.length; i++) {urlConnection = (HttpURLConnection) new URL(urls[i]).openConnection();// 开启链接urlConnection.connect();InputStream inputStream = urlConnection.getInputStream();File temp = new File(rootDir,String.format("%02d",i+1)+"."+targetType);if (!temp.exists()) {temp.createNewFile();}FileOutputStream fileOutputStream = new FileOutputStream(temp, true);int tem;while (-1 != (tem = inputStream.read())) {fileOutputStream.write(tem);fileOutputStream.flush();}fileOutputStream.close();inputStream.close();}}private void validate() throws Exception {if (urlString.length <= 0) {throw new Exception("下载路径不能为空!");}if (null == rootDir || !rootDir.exists() || !rootDir.isDirectory()) {throw new Exception("目标文件夹不存在!");}}}

主程序类

package top.chen.dogwood;import java.io.IOException;
import java.net.MalformedURLException;/*** 爬取指定链接的一组MP3 文件* * 放入指定的目录中* * @author Geek* */
public class Application {public static void main(String[] args) throws MalformedURLException,IOException {String base =   "http://download.dogwood.com.cn/online/4jlxbx/";String[] strings = new String[35] ;for (int i = 1; i <= 35; i++) {strings[i-1] = base+String.format("%02d", i)+".mp3";}DownloadUtils downloadUtils  = new DownloadUtils(strings,"mp3","E:\\360Downloads\\TempFile");try {downloadUtils.httpDownload();} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();}}
}

不过单线程下载速度有点慢 ,以后有空考虑下改成多线程下载

希望我的思路能对大家有所帮助! 不妥之处,欢迎指正

Java爬虫-爬取四级词汇网站音频相关推荐

Java爬虫爬取某招聘网站招聘信息
Java爬虫爬取某招聘网站招聘信息一.系统介绍二.功能展示 1.需求爬取的网站内容 2.实现流程 2.1数据采集 2.2页面解析 2.3数据存储三.获取源码一.系统介绍系统主要功能:本项目 ...
java爬虫爬取主流房屋网站
最近博主要做一些分析课题,所以使用java爬取了主流的房屋网站,搞些事情,下面是我搞事情的思路,在结尾处我会投放我的源码文件,供大家下载: 导航: 设计思路项目的包与类详解部分重要代码展示源码下 ...
Jsoup学习 JAVA爬虫爬取美女网站 JAVA爬虫爬取美图网站爬虫
最近对爬虫起了兴趣,但是网上都说做爬虫最好得语言是py.但是我只会java,所以就想能不能用java实现一个爬虫,百度搜索发现,其实java也有很多优秀得开源爬虫框架,包括Gecco,webmagic ...
基于Jsoup的Java爬虫-爬取必应壁纸网站的壁纸（Java静态壁纸爬虫实例）
准备阶段 1.必应壁纸网站:https://bing.ioliu.cn(爬取对象网站) 2.Jsoup包下载地址:https://jsoup.org/download(以下代码需要用到该包,记得导入包 ...
java爬虫爬取互联网上的各大影视网站---360影视（附源码下载）
关于爬虫: 万维网上有着无数的网页,包含着海量的信息,无孔不入.森罗万象.但很多时候,无论出于数据分析或产品需求,我们需要从某些网站,提取出我们感兴趣.有价值的内容,但是纵然是进化到21世纪的人类,依 ...
python java 爬数据_如何用java爬虫爬取网页上的数据
当我们使用浏览器处理网页的时候,有时候是不需要浏览的,例如使用PhantomJS适用于无头浏览器,进行爬取网页数据操作.最近在进行java爬虫学习的小伙伴们有没有想过如何爬取js生成的网络页面吗?别急 ...
Java爬虫爬取wallhaven的图片
Java爬虫爬取wallhaven的图片参考文章:JAVA Jsoup爬取网页图片下载到本地需要的jar包:jsuop wallhaven网站拒绝java程序访问,所以要伪装报头. 发送请求时 C ...
Java爬虫爬取天猫淘宝京东搜索页和商品详情
Java爬虫爬取天猫淘宝京东搜索页和商品详情先识别商品url,区分平台提取商品编号,再根据平台带着商品编号爬取数据. 1.导包 <d ...
Java爬虫 --- 爬取王者荣耀英雄图片
Java爬虫 - 爬取王者荣耀英雄图片 import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.nodes.Docu ...

Java爬虫-爬取四级词汇网站音频

背景:

知识点:

开工:

分析页面:

代码

Java爬虫-爬取四级词汇网站音频相关推荐

最新文章

热门文章