htmlunit(一）

HTMLUNIT

htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。是一个没有界面的浏览器，运行速度迅速。是junit的扩展之一，采用的是Rhinojs引擎。模拟js运行
1.HTMLUNIT的基本功能展示
首先我们新建一个Maven普通客户端项目，然后打开pom.xml

引入htmlunit支持：

<dependency><groupId>net.sourceforge.htmlunit</groupId><artifactId>htmlunit</artifactId><version>2.26</version>
</dependency>

然后我们写一个测试类，来解析www.baidu.com 获取网页html以及网页文本，这里有点类似httpClient，但是底层执行过程默认多了一个js执行过程（当然htmlunit提供了关闭js解析设置）；

import java.io.IOException;
import java.net.MalformedURLException;import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;public class HtmlUnitTest {public static void main(String[] args) {WebClient webClient=new WebClient(); // 实例化Web客户端  try {HtmlPage page=webClient.getPage("http://www.baidu.com"); // 解析获取页面System.out.println("网页html:"+page.asXml()); // 获取HtmlSystem.out.println("====================");System.out.println("网页文本："+page.asText()); // 获取文本} catch (FailingHttpStatusCodeException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (MalformedURLException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}finally{webClient.close(); // 关闭客户端，释放内存}}
}

前面我们的测试代码是直接请求的，有些网站服务器防火墙会直接拒绝访问。

我们现在用htmlunit来模拟下浏览器请求；主要是加了一些头消息；
这个是我们用火狐调试工具看到的请求头小心里的属性，当然上面还有返回的头消息；

我们用htmlunit可以模拟浏览器执行，内置的可以模拟IE，火狐，谷歌；

WebClient构造方法里有个重载方法，可以加一个指定版本属性；
完整代码：

import java.io.IOException;
import java.net.MalformedURLException;import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;public class HtmlUnitTest {public static void main(String[] args) {WebClient webClient=new WebClient(BrowserVersion.FIREFOX_52); // 实例化Web客户端 try {HtmlPage page=webClient.getPage("http://www.java1234.com"); // 解析获取页面System.out.println("网页html:"+page.asXml()); // 获取HtmlSystem.out.println("====================");System.out.println("网页文本："+page.asText()); // 获取文本} catch (FailingHttpStatusCodeException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (MalformedURLException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}finally{webClient.close(); // 关闭客户端，释放内存}}
}

htmlunit 提供了丰富的api来获取指定元素 jsoup有的 htmlunit也有；

我们这里举例：

import java.io.IOException;
import java.net.MalformedURLException;import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.DomElement;
import com.gargoylesoftware.htmlunit.html.DomNodeList;
import com.gargoylesoftware.htmlunit.html.HtmlDivision;
import com.gargoylesoftware.htmlunit.html.HtmlListItem;
import com.gargoylesoftware.htmlunit.html.HtmlPage;public class HtmlUnitTest2 {public static void main(String[] args) {WebClient webClient=new WebClient(BrowserVersion.FIREFOX_52); // 实例化Web客户端 try {HtmlPage page=webClient.getPage("http://www.baidu.com");HtmlDivision div=page.getHtmlElementById("navMenu");  // 查找指定id的html dom元素System.out.println(div.asXml());System.out.println("======================");DomNodeList<DomElement> aList=page.getElementsByTagName("a"); // 根据tag名称查询所有tagfor(int i=0;i<aList.getLength();i++){DomElement a=aList.get(i);System.out.println(a.asXml());}System.out.println("======================");HtmlListItem item =(HtmlListItem) page.getByXPath("//div[@id='navMenu'][1]/ul/li").get(0); // xpath方式System.out.println(item.asXml());} catch (FailingHttpStatusCodeException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (MalformedURLException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}finally{webClient.close();}}}

有时候频繁的爬取第三方站点内容，会被站点的防火墙拦截，IP拉黑，所以这时候，就要用到代理IP，拉黑一个就换一个；

htmlunit实用代理的方式比较简单，WebClient重载构造方法就有提供，我们看下演示代码：

import java.io.IOException;
import java.net.MalformedURLException;import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;public class HtmlUnitTest3 {public static void main(String[] args) {WebClient webClient=new WebClient(BrowserVersion.FIREFOX_52,"202.106.16.36",3128); // 实例化Web客户端try {HtmlPage page=webClient.getPage("http://www.baidu.com"); // 解析获取页面System.out.println("网页html:"+page.asXml()); // 获取HtmlSystem.out.println("====================");System.out.println("网页文本："+page.asText()); // 获取文本} catch (FailingHttpStatusCodeException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (MalformedURLException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}finally{webClient.close(); // 关闭客户端，释放内存}}}

htmlunit(一）相关推荐

html post 图片,如何发送图片作为多部分POST请求的一部分 - Java HtmlUnit
我正尝试使用Java将验证码提交给decaptcher.com. Decaptcher并没有很好的解释如何使用他们的API,所以我想弄清楚如何使用HTTP POST请求来提交验证码.下面是示例代码,我 ...
模拟浏览器的神器 - HtmlUnit
2019独角兽企业重金招聘Python工程师标准>>> 随着Web的发展,RIA越来越多,JavaScript和Complex AJAX Libraries给网络爬虫带来了极大的挑战 ...
响应时登录html,HtmlUnit：单击不响应时登录HtmlElement
由于您尚未发布要调用的网址,因此我只能提供一些提示. 即使HtmlUnit在幕后发挥了很多魔力,您也需要对所有Web技术有基本的了解从代码看来,登录是基于Ajax完成的:这有一些含义:Ajax需要启 ...
java使用htmlunit工具抓取js中加载的数据
htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容.项目可以模拟浏览器运行,被誉为java浏览器的开源实现.这个没有界面的浏览器,运行速度 ...
htmlunit爬虫工具使用--模拟浏览器发送请求，获取JS动态生成的页面内容
Htmlunit是一款模拟浏览抓取页面内容的java框架,具有js解析引擎(rhino),可以解析页面的js脚本,得到完整的页面内容,特殊适合于这种非完整页面的站点抓取. 下载地址: https:// ...
htmlunit 发http请求
2019独角兽企业重金招聘Python工程师标准>>> htmlunit 发http请求博客分类: java public static WebClient createWebCl ...
HtmlUnit爬取页面列表链接
场景:爬虫网页列表上的链接,用于再次爬虫,主要功能是列表翻页功能. 代码参考: package com;import com.gargoylesoftware.htmlunit.BrowserVers ...
HtmlUnit自动填写表单并提交
场景:对网页的表单进行自动填写并提交,如登录框,和文章http://blog.csdn.net/fjssharpsword/article/details/51480475类似,不同的是这次butto ...
HtmlUnit动态执行js函数
功能:动态指定js函数,实际上这个效果不是很有用,这里就做一个记录而已,参考代码如下: package com; import com.gargoylesoftware.htmlunit.Browse ...
HtmlUnit采集页面信息加工并写入excel表
1.功能:从网页上采集信息加工,如将商品名字重组(Name2FiveWords函数),并写入excel表,涉及对htmlunit元素定位以及点击重定向. 2.参考代码如下: package com;i ...

htmlunit(一）

HTMLUNIT

htmlunit(一）相关推荐

最新文章

热门文章