使用HttpClient下载网页

Httpclient是一个非常好用的第三方库，用于网络编程，可以用来做个爬虫程序什么之类的，安卓中内置的网络编程库就是httpclient，下面就可大家介绍介绍怎么使用httpclient下载新浪首页的源代码。

其过程就是首先构建一个httpclient对象，它就相当于我们平时使用的浏览器，比如chrome，Firefox等等，它的功能就是模拟浏览器的行为，比如下载网页，用户登录等。然后使用HttpGet，创建一个get请求，将目标网页的URL作为参数即可；最后用httpclient执行get请求就能返回一个httpresponse对象，其中包含了服务器返回的信息，然后对其处理就能得到我们想要的目标网页源码了，我们可以通过正则表达式从源代码中获取有用的信息。

以下是源代码：

public class Client {public static void main(String[] args) {HttpClient httpClient = HttpClients.createDefault();//创建httpclient对象String URL = "http://news.baidu.com/";//设置URLHttpGet httpGet = new HttpGet(URL);//创建httpget请求try {HttpResponse response = httpClient.execute(httpGet);//使用httpclient执行请求int returnCode = response.getStatusLine().getStatusCode();//获取返回状态码if (returnCode == 200) {//200表示成功访问String html = EntityUtils.toString(response.getEntity(), "gbk");//提取源码System.out.println(html);//输出} else {System.out.println("error code: " + returnCode);}} catch (ClientProtocolException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();}}}

注意：请在工程中的httpclient的库文件，下载地址自行百度

下面是截取到的网页源码：

使用HttpClient下载网页相关推荐

【搜索引擎Jediael开发笔记2】使用HttpClient下载网页至本地文件
本文使用HttpClient依据url进行网页下载.当中 (1)HttpClient的相关知识请參见 HttpClient基础教程 (2) package org.ljh.search.downloa ...
java http 源码_httpclient下载网页源码---java基础爬虫
有关httpclient: HttpClient相比传统JDK自带的URLConnection,增加了易用性和灵活性,它不仅使客户端发送Http请求变得容易,而且也方便开发人员测试接口(基于Http协 ...
python 批量下载代码_Python + Selenium +Chrome 批量下载网页代码修改
Python + Selenium +Chrome 批量下载网页代码修改主要修改以下代码可以调用本地的 user-agent.txt 和 cookie.txt 来达到在登陆状态下批量打开并下载网 ...
nvm 下载node 下载不下来_一键下载网页所有图片，把美丽存下来
1 总有一些图片你想保存小周浏览了某个网页发现上面的有很多很漂亮的图片,于是想保存下来,开始一波疯狂操作:右键-->图片另存为....保存了50张图片后,手酸得不行了.只好求助于小南:我酸了, ...
php curl 下载网页,php 通过cURL函数抓取网页、下载网页的简单示例
这篇文章主要为大家详细介绍了php 通过cURL函数抓取网页.下载网页的简单示例,具有一定的参考价值,可以用来参考一下. php通过cURL函数抓取和下载网页,感兴趣的小伙伴,下面一起跟随512笔记的 ...
python 爬虫源代码-python 爬虫-1：下载网页源代码
参考书籍:<用 Python 写网络爬虫> 当然你也可以自己百度搜索下载. 一点感想书看一遍是不够的,温故而知新. 下载一个网页源代码最简单的形式使用的是 python 自带的库 u ...
怎么在python下载网站内容-Python下载网页的几种方法
get和post方式总结 get方式:以URL字串本身传递数据参数,在服务器端可以从'QUERY_STRING'这个变量中直接读取,效率较高,但缺乏安全性,也无法来处理复杂的数据(只能是字符串,比如在 ...
如何将网页保存为图片_如何用浏览器插件一键批量下载网页图片？
如果你看到一个网页上的图片想要全部下载下来,你是如何下载的?一个一个下载太慢了,并且有的图片还有水印,没有水印的不让你下载,比如,阿里巴巴里的产品详情页.那么,有什么办法能一键下载网页上的图片呢?准备 ...
！！基础---c# 下载网页+图片
http://www.cnblogs.com/sun8134/archive/2010/07/05/1771187.html !! WebClient 类使用 WebRequest 类提供对 Inte ...

使用HttpClient下载网页

使用HttpClient下载网页相关推荐

最新文章

热门文章