最近看到网上介绍爬虫的文章，觉得很有趣，那么心动不如行动，晚上回来的时间刚好用来码代码啦~~

网络爬虫：按照一定的规则爬取网页上的信息，通常是爬取到一些URL之后然后对这些URL放入队列在一次次的进行搜索，具体不知道是DFS还是BFS了，这里的算法我没咋研究，因为本次做的爬虫实例比较简单，实现一个Java小程序，用来爬取百度页面的LOGO。

事实上爬虫的作用远大于此，本次例子仅为入门参考使用。

首先我们分析下，本次实例爬取图片的过程无非就这么几步：

1.访问百度首页，获取到网页返回的信息；

2.拿到对我们有用的信息(这里就是网页的源代码或者说所有图片的URL)

3.访问所有图片的URL；

4.以流的形式存储至本地即可。

好了，有了以上几步，那么写一个简单的爬虫就很EASY了，下面是代码，代码中有注释哦。

import java.io.File;

import java.io.FileInputStream;

import java.io.FileNotFoundException;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.InputStream;

import java.io.OutputStream;

import java.net.HttpURLConnection;

import java.net.URL;

import java.util.ArrayList;

import java.util.List;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

public class Bug {

String url = "http://www.baidu.com";//待爬取的URL

//获取url页面的源码；

public String ClimbBug() throws IOException{

URL accessurl = new URL(url);

HttpURLConnection conn = (HttpURLConnection) accessurl.openConnection();

conn.connect();//连接

InputStream is = null;

if(conn.getResponseCode()==200){//判断状态吗是否为200，正常的话获取返回信息

byte[] b=new byte[4096];

is = conn.getInputStream();

StringBuilder sb = new StringBuilder();

int len=0;

while((len=is.read(b))!=-1){

sb.append(new String(b,0,len,"UTF-8"));

}

return sb.toString();//返回百度页面源代码，这里跟网页上右键查看源代码的效果一致

}

return "Error";

}

//获取图片页面URL

public List regex() throws IOException{

System.out.println(new Bug().ClimbBug());

String regex = "src[\\s\\S]*?>";//匹配所有图片的URL

Listlist = new ArrayList();

Matcher p = Pattern.compile(regex).matcher(new Bug().ClimbBug());

while(p.find()){

list.add(p.group());

}//匹配到放入我们的URLlist

return list;

}

//下载图片到本地或者结合数据库做其他想做的操作;

public void download(List list) throws IOException{

InputStream is =null;

OutputStream os =null;

for (int i=0;i

我们把图片存储在本地磁盘的D://sgx文件夹下面，运行程序后，发现本地图片已经有了百度的LOGO，测试成功!