与urllib的区别

Python的urllib和urllib2模块都做与请求URL相关的操作；

3.x的版本urllib与urllib2已经合并为一个urllib库；

2.7的版本urllib与urllib2各有各的作用，urllib与urllib2并不是可以代替的，2是1的补充；

以下适用于版本2.7。

概述

urllib2模块定义的函数和类可用来获取URL(主要是HTTP的)，它提供一些复杂的接口用于处理基本认证、重定向、Cookies等。

urllib2 可以接受一个Request对象，并以此可设置一个URL的headers(urllib只接收一个URL,这意味着你不能伪装你的用户代理字符串等)。

urllib2支持许多的“URL schemes”，“URL schemes”由URL中“:”之前的字符串确定，如“ftp://python.org/”是“FTP”的URL方案之一；他还支持相关的网络协议(如FTP，HTTP)。

常用方法和类

urllib2.urlopen(url, data, timeout)

作用：

打开URL网址

参数解释：

url：可以是一个字符串URL或者是一个Request对象。Request对象和data在request类中说明，定义都是一样的；

data：可省略；

timeout：可省略，阻塞操作，以秒为单位，尝试连接，如果没有指定，将使用设置的全局默认timeout值。实际上这仅适用于HTTP，HTTPS和FTP连接;

举例：

import urllib2

response = urllib2.urlopen('http://python.org/') #调用urlopen函数对请求的url返回一个response对象，这个response类似于一个file对象

html = response.read() #用.read()函数可以操作这个response对象

import urllib2

req = urllib2.Request('http://python.org/') #通过URL实例化了Request类的对象

response = urllib2.urlopen(req)

the_page = response.read()

urllib2.Request(url, data, headers, origin_req_host, unverifiable)

作用：

Request类是一个抽象的URL请求

参数解释：

url：是一个字符串，其中包含一个有效的URL。

data：可省略，是一个字符串，指定额外的数据发送到服务器，如果没有data需要发送可以为“None”。目前使用data的HTTP请求是唯一的。当请求含有data参数时，HTTP的请求为POST，而不是GET。数据应该是缓存在一个标准的application/x-www-form-urlencoded格式中。urllib.urlencode()函数用映射或2元组，返回一个这种格式的字符串。

通俗的说就是，如果想向一个URL发送数据(通常这些数据是代表一些CGI脚本或者其他的web应用)，对于HTTP来说这动作叫Post。例如在网上填form(表单)时，浏览器会POST表单的内容，这些数据需要被以标准的格式编码(encode)，然后作为一个数据参数传送给Request对象。Encoding是在urlib模块中完成的，而不是在urlib2中完成的。下面是个例子：

import urllib

import urllib2

url = 'http://www.someserver.com/cgi-bin/register.cgi'

values = {'name' : 'Michael Foord',

'location' : 'Northampton',

'language' : 'Python' }

data = urllib.urlencode(values)

req = urllib2.Request(url, data)

response = urllib2.urlopen(req)

the_page = response.read()

headers：可省略，是字典类型。作为辨别浏览器身份的User-Agent，header是经常被用来恶搞和伪装的，因为一些HTTP服务只允许某些请求来自常见的浏览器而不是脚本，或是针对不同的浏览器返回不同的版本。例如，Mozilla Firefox浏览器被识别为“Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11”。默认情况下，urlib2把自己识别为Python-urllib/x.y(这里的xy是python发行版的主要或次要的版本号，如在Python 2.6中，urllib2的默认用户代理字符串是“Python-urllib/2.6)。

标准的headers组成是(Content-Length, Content-Type and Host)，可以在生成Request对象之前初始化header，作为参数在request时直接传入：

import urllib

import urllib2

url = 'http://www.someserver.com/cgi-bin/register.cgi'

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'

values = {'name' : 'Michael Foord',

'location' : 'Northampton',

'language' : 'Python' }

headers = { 'User-Agent' : user_agent } #模仿IE浏览器提交请求

data = urllib.urlencode(values)

req = urllib2.Request(url, data, headers)

response = urllib2.urlopen(req)

the_page = response.read()

也可以把每个键和值作为参数，调用add_header(key, val)方法附加header：

import urllib2

req = urllib2.Request('http://www.example.com/')

req.add_header('Referer', 'http://www.python.org/')

r = urllib2.urlopen(req)

或者OpenerDirector.open()时加入：

import urllib2

opener = urllib2.build_opener() #urllib2.build_opener会返回一个OpenerDirector对象，OpenerDirector为每一个Request自动加上一个User-Agent header

opener.addheaders = [('User-agent', 'Mozilla/5.0')]

opener.open('http://www.example.com/')

origin_req_host：可省略，是RFC2965定义的源交互的request-host。默认的取值是cookielib.request_host(self)。这是由用户发起的原始请求的主机名或IP地址。例如，如果请求的是一个HTML文档中的图像，这应该是包含该图像的页面请求的request-host。

unverifiable：可省略，代表请求是否是无法验证的，它也是由RFC2965定义的。默认值为false。一个无法验证的请求是，其用户的URL没有足够的权限来被接受。例如，如果请求的是在HTML文档中的图像，但是用户没有自动抓取图像的权限，unverifiable的值就应该是true。

urllib2.build_opener([handler, ...])

作用：

创建opener对象的函数，实例化会得到OpenerDirector对象，默认会加入许多handlers，它提供了一个快速的方法添加更多东西和使默认的handler失效，从而生成自定义opener。

参数解释：

handlers：可以被BaseHandler或他的子类实例化，子类中可以通过以下实例化：ProxyHandler (如果检测代理设置用), UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor。

urllib2.install_opener(opener)

作用：

install_opener实例化会得到OpenerDirector 对象，用来赋予全局变量opener。

参数解释：

创建openers时如果想要安装特别的handlers来实现获取url的话，可以先实例一个OpenerDirector对象，然后多次调用.add_handler(some_handler_instance)来创建opener。

正常情况下程序一直通过urlopen使用默认的opener对象，使用install_opener后再调用urlopen，将会用到新创建的自定义的openers，这样可以让每一个handler知道以哪种协议打开url、如何处理打开url发生的HTTP重定向等。

举例：

import urllib2

req = urllib2.Request('http://www.python.org/')

opener=urllib2.build_opener()

urllib2.install_opener(opener) #设置 urllib2 的全局 opener

f = opener.open(req)

f = urllib2.urlopen(req)