Python爬虫urllib库的使用
urllib
在Python2中,有urllib和urllib2两个库实现请求发送,在Python3中,统一为urllib,是Python内置的HTTP请求库
request:最基本的HTTP请求模块,可以模拟发送请求。
error:异常处理模块
parse:一个工具模块,提供了许多URL处理方法,拆分、解析、合并等
rebotparser:主要用来识别网站的robots.txt文件,判断哪些文件可以爬,哪些文件不可以爬
urlopen() :urlopen.request模块提供了最基本的构成HTTP请求的方法,可以模拟浏览器请求的发起过程
实例:
import urllib.request #调用 urllib的request方法
response = urllib.request.urlopen(‘http://www.baidu.com’) #请求百度网站
print(response.read().decode('utf-8')) #输出网站内容,设置编码utf-8
print(response.status) #网页响应状态码
print(response.getheaders()) #获取请求头信息
print(response.getheaders('Server')) #获取响应头中的 Server值,获取服务器
参数:
data():data参数是可选的,如果添加该参数,需要使用bytes()方法将参数转化为字节流编码格式的内容,即betyes类型,如果传递了这个参数,请求方式不再是get,二是post
实例:
import urllib.parse
import urllib.request
data = bytes(urllib.parse.urllencode({'word':'hello'}),encoding='utf8') #传递一个参数word,值是hello,转码成bytes类 型,该方法第一个参数是要str类型,用urllib.parse模块里的urlencode()方法转化为字符串
response = urllib.request.urlopen('http://httpbin.org/post',data=data) #请求站点是httpbin.org,可以提供http测试,这个链接可以测试post请求,可以输出请求信息,包含我们传递的data参数
print('response.read()') #传递的参数在form字段中说明模拟了表单提交方式,以post方式传输
timeout():timeout 参数用于设置超时时间,单位为秒,意思是如果请求超出了设置时间,还没有得到响应,就会抛出异常,如果不指定,就会使用全局默认时间,支持 HTTP HTTPS FTP请求
实例:
import urllib.request
import socket
import urllib.error
try:
response = urllib.request.urlopen('http://httpbin.org/get',timeout=1) #请求httpbin.org测试链接,设置超时时间1秒,.
except urllib.error.URLError as e: #捕获异常
if isinstance(e.reason,socket.timeou) #socket.timeout 判断异常是超市异常
pritn(‘TIME OUT’)
Request:利用urllib.urlopen()方法可以完成简单的请求,但是不足以构建一个完整的请求,如果需要加headers等信息,就需要利用更强大request方法来构建
实例:
import urllib.request
request = urllib.urlopen('https://python.org')
response = urllib.request.get(request)
print(response.read()).deaode('utf-8')
#可以发现,我们依然用urlopen()方法来发送请求,只不过这次该方法的参数不再试url,而是request类型的对象,通过构造这个数据结构,一方面可以将请求独立成一个对象,另一方面可以灵活的配置参数
网站身份验证:
实例:
form urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler,build_opener
from urllib.error import URLError
username = 'username'
password = 'password'
url = 'http://localhost:5000'
p = HTTPPasswordMgrWithDefaultRealm() #实例化HTTPBasicAuthHandler对象,其参数是HTTPPasswordMgrWithDefaultRealm对象
p.add_password(None,url,username,pasword) #通过 add_password()添加进去用户名和密码,这样就建立了一个处理验证的handler
auth_handler =HTTPBasicAuthHandler(p)
opener = buid_oppener(auth_handler) #利用handler使用build_opener()方法构建了一个Opener,这个Opener在发送请求时就相当于验证成功
try:
result = opener.open(url)
html = result.read().decode('utf-8')
pritn(html)
except URLErrot as e:
print(e.reason)
代理IP:
from urllib.error import URLError
from urllib,request import ProxyHandler,biuld_opener
porxy_handler = Proxyhandler({
'http':'http://127.0.0.1:9743',
'https':'https://127.0.0.1:9743'
})
opener = build_opener(proxy_handler)
try:
response = eopner.open('https://www.baidu.com')
print(response.read().decode('utf-8'))
except URLError as e:
pritn(e.reason)
#在本地搭建一个代理,运行在9743端口,使用了Proxyhandler,参数是一个字典,健名是协议类型,值是代理链接,可以添加多个代理,然后使用handler以及build_opener()方法构造一个 opener,之后发送请求即可
urlparse():该方法可以实现入了的识别和分段
分析robots协议:
robots协议也叫爬虫协议,机器人协议,它的全貌叫忘了爬虫排除标准,用来告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取,它通常是一个叫做robots.txt的文本文件,一般放在网站的根目录下
当搜索爬虫访问一个站点时,它首先检查这个站点根目录下是否存在robots.txt文件,如果存在,搜索爬虫会根据其中定义的爬取范围来爬取,如果没有找到这个文件,搜索爬虫会返耐高温所有可以直接访问的页面
robots.txt 样例:
User-agent:*
Disallow:/
Allow:/public/
这实现了对所有搜索爬虫只允许爬取public目录的功能,将上述内容保存成robots.txt文件,放在网站的根目录下,和网站的入口文件比如(index.pho index.html index.jsp等等)放在一起
上面的User-agent描述了搜索爬虫的名称,这里将其设置为*则代表该协议对任何爬取爬虫有效,比如,我们可以设置 :user-agent:baiduspider
这就代表我们设置的规则对百度爬虫是有效果,如果有多条user-agent的记录,则就会有多个爬虫会受到爬取限制,但是至少指定一条
disallow指定了不允许爬取的目录。比如上个例子设置为/,则代表不允许抓取所有页面
allow一般和disallow一起使用,一般不会单独使用,用来排除某些限制,限制我们设置为/public/,则表示所有页面不允许抓取,但是可以抓取public目录
下面再看几个例子:
user-agent:*
Disallow:/ #禁止所有爬虫访问任何目录
----------------------------------------------------------------
user-agent:*
Disallow:/ private/
Disallow:/tmp/ #允许所有爬虫访问网站某些目录
-------------------------------------------------------------------------
user-agent:WebCrawler
Disallow:/
user-agent:*
Disallow:/ #只允许一个爬虫访问
---------------------------
user-agent:*
Disallow: #允许所有爬虫访问,robots.txt留空也可以
转载于:https://www.cnblogs.com/qi_1998/p/10289510.html
Python爬虫urllib库的使用相关推荐
- Python爬虫 —— urllib库的使用(get/post请求+模拟超时/浏览器)
Python爬虫 -- urllib库的使用(get/post请求+模拟超时/浏览器) 这里写目录标题 Python爬虫 -- urllib库的使用(get/post请求+模拟超时/浏览器) 1.Py ...
- python爬虫 - Urllib库及cookie的使用
lz提示一点,python3中urllib包括了py2中的urllib+urllib2.[python2和python3的区别.转换及共存 - urllib] 怎样扒网页? 其实就是根据URL来获取它 ...
- 002:Python爬虫Urllib库全面分析
Urllib: Python中有一个功能强大,用于操作URL,并且在爬虫中经常使用的库.就是Urllib库. (在python2的时候,有Urllib库,也有Urllib2库.Python3以后把Ur ...
- 【python】python爬虫requests库详解
1.安装:pip install requests 简介:Requests是一个优雅而简单的Python HTTP库,与之前的urllibPython的标准库相比,Requests的使用方式非常的简单 ...
- Python爬虫——Requests 库基本使用
文章目录 Python爬虫--Requests 库基本使用 1.Requests简介和下载 2.Requests 库基本使用 Python爬虫--Requests 库基本使用 1.Requests简介 ...
- Cookie登录爬取实战:Python 利用urllib库的cookie实现网站登录并抓取
1 环境:Python 3 +urllib库 实战网站:http://www.mjzcnd.com/ 梅江之春论坛网站 2 背景: 现在许多网站都需要登录后才能访问某个页面,在登陆之前,我们是没有权 ...
- Python爬虫扩展库scrapy选择器用法入门(一)
关于BeutifulSoup4的用法入门请参考Python爬虫扩展库BeautifulSoup4用法精要,scrapy爬虫案例请参考Python使用Scrapy爬虫框架爬取天涯社区小说"大宗 ...
- 已解决(Python爬虫requests库报错 请求异常SSL错误,证书认证失败问题)requests.exceptions.SSLError: HTTPSConnectionPool
成功解决(Python爬虫requests库报错 请求异常,SSL错误,证书认证失败问题)requests.exceptions.SSLError: HTTPSConnectionPool(host= ...
- Python爬虫基础库(RBX)的实践_田超凡
转载请注明原作者:田超凡 20190410 CSDN博客:https://blog.csdn.net/qq_30056341# Python爬虫基础库RBX指的是:Requests Beautiful ...
最新文章
- 手把手教你架构3d游戏引擎pdf_一个在游戏行业摸爬滚打了十几年的人,为何我对这本书情有独钟...
- 制药行业SAP项目里的那些LIMS系统
- android studio下的NDK开发详解
- 从FrameBuffer中获取Android屏幕截图
- JSON.toJSONString(object, SerializerFeature.WriteMapNullValue);第二个参数作用
- linux最新官方回应只峰身份,Ubuntu 15.04 正式版发布?官方还没更新!
- Docker(一):Docker的安装与常用命令
- 2018-2019-2 《Java程序设计》第6周学习总结
- 300来行代码实现最小Linux文件系统
- 如何促合作共赢?技术人的一点经验分享
- java分布式会话redis_详解springboot中redis的使用和分布式session共享问题
- MUI 上滑加载(没有更多数据)页面回弹 - 效果
- 图示Windows Server2008 Feature Components
- 关于如何取消访问https时的提示:“此网站的安全证书存在问题”的解决方法
- 营销再好终归还要产品说话,留给大神X7的时间不多了
- hibernate sqlserver timestamp_SQLServerException:从时间戳到TIMESTAMP的转换不受支持。
- HDOJ 1671 HDU 1671 Phone List ACM 1671 IN HDU
- JAVA 实验报告总结
- 用ERStudio生成带注释的SQL,为每个column生成注释
- 【STM32训练—SIM900A模块】第一篇、电脑的串口助手驱动SIM900A发送中文和英文短信
热门文章
- 使用 stm32实现锂电充电_千次循环使用,ZMI可充电锂电池套装,够用一辈子吗?...
- 清远职业技术学院php,清远职业技术学院2020招生录取分数线
- 面试:一文搞懂String、StringBuilder、StringBuffer 区别
- MySQL的多表查询(笛卡尔积原理)
- libmysql.dll是否真的要拷贝到c:\windows目录下呢?
- Hashtable Dictionary[必看]
- 悟透JavaScript
- LeetCode 160. Intersection of Two Linked Lists
- C/C++——输入输出字符相关,cin.get()、getchar()和cin.getline()
- dd命令安装Linux