1、前言

我是在进行全站爬取某个网站时用到的这个包，它的主要功能就是分解URL，在对URL处理时是一个非常有用的包

2、功能介绍

This module defines a standard interface to break Uniform Resource Locator (URL) strings up in components (addressing scheme, network location, path etc.), to combine the components back into a URL string, and to convert a “relative URL” to an absolute URL given a “base URL.”

这组模块（即urllib.parse包）定义了一个标准接口，用于将URL分解成一个一个个组件，将组件重新组建成一个URL字符串。也就是利用基本的URL将相对地址（URL）转化成绝对地址。

3、函数介绍

3.1、URL Parsing

The URL parsing functions focus on splitting a URL string into its components, or on combining URL components into a URL string.

3.1.1、urllib.parse.urlparse(urlstring, scheme=”, allow_fragments=True)

urlparse()会将URL分解成六个部分，看例子

>>> from urllib.parse import urlparse
>>> o = urlparse('http://www.cwi.nl:80/%7Eguido/Python.html')
>>> o
ParseResult(scheme='http', netloc='www.cwi.nl:80', path='/%7Eguido/Python.html',params='', query='', fragment='')
>>> o.scheme
'http'
>>> o.port
80
>>> o.geturl()
'http://www.cwi.nl:80/%7Eguido/Python.html'

这六个部分的解释

Attribute	Index	Value	Value if not present
scheme	0	URL scheme specifier（也就是http/https）	scheme parameter
netloc	1	Network location part（域名）	empty string
path	2	Hierarchical path（分层路径）	empty string
params	3	Parameters for last path element（最后一个路径元素的参数）	empty string
query	4	Query component（查询组件）	empty string
fragment	5	Fragment identifier（片段识别）	empty string

函数方法说明
urlstring ： URL路径
scheme ： 协议类型，http或者https
allow_fragments： 默认是True，如果设置为False，fragment identifiers将不会被识别，就是说netloc后面的都会当成URL中的路径处理。

If the allow_fragments argument is false, fragment identifiers are not recognized. Instead, they are parsed as part of the path, parameters or query component, and fragment is set to the empty string in the return value.

更多关于urllib.parse的内容可前往官网

urllib.parse包学习相关推荐

python网络爬虫学习笔记（五）：urllib.parse库
urllib.parse库定义了处理URL的标准接口,例如实现URL各部分的抽取.合并以及链接转换.它支持如下协议的URL处理:file.ftp.gopher.hdl.http.https等. 1.u ...
python爬虫学习3：urllib.parse中urlencode()，quote()
urllib.parse 模块提供了很多解析和组建 URL 的函数,它定义了处理URL的标准接口,例如实现URL各部分的抽取.合并以及链接转换. 其中用来编码是 urlencode() 与 quote ...
利用python爬虫(part2)--urllib.parse模块
学习笔记文章目录 URL地址编码模块作用常用的方法 urllib.parse.utlencode({dict}) urllib.parse.quote(string)编码 urllib.pars ...
一木.溪桥学爬虫-03：请求模块urllib、 urllib.request、urllib.parse.urlencode、urllib.parse.quote(str)、.unquote()
一木.溪桥在Logic Education跟Jerry学爬虫 07期:Python 爬虫一木.溪桥学爬虫-03:请求模块urllib. urllib.request.urllib.parse.ur ...
urlopen中文路径报错from urllib.request import urlopen from urllib.parse import quote from bs4 import Beaut
描述当urlopen中出现中文路径是报错.'ascii' codec can't encode characters 解决办法将中文使用quote包住 from urllib.request im ...
urllib.parse
1 url分解 import urllib.parse 2 3 result = urllib.parse.urlparse('http://www.baidu.com') 4 print(resul ...
Commons BeanUtils包学习2
2019独角兽企业重金招聘Python工程师标准>>> Commons BeanUtils包学习2 博客分类: 中间件 java 一.简介: BeanUtils提供对 Java反射和 ...
包学习(一款安卓端小学到高中全部课程精讲APP)
简介 [包学习]是一款拥有小学至高中九个学年的全套学习资料的APP,名校名师重点.难点精讲软件简单介绍软件分为首页.必刷课.动态教辅.在学.我的五大模块. 进入软件会让你选择对应的年级,小编这里就 ...
python中urllib.parse啥意思_python-urllib.parse模块简述
前言小编最近在编写接口自动化测试用例的过程中,需要将get请求url中的部分参数替换成预设的数据,将url中的具有时效性的auth替换成auth生成方法返回值.经过一番调研,最后选取了python的 ...

urllib.parse包学习