python3.8安装urllib库_urllib库的基本使用

学习爬虫的目的便是模拟浏览器向服务器发出请求，进而获取所需数据。

爬虫可以分为抓取页面、分析页面和存储数据三步。

每一步中，python都有强大的模块来让我们使用。

今天先来学习请求库urllib的基本使用。

（python的安装请参考python开发环境搭建）

安装urllib库

（urllib是python内置的库，一般不需要额外安装）

方法一 win+r 打开命令行，然后输入pip install urllib安装urllib库。输入cmd打开命令行输入pip install urllib 回车，等待安装完成即可

在命令行中输入python进入python，

输入import urllib,若结果如下则说明urllib安装成功：urllib 安装成功

方法二：打开https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysqlclient，找到对应版本的urllib的wheel文件,下载到本地，然后再用pip 安装即可（注意：下载的文件切不可重命名，要用绝对路径）。

使用urllib

urllib包含四个模块：request：HTTP请求模块，可以用来发送请求。

error ：异常处理模块。

parse ：提供了许多url处理方法，比如拆分、解析等。

robotparser ：用的比较少，可以略过。利用最基本的urlopen()方法,可以完成最基本的简单网页的GET请求抓取。urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)下面看一个具体的例子：打开【西安天气】西安天气预报,蓝天,蓝天预报,雾霾,雾霾消散,天气预报一周,天气预报15天查询，打开开发者选项，我们可以看到网页源代码：浏览器显示结果在python IDEA运行上述代码

运行结果如下：运行结果

从图中可以看到，网页源代码就被下载下来了，通过解析网页源代码我们就可以获得我们想要的天气数据。

由于还没学到解析库，下面我们修改代码，用正则表达式来提取温度并绘图。

# -*-coding:utf-8 -*-

'''@author 马秋平urllib的基本用法'''

from urllib.request import urlopen #导入urlopen

import re #正则模块

import matplotlib.pyplot as plt #用来绘图

import numpy as np #用来作矩阵运算

pattern = re.compile(r'(\d)+℃')#构建正则匹配模式

url = 'http://www.weather.com.cn/weather/101110101.shtml' #链接

res = urlopen('http://www.weather.com.cn/weather/101110101.shtml') #传入url,其他均为可选参数

result = res.read().decode('utf-8')#打印网页源代码

temperature = re.findall(pattern,result)#用正则来匹配、获取温度

print(result) #打印网页源代码

print(temperature)#打印获取到的温度

data=[]#创建一个空列表用来存放温度

x=np.linspace(0,5,6) #x轴

for i in temperature:

data.append(int(i)) #类型转换，str--int

plt.scatter(x,data) #绘制散点图

plt.title('temperature') #设置标题

plt.xticks(x,['2','3','4','5','6','7'])#设置x轴标注，代表日期

plt.xlabel('date') #x轴标签

plt.grid(True) #显示网格线

plt.show()#显示绘图

运行结果如下

待更。。。。。。。。。

邮箱：maqiuping@stu.xidian.edu.cn

欢迎交流，共同进步。

python3.8安装urllib库_urllib库的基本使用相关推荐

python怎么安装requests库-Python3.6安装及引入Requests库的实现方法
本博客可能没有那么规范,环境之类的配置.只是让你直接开始编程写python. 至于各种配置网络上有多种方法. 本文仅代表我的观点的一种方法. 电脑环境:win10 64位第一步:下载python. ...
python怎么安装requests库-Python3.6安装及引入Requests库
本博客可能没有那么规范,环境之类的配置.只是让你直接开始编程写python. 至于各种配置网络上有多种方法. 本文仅代表我的观点的一种方法. 电脑环境:win10 64位第一步:下载python. ...
Python3.6安装及引入Requests库
本博客可能没有那么规范,环境之类的配置.只是让你直接开始编程写python. 至于各种配置网络上有多种方法. 本文仅代表我的观点的一种方法. 电脑环境:win10 64位第一步:下载python. ...
python3 url解析 urllib.parse.urlparse 库简介
urllib.parse - 将URL解析为组件 urllib.parse定义了一个标准接口,用于在组件中解析统一资源定位符(URL)字符串(寻址方案,网络位置,路径等),将组件组合回URL字符串,并 ...
python用代码安装3.6_Python3.6安装及引入Requests库的实现方法
本博客可能没有那么规范,环境之类的配置.只是让你直接开始编程写python. 至于各种配置网络上有多种方法. 本文仅代表我的观点的一种方法. 电脑环境:win10 64位第一步:下载python. ...
python urllib库安装_urllib库安装
ubuntu怎样安装urllib库ubuntu怎样安装urllib库先看一下ubuntu的软件源里是否有urllib, 如果没有就需要去官网下载手动安装. 一般在软件的说明文档里有具体的安装方法, ...
python3问题-安装第三方库
安装第三方库 python 库安装方法及常用库 python库安装方法: pip install ***(库名称) python 库安装方法及常用库 python库安装方法:方法一:setpu.py1 ...
python基础代码库-python3.4第三方库的安装?python基础代码库
python怎么安装下载模块 python安装下载模块的:1.按盘上的[win r]快,打开运行窗口:2.输入cmd,点击定]:3.在打开的命令提示符中执行[pip install 模块名]命令即可. ...
Ubuntu18.04系统中python3.7安装MultiNEAT库
Ubuntu18.04系统中python3.7安装MultiNEAT库前言 MultiNEAT介绍安装问题 boost安装 MultiNEAT安装安装过程遇到问题及解决方法前言 MultiNE ...

python3.8安装urllib库_urllib库的基本使用

python3.8安装urllib库_urllib库的基本使用相关推荐

最新文章

热门文章