爬虫【1】打开网站，获取信息

如何向网站发起请求并获取响应对象？

urllib.request.urlopen

作用

向网站发起请求并获取响应对象

参数

url：需要爬取的URL地址
timeout: 设置等待超时时间,指定时间内未得到响应抛出超时异常

第一个爬虫程序

打开浏览器，输入百度地址(http://www.baidu.com/)，得到百度的响应

import urllib.request# urlopen() ： 向URL发请求,返回响应对象
response=urllib.request.urlopen('http://www.baidu.com/')
# 提取响应内容
html = response.read().decode('utf-8')
# 打印响应内容
print(html)

响应对象（response）方法

1、bytes = response.read() # read()得到结果为 bytes 数据类型
2、string = response.read().decode() # decode() 转为 string 数据类型
3、url = response.geturl() # 返回实际数据的URL地址
4、code = response.getcode() # 返回HTTP响应码
# 补充
5、string.encode() # bytes -> string
6、bytes.decode()  # string -> bytes

爬虫【1】打开网站，获取信息相关推荐

python已打开页面获取信息_python+selenium实现自动登录网页获取信息（一）
我用的是一个教师继续教育的网站,进行演示和模拟,网站:http://cas.study.yanxiu.jsyxsq.com/auth/login?service=http%3A%2F%2Fwww.17 ...
【Python】爬虫案例——租房网站房间信息的全量抓取
这里对爬虫的基础知识就不过多的阐述了,直接上案例.当数据需求被激发后,怎样利用爬虫技术区获取数据?那么,顺藤摸瓜是最好的方法.所需数据是互联网数据吗?该数据是公开的吗?数据是什么格式?数据的位置有 ...
利用Python爬虫获取招聘网站职位信息
当你学会使用Python爬虫之后就会发现想要得到某些数据再也不用自己费力的去寻找,今天小千就给大家介绍一个很实用的爬虫案例,获取Boss直聘上面的招聘信息,同学们一起来学习一下了. Boss直聘爬虫案 ...
Java爬虫爬取某招聘网站招聘信息
Java爬虫爬取某招聘网站招聘信息一.系统介绍二.功能展示 1.需求爬取的网站内容 2.实现流程 2.1数据采集 2.2页面解析 2.3数据存储三.获取源码一.系统介绍系统主要功能:本项目 ...
Python爬虫——12306网站车次信息
Python爬虫--12306网站车次信息相信每一个人都听说过谷歌.百度等浏览器,我们在在输入栏中输入我们想要的关键字,便会出现与我们输入关键字有关的网页.那么这些数据时是怎么来的呢?其实这跟网络爬 ...
爬虫：利用cookie获取人人网登录后网页信息
爬虫:利用cookie获取人人网登录后网页信息思路: 1.首先创建一个自动获取登录cookie的实例,创建请求管理器opener 2.分析网页源码,获取登录的form信息,并写入data,访问登录界 ...
Python爬虫实战—2345影视获取经典电影信息
爬虫提前准备包 1)安装解析库lxml lxml是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高. 命令行进行安装:pip install lxml ...
从东方财富网站获取动态市盈率和市净率的爬虫代码
之前一直采用tushare.get_today_all() 获取市盈率和市净率,不知道是不是因为接口不再维护,获取的信息跟软件上的信息存在出入,刚好这段时间学习爬虫,因此写了段从东方财富网站获取市盈率 ...
Python Scrapy爬虫实战（1）：豆瓣网站图书信息案例- Scrapy初体验
Scrapy,Python开发的一个快速.高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试.Scrapy吸引人的 ...

爬虫【1】打开网站，获取信息

爬虫【1】打开网站，获取信息

如何向网站发起请求并获取响应对象？

urllib.request.urlopen

爬虫【1】打开网站，获取信息相关推荐

最新文章

热门文章