静态网页爬虫教程（1）页面的获取

最近想看看绿色金融方面的内容，也不知道搞啥，先在网上找找信息，于是把目标瞄上了新华财经——中国金融信息网。找到了其中的绿色金融的版块。发现上面的文章都是静态页面构成的，可以先把所有的页面信息爬取下来，然后再慢慢看。
由于学得不是很扎实，就用最初级的方式，一步一步操作，以求小白们也能看懂。
请求网页的方式主要是两种，一种是get方式，一种是post方式。post方式通常需要填写表单，用户需要填入相关信息提交后才能返回响应页面；而get方式不需要填写信息，可以直接获得对应页面。本文就从get方式说起。
不论哪种方式，都需要引入requests包，如果没有，请自行安装，通常使用Anaconda平台会自动装配好大多数我们所需要的包，所以小白可以直接安装这个平台。后面的页面爬取过程，我全部是在notebook中操作完成的。

#引入requests包
import requests
#设定我们要爬取的内容，全部是企业环境信息披露下的文章，先找到其中第一篇文章
url='http://greenfinance.xinhua08.com/qyhjxxpl/'
#发出请求并获取响应
req=requests.get(url)
#查看一下返回的文本
req.text

是不是已经看到了我们想要的页面的内容？好像搞定了，等等，里面怎么这么多乱码，这是因为编码解码的问题。好吧，为了避开这个问题，我们再加上一句：

#引入requests包
import requests
#设定我们要爬取的内容，全部是企业环境信息披露下的文章，先找到其中第一篇文章
url='http://greenfinance.xinhua08.com/qyhjxxpl/'
#发出请求
req=requests.get(url)
#解决编码问题，注意get_encodings_from_content的参数是字符串，所以要用req.text而不是req.content
req.encoding=requests.utils.get_encodings_from_content(req.text)
#查看一下返回的文本
req.text

这回效果是不是好很多？都是中文和标签了，事就好办了。接下来，我将准备做的是提取这个页面中的标题和超链接，请看第（2）篇。

静态网页爬虫教程（1）页面的获取相关推荐

静态网页爬虫教程（4）同一页面多篇文章内容提取和保存
前面的文章中,我们已经成功的完成了对一篇文章的内容提取和保存.现在新的问题又来了,之前我们提取过的超链接有那么多,标题也有不少,怎么能只提取一篇文章而放弃一堆呢?别急,下面我们就开始说说多篇文章的内容 ...
静态网页爬虫教程（5）带翻页的多篇文章内容提取和保存
这是我们静态页面爬取的最后一篇了,主要针对的问题是翻页爬取. 先来观察一下翻页后的新页面地址是什么吧,我们可以看到,新页面的地址的设置很简单,就是改了个序号,第一页是1.shtml,第二页是2.sht ...
静态网页爬虫教程（2）链接和标题的提取
初战告捷,我们继续下一步,来获取网页中的标题和超链接. 观察一下,第一篇文章是这样的: 这篇文章的标题和超链接信息在我们返回的文本中是这样的: 上面的表示是超链接的内容,而下面的则是表示是标题大小为4 ...
静态网页爬虫教程（3）文本的提取和保存
前面我们已经把文章的标题和超链接都提取出来了,看上去我们已经有能力把这些文章的内容全部提取出来了.但路要一步一步走,饭要一口一口吃,我们还是先来看一篇文章的内容是怎么提取和保存的吧. 首先还是先来看看 ...
您访问的网页出错了! 网络连接异常、网站服务器失去响应_数据分析系列——静态网页爬虫进阶（requests）...
在之前"数据分析系列--数据分析入门"16篇中有与爬虫的相关内容,介绍的相对简单.静态网页爬虫进阶系列将分别从网页的自动爬取(Requests).网络数据解析(BeautifulS ...
python 静态网页_Python静态网页爬虫相关知识
想要开发一个简单的Python爬虫案例,并在Python3以上的环境下运行,那么需要掌握哪些知识才能完成一个简单的Python爬虫呢? 爬虫的架构实现爬虫包括调度器,管理器,解析器,下载器和输出器. ...
静态网页制作教程（转载）
方法/步骤新建一个txt文本文档,先不要急着修改文件后缀名,有基础的朋友手动输入HTML代码,不会也没有关系,百度搜索"网页HTML代码". 代码: <!Doctype h ...
python爬取豆瓣电影排行前250获取电影名称和网络链接[静态网页]————爬虫实例（1）
目录 1.算法原理: 2.程序流程: 3.程序代码: 4.运行结果(部分结果展示): 5.结果分析: 1.算法原理: (1)利用import命令导入模块或者导入模块中的对象: ①利用requests库 ...
python读取html_从零开始的Python爬虫教程（一）:获取HTML文档
前言:在上一节从零开始的Python爬虫教程(零):粗识HTML结构中,粗略给大家介绍了一下HTML文档,是为了在接下来的教程中让大家更容易理解和掌握.在接下来的教程中,需要大家提前安装python3 ...

静态网页爬虫教程（1）页面的获取

静态网页爬虫教程（1）页面的获取相关推荐

最新文章

热门文章