我假设你已经符合上述的标准，现在我们就来开始第一个爬虫的网站，我们首先挑选一个下手；附上URL：中国天气网（http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_first）

###第一步：

请确保你已经安装了Requests和Beautifulsoup4的库，否则你可以打开CMD（命令提示符）然后输入

pip3 install requests
pip3 install Beautifulsoup4
pip3 install lxml
复制代码

安装完毕后接着打开你的编辑器，这里对编辑器不做纠结，用的顺手就好。

首先我们做爬虫，拿到手第一个步骤都是要先获取到网站的当前页的所有内容，即HTML标签。所以我们先要写一个获取到网页HTML标签的方法。

整个爬虫的的代码搭建我都采用的是将不同的功能做成不同的函数，在最后需要调用的时候进行传参调用就好了。

那么问题来了，为什么要这么做呢？

写代码作为萌新要思考几件事：

1、这个代码的复用性；

2、这个代码的语义化以及功能解耦；

3、是否美观简洁，让别人看你的代码能很清楚的理解你的逻辑；

代码展示：

上述代码几个地方我特别说明一下： ''' 抓取每天的天气数据

python 3.6.2
url:http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_first
'''
import requests
import bs4
复制代码

养成好习惯代码一开始的注释表明这是一个什么功能的Python文件，使用的版本是什么，URL地址是什么，帮助你下次打开的时候能快速理解这个文件的用途。

由于Requests和Beautifulsoup4是第三方的库，所以在下面要用import来进行引入

然后是

其中

def get_html(url)：
复制代码

构造一个名为get_html的函数，并传入你要请求的URL地址进去，会返回一个请求后的结果，

构造好后，调用的时候直接

url = '包裹你的url'
get_html(url)
复制代码

然后同样备注好你的这个函数的功能是做什么的，headers里面包裹了一些伪装成浏览器访问的一些头部文件可以直接你复制过去使用。

这里要说一下为什么要做基础的伪装成浏览器，由于有了爬虫，自然就有反爬虫。有些网站为了恶意避免爬虫肆意爬取或者进行攻击等等情况，会做大量的反爬虫。伪装浏览器访问是反爬虫的一小步。

好了我们继续，

htmlcontet = requests.get(url, headers=headers, timeout=30)
htmlcontet.raise_for_status()
htmlcontet.encoding = 'utf-8'
return htmlcontet.text
复制代码

第一条如果我们看了Requests之后就知道这是一个解析你传入的url，并包含了请求头，响应延时

第二条，如果当前页面响应的情况会返回一个json数据包，我们通过这个语法来确认是否为我们要的成功响应的结果

第三条，解析格式，由于该网站我们可以看到已知字符编码格式为utf-8所以在这里我就写死了是utf-8

最后都没问题后，返回一个页面文件出来

###第二步：

拿到一个页面文件后，我们就需要观察一下该网页的HTML结构

这里介绍一下如何观察一个网页的结构，打开F12或者，找个空白的位置右键——>检查

我们大概会看到这样的一个情况：

没错你看到那些