《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。随大数据时代一起来来临的，是越来越多的大数据工作岗位。在此，我们利用Python编程，抓取智联招聘、51job等网站上面有关大数据的工作岗位数据。

爬虫基础知识

数据来源

网络爬虫的数据一般都来自服务器的响应结果，通常有html和json数据等，这两种数据也是网络爬虫的主要数据来源。

其中html数据是网页的源代码，通过浏览器-查看源代码可以直接查看，例如：

简书主页部分源码示例

json是一种数据存储格式，往往包含了最原始的数据内容，一般不直接显示在网页中，这里我们可以通过Chrome浏览器-开发者工具中的Network选项捕获到服务器返回的json数据，例如：

简书首页json数据示例

数据请求

数据请求的方式一般有两种：GET方法和POST方法。我们也可以通过Chrome浏览器来捕获我们访问一个浏览器时的所有请求。这里以简书主页为例，打开Chrome浏览器开发者工具(F12)，切换到Network选项，在地址栏输入http://www.jianshu.com/， 选择XHR类型，可以看到一条请求的内容，打开Headers，在General中可以看到请求方式为GET方式，

其中的Request Headers便是我们访问这个网页时的请求数据，如下图。

Request Headers

这个Headers可以用Python中的字典来表示，包含了用户请求的一些信息，例如编码、语言、用户登陆信息、浏览器信息等。

下面还有一个Query String Parameters，这里面包含了用户请求的一些参数，也是请求数据的一部分。

利用requests库请求数据

利用Python构建数据请求的方式有很多，在python3中，主要有urllib和requests两个类库可以实现该功能。urllib是官方标准库，其官方文档传送门。这里我们主要介绍第三方库requests，它是基于urllib编写的，比urllib用起来更加便捷，可以节约时间。

requests安装方法：

$ pip install requests

利用requests构建数据请求主要方式：

import requests

req = request.get(url)

或者

import requests

req = requests.post(url)

其中，get()与post()中都可以添加headers、params等参数，以字典的形式传递即可。一般来说，简单的网页通过传入url数据即可成功请求数据。不过一些网站采用了反爬虫机制，需要我们传入headers及params等参数，以模拟浏览器访问、用户登陆等行为，才可以正常请求数据。

利用webdriver请求数据

webdriver是一个用来进行复杂重复的web自动化测试的工具，能够使用chrome、firefox、IE浏览器进行web测试，可以模拟用户点击链接，填写表单，点击按钮等。因此，相对于requests库来说，webdriver在模拟浏览器鼠标点击滑动等事件上有着天然的优势，并且真实模拟了浏览器的操作，不易被反爬虫机制发现，因此是一个很好用的爬虫工具。当然，其缺点在于速度较慢，效率不高。

webdriver安装：

$ pip install selnium

除了安装selnium库，webdriver的运行还需要进行浏览器驱动的配置。Chrome、火狐和IE浏览器都有其配置方式，具体方法查看链接http://blog.163.com/yang_jianli/blog/static/1619900062014102833427464/。

这里我们以IE浏览器为例，做一个简单的示范：

from selenium import webdriver

import os

iedriver = "IEDriverServer.exe"

os.environ["webdriver.ie.driver"] = iedriver

driver = webdriver.Ie(iedriver)

如此，IE浏览器配置完毕，其中"IEDriverServer.exe"是IE浏览器驱动的存储路径。

于是，我们我们访问简书网主页数据只一步：

driver.get(http://www.jianshu.com/)

数据解析

使用requests请求下来的数据，可以利用.text()方法或者.content()方法访问，对于文本请求，二者并无太大差别，主要在于编码问题。具体用法可以参考官方文档，这里不再赘述。使用webdriver请求下来的数据可以用.page_source属性获取。请求下来的数据一般包含了大量的网页源代码，如何将其解析以提取出我们想要的内容呢？

html类型数据解析

html语言即超文本标记语言，它是由一个个html标签构成的，是结构化的语言，因此很容易从中匹配提取信息。这种类型的数据解析的方法有很多，比如利用正则表达式，按照html标签的结构进行字符串匹配，或则利用lxml库中的xpath方法使用xpath路径定位到每一个节点、也有类似jQuery的PyQuery方法。这里我们主要介绍BeautifulSoup方法。

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。该介绍来源于其官方中文文档，传送门。利用BeautifulSoup我们能够将html字符串转化为树状结构，并非常快速地定位到每一个标签。

目前版本是BeautifulSoup4，pip安装方法：

$ pip install BeautifulSoup4

或者，下载bs4的源码，然后解压并运行：

$ python setup.py install

利用BeautifulSoup解析html数据的关键步骤为：

from bs4 import BeautifulSoup

soup = BeautifulSoup(req.contents, "html.parser")

如果采用webdriver请求数据，那么则是：

from bs4 import BeautifulSoup

soup = BeautifulSoup(driver.page_source, "html.parser")

如此，便将html数据转换成BeautifulSoup中的树状结构。然后利用BeautifulSoup中的find()、find_all()等方法即可定位到每一个节点。详情请参阅官方文档。

json类型数据解析

json类型的数据已经是高度结构化的数据，跟Python中字典的表示形式一样，因此在解析上十分方便。我们可以通过：

import json

data = json.loads(req.text)

直接读取json数据，且能够返回字典类型。

大数据职位数据爬虫实战

这里我们以51job网站为例，构建大数据相关职位的数据爬虫。其中搜索关键词为：

数据科学家

数据分析师

数据架构师

数据工程师

统计学家

数据库管理员

业务数据分析师

数据产品经理

网页分析

打开51job首页http://www.51job.com/， 在搜索框中输入“数据科学家”，将搜索框中的地区点开，去掉当前勾选的城市，即默认在全国范围搜索。点击“搜索”按钮，得到搜索结果。这时我们将网址栏URL复制出来：

http://search.51job.com/list/000000,000000,0000,00,9,99,

%25E6%2595%25B0%25E6%258D%25AE%25E7%25A7%2591%25E5%25AD%25A6%25E5%25AE%25B6,

2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99

&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0

&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=

结果不止一页，点击第二页，同样将URL复制出来：

http://search.51job.com/list/000000,000000,0000,00,9,99,

%25E6%2595%25B0%25E6%258D%25AE%25E7%25A7%2591%25E5%25AD%25A6%25E5%25AE%25B6,

2,2.html?lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99

&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0

&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=

很容易发现，这两段url唯一的不同在于".html"前面的数字1和2，因此它代表了页码。其中：

%25E6%2595%25B0%25E6%258D%25AE%25E7%25A7%2591%25E5%25AD%25A6%25E5%25AE%25B6

是一种URL编码，翻译成中文就是“数据科学家”，转换方式可以使用urllib库中的quote()方法：

import urllib.quote

keyword = '数据科学家'

url = quote(keyword)

我们可以通过第一次的搜索结果获取页码数：

def GetPages(keyword):

keyword = quote(keyword, safe='/:?=')

url = 'http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=000000%2C00&district=000000&funtype=0000&industrytype=00&issuedate=9&providesalary=99&keyword='+keyword + \

'&keywordtype=2&curr_page=1&lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&list_type=0&fromType=14&dibiaoid=0&confirmdate=9'

html = requests.get(url)

soup = BeautifulSoup(html.content, "html.parser")

span = soup.find('div', class_='p_in').find('span', class_='td')

page_num = span.get_text().replace('共', '').replace('页，到第', '')

return page_num

由此，便可实现针对特定关键词的所有搜索结果的页面的遍历。

URL列表构建

打开搜索结果页面，我们会发现，点击职位名称可以链接到每个职位的详情页面，也正是我们所需要的数据源。因此，我们只需要获取所有的搜索结果中的职位名称的超链接地址，便可以遍历所有职位的详细数据：

def GetUrls(keyword, page_num):

keyword = quote(keyword, safe='/:?=')

urls = []

p = page_num+1

for i in range(1, p):

url = 'http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=000000%2C00&district=000000&funtype=0000&industrytype=00&issuedate=9&providesalary=99&keyword='+keyword + \

'&keywordtype=2&curr_page=' + \

str(i) + \

'&lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&list_type=0&dibiaoid=0&confirmdate=9'

html = requests.get(url)

soup = BeautifulSoup(html.content, "html.parser")

ps = soup.find_all('p', class_='t1')

for p in ps:

a = p.find('a')

urls.append(str(a['href']))

s = random.randint(5, 30)

print(str(i)+'page done,'+str(s)+'s later')

time.sleep(s)

return urls

数据请求构建

在获取了所有的职位数据的url之后，我们使用requests访问这些url发现，并不能顺利获取数据。因此，可以考虑在请求中加入headers数据，其中包含cookie和User_Agent：

User_Agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'

cookie = 'guid=14842945278988500031; slife=indexguide%3D1'

headers = {'User-Agent': User_Agent, 'cookie': cookie}

这样，可以成功请求每个职位的详情页面数据：

数据解析

数据解析首先是明确数据需求，这里我们将数据尽可能多的抓取下来。

以职位要求一栏为例，我们通过访问多个页面对比发现，这一栏可能显示的要求个数不一样：

这里包括了经验、学历、招聘人数和发布时间

而这里则没有对于经验的要求。

利用浏览器开发者选项功能，查看这一栏的源码：

这里职位的要求都放在一个class="sp4"的span中，通过查找功能可以发现没有其他的class="sp4"的标签，所以我们利用find_all()方法可以轻松定位到这些职位要求数据。

通过比较可以发现这最多的要求个数为4，所以在个数不确定的情况下，可以先新建一个包含四个空字符串元素的新数组，将所有的要求个数填入该数组，这样可以保证不同网页的数据都能获取完整。

spans = soup.find_all('span', class_='sp4')

num = len(spans)

nav = ['', '', '', '']

for i in range(0, num-1):

nav[i] = spans[i].get_text().strip()

完整代码如下：

# -*- coding: utf-8 -*-

from urllib.parse import quote

import requests

from bs4 import BeautifulSoup

import time

import random

def GetPages(keyword):

keyword = quote(keyword, safe='/:?=')

url = 'http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=000000%2C00&district=000000&funtype=0000&industrytype=00&issuedate=9&providesalary=99&keyword='+keyword + \

'&keywordtype=2&curr_page=1&lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&list_type=0&fromType=14&dibiaoid=0&confirmdate=9'

html = requests.get(url)

soup = BeautifulSoup(html.content, "html.parser")

span = soup.find('div', class_='p_in').find('span', class_='td')

page_num = span.get_text().replace('共', '').replace('页，到第', '')

return page_num

def GetUrls(keyword, page_num):

keyword = quote(keyword, safe='/:?=')

urls = []

p = page_num+1

for i in range(1, p):

url = 'http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=000000%2C00&district=000000&funtype=0000&industrytype=00&issuedate=9&providesalary=99&keyword='+keyword + \

'&keywordtype=2&curr_page=' + \

str(i) + \

'&lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&list_type=0&dibiaoid=0&confirmdate=9'

html = requests.get(url)

soup = BeautifulSoup(html.content, "html.parser")

ps = soup.find_all('p', class_='t1')

for p in ps:

a = p.find('a')

urls.append(str(a['href']))

s = random.randint(5, 30)

print(str(i)+'page done,'+str(s)+'s later')

time.sleep(s)

return urls

def GetContent(url, headers):

html = requests.get(url, headers=headers)

soup = BeautifulSoup(html.content, "html.parser")

PositionTitle = str(soup.find('h1')['title'])

Location = soup.find('span', class_='lname').string

Salary = soup.find('strong').string

CompanyName = soup.find('p', class_='cname').get_text().strip()

CompanyType = soup.find(

'p', class_='msg ltype').get_text().strip().replace(' ', '').replace(' ', '').replace(' ', '').replace(' ', '')

spans = soup.find_all('span', class_='sp4')

num = len(spans)

nav = ['', '', '', '']

for i in range(0, num-1):

nav[i] = spans[i].get_text().strip()

Exp = nav[0]

Degree = nav[1]

RecruitNum = nav[2]

PostTime = nav[3]

Welfare = soup.find('p', class_='t2')

if str(type(Welfare)) == "":

Welfare = ''

else:

Welfare = Welfare.get_text().strip().replace('\n', '|')

PositionInfo = soup.find(

'div', class_='bmsg job_msg inbox').get_text().strip().replace('\n', '').replace('分享', '').replace('举报', '').replace(' ', '').replace(' ', '').replace(' ', '').replace(' ', '').replace('\r', '')

PositionType = soup.find('span', class_='el')

if str(type(PositionType)) == "":

PositionType = ''

else:

PositionType = PositionType.get_text().strip().replace('\n', '')

Contact = soup.find('div', class_='bmsg inbox')

if str(type(Contact)) == "":

Contact = ''

else:

Contact = Contact.get_text().strip().replace(

' ', '').replace(' ', '').replace('地图', '').replace('\n', '')

ConpanyInfo = soup.find('div', class_='tmsg inbox')

if str(type(ConpanyInfo)) == "":

ConpanyInfo = ''

else:

ConpanyInfo = ConpanyInfo.get_text().strip().replace(

'\n', '').replace(' ', '').replace(' ', '')

try:

record = PositionTitle+'\t'+Location+'\t'+Salary+'\t'+CompanyName+'\t'+CompanyType+'\t'+Exp+'\t'+Degree+'\t' + \

RecruitNum+'\t'+PostTime+'\t'+Welfare+'\t'+PositionInfo + \

'\t'+str(PositionType)+'\t'+str(Contact)+'\t'+str(ConpanyInfo)

except Exception as e:

record = ''

else:

pass

finally:

pass

return record

def main():

with open('keywords.txt', 'r', encoding='utf-8') as f:

keywords = f.readlines()

for keyword in keywords[1:]:

keyword = keyword.strip()

page_num = int(GetPages(keyword))

urls = GetUrls(keyword, page_num)

with open(keyword+'urls.txt', 'w', encoding='utf-8') as f:

for url in urls:

f.write(url+'\n')

User_Agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'

cookie = 'guid=14842945278988500031; slife=indexguide%3D1'

headers = {'User-Agent': User_Agent, 'cookie': cookie}

with open(keyword+'urls.txt', 'r', encoding='utf-8') as f:

urls = f.readlines()

records = []

i = 0

for url in urls:

url = url.strip()

if url != '':

records.append(

GetContent(url, headers))

i += 1

s = random.randint(5, 30)

print(str(i)+'page done,'+str(s)+'s later')

time.sleep(s)

with open(keyword+'.txt', 'w', encoding='utf-8') as f:

for re in records:

f.write(re+'\n')

print(keyword+' Done---------------------------')

if __name__ == '__main__':

main()