Python爬取51job招聘信息
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
python免费学习资料以及群交流解答点击即可加入
开发工具
- Python 3.6.5
- Pycharm
- requests
- re
- json
相关模块可用pip命令安装
网页分析
https://search.51job.com/list/010000%252c020000%252c030200%252c040000,000000,0000,00,9,99,python,2,1.html
请求网页
import requests
url = 'https://search.51job.com/list/010000%252c020000%252c030200%252c040000,000000,0000,00,9,99,python,2,1.html'
params = {'lang': 'c','postchannel': '0000','workyear': '99','cotype': '99','degreefrom': '99','jobterm': '99','companysize': '99','ord_field': '0','dibiaoid': '0','line': '','welfare': '',
}
cookies = {'''你的cookie'''
}
headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9','Host': 'search.51job.com','Referer': 'https://search.51job.com/list/190200,000000,0000,00,9,99,python,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36',
}response = requests.get(url=url, params=params, headers=headers, cookies=cookies)
response.encoding = response.apparent_encoding
print(response.text)
咱们需要的数据的在<script>
里面
<script type="text/javascript">
window.__SEARCH_RESULT__ =
'''
你想要获取的内容
'''
<div class="clear"></div>
用正则表达式匹配出来就可以了
把匹配出来的数据转化程json数据,然后根据字典的取值方式取自己想要数据即可
r = re.findall('window.__SEARCH_RESULT__ = (.*?)</script>', response.text, re.S)
string = ''.join(r)
info_dict = json.loads(string)
pprint.pprint(info_dict)
完整代码
import requests
import re
import json
for page in range(1, 11):url = 'https://search.51job.com/list/010000%252c020000%252c030200%252c040000,000000,0000,00,9,99,python,2,{}.html'.format(page)params = {'lang': 'c','postchannel': '0000','workyear': '99','cotype': '99','degreefrom': '99','jobterm': '99','companysize': '99','ord_field': '0','dibiaoid': '0','line': '','welfare': '',}cookies = {}headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9','Host': 'search.51job.com','Referer': 'https://search.51job.com/list/190200,000000,0000,00,9,99,python,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36',}response = requests.get(url=url, params=params, headers=headers, cookies=cookies)response.encoding = response.apparent_encodingr = re.findall('window.__SEARCH_RESULT__ = (.*?)</script>', response.text, re.S)string = ''.join(r)info_dict = json.loads(string)dit_py = info_dict['engine_search_result']dit = {}for i in dit_py:attribute_text = ' '.join(i['attribute_text'][1:])print(attribute_text)# dit['job_href'] = i['job_href']dit['job_name'] = i['job_name']dit['company_name'] = i['company_name']dit['money'] = i['providesalary_text']dit['workarea'] = i['workarea_text']dit['updatedate'] = i['updatedate']dit['companytype'] = i['companytype_text']dit['jobwelf'] = i['jobwelf']dit['attribute'] = attribute_textdit['companysize'] = i['companysize_text']print(dit)with open('python招聘信息.csv', mode='a', encoding='utf-8') as f:f.write('{},{},{},{},{},{},{},{}\n'.format(dit['job_name'], dit['company_name'], dit['money'], dit['workarea'], dit['companytype'], dit['jobwelf'], dit['attribute'], dit['companysize']))
实现效果
Python爬取51job招聘信息相关推荐
- 使用Python爬取51job招聘网的数据
使用Python爬取51job招聘网的数据 进行网站分析 获取职位信息 存储信息 最终代码 进行网站分析 进入https://www.51job.com/这个网站 我在这就以python为例搜索职位跳 ...
- SeleniumChrome实战:动态爬取51job招聘信息
一.概述 Selenium自动化测试工具,可模拟用户输入,选择,提交. 爬虫实现的功能: 输入python,选择地点:上海,北京 ---->就去爬取上海,北京2个城市python招聘信息 输入会 ...
- Python爬取拉勾网招聘信息
此代码运行建议Python3,省却中文编码的麻烦 遇到的几个问题: (1)拉钩网的数据是通过js的ajax动态生成,所以不能直接爬取,而是通过post'http://www.lagou.com/job ...
- Python Scrapy爬虫框架爬取51job职位信息并保存至数据库
Python Scrapy爬虫框架爬取51job职位信息并保存至数据库 -------------------------------- 版权声明:本文为CSDN博主「杠精运动员」的原创文章,遵循CC ...
- Python搭建代理池爬取拉勾网招聘信息
先来看一张图了解下爬虫 实现功能 多线程爬取拉勾网招聘信息 维护代理 ip 池 搭建 node 服务器 Taro 使用 echarts 做数据分析 1.多线程爬取拉勾网招聘信息 Tip:涉及知识 1. ...
- Python爬虫实战之一 - 基于Requests爬取拉勾网招聘信息,并保存至本地csv文件
Python爬虫实战之二 - 基于Requests抓取拉勾网招聘信息 ---------------readme--------------- 简介:本人产品汪一枚,Python自学数月,对于小白,本 ...
- 【python爬虫02】使用Scrapy框架爬取拉勾网招聘信息
使用Scrapy框架爬取拉勾网招聘信息 最近接触了Scrapy爬虫框架,简单写了个爬虫爬取拉钩网的招聘信息,加深对Scrapy框架的理解,不得不说Scrapy框架其实还是蛮方便的,就像爬虫流水线一样, ...
- 用python爬取基金网信息数据,保存到表格,并做成四种简单可视化。(爬虫之路,永无止境!)
用python爬取基金网信息数据,保存到表格,并做成四种简单可视化.(爬虫之路,永无止境!) 上次 2021-07-07写的用python爬取腾讯招聘网岗位信息保存到表格,并做成简单可视化. 有的人留 ...
- 什么你还不知道招聘信息,小唐来教你——最新2021爬取拉勾网招聘信息(一)
文章目录 前言 一.准备我们的库 二.分析分析 三. 代码 四.数据展示 小唐的心路历程 上一篇:没有啦! 下一篇:什么你还不知道招聘信息,小唐来教你--最新2021爬取拉勾网招聘信息(二) 前言 有 ...
最新文章
- 吐血整理:手拿几个大厂 Offer 的秘密武器!
- Linux系统root密码重置教程
- 深入云原生 AI:基于 Alluxio 数据缓存的大规模深度学习训练性能优化
- select、poll、epoll 比较
- [Luogu1890]gcd区间
- python-面向对向-实例方法的继承-多继承父类中的super与子类实例对象的关系
- Acrobat Pro DC 教程,如何从 PDF 中提取页面?
- x264 编码数配置
- python广州地图_广东省客户数量地图展示,如何通过python实现?
- 详解Java设计模式之观察者模式(Observer Pattern)
- Linux 离线安装本地rpm的命令
- 优秀课程案例:使用Scratch制作飞机大战游戏!
- 利用VS2019对程序进行时间性能分析
- apscheduler使用中的时区问题
- linux上mysql脚本一键安装
- 个人实用软件清单(佛系更新中……)
- 如何在微信直接下载APP(iOS/Android)的解决方案
- 奇瑞文档云服务器地址,奇瑞文档云服务器地址是多少
- $().each() 与 $.each()区别
- 基于STM32开发的CO2浓度、温湿度、气压监测系统