Python爬虫案例Demo——拉勾招聘信息的爬取

相信我，这是爬的比较好的一个网站之一，里面有重定向的东西，不是很好爬！值的练习！
代码如下：

import requests
import csv,timeurl = "https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false"def get_cookie():cookie = requests.get("https://www.lagou.com/jobs/list_web%E5%89%8D%E7%AB%AF?labelWords=&fromSearch=true&suginput=", headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'},allow_redirects=False).cookiesreturn cookieheaders = {"Host": "www.lagou.com","Origin": "https://www.lagou.com","Referer": "https://www.lagou.com/jobs/list_web%E5%89%8D%E7%AB%AF?labelWords=&fromSearch=true&suginput=","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
}f = open('拉勾招聘信息.csv',mode="a",encoding="gb18030")
csv_write = csv.writer(f)
csv_write.writerow(['公司名称','城市','职位名称','薪资','经验','公司规模','其他信息'])for j in range(30):json = {"first": "true",# pn就是用来设置翻页，kd用来设置关键字"pn": str(j),"kd": "web前端"}response = requests.post(url=url, headers=headers, data=json, cookies=get_cookie())html = response.json()['content']['positionResult']['result']# pprint.pprint(html)time.sleep(3)for i in range(len(html)):csv_write.writerow([str(html[i]['companyFullName']),str(html[i]['city']),str(html[i]['positionName']),str(html[i]['salary']),str(html[i]['workYear']),str(html[i]['companySize']),str(html[i]['companyLabelList'])])print('第'+str(j)+"页打印成功！")
f.close()

Pycharm中运行的效果是：

最后，生成的csv文件中显示的效果是：

是不是比之前的招聘网站信息好看些！

Python爬虫案例Demo——拉勾招聘信息的爬取相关推荐

python爬虫实战之图灵社区图书信息的爬取（找了久，才找到一个比较好爬取的网站）
python爬虫实战之图灵社区图书信息的爬取程序的描述目标获取图灵社区(https://www.ituring.com.cn/book)中40本图书的书名将获取的信息以列表的形式输出到屏幕上, ...
python爬虫-从QQ邮箱获取好友信息并爬取头像
本篇博客利用python爬虫实现半自动爬取好友头像和以前一样,先上效果: 以上就是我的好友头像,怎么获取呢? 我采取的方法可能有点低级,首先打开我们的qq邮箱,按F12找见如下的包: 我们需要的好友 ...
python爬虫案例-乌托家家具公司数据爬取
这个案例主要是在乌托家网站上爬取家具公司的数据,用的方法是requests模块和xpath语法.代码如下: 1 # Author:K 2 import requests 3 from lxml imp ...
python爬虫案例（有缺陷文末说明）爬取初中英语练习题
应表哥要求给侄子爬取一点英语练习题作为寒假附加作业爬取内容如下网址如下 # https://xiaoxue.hujiang.com/xsc/yingyu/p342265/ # https://xi ...
Python 爬取拉勾招聘信息
Python 爬取拉勾招聘信息故事背景最近有个好哥们啊浪迫于家里工资太低,准备从北方老家那边来深圳这边找工作,啊浪是学平面设计的知道我在深圳这边于是向我打听深圳这边平面设计薪资水平,当时我有点懵逼 ...
Python爬虫新手入门教学（十）：爬取彼岸4K超清壁纸
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫: 单网页所有静态网页动态网页爬取
Python爬虫: 单网页所有静态网页动态网页爬取前言:所有页代码主干均来自网上!!!感谢大佬们. 其实我对爬虫还挺感兴趣的,因为我玩instagram(需要科学上网),上过IG的人都知道IG虽 ...
Python爬虫新手入门教学（十七）：爬取yy全站小视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫新手入门教学（十三）：爬取高质量超清壁纸
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫新手入门教学（二）：爬取小说
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...

Python爬虫案例Demo——拉勾招聘信息的爬取

Python爬虫案例Demo——拉勾招聘信息的爬取相关推荐

最新文章

热门文章