自动化爬虫爬取腾讯招聘信息

输入页数开始爬取

可设定是否无头浏览

有一个坑就是在翻页时无法直接click该元素

要写一个执行js

预览图:

上代码

import time
from selenium import webdriver
from selenium.webdriver.common.by import Byclass Tencent():def __init__(self, page):self.page = page+1self.url = "https://careers.tencent.com/search.html"self.opt = webdriver.ChromeOptions()  # 配置# opt.add_argument("--headless")# opt.add_argument("--disable-gpu")# self.opt.add_argument("--referer=https://careers.tencent.com/search.html?index=3")self.opt.add_argument("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36")self.driver = webdriver.Chrome(options=self.opt)def parse(self):time.sleep(1)pos_list = self.driver.find_elements(By.XPATH, "/html/body/div/div[4]/div[3]/div[2]/div[2]/div/div")time.sleep(0.2)csv = []for info in pos_list:time.sleep(0.1)dict = {}dict['position'] = info.find_element(By.XPATH, "./a/h4").textdict['type'] = info.find_element(By.XPATH, "./a/p[1]/span[1]").textdict['palce'] = info.find_element(By.XPATH, "./a/p[1]/span[2]").textdict['time'] = info.find_element(By.XPATH, "./a/p[1]/span[4]").textcsv.append(dict)return csvdef show(self, csv):for i in csv:print(i)def run(self):self.driver.get(url=self.url)self.driver.implicitly_wait(10)while True:self.page -= 1if self.page == 0:breakans = self.parse()self.show(ans)time.sleep(1)try:button = self.driver.find_element(By.XPATH, "/html/body/div/div[4]/div[3]/div[2]/div[3]/ul/li[10]")self.driver.execute_script("$(arguments[0]).click()", button)except:breakif __name__ == '__main__':p = int(input("请输入要爬取的页数"))obj = Tencent(p)obj.run()

自动化爬虫爬取腾讯招聘信息相关推荐

python学习笔记爬虫——爬取智联招聘信息
目的:自己输入指定地方,指定职业,起始页数,程序会自动打印页面的所有信息. 实现过程:这次程序的代码跟以往的都不一样,这次也是我第一次使用面向对象式编程,并且并不是分析网页代码,分析json字符串得到 ...
Python网络爬虫：爬取腾讯招聘网职位信息并做成简单可视化图表
hello,大家好,我是wangzirui32,今天我们来学习如何爬取腾讯招聘网职位信息,并做成简单可视化图表,开始学习吧! 文章目录 1. 网页分析 2. 获取json数据 3. 转换为Excel ...
爬虫实战——爬取腾讯招聘的职位信息（2020年2月2日）
爬取腾讯招聘的职位信息思路分析特别说明 1.获取PostId列表 2.爬取详情页面 3.保存数据完整代码结果展示总结分析思路分析特别说明本文以Java工作岗位信息为例进行说明,如果想爬 ...
python爬取2019年计算机就业_2019年最新Python爬取腾讯招聘网信息代码解析
原标题:2019年最新Python爬取腾讯招聘网信息代码解析前言初学Python的小伙们在入门的时候感觉这门语言有很大的难度,但是他的用处是非常广泛的,在这里将通过实例代码讲解如何通过Python ...
从入门到入土：Python爬虫学习|实例练手|详细讲解|爬取腾讯招聘网|一步一步分析|异步加载|初级难度反扒处理|寻找消失的API来找工作吧
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
爬虫入门经典(十三) | 一文教你简单爬取腾讯招聘
大家好,我是不温卜火,是一名计算机学院大数据专业大三的学生,昵称来源于成语-不温不火,本意是希望自己性情温和.作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己 ...
(转)python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录网页分析实现代码分析结果总结 github代码地址网页分析以https://xiaoyuan.zh ...
python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录网页分析实现代码分析结果总结 github代码地址网页分析以https://xiaoyuan.zh ...
爬虫项目 | 爬取XX网站招聘信息
/***本人代码小白 ,第一次做爬虫,代码仅供参考,欢迎大神指点,***/ 项目背景和功能毕业将近,身为大三的我们,面临找工作的压力,如何快速的找到自己心仪的岗位并且及时投递简历成为同学们关心的问题 ...

自动化爬虫爬取腾讯招聘信息

自动化爬虫爬取腾讯招聘信息相关推荐

最新文章

热门文章