从研招网爬取招生目录

工具：火车采集器、八爪鱼、jupyter notebook、Excel

过程略显繁琐，刚入门不了解工具的使用，应该有更好的方法
这里仅仅提供自己的一种思路，适合编程小白

手动收集网址（第一级网址），研招网由于是使用表单对数据进行筛选，不同表单查询出来的数据不一样，我们不需要所有数据，根据域名规则，选择需要爬取的网址。主要信息有院校、专业，你打开一个网址可以看到上面的区别。只需要更改为你需要爬取的就行。或者打开网页后直接复制粘贴，这里我选择不同的学校，35所985院校，其他的信息一样，所以一共有35个一级网址。
用火车采集器收集二级网址，火车采集器的特点是速度快，缺点是结果不能直接转换为 Excel ，而且不是可视化，对于新手来说上手有些难，所以用来爬取二级网址。
用 Python 将网址补全，由于所有的网址只有一个 ID 不同，爬取出来的二级网址也只是ID ，因此需要做一个补全。
利用补全的网址爬取内容，使用八爪鱼爬取内容的好处是，有可视化编辑的页面，方便我们查看到需要爬取的内容，而且可以转化为 Excel 支持的格式，方便我们后期做数据汇总，缺点是爬取的效率太慢，有时候可能需要爬取一两个小时。本来上述工作都能够使用八爪鱼完成，是因为太慢的才使用火车采集器来爬取二级网址，可以节省一部分时间。
后期实践表明，用八爪鱼跟网络有很大关系，卡住的时候会很慢。跟爬取规则可能关系不打。

从研招网爬取招生目录相关推荐

计算机在职研究生分数,在职研究生复试录取分数线-在职研招网-在职研究生招生信息网...
选择学校北京大学上海交通大学对外经济贸易大学中国人民大学中国社会科学院大学上海财经大学华东理工大学北京工商大学北京师范大学中科院心理所清华大学北京交通大学北京邮电大学北京理 ...
通过selenium八爪鱼爬取研招网各专业的初试信息
任务需求: 因工作需要,需要爬取研招网各个高校每个专业研究生考试的初试科目信息. 处理步骤: 1,查看研招网页面(https://yz.chsi.com.cn/zsml/zyfx_search.jsp ...
研招网【2022考研党需提前做好的8点准备】
2022年考研备考正在进行中.备考过程中,哪些事可以提前准备起来?怎样备考才能稳中求进?小编根据往年经验梳理了考研学子需要提前做好的8点准备,希望能为大家提供参考和帮助. 目录一.准备初期,这些考研 ...
2022小木虫与研招网调剂监视脚本
前言转眼间22年的调剂就要结束了,或有不甘,亦是注定,22考研失败了.考研前心比天高,考试时七上八下,考试后心如死灰:调剂前信心满满,调剂中一头雾水,随着各种邮件石沉大海,最后也释然接受失败的命运. ...
研招网官方：关于考研报名的提醒！
转载于研招网对于所有参加考研的同学来说,考研报名是非常关键的一步.研招网整理了考研报名需要了解的部分内容,包括"考研报名条件有哪些?要怎么报?预报名是什么?现场确认又是什么?" ...
研招网官方：“全日制与非全日制”“专业硕士与学术硕士”到底有什么区别？...
转载于研招网考研的同学在备考阶段,或许都会陷入短暂迷茫,不清楚自己到底能考到什么层次的院校,确定"选择"后,又不知该如何着手准备,甚至有些考研常识也不是那么清楚. 比如:我是选 ...
研招网：@2021推免生：关于推免，你必须要知道的三件事
转载于研招网 2021研招网"推荐优秀应届本科毕业生免试攻读研究生信息公开暨管理服务系统"(以下简称"推免服务系统")已于10月8日开通.推免生(含推免硕士生 ...
程序猿必备福利之二上篇！！！简易使用Nodejs实现从美图网爬取清晰脱俗的美图？？？
当然这里为了能够让小白也能够看懂学会,我会说的很详细,我很体谅小白的哦,分了几篇讲解,请谅解哦这里先来一波看前美图福利,激起你的学习欲望,嘿嘿嘿!!!点击查看程序猿必备福利之二下篇##### 小白如 ...
研招网准考证只能电脑下载吗
下载打印方式往下看,有手把手教学. [考生请注意] 据了解,<准考证>由考生使用A4幅面白纸在规定时间内(2021年12月10日开始至12月27日)上网自行下载打印.<准考证> ...

从研招网爬取招生目录

从研招网爬取招生目录相关推荐

最新文章

热门文章