中南财经政法大学教务部爬取成绩思路

先列几个网址


/*** @author ysw* @team occam* @email 1461182123@qq.com* @date 2020/1/13 17:07* @description*/
public class JwbConstants {public static final String HOST = "http://202.114.234.143";public static final String AUTH_HOST = HOST + "/authserver";public static final String QUERY_URL = "http://202.114.234.75/jsxsd/kscj/cjcx_query?Ves632DSdyV=NEW_XSD_XJCJ";public static final String TO_GET_CAPTCHA_URL = "http://202.114.234.143/authserver/captcha.html";public static final String QUERY_URL_HOST = "http://202.114.234.75/jsxsd/kscj/cjcx_list";public static final String USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36";public static final String SUCCESS_LOGIN_SYMBOL = "CASTGC";public static final String PWD_ENCRYPT_2 = "pwdEncryptSalt";
}

1.技术框架htmlunit+jsoup
2.登录过程
(1)初始化一个WebClient client
(2)client.getPage(教务部登录地址)
(3)返回的页面中的script标签中携带有重定向到统一身份认证的url
(4)正则取出url
(5)client.getPage(url)
(6)返回的网页中利用htmlPage.getElement一系列方法结合网页的html代码获取到学号，密码，验证码的输入框转化成HtmlTextInput元素
(7)三个HtmlTextInput.click() HtmlTextInput.sendText()
(8)定位到登录的button(HtmlButton) button.click()
(9)click返回的页面即为登录成功的页面
(10)要获取所需信息有两种方案
a.继续模拟登录点击网页上相应的位置
b.利用client.getCookieManager提取出有用的两个cookie–JSESSIONID和jwglxt保存，然后用jsoup+cookie请求所需服务的url

注意事项
1.获取验证码的cookie中的jsessionid和登录成功后的jsessionid不是同一个，未登录前jsessionid的domain为ids.zuel.edu.cn登录成功后domain为202.114.234.75
2.一次模拟成功后保存cookie中的JSESSIONID和jwglxt，cookie有效期为一天左右，之后请求网页用jsoup携带cookie请求url即可
4.如果遇到验证码，则携带domain为ids.zuel.edu.cn的cookie访问验证码的src网页保存到本地，手动查看后输入,如果是控制台程序，Scanner(System.in)读取输入然后程序继续运行，如果是web服务，将client存入缓存，将图片传给前端，等前端将验证码文本传回后，继续client的操作

中南财经政法大学教务部爬取成绩思路相关推荐

python3爬取教务系统_python requests模拟登陆正方教务管理系统，并爬取成绩
最近模拟带账号登陆,查看了一些他人的博客,发现正方教务已经更新了,所以只能自己探索了. 登陆: 通过抓包,发现需要提交的值需要值lt,这是个啥,其实他在访问登陆页面时就产生了 session=req ...
python爬取学校教务管理系统_python requests模拟登陆正方教务管理系统，并爬取成绩...
最近模拟带账号登陆,查看了一些他人的博客,发现正方教务已经更新了,所以只能自己探索了. 登陆: 通过抓包,发现需要提交的值需要值lt,这是个啥,其实他在访问登陆页面时就产生了 session=req ...
2023中南财经政法大学计算机考研信息汇总
中南财经政法大学研究生院中南财经政法大学信息与安全工程学院学院简介中南财经政法大学信息与安全工程学院,下设计算机科学与技术系.信息系.安全与环境工程系.有信息管理教研室.信息技术教研室.计算机 ...
中南财计算机专硕读几年,在职人员就读中南财经政法大学在职研究生一般学制是几年...
中南财经政法大学拥有深厚的文化底蕴,优异的教学成绩,是湖北省的知名重点院校.自从开设了在职研究生的课程研修班后,吸引了众多学子的目光,报名人数逐步上升.那么,在职人员就读中南财经政法大学在职研究生一般 ...
中南财经政法大学计算机考研资料汇总
中南财经政法大学研究生院中南财经政法大学信息与安全工程学院学院简介中南财经政法大学信息与安全工程学院,下设计算机科学与技术系.信息系.安全与环境工程系.有信息管理教研室.信息技术教研室.计算机 ...
[19保研]中南财经政法大学文澜优秀大学生夏令营“工程PLUS”分营招生简章
点击文末的阅读原文或者公众号界面右下角的[夏令营]是计算机/软件等专业的所有保研夏令营活动信息集合,会一直更新的. 同时我们也建立了一个QQ群(为公众号所有,非学校所设),同学们可以们在里面交流一下: ...
校企合作 | 璞华×中南财经政法大学，共建教学实习（就业实践）基地
4月17日,璞华集团与中南财经政法大学举行校外教学实习基地签约及挂牌仪式,揭开校企产学研合作序幕. 中南财经政法大学统计与数学学院院长张虎先生.统计与数学学院党委书记&副院长梁娜女士.统计与数 ...
中南财经政法大学计算机考研难吗,中南财经政法大学考研难吗（考研难度分析）...
中南财经政法大学简称中南大,这所武汉学校在湖北省排名还是可以的,学校在武汉还是属于211学校,想要去中南财经政法大学的考研的,需要提前知道以下几点? 中南财经政法大学考研难考吗中南财经政法大学是21 ...
2023年中南财经政法大学西方经济学考研上岸前辈初复试备考经验
一.坚定信念,砥砺前行我个人觉得,并不是每一个考研人都需要有宏远而伟大的理由,诸如对学术的渴望,对高等学府的崇拜,对某个学科的浓厚兴趣以至于想通过学习推动该学科的完善甚至进步等.你可以只是因为不想工 ...

中南财经政法大学教务部爬取成绩思路

中南财经政法大学教务部爬取成绩思路相关推荐

最新文章

热门文章