利用urllib从ks5u下载2016高考真题

# coding: utf-8
import urllib.request
import http.cookiejar
import logging,os
from lxml import etree#配置日志级别为INFO
logging.basicConfig(level=logging.INFO)#启用cookie自动管理
cj=http.cookiejar.CookieJar()
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)#post登陆请求参数
values={'userid':'******','userpass':'******'}
data = urllib.parse.urlencode(values)
data = data.encode('ascii') # data should be bytes
ks5u_login_url='http://www.ks5u.com//User/Chk_UserLogin.asp'
req = urllib.request.Request(ks5u_login_url, data)#登陆网站，获得授权
logging.info('开始登陆网站！')
with urllib.request.urlopen(req) as response:html=response.read()# with open('ks5u_login.html','w') as outfile:# outfile.write(html.decode('gb2312'))
logging.info('登陆成功！')logging.info('访问2016高考真题下载页面！')
all_url='http://old.ks5u.com/shiti/gaokao/2016/'
with urllib.request.urlopen(all_url) as response:html=response.read().decode('utf-8')# with open('ks5u.html','w',encoding='utf-8') as outfile:# outfile.write(html)# logging.info('写入文件ks5u.html成功！')root=etree.HTML(html)  #利用lxml解析获得的html文件#利用xpath搜索节点#'//div[@class="sub_jiexi"]'#//表示任意节点#div节点名称#[@...]属性满足的条件for div in root.xpath('//div[@class="sub_jiexi"]'):for a in div:if a.text=='解析':# headers中不能包含中文字符，否则'latin-1'不能编码# 某些站点有所谓的反盗链设置，其实说穿了很简单，# 就是检查你发送请求的header里面，referer站点是不是他自己，# 所以我们只需要像把headers的referer改成该网站即可headers = {'Referer':a.get('href')}fileid=a.get('href').split('/')[-1].split('.')[0]doc_url='http://www.ks5u.com/USER/INC/Downsch.asp?id='+fileidreq = urllib.request.Request(doc_url, None, headers) logging.info('开始下载编号为%s的文件'%(fileid,))if not fileid or not fileid.isdigit():continuewith urllib.request.urlopen(req) as r2:# 取得doc文件名时编码的转换由ISO-8859-1转为gbkfilename=r2.headers.get_filename().encode('ISO-8859-1').decode('gbk')#如果文件存在，跳过if os.path.exists(filename):logging.info('文件%s已经存在！'%filename)continuelogging.info('获得文件名%s'%filename)#下载文件with open(filename,'wb') as outfile:try:outfile.write(r2.read())logging.info('保存文件%s成功！'%(filename,))except :pass

利用urllib从ks5u下载2016高考真题相关推荐

vb中mschart利用数组作图_选考VB算法解析之2019年4月高考真题卷第17题
说在前面在对数组排序时,我们常把数组分成已排序区域和待排序区域,并使用左右边界来划分待排序区域的范围:对分查找时我们也引入了左右边界的概念.可见左右边界在数组中是一个非常重要的概念,它在分段处理数组 ...
高中数学，向量高考真题解题技巧（快速口算）
作者:vxbomath 同学们今天跟大家分享一下向量难得解题技巧,我们平时遇到向量问题的高考真题的时候,常规运算3到5分钟未必得到答案的.我们如何快速的出答案了,老师今天就给大家分享一终思维方式,同学 ...
辽宁中职升高职计算机考试,2021年_辽宁省_中职升高职高考真题
<2021年_辽宁省_中职升高职高考真题>由会员分享,可在线阅读,更多相关<2021年_辽宁省_中职升高职高考真题(4页珍藏版)>请在人人文库网上搜索. 1.2021年_辽宁省 ...
中职对口高考计算机应用历年真题,湖南省计算机应用对口高考真题
湖南省计算机应用对口高考真题 2005年湖南省对口招生计算机应用类专业综合知识试题一. 单项题(在本题的每一小题的备选答案中,只有一个答案是正确的,请把你认为正确答案的选项填入题干的括号内.多选 ...
全国各地高考真题及答案
全国各地高考真题及答案 http://news.163.com/special/00012A27/07gaokaost.html
考研英语一2016年真题4篇阅读词汇句子积累（详细！！！）
写在前面:本文是对2016年英语一考研真题4篇阅读的整理. 文章目录 2016年英语一真题 Text1 时尚界审美的变化词汇积累句子积累 Text2 英国乡村需要保护词汇积累句子积累 Text ...
大学计算机算法程序框图,2019高考真题：算法与程序框图，专题解析
"算法与程序框图"成为高中数学内容后,每年高考都以一道选择题或填空题的形式考查这部分内容,试题中的算法也多以程序框图的形式呈现,少数试题以程序的形式出现,2019年高考试题中的&q ...
短文改错高考真题500题分析专栏初衷
一.是什么触动了我做这件事今年37岁,一直想学好英语,一直也在学习英语,有两个女儿,老大6岁,老二马上2岁,可能是因为最近自己也要准备英语演讲考试的原因(浙江大学工程管理硕士在职),最近业余时间花在 ...
【导数术】补充：历年高考真题
目录导数真题练习 [1]2022年度真题集 (2022-新高考1卷) (2022-全国甲卷) (2022-全国乙卷) [2]2021年度真题集 (2021-全国甲卷) (2021-全国乙卷) (20 ...

利用urllib从ks5u下载2016高考真题

利用urllib从ks5u下载2016高考真题相关推荐

最新文章

热门文章