爬取网页爆破目录的爬虫

今天被SCTF的高质量题目给打败了，好难萌新表示做不出来
诶诶诶~~~~~
所以分享一个自己写的shell可以爆破目录爬取爆破的信息

import requestsimport os
path = "H:/dict" #这里上自己的字典
files= os.listdir(path)
for file in files: if not os.path.isdir(file): f = open(path+"/"+file).read()iter_f = iter(f)list_f=f.split('\n')#print list_f
url="url" #上自己的url
#str=open('').read()
#print(str)
#str_list=str.split('\n')
#print(str_list)
for i in list_f:url_true=url+itry:a=requests.get(url_true).status_codeif a==200:print(url_true)f=open('i.txt','w')f.write(a.content)print("yes")except:pass
print "end"

额额最近要考试加油复习去了

爬取网页爆破目录的爬虫相关推荐

python爬取网页原理_Python：爬虫原理和网页构造
入门网络数据爬取,也就是Python爬虫现实中我们使用浏览器访问网页时,网络是怎么运转的,做了什么呢? 首先,必须了解网络连接基本过程原理,然后,再进入爬虫原理了解就好理解的多了. 1.网络连接原理 ...
python爬取网页数据软件_python爬虫入门10分钟爬取一个网站
一.基础入门 1.1什么是爬虫爬虫(spider,又网络爬虫),是指向网站/网络发起请求,获取资源后分析并提取有用数据的程序. 从技术层面来说就是通过程序模拟浏览器请求站点的行为,把站点返回的HT ...
python爬取网页数据流程_Python爬虫爬取数据的步骤
爬虫: 网络爬虫是捜索引擎抓取系统(Baidu.Google等)的重要组成部分.主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份. 步骤: 第一步:获取网页链接 1.观察需要爬取的多 ...
java爬取网页数据_Python网络爬虫实战(二)数据解析
Python网络爬虫实战 (二)数据解析本系列从零开始阐述如何编写Python网络爬虫,以及网络爬虫中容易遇到的问题,比如具有反爬,加密的网站,还有爬虫拿不到数据,以及登录验证等问题,会伴随大量网站 ...
python爬取网页小说去除nbsp_python爬虫爬取内容的时候nbsp 空格内容变成问号‘？’...
正好我也遇到了这个让人无比蛋疼的问题. 一.先说一个与主题无关的蛋疼经历. 我要抓取某网站上电视剧的信息. 1.观察网页,发现我要的导演名字啊,地区啊之类的信息都存在dd标签里面.最开始我用pq对象( ...
python爬虫获取的网页数据为什么要加[0-python3爬虫爬取网页思路及常见问题（原创）...
学习爬虫有一段时间了,对遇到的一些问题进行一下总结. 爬虫流程可大致分为:请求网页(request),获取响应(response),解析(parse),保存(save). 下面分别说下这几个过程中可以 ...
node：爬虫爬取网页图片 1
代码地址如下: http://www.demodashi.com/demo/13845.html 前言周末自己在家闲着没事,刷着微信,玩着手机,发现自己的微信头像该换了,就去网上找了一下头像,看着图 ...
python如何爬取网站所有目录_用python爬虫爬取网站的章节目录及其网址
认识爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟 ...
Python实训day04am【爬虫介绍、爬取网页测试、Python第三方库】
Python实训-15天-博客汇总表目录 1.文本文件编程题 2.爬虫(Scrapy) 2.1.安装第三方库 2.2.爬取网页测试 2.2.1.样例1 2.2.2.样例2 3.PyCharm导入第三 ...

爬取网页爆破目录的爬虫

爬取网页爆破目录的爬虫相关推荐

最新文章

热门文章