渗透测试基础- - -web日志分析
目录
iis日志详解
1,查看方式
2,详解
Log Parser快速日志分析工具
linux系统Apache日志分析技巧:
日志统计分析技巧
iis日志详解
1,查看方式
由于不同的 Windows 版本,iis日志路径不一样,所以分别介绍如下:
Windows Server 2003 iis 6日志路径:C:\Windows\System32\LogFiles
Windows Server 2008 R2、2012、2016、2019 iis7以上日志路径:C:\inetpub\logs\LogFiles
2,详解
date表示记录访问日期;
time访问时间;
cs-method表示访问方法,常见的有两种,一是GET,就是平常我们打开一个URL访问的动作,二是POST,提交表单时的动作;
cs-uri-stem就是访问哪一个文件;
cs-uri-query是指访问地址的附带参数,如asp文件?后面的字符串id=12等等,如果没有参数则用-表示;
c-ip访问者IP;
cs(Referer)访问来源;
sc-status状态,200表示成功,403表示没有权限,404表示打不到该页面,500表示程序有错;
sc-bytes服务端传送到客户端的字节大小;
cs-bytes客户端传送到服务端的字节大小;
time-taken处理时间。
Log Parser快速日志分析工具
下载地址:
大家可以在微软官网下载、安装。安装过程很简单,一步到位。下载链接:http://www.microsoft.com/en-us/download/details.aspx?id=24659
用法:
LogParser. exe "select top 10 time, c-ip, cs-uri-stem, sc-status, time-taken from C:Usersliuhao02Desktop\应急\样本Vis.log"-o:datagrid
通过这条Web访问日志,我们可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器的情况下访问了你网站的哪个页面,是否访问成功。
windows系统Apache日志分析工具:Apache log viewer
访问日志access_log记录了所有对Web服务器的访问活动,下面是访问日志access_log中的一个标准记录
192.168.115.5 - - [01/Apr/2018:10:37:19 +0800] "GET / HTTP/1.1" 200 45
日志字段所代表的内容如下:
1.远程主机IP:表明访问网站的是谁
2.空白(E-mail):为了避免用户的邮箱被垃圾邮件骚扰,第二项就用“-”取代了
3.空白(登录名):用于记录浏览者进行身份验证时提供的名字。
4.请求时间:用方括号包围,而且采用“公用日志格式”或者“标准英文格式”。 时间信息最后的“+0800”表示服务器所处时区位于UTC之后的8小时。
5.方法+资源+协议:服务器收到的是一个什么样的请求。该项信息的典型格式是“METHOD RESOURCE PROTOCOL”,即“方法 资源 协议”。
METHOD: GET、POST、HEAD、……RESOURCE: /、index.html、/default/index.php、……(请求的文件)PROTOCOL: HTTP+版本号
6.状态代码:请求是否成功,或者遇到了什么样的错误。这项值是200,它表示服务器已经成功地响应浏览器的请求,一切正常。
7.发送字节数:表示发送给客户端的总字节数。它告诉我们传输是否被打断(该数值是否和文件的大小相同)。把日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据.
linux系统Apache日志分析技巧:
1、列出当天访问次数最多的IP命令:
cut -d- -f 1 log_file|uniq -c | sort -rn | head -20
2、查看当天有多少个IP访问:
awk '{print $1}' log_file|sort|uniq|wc -l
3、查看某一个页面被访问的次数:
grep "/index.php" log_file | wc -l
4、查看每一个IP访问了多少个页面:
awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file
5、将每个IP访问的页面数进行从小到大排序:
awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n
6、查看某一个IP访问了哪些页面:
grep ^111.111.111.111 log_file| awk '{print $1,$7}'
7、去掉搜索引擎统计当天的页面:
awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l
8、查看2021年6月21日14时这一个小时内有多少IP访问:
awk '{print $4,$1}' log_file | grep 21/Jun/2021:14 | awk '{print $2}'| sort | uniq | wc -l
日志统计分析技巧
grep -E 'Googlebot|Baiduspider' /www/logs/access.2019-02-23.log | awk '{ print $1 }' | sort | uniq
统计浏览器:
cat /www/logs/access.2019-02-23.log | grep -v -E 'MSIE|Firefox|Chrome|Opera|Safari|Gecko|Maxthon' | sort | uniq -c | sort -r -n | head -n 100
IP 统计:
grep '23/May/2019' /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -r -n | head -n 10
统计网段:
cat /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3".0"}' | sort | uniq -c | sort -r -n | head -n 200
统计域名:
cat /www/logs/access.2019-02-23.log |awk '{print $2}'|sort|uniq -c|sort -rn|more
HTTP Status:
cat /www/logs/access.2019-02-23.log |awk '{print $9}'|sort|uniq -c|sort -rn|more
URL 统计:
cat /www/logs/access.2019-02-23.log |awk '{print $7}'|sort|uniq -c|sort -rn|more
文件流量统计:
cat /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more grep ' 200 ' /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more
URL访问量统计:
cat /www/logs/access.2019-02-23.log | awk '{print $7}' | egrep '\?|&' | sort | uniq -c | sort - rn | more
脚本运行速度:查出运行速度最慢的脚本
grep -v 0$ /www/logs/access.2019-02-23.log | awk -F '\" ' '{print $4" " $1}' web.log | awk '{print $1" "$8}' | sort -n -k 1 -r | uniq > /tmp/slow_url.txt
IP, URL 抽取:
# tail -f /www/logs/access.2019-02-23.log | grep '/test.html' | awk '{print $1" "$7}'
刪除一个月前的日志:
rm -f /www/logs/access.log.$(date -d '-1 month' +'%Y-%m')*
渗透测试基础- - -web日志分析相关推荐
- 海量Web日志分析 用Hadoop提取KPI统计指标
海量Web日志分析 用Hadoop提取KPI统计指标 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahou ...
- 渗透测试基础,初识渗透测试
渗透测试基础 1.渗透测试的概念 2.安全术语介绍 3.HTTP协议讲解 概述 HTTP URL HTTP响应头 HTTP头中安全隐患 HTTP请求方法 HTTP响应码 4.HTTPS协议 1.渗透测 ...
- 第一章 内网渗透测试基础
本文章大部分内容来自于 <内网安全攻防:渗透测试实战指南>: https://item.jd.com/12743210.html 0x00 内网基础知识 内网也指局域网(Local Are ...
- 强大的Web日志分析工具_AWSTATS 应用实例
释义: AWStats在Sourceforge发展很快的一个基于Perl的WEB日志分析工具. 相对于另外一个非常优秀的开放源代码的日志分析工具Webalizer,AWStats的优势在于: 1.界面 ...
- 视频教程-Kali Linux渗透测试基础入门到进阶实战全程课-渗透测试
Kali Linux渗透测试基础入门到进阶实战全程课 本人有多年的服务器高级运维与开发经验,擅长计算机与服务器攻防及网络攻防技术!对网络安全领域有持续的关注和研究! 林晓炜 ¥499.00 立即订阅 ...
- mysql+web日志分析工具_WEB日志格式及分析工具
WEB日志是网站分析和网站数据数据整理最基础的数据,了解其格式和组成将有利于更好地进行数据的收集.处理和分析. 一.日志格式类型 目前常见的WEB日志格式主要由两类,一类是Apache的NCSA日志格 ...
- python 分析大数据日志_大数据Web日志分析 用Hadoop统计KPI指标实例
可以带着下面问题来阅读文章 问题: 1.MapReduce在日志分析的作用 思考: 该如何架构kpi系统,需要考虑什么问题. kpi:关键绩效指标法,即KPI绩效考核,是企业绩效考核的方法之一,其特点 ...
- 《内网安全攻防:渗透测试实战指南》读书笔记(一):内网渗透测试基础
目录 前言 一.内网基础知识 1.工作组 2.域 3.活动目录 (1)活动目录的功能 (2)DC和AD区别 4.安全域的划分 (1)DMZ (2)内网 5.域中计算机的分类 6.域内权限 (1)组 ( ...
- 日志分析篇---Web日志分析
日志分析篇-Web日志分析 文章目录 日志分析篇---Web日志分析 一. web日志 二.日志分析技巧 三.日志分析案例 1.定位攻击源 2.搜索相关日志记录 3.对找到的访问日志进行解读,攻击者大 ...
最新文章
- vim的文件中字符串的查找与替换
- 大科学时代,指数级增长的科学仍然拥有前所未有的朝气与活力
- 遗留应用现代化场景:如何正确使用RESTful API
- 【原创】【狗眼看股】【2008-4-25】干扰了节奏,改变不了趋势
- 人工蜂群算法python_人工蜂群算法-python实现
- golang mysql断线_MySQL的连接池、异步、断线重连-Go语言中文社区
- php压缩zip文件类
- 51nod 1065 最小正子段和 (贪心)
- HDU 6185 2017广西邀请赛:Covering(矩阵快速幂)
- pyspider—爬取下载图片
- 中国幻想向欧美妥协取得5G权益将是一种错误
- 2018-05-21 Linux学习
- Vim命令大全(linux)
- PMP项目管理13个计划
- @uncheck_jQuery Check / Uncheck复选框
- 《Region Proposal by Guided Anchoring》阅读笔记
- Python界面设计之Label
- matlab 比较两个函数,Matlab同时拟合两个函数 - 数学 - 小木虫 - 学术 科研 互动社区...
- mwan,意为mult-wan?
- Mac卸载postgresql