目录

iis日志详解

1,查看方式

2,详解

Log Parser快速日志分析工具

linux系统Apache日志分析技巧:

日志统计分析技巧


iis日志详解

1,查看方式

由于不同的 Windows 版本,iis日志路径不一样,所以分别介绍如下:

Windows Server 2003 iis 6日志路径:C:\Windows\System32\LogFiles

Windows Server 2008 R2、2012、2016、2019 iis7以上日志路径:C:\inetpub\logs\LogFiles

2,详解

date表示记录访问日期;

time访问时间;

cs-method表示访问方法,常见的有两种,一是GET,就是平常我们打开一个URL访问的动作,二是POST,提交表单时的动作;

cs-uri-stem就是访问哪一个文件;

cs-uri-query是指访问地址的附带参数,如asp文件?后面的字符串id=12等等,如果没有参数则用-表示;

c-ip访问者IP;

cs(Referer)访问来源;

sc-status状态,200表示成功,403表示没有权限,404表示打不到该页面,500表示程序有错;

sc-bytes服务端传送到客户端的字节大小;

cs-bytes客户端传送到服务端的字节大小;

time-taken处理时间。

Log Parser快速日志分析工具

下载地址:

大家可以在微软官网下载、安装。安装过程很简单,一步到位。下载链接:http://www.microsoft.com/en-us/download/details.aspx?id=24659

用法:

LogParser. exe "select top 10 time, c-ip, cs-uri-stem, sc-status, time-taken from C:Usersliuhao02Desktop\应急\样本Vis.log"-o:datagrid

通过这条Web访问日志,我们可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器的情况下访问了你网站的哪个页面,是否访问成功。

windows系统Apache日志分析工具:Apache log viewer

Apache日志字段说明:

访问日志access_log记录了所有对Web服务器的访问活动,下面是访问日志access_log中的一个标准记录

192.168.115.5 - - [01/Apr/2018:10:37:19 +0800] "GET / HTTP/1.1" 200 45

日志字段所代表的内容如下:

1.远程主机IP:表明访问网站的是谁

2.空白(E-mail):为了避免用户的邮箱被垃圾邮件骚扰,第二项就用“-”取代了

3.空白(登录名):用于记录浏览者进行身份验证时提供的名字。

4.请求时间:用方括号包围,而且采用“公用日志格式”或者“标准英文格式”。 时间信息最后的“+0800”表示服务器所处时区位于UTC之后的8小时。

5.方法+资源+协议:服务器收到的是一个什么样的请求。该项信息的典型格式是“METHOD RESOURCE PROTOCOL”,即“方法 资源 协议”。

METHOD: GET、POST、HEAD、……RESOURCE: /、index.html、/default/index.php、……(请求的文件)PROTOCOL: HTTP+版本号

6.状态代码:请求是否成功,或者遇到了什么样的错误。这项值是200,它表示服务器已经成功地响应浏览器的请求,一切正常。

7.发送字节数:表示发送给客户端的总字节数。它告诉我们传输是否被打断(该数值是否和文件的大小相同)。把日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据.

linux系统Apache日志分析技巧:

1、列出当天访问次数最多的IP命令:

cut -d- -f 1 log_file|uniq -c | sort -rn | head -20

2、查看当天有多少个IP访问:

awk '{print $1}' log_file|sort|uniq|wc -l

3、查看某一个页面被访问的次数:

grep "/index.php" log_file | wc -l

4、查看每一个IP访问了多少个页面:

awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file

5、将每个IP访问的页面数进行从小到大排序:

awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n

6、查看某一个IP访问了哪些页面:

grep ^111.111.111.111 log_file| awk '{print $1,$7}'

7、去掉搜索引擎统计当天的页面:

awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l

8、查看2021年6月21日14时这一个小时内有多少IP访问:

awk '{print $4,$1}' log_file | grep 21/Jun/2021:14 | awk '{print $2}'| sort | uniq | wc -l

日志统计分析技巧

统计爬虫:

grep -E 'Googlebot|Baiduspider' /www/logs/access.2019-02-23.log | awk '{ print $1 }' | sort | uniq

统计浏览器:

cat /www/logs/access.2019-02-23.log | grep -v -E 'MSIE|Firefox|Chrome|Opera|Safari|Gecko|Maxthon' | sort | uniq -c | sort -r -n | head -n 100

IP 统计:

grep '23/May/2019' /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -r -n | head -n 10

统计网段:

cat /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3".0"}' | sort | uniq -c | sort -r -n | head -n 200

统计域名:

cat /www/logs/access.2019-02-23.log |awk '{print $2}'|sort|uniq -c|sort -rn|more

HTTP Status:

cat /www/logs/access.2019-02-23.log |awk '{print $9}'|sort|uniq -c|sort -rn|more

URL 统计:

cat /www/logs/access.2019-02-23.log |awk '{print $7}'|sort|uniq -c|sort -rn|more

文件流量统计:

cat /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more grep ' 200 ' /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more

URL访问量统计:

cat /www/logs/access.2019-02-23.log | awk '{print $7}' | egrep '\?|&' | sort | uniq -c | sort - rn | more

脚本运行速度:查出运行速度最慢的脚本

grep -v 0$ /www/logs/access.2019-02-23.log | awk -F '\" ' '{print $4" " $1}' web.log | awk '{print $1" "$8}' | sort -n -k 1 -r | uniq > /tmp/slow_url.txt

IP, URL 抽取:

# tail -f /www/logs/access.2019-02-23.log | grep '/test.html' | awk '{print $1" "$7}'

刪除一个月前的日志:

rm -f /www/logs/access.log.$(date -d '-1 month' +'%Y-%m')*

渗透测试基础- - -web日志分析相关推荐

  1. 海量Web日志分析 用Hadoop提取KPI统计指标

    海量Web日志分析 用Hadoop提取KPI统计指标 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahou ...

  2. 渗透测试基础,初识渗透测试

    渗透测试基础 1.渗透测试的概念 2.安全术语介绍 3.HTTP协议讲解 概述 HTTP URL HTTP响应头 HTTP头中安全隐患 HTTP请求方法 HTTP响应码 4.HTTPS协议 1.渗透测 ...

  3. 第一章 内网渗透测试基础

    本文章大部分内容来自于 <内网安全攻防:渗透测试实战指南>: https://item.jd.com/12743210.html 0x00 内网基础知识 内网也指局域网(Local Are ...

  4. 强大的Web日志分析工具_AWSTATS 应用实例

    释义: AWStats在Sourceforge发展很快的一个基于Perl的WEB日志分析工具. 相对于另外一个非常优秀的开放源代码的日志分析工具Webalizer,AWStats的优势在于: 1.界面 ...

  5. 视频教程-Kali Linux渗透测试基础入门到进阶实战全程课-渗透测试

    Kali Linux渗透测试基础入门到进阶实战全程课 本人有多年的服务器高级运维与开发经验,擅长计算机与服务器攻防及网络攻防技术!对网络安全领域有持续的关注和研究! 林晓炜 ¥499.00 立即订阅 ...

  6. mysql+web日志分析工具_WEB日志格式及分析工具

    WEB日志是网站分析和网站数据数据整理最基础的数据,了解其格式和组成将有利于更好地进行数据的收集.处理和分析. 一.日志格式类型 目前常见的WEB日志格式主要由两类,一类是Apache的NCSA日志格 ...

  7. python 分析大数据日志_大数据Web日志分析 用Hadoop统计KPI指标实例

    可以带着下面问题来阅读文章 问题: 1.MapReduce在日志分析的作用 思考: 该如何架构kpi系统,需要考虑什么问题. kpi:关键绩效指标法,即KPI绩效考核,是企业绩效考核的方法之一,其特点 ...

  8. 《内网安全攻防:渗透测试实战指南》读书笔记(一):内网渗透测试基础

    目录 前言 一.内网基础知识 1.工作组 2.域 3.活动目录 (1)活动目录的功能 (2)DC和AD区别 4.安全域的划分 (1)DMZ (2)内网 5.域中计算机的分类 6.域内权限 (1)组 ( ...

  9. 日志分析篇---Web日志分析

    日志分析篇-Web日志分析 文章目录 日志分析篇---Web日志分析 一. web日志 二.日志分析技巧 三.日志分析案例 1.定位攻击源 2.搜索相关日志记录 3.对找到的访问日志进行解读,攻击者大 ...

最新文章

  1. vim的文件中字符串的查找与替换
  2. 大科学时代,指数级增长的科学仍然拥有前所未有的朝气与活力
  3. 遗留应用现代化场景:如何正确使用RESTful API
  4. 【原创】【狗眼看股】【2008-4-25】干扰了节奏,改变不了趋势
  5. 人工蜂群算法python_人工蜂群算法-python实现
  6. golang mysql断线_MySQL的连接池、异步、断线重连-Go语言中文社区
  7. php压缩zip文件类
  8. 51nod 1065 最小正子段和 (贪心)
  9. HDU 6185 2017广西邀请赛:Covering(矩阵快速幂)
  10. pyspider—爬取下载图片
  11. 中国幻想向欧美妥协取得5G权益将是一种错误
  12. 2018-05-21 Linux学习
  13. Vim命令大全(linux)
  14. PMP项目管理13个计划
  15. @uncheck_jQuery Check / Uncheck复选框
  16. 《Region Proposal by Guided Anchoring》阅读笔记
  17. Python界面设计之Label
  18. matlab 比较两个函数,Matlab同时拟合两个函数 - 数学 - 小木虫 - 学术 科研 互动社区...
  19. mwan,意为mult-wan?
  20. Mac卸载postgresql

热门文章

  1. 【深度学习】有监督学习、无监督学习、半监督学习
  2. win7系统卸载360管家之后无法上网怎么回事?
  3. [deviceone开发]-doSpace应用源码开源 1
  4. 新员工入职表_员工培训
  5. keil中micro lib
  6. 11月8日赢在淘宝 北京站ISV聚会笔记
  7. JAVA中的GUI设计
  8. RSS2.0的文档资料
  9. FFmpeg解封装、解码音频和视频(分别使用OpenGL和OpenAL播放)
  10. 声呐学习笔记之波束成形