Shell 命令行统计 apache 网站日志访问IP以及IP归属地

2024-05-13 17:49:44

Shell 命令行统计 apache 网站日志访问IP以及IP归属地

我的一个站点用 apache 服务跑着，积攒了很多的日志。我想用 shell 看看有哪些人访问过我的站点，并且他来自哪里。

因为日志太长了，所以我没跑完就放弃了，因为跑起来太慢了。。。

分析 apache 日志

140.205.16.220 - - [26/Jun/2017:03:49:51 +0800] "GET /content_article_3.html HTTP/1.1" 200 3

日志内容如上，这个很简单，只要以空格分割，取第一个就得到了IP了。

编写脚本

i=1
# 要分析的日志文件
log=apache.log
l=$(wc -l $log | sed 's/^[ \t]*//g' | cut -d ' ' -f1)
echo $l
while read line; doecho -en "\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b"`echo $i*100/$l | bc `'%/'$i'/'$l((i++))ip=`echo $line | cut -d ' ' -f1`grep "\<$ip\>" ip.txt >/dev/nullif [ $? -ne 0 ]; thencurl -sL http://ip.cn/index.php?ip=$ip >> ip.txtfi
done < $log
echo -e '\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\bbOK     '

首先呢，当然是把我昨天写的进度拿出来整合进去啦。Shell 循环中实现展示进度百分比的脚本方法，但是因为文件是在是太长了一点，百分比已经看不到动态的表现，所以就又加上了显示行数和总行数。

然后用 cut 获取到每行的 ip 地址。

然后用 grep 在 ip.txt 这个文件中查找一下这个 ip 存在不存在，但是我不想把结果打印到终端，所以用输入到 /dev/null 实现禁止标准输出。

然后用 $? 输出结果是否为 0 判断这个 ip 是否存在过。

如果不存在，就去 ip.cn 查询一下 ip 归属地，并将结果追加到 ip.txt 文件

最后就完成了。

因为要上网查，所以效率是比较慢的。不过结果不重要，重要的是实现的过程。通过解决问题，还是学习到两个知识点。

以上脚本均在 mac 下测试通过，在 Linux 下可能会有稍许不同。
本文由 FungLeo 原创，允许转载，但转载必须保留首发链接。

Shell 命令行统计 apache 网站日志访问IP以及IP归属地相关推荐

python网站访问日志分析_python分析apache网站日志web日志的代码
python分析apache网站日志的代码 1.分析日志的python框架awk.py 代码示例: # # Custom awk.py module # class controller: def _ ...
linux shell 宏定义_Linux系统和Shell命令行简介，走上数据分析之路
122Linux系统和Shell命令行简介,走上数据分析之路本节作者:刘永鑫中国科学院遗传与发育生物学研究所版本1.0.2,更新日期:2020年8月31日本项目永久地址:https://git ...
122.Linux系统和Shell命令行简介，走上数据分析之路
122Linux系统和Shell命令行简介,走上数据分析之路本节作者:刘永鑫中国科学院遗传与发育生物学研究所版本1.0.2,更新日期:2020年8月31日本项目永久地址:https://git ...
13分页和shell命令行模式
技术交流QQ群:1027579432,欢迎你的加入! 本教程来源于B站杨仕航Django2.0开发视频教程,如需转载,必须注明来源! 1.为什么先讲分页功能 2.快速添加新的博客 shell命令行模式 ...
2021年大数据Hadoop（八）：HDFS的Shell命令行使用
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 HDFS的Shell命 ...
几种在shell命令行中过滤adb logcat输出的方法
几种在shell命令行中过滤adb logcat输出的方法分类标签: LogCat ADB 我们在Android开发中总能看到程序的log日志内容充满了屏幕,而真正对开发者有意义的信息被淹没在洪流 ...
操作系统课设之简单 shell 命令行解释器的设计与实现
前言课程设计开始了,实验很有意思,写博客总结学到的知识白嫖容易,创作不易,学到东西才是真本文原创,创作不易,转载请注明!!! 本文链接个人博客:https://ronglin.fun/arch ...
shell 清楚空格_Cygwin系列（五）：Shell命令行初体验
► 本文共5700余字,预计阅读时间15分钟,本文知乎链接:Cygwin系列(五):Shell命令行初体验,本文同步发布于微信公众号. 前一篇文章Cygwin系列(四):一步一步搭建Cygwin最小系 ...
linux 脚本编写基本命令,Linux Shell命令行及脚本编程实例详解
<Linux典藏大系:Linux Shell命令行及脚本编程实例详解>共15章,分为两篇.主要内容包括:Linux 及Linux Shell简介.初识Linux Shell.常用Shell ...

最新文章

热门文章