由于上线了公共API,所以导致大量的爬虫攻击服务器,然后反爬虫机制就来了,最简单的就是设置nginx的ip黑名单
技术交流QQ群 1093476453

  • 话不多说 先上脚本
#!/bin/bash
# 查看日志5W条记录
tail -n50000 /www/wwwlogs/39.105.38.10.log \
# 根据自己的需求截取相应的内容 $1必不可少是IP
|awk '{print $1,$7,$9}' \
# 过滤掉正常的多访问记录百度蜘蛛。。。。相信大家都知道
|grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou|360|bing|soso|403|api" \
# 对单个IP访问量进行统计并记数
|awk '{print $1}'|sort|uniq -c|sort -rn \
# 当访问量达到峰值会向名单中添加次IP
|awk '{if($1>1500)print "deny "$2";"}' > /www/server/nginx/conf/vhost/blockip.conf
# 加载nginx配置
/www/server/nginx/sbin/nginx -s reload

ps 把上面的路径配置为自己的就ok了

  • 加入服务器的定时任务 半个小时执行一次
0,30 0-23 * * * /www/server/blockip.sh
  • 如果定时脚本不能运行报错的话 -bash: ./run.sh: /bin/bash^M: bad interpreter: No such file or directory 报错解决方法 https://blog.csdn.net/simplyou/article/details/113503554

nginx 动态设置黑名单相关推荐

  1. NGINX动态XFF黑名单配置

    通过XFF地址动态限制访问 方案特点: 无需reload API管理 NGINX PLUS的KEYVAL是可以通过API进行管理的内部可持久化kv存储. KEYVAL查找XFF地址是否在黑白名单中,来 ...

  2. NGINX Plus集成fail2ban进行动态IP黑名单配置

    NGINX Plus集成fail2ban进行动态IP黑名单配置  安全,NGINX Plus集群,键值存储,入侵检测系统(IDS),IP地址黑名单 照片:Arnold Reinhold –自己的作品, ...

  3. nginx配置ip黑名单

    动态添加ip黑名单 黑名单配置 在http模块最后加上配置  黑名单设置: include /etc/nginx/ip.black; 黑名单示例: deny 127.0.0.1; deny 127.0 ...

  4. Nginx动态、静态分离,Nginx配置中做适配

    Nginx[静态,动态] 页面是html,mp3,mp4,txt,doc,pdf 动态脚本语言:shell,PHP,java 一:       LNMP (Linux+Nginx+MariaDB==m ...

  5. nginx动态配置及服务发现那些事

    标题,  <闲聊nginx动态配置及服务发现的那些事> - 这次的准备闲聊关于nginx服务发现的话题,  按照我以往写文章的性子,估计会迁移一些主题.  毕竟单纯聊nginx和动态服务发 ...

  6. 修改webpack的publicPath为动态设置以适配公司活动平台

    背景: 我们需要将React开发的应用部署到一个活动搭建平台上,这意味我们只需要上传源码,没有搭建服务器的环节,没有配置Nginx的环节.具体步骤就是在该平台新建一个活动,然后将自己的源码传到这个活动 ...

  7. nginx动态php转发,Nginx 动态 upstreams 实现,nginxupstreams_PHP教程

    服务器名,端口以及传递的URI也可以使用变量被指定: proxy_pass http://$host$uri; 甚至像这样: proxy_pass $request; 在这个案例中,服务器名会在所描述 ...

  8. Nginx动态负载均衡与配置管理

    背景 在Nginx集群有一定的规模时,比较让人头疼的问题有2个,一是如何在不reload nginx的情况下,动态更新后端rs,减少nginx reload的性能损耗,也能更好的对接到内部的部署平台: ...

  9. Nginx动态反向代理(2022/11/12)

    Nginx动态反向代理(2022/11/12) 文章目录 Nginx动态反向代理(2022/11/12) 一.搭建环境 二.技术方案 三.实现过程 四.配置结果 工作中经常遇到需要在前端访问第三方平台 ...

最新文章

  1. NetCore学习实践1__项目创建和配置文件的获取
  2. 【通知】+ java基础提升篇:Java 序列化的高级认识
  3. OpenJudge1043 树上游戏(换根dp+细节处理)
  4. linux apf防火墙安装配置
  5. c#连接数据库SqlHelper报错
  6. bzoj 1096 斜率优化DP
  7. MySql | 为什么大家都在说 Select * 效率低
  8. linux系统怎么清理指定日期的文件,Linux系统删除指定时间段文件的方法(2)
  9. Win10+TeXLive2021无法识别新安装字体解决方法
  10. Python爬虫十六式 - 第三式:Requests的用法
  11. 后面冒号_Python 数组中的冒号使用
  12. 第一次JAVA课,第一次课堂考,课后感受
  13. 怎样提高你的Google Adsense收入
  14. 潦草字体在线识别_潦草字体在线识别_遇到好看的字体?不会识别?教你如何快速识别字体...
  15. Android 插件化换肤方案
  16. 嘉兴 机器人仓库 菜鸟_菜鸟在嘉兴推出全新智能仓 宣布将在双11启用超级机器人仓群...
  17. aardio - 旋转图片
  18. github干货地址分享
  19. 12c及以上参数推荐设置
  20. 领先三星、华为,全球首款可折叠柔性屏手机惊艳上市

热门文章

  1. lunacy怎么导出html,Sketch Windows版帮手:Lunacy让你Win系统操作Sketch文件
  2. 触摸屏坏了有哪些现象_外屏坏了有哪些现象
  3. vscode读linux源码,vscode搭建linux内核开发环境
  4. android中的广播大全,android中的广播
  5. L1-067 洛希极限(10分) java
  6. 小米6系统 Android版本,小米6推送MIUI 10.4.2稳定版:正式升级安卓9.0!
  7. video标签样式属性设置
  8. 《仙境幻想》跑跑卡丁车大战
  9. Python攻防-Socket通信建立TCP反向连接
  10. 阿里云服务器ECS+安心备案服务套餐:低至156.12元