记一次网络问题的排查

昨天遇到了一个端口转发导致VIP失效的问题，今天记录下当时的排查思路。

因为要做升级，所以我删除了dokcer老容器，并启动新容器。之后访问VIP, 也就是LVS中的VIP，发现原先可以访问的站点不能访问了。

以上是故障表现，下面是具体排查过程

docker logs containerId 检查docker 中的应用是成功启动的，排除应用无法启动的问题
curl localhost:80 因为容器是以-p 80:80的方式启动的，所以接下来我尝试在物理机上访问自己的80端口，发现可以成功访问应用，排除了forward没设置的问题
接下来，我祭出了瑞士军刀nc -l 80, 然后在外部以VIP的方式访问，发现无法访问。这时候怀疑是 iptables 的问题
先做下备份，service iptables save, 然后关掉service iptables stop
再起nc -l 80, 发现很快nc进程就结束了，trace nc -l 80 找出来源包IP，发现是LVS的心跳包。至此VIP恢复访问
接下来就是要找iptables里谁在搞鬼了。iptables -L, 因为怀疑是docker在搞鬼，所以把展示出和docker有关的都删了，但是问题没有解决
上面我犯了一个错误，那就是以为iptables -L展示的是所有的规则，但其实只展示了filter, 和转发有关的nat需要iptables -t nat -L来展示
把iptables -t nat -L中和docker有关的删掉。问题解决。问题原因是docker删除容器后没有把转发规则删除。
又重现了下这个问题，应该是docker的问题，删除实例没有把转发规则和proxy干掉。

这次排查，用到了几个工具，都是之前的积累，所以排查显得顺畅多了。主要时间花在了对iptables的不熟悉。
更多文章 http://kamushin.github.io/

记一次网络问题的排查相关推荐

记一次网络故障排除：nat虚拟机不能ping外网浏览器可以上网
记一次网络故障排除:nat虚拟机不能ping外网浏览器可以上网起因在虚拟机中使用A软件需要联网注册,但是注册失败,随手ping了一下baidu,不通.但是可以用浏览器打开baidu. 解决管理 ...
网络舆情风险点排查工作实施方案
现如今,网络舆情的突发风险越来越高,而网络舆情一旦形成,在短时间内同类新闻报道就会层出不穷,快速发酵,导致舆情风险值也会越来越高.所以,为有效规避舆情风险,就需先了解网络舆情有哪些风险,并做好网络舆情 ...
网络问题常用排查方法
网络问题常用排查方法 Window端常用命令常用网站 Wireshark抓包 Linux端常用命令 Tcpdump抓包安卓局域网Wireshark抓包 Tcpdump抓包其他抓包工具 Wi ...
干货分享|网络故障的排查与修复
在生产环境中,常见的故障类型包括但不限于以下几种: 网络故障.服务器故障.数据库故障.软件错误.安全漏洞或攻击.存储故障.配置错误.第三方服务故障. 今天讲讲网络故障如何处理. 网络故障的排查与修复 ...
记一次设备网络问题的排查
李迟按: 清明假期,同事在群里at我,说某场站网络有问题,叫我有空去看看.我收到的网络异常邮件已经几千封了,因为位置不高,所以静待通知.根据log猜测是厂家设备的问题.因为假期,我也无能为力.后来上班 ...
kafka实现异步发送_Kafka 异步消息也会阻塞？记一次 Dubbo 频繁超时排查过程
线上某服务 A 调用服务 B 接口完成一次交易,一次晚上的生产变更之后,系统监控发现服务 B 接口频繁超时,后续甚至返回线程池耗尽错误 Thread pool is EXHAUSTED.因为服务 B ...
apache axis 1.4的invoke方法设置超时_Kubernetes 网络故障常见排查方法
网络可以说是 Kubernetes 部署和使用过程中最容易出问题的了,最主要的是对网络技术非常熟悉的人员相对较少,和 Kubernetes 结合后能搞透彻网络这块的就更加稀少了,导致我们在部署使用过程 ...
配置centos7 IP以及网络问题的排查
2019独角兽企业重金招聘Python工程师标准>>> 在虚拟机中NAT模式下可以直接使用 dhclient 自动获取IP地址. ip add 可以直接查看自己的网卡信息(红色框里就 ...
tl r402路由器设置_记一次TP-LINK路由器问题排查
上周,去我哥家里给他整了下路由器,本文记录一下排查问题的过程. PS:这也是我自春节以来第一次出小区. 问题说明先说一下路由器的问题: 有时候能连上 A WiFi,但是连不上 B WiFi,过一段时 ...

记一次网络问题的排查

记一次网络问题的排查相关推荐

最新文章

热门文章