问题现象

白天客户访问负载均衡端口，发现访问不到应用，远程排查是没有启动his。帮其启动后即修复了此漏洞。晚上突然接到顾问电话说was用着用着就宕机，重启was又启动不起来。双机水平集群，启动dmgr、nodeagent、master都很顺利正常启动，启动ncMem01、ncMem02时发现启动异常，直接宕机。要求先进行修复，让客户先做完个单子后在排查原因。

问题分析

看其was堆内存配置的4G，启动后内存直接被撑爆，并没有回收的现象。整个服务器内存64G，直接给ncMem01、ncMem02内存分配到10G，启动后依旧宕机。最后分到到15G，ncMem01、ncMem02启动成功。

启动后内存状况

nmc看了下线程信息，发现在server上没有异常的线程。除了启动的基本线程外没有其他卡住的线程。排查了定时任务列表也没有正在跑的定时任务。

ncMem01

ncMem02

做完单据后，调小内存，手动生成了dump文件，发现占用内存比较大的都是tb 预算的东西。

当时询问了顾问是否打了补丁，顾问反馈系统是从1909升2105，所以近期打了一堆补丁，为了解决业务问题。UFO-公式编辑全局节点，所有者权益变动表，一点进去就报错【未知的错误】

报表数据中心点击显示【未知的错误】

为了把业务报错影响到最低，所以需要帮顾问定位到具体哪个补丁造成的。在patch_ufo计算空指针PubRuleExecute（专项）0408\replacement\modules\epmp\classes\nc\ms\tb\formula\core 中找到dump文件中显示占用内存的相关代码。

撤掉此补丁后系统恢复正常。

解决方案

撤掉patch_ufo计算空指针PubRuleExecute（专项）0408补丁。

其他

过与开发沟通，发现这个是升迁留下的历史问题。最开始是UFO公式所有者权益表打不开打了一个补丁，可以打开了，但是公式修改后不生效。然后再打这个有问题的补丁。但客户是从1909升级到2105的，补丁不兼容。最后业务报错通过实施手段，把报表公式删了，再重新设置报表公式后就可以计算了。

【案例30】WebSphere诡异宕机相关推荐

IBM WebSphere Portal宕机或性能低常见问题分析及解决措施
使用IBM WebSphere Portal构建企业门户系统是用户比较睿智的一个选择,但是由于Portal产品比较复杂,宕机或性能低也通常是用户较为头疼的问题.经常有客户门户上线后出现页面空白或无法访 ...
多么痛的领悟：13 起惨痛的宕机案例
点击上方"民工哥技术之路"选择"置顶或星标" 每天10点为你分享不一样的干货社区有很多兄弟分享惨痛宕机案例,提醒大家需警惕,以下介绍几起,满满都是血的教训.( ...
多么痛的领悟：十三起惨痛宕机案例
社区有很多兄弟分享惨痛宕机案例,提醒大家需警惕,以下介绍几起,满满都是血的教训-- (以下案例来自社区多位会员分享,主要由社区专家孙伟光.崔增顺编辑整理) 01 AIX 下 NTP 设置不当导致的多个 ...
全球公有云一哥AWS十年宕机故障大全
任何一个公有云供应商,在发展的历史长河中,都遭遇了这样那样的宕机.故障. 或因人为因素.或因雷电太凶.或因机房停电.或因光缆被挖.或因代码错输-- 这些问题的出现与解决,正好也是公有云服务不断优化与提 ...
经常宕机的RAC系统 -排查案例
第4章经常宕机的RAC系统 4.1 3月2日上海的紧急故障今天晚上上海的雷总突然打电话过来,说有件事需要我们帮下忙.我问他是什么事,他说是一个客户的系统宕机的问题,最好能够尽快过来一下. ...
Oracle小型机死机,十三起惨痛宕机案例
原标题:十三起惨痛宕机案例社区有很多兄弟分享惨痛宕机案例,提醒大家需警惕,以下介绍几起. (以下案例来自社区会员分享,由社区专家孙伟光编辑整理) 01 Oracle系统参数过小导致数据库宕机数据库 ...
解决生产环境一次tomcat无故宕机的诡异问题
文章目录前言一.问题描述二.排查步骤 1.先排查一下是不是代码的不规范导致JVM内存溢出 1.先用jstat -gc 命令查看下内存使用情况 2.使用jmap 查看下内存配置通过以上发现内存使 ...
oracle11g ora 29927,【案例】Oracle内存泄漏进行10046跟踪分析07445导致数据库宕机
天萃荷净在一次ORA-7445导致oracle数据库down掉故障分析中,发现sql因某种原因导致大量的sql area中很多内存泄露,最终导致数据库down掉.通过实验找出类此奇怪SQL. SEL ...
ORA-04031错误导致宕机案例分析
今天遇到一起ORACLE数据库宕机案例,下面是对这起数据库宕机案例的原因进行分析.解读.分析过程中顺便记录一下这个案例的前因后果,攒点经验值,培养一下分析.解决问题的能力. 案例环境: 操作系统 :O ...

【案例30】WebSphere诡异宕机

问题现象

问题分析

解决方案

其他

【案例30】WebSphere诡异宕机相关推荐

最新文章

热门文章