MyBatisPlus的in方法入参数量过多导致的JVM频繁FullGC案例

  • Post author:
  • Post category:其他


1.引子

在我们的认知中,通常认为MyBatisPlus的in方法入参数量超过1000条就会报错

//此方法当in中的字符超过1000就会报错
EntityWrapper ew = new EntityWrapper<>();
ew.in(TableFieldConstant.F_AUTH_RESULT_ID, ids);

但如果入参数量达到上百万,那就会陷入循环中,导致虚拟机内存占用飙升,频繁GC,昨日我司生产环境就发生了这样的问题,先记录如下。

2.问题发现

线上监控组在pinpoint中发现2022-08-04 14:33:00的一个请求超时了,开始并没有太在意,只是要求业务部门去查询问题。

Request processing failed; nested exception is feign.RetryableException: Read timed out executing POST。。。。

3.故障分析

初步查看发现就是个Feign的远程调用超时,本想以网络闪断原因搪塞过去,但服务调用双方在同一台虚机上,用网络原因解释不了,觉得非常奇怪,就深入查找了一下问题。

3.1.首先查看线上两个服务的日志,并没有发现什么重要信息。

3.2.接下来看数据库,发现也正常。

3.3.再去看jvm的监控信息,果然发现了问题:

12:00-16:30左右jvm内存占用情况

12:00-18:30左右jvm内存占用情况

4号-5号的情况

可以看的非常清楚,之前的内存都很正常,后面内存占用一直很高,频繁进行FUllGC,很明显是发生了内存泄露。

3.4.jvm堆栈信息

请运维团队帮忙转存栈信息 jstack pid > pid.tdump

分析后发现该线程一直处于执行状态,导致内存一直没有得到释放。

网上翻找资料,发现了相关的报告:

https://blog.csdn.net/cuixinzhou/article/details/113030993

初步判定是mybatis-plus的使用不当导致的。

 protected String formatSqlIfNeed(boolean need, String sqlStr, Object... params) {
        if (need && !StringUtils.isEmpty(sqlStr)) {
            if (ArrayUtils.isNotEmpty(params)) {
                for(int i = 0; i < params.length; ++i) {
                    String genParamName = "MPGENVAL" + this.paramNameSeq.incrementAndGet();
                    sqlStr = sqlStr.replace(String.format("{%s}", i), String.format("#{%s.paramNameValuePairs.%s}", this.getParamAlias(), genParamName));
                    this.paramNameValuePairs.put(genParamName, params[i]);
                }
            }
 
            return sqlStr;
        } else {
            return null;
        }
    }

问题出现在

sqlStr = sqlStr.replace(String.format("{%s}", i), String.format("#{%s.paramNameValuePairs.%s}", this.getParamAlias(), genParamName));

对replace测试发现当数据量大时替换会很耗时。而我们业务上并没有对这个入参的数量做限制。

Mybatisplus的in方法入参太多,会导致循环次数过多。

4.问题解决方案

4.1.控制入参数量

4.2.升级jar版本 3.x

我司采用方案1,发火线后问题解决



版权声明:本文为m0_37609579原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。