Cannot allocate memory 的分析及解决方法

  • Post author:
  • Post category:其他



背景

拿到一台基于VMware的虚拟机,安装一个公司产品,包含各个组件(微服务),内存要求较高。


问题

安装产品过程中,出现如下问题:


问题分析

问题定位:无非就是软件安装时的问题或者服务器问题。但考虑到之前该产品已经在多台服务器、现场都进行了正常安装,优先排查问题的思路方向指向服务器上。

那目前情况必须要先连上服务器才行,找到服务器崩溃的日志分析下为什么会导致这种情况。

也试了很多次服务器确实无法连接登录,只能找下管理虚拟机的人员,帮忙强制重启下。重启完进入服务器后,确实发现JVM挂掉后产生的日志


hs_err_pid18886.log

分析日志:

这个文件主要包含如下内容:

  1. 日志头文件
  2. 导致 crash 的线程信息
  3. 所有线程信息
  4. 安全点和锁信息
  5. 堆信息
  6. 本地代码缓存
  7. 编译事件
  8. gc 相关记录
  9. jvm 启动参数
  10. 服务器信息

怎么查看日志内容不做细讲,一般日志头文件会提供大概的问题所在及可以采取的措施,如下:

翻译大概如下:

#

可能的原因

#                 系统的物理RAM或交换空间不足

#                 进程在启用CompressedOops的情况下运行,Java堆可能会阻止本机堆的增长

#

可能的解决方案

#                 减少系统内存负载

#                 增加物理内存或交换空间

#                 检查交换备份存储是否已满

#                 减小Java堆大小(-Xmx/-Xms)

#                 减少Java线程数

#                 减少Java线程堆栈大小(-Xss)

#                 使用-XX:ReservedCodeCacheSize设置更大的代码缓存=

#                 JVM运行的是无标度的压缩Oops模式,其中Java堆是

#                 放在第一个4GB地址空间。Java堆基址是

#                 本机堆增长的最大限制。请使用-XX:HeapBaseMinAddress

#                 设置Java堆基并将Java堆放置在4GB虚拟地址之上

咋一看是怀疑内存不足,但截取日志中服务器信息一看,内存还有许多剩余,应该不是该原因,排除。

看到提供的

可能的解决方案中

有需要减少java线程数,联想到服务器的进程数是不是满了,首先查看服务器最大进程数 sysctl kernel.pid_max

接着一查看进程数

ps -eLf | wc –l





16149


远远还没到


32768


啊,那肯定也不是进程数满了的原因,排除。

看下安装过程中的日志信息,提供的有用日志信息(Not enough space)如下:

没有足够的空间?服务器无法分配足够的空间了,然后对服务器上的内存和磁盘使用情况(如下图)进行再次核实,是还有剩余的,那到底是什么原因导致有内存却无法分配呢?

Linux下有个内核参数overcommit_memory,是内存分配策略,程序在启动的时候会先去申请内存,尽管不一定都会用的到那么多。

overcommit_memory此参数决定是否接受超大内存请求的条件。这个参数有三个可能的值:


0





默认设置

。内核执行启发式内存过量使用处理,方法是估算可用内存量,并拒绝明显无效的请求。遗憾的是因为内存是使用启发式而非准确算法计算进行部署,这个设置有时可能会造成系统中的可用内存超载。


1





内核执行无内存过量使用处理

。使用这个设置会增大内存超载的可能性,但也可以增强大量使用内存任务的性能。


2





内存拒绝等于或者大于总可用 swap


大小以及overcommit_ratio


指定的物理RAM


比例的内存请求

。如果您希望减小内存过度使用的风险,这个设置就是最好的。

而系统目前的overcommit_memory是为2

目前的内存申请和可用情况

cat /proc/meminfo | grep Commit


#CommitLimit


表示系统可申请的总内存


#Committed_AS


为当前已经申请的内存


CommitLimit=75743028 KB


和Committed_AS=74870856 KB两个值很接近,且


overcommit_memory=2

。而我们那么多的内存为什么申请不到呢?答案就是被别的程序申请占用了,尽管这些内存没有实际用到,却也无法再让另外的程序进行申请。如果申请时发现无法申请到足够的内存就会报此错误。

我们顺便再理解下什么是Overcommit和OOM:



Linux对大部分申请内存的请求都回复”yes”,以便能跑更多更大的程序。因为申请内存后,并不会马上使用内存。这种技术叫做Overcommit。当linux发现内存不足时,会发生OOM killer(OOM=out-of-memory)。它会选择杀死一些进程(用户态进程,不是内核线程),以便释放内存。



当oom-killer发生时,linux会选择杀死哪些进程?选择进程的函数是oom_badness函数(在mm/oom_kill.c中),该函数会计算每个进程的点数(0~1000)。点数越高,这个进程越有可能被杀死。每个进程的点数跟oom_score_adj有关,而且oom_score_adj可以被设置(-1000最低,1000最高)。


解决方法

很简单,将vm.overcommit_memory设为1即可。

有三种方式修改内核参数,但要有root权限:

  1. 编辑/etc/sysctl.conf ,改vm.overcommit_memory=1,然后sysctl -p使配置文件生效
  2. sysctl vm.overcommit_memory=1
  3. echo 1 > /proc/sys/vm/overcommit_memory,然后sysctl –p永久生效

参数修改生效后,重启进行验证,验证OK。



版权声明:本文为baidu_20608025原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。