记一次跳过oom的内存泄漏

整体复盘

  • 18:23：数据同学告知图片拼接服务404
  • 第一时间去瞄了日志，发现宕机前落了如下日志
    1
    Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00007fb0eaa1b000, 12288, 0) failed; error='Cannot allocate memory' (errno=12)
  • 第一反应去看了眼jvm堆信息，jvm各区正常

  • 检查磁盘剩余容量，正常

  • 查看服务器内存，剩余7G，到这里笔者就奇怪了，正常服务启动之后会剩余4G内存，看来服务彻底宕了

  • 从运维平台的监控系统检查过去这段时间的内存分布，看到内存慢慢趋近于0，最后宕机

  • 重新拉起服务，开始压测

  • 内存跟之前一样
    内存情况

  • 压测过程中使用jstack -pid查看了线程栈状况

  • 发现状况，线程栈堆积了大量线程，到这里思路清晰了，服务启动了太多线程，问了开发同学由于开启线程的时候调用的java native方法，线程使用的是操作系统内存，随着线程的增长，逐渐服务器内存不足，跳过OOM直接从操作系统层面报出了内存不足

  • 重启服务后简单压测之后使用jmap dump下来堆信息，进行了分析，交给开发同学

  • 后续定位结果是图片对象没有及时回收导致持续堆积

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

大树，<br>人在首都，就职猪厂,<br>测试开发一枚<br><br>骐骥一跃不能十步，驽马十驾功在不舍<br><br>qq:565506019<br>