脚本专栏

解决golang内存溢出的方法
脚本专栏 2024/12/28 佚名
3 2

最近在项目中出现golang内存溢出的问题，master刚开始运行时只有10多M，运行几天后，竟然达到了10多个G。而且到凌晨流量变少内存也没有明显降低，内存状态呈现一种很不健康的曲线。

解决golang内存溢出的方法

解决golang内存溢出的方法

像这种情况肯定是golang内存溢出了，为此我持续排查了两天，终于找到问题所在，特此记录下。

准备工作

  • 一台较好的环境测试机,单台运行无污染。
  • 压测工具，无论服务是http还是websocket服务，都必须准备好压测工具模拟最真实的用户场景。
  • 将master引入net/http/pprof包，通过http访问获得goroutine、heap信息。
//引入pprof
import _"net/http/pprof"
//在main中加入
go func() {
  log.Println(http.ListenAndServe("localhost:9999", nil))
}()

浏览器访问: http://127.0.0.1:9999/debug/pprof/

解决golang内存溢出的方法

获取goroutine信息 http://10.13.132.91:9999/debug/pprof/goroutine"text-align: left">获取heap信息 http://10.13.132.91:9999/debug/pprof/heap"text-align: left">使用golang tool进行统计分析,go tool pprof -inuse_space http://127.0.0.1:9999/debug/pprof/heap。输入top10可以看出前十占用内存情况，这里我是直接输入png导出图片来查看，以便以后比较。还有两个参数可以选择，-inuse_space顾名思义是正在使用的内存，-alloc_space是已经分配的内存，本次我是一直用-inuse_space进行分析。

开始进行分析

go是一门自己gc的语言，大概两分钟会gc一次。如果有内存泄漏，无非就是两种情况。

  1. 有goroutine泄漏，goroutine“飞”了，zombie goroutine没有结束，这个时候在这个goroutine上分配的内存对象将一直被这个僵尸goroutine引用着，进而导致gc无法回收这类对象，内存泄漏。
  2. 有一些全局（或者生命周期和程序本身运行周期一样长的）的数据结构意外的挂住了本该释放的对象，虽然goroutine已经退出了，但是这些对象并没有从这类数据结构中删除，导致对象一直被引用，无法被回收。

排除掉goroutine泄漏

首先，我利用压测工具对server进行100个websocket连接，模拟用户浏览行为，然后关闭连接。打开浏览器查看goroutine数量，发现新起的goroutine全部已经销毁，没有观察到有泄漏的goroutine，因此排除此情况。

确定是全局变量无回收

排除goroutine泄漏，只能是由全局状态变量引起的。再次用压测工具进行压测然后关闭，使用观察内存情况。使用go tool pprof -inuse_space http://127.0.0.1:9999/debug/pprof/heap输入png导出（在这种情况下，需要等程序gc完再导出，建议等10分钟左右。）

解决golang内存溢出的方法

发现问题所在

每次都会遗留这么大概0.5M的内存空间出来，就奇怪，明明整个goroutine退出为什么还有会内存占用"text-align: center">解决golang内存溢出的方法

这里面有个项目的坑，上报日志的key不是根据这个len(map)计算出，导致上报日志的时候以为删除了该key。

后记

为什么会花了两天时间，看起来上述流程并不复杂。

实际上你要完全排除掉goroutine泄漏需要花较长的时间去对比的，查看哪些goroutine是新起来没有关闭。

在使用-inuse_space或者-alloc_space分析，也是很纠结，这些看起来也并不完全与表现对应上。实际上用-inuse_space是较为直观的，可以展现出程序真正在使用的（RSS）。Go 管理内存的方式可能与你以前使用的方式不太一样。它会在一开始就保留一大块 VIRT，而 RSS 与实际内存用量接近。RSS 和 VIRT 之间有什么区别呢？VIRT 或者虚拟地址空间大小是程序映射并可以访问的内存数量。RSS 或者常驻大小是实际使用的内存数量。因此用-inuse_space导出在png图上的统计中，与top上的res值是大致相同。

解决golang内存溢出的方法

还有就是每次做压测或者等待golang 完全gc都要耗费不少时间，这样也会排查增加难度。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

标签：
golang内存溢出
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
无争山庄资源网 Copyright www.whwtcm.com

评论“解决golang内存溢出的方法”

暂无“解决golang内存溢出的方法”评论...
www.whwtcm.com 无争山庄资源网
129,905影音资源
244,626技术资源
111,817软件资源
578,645站长资源
一句话新闻
苹果官宣WWDC 2024！预计会有大批AI功能 - 2024/12/28

3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。

苹果官方表示：

在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。

探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。

Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。

RTX 5090要首发 性能要翻倍！三星展示GDDR7显存

三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。

首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。

据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接
无争山庄资源网 Copyright www.whwtcm.com