记一次生产环境性能优化真实案例
时间:2022-05-11 10:31
随着公司交易量增长,应用侧TPS下降,接口耗时变长,业务高峰期甚至会有请求超时的情况。但是应用服务器CPU不到50%,内存占用40%(4C8G配置),load average: 0.43, 0.45, 0.49;负载很低。
数据库为ORACLE 11G,CPU:128C,内存:512G,存储:14T。业务高峰期CPU用掉60%,IO空闲45%。
主要接口平均耗时统计,每分钟一个点,从下图可以看出在业务量不大的时候,平均耗时在25毫秒左右。一旦到了业务高峰期,平均耗时最大值突然涨到120毫秒。
数据库监控图:
发现情况后,应用研发,架构部,DBA立刻组件攻关小组,毕竟临近五一假期只有一周的时间了,五一假期期间交易量至少还会增长30%。
未完待续。。。