最近,数据库会报磁盘IO高的告警,但是cpu不高。

故障

● 主机名称: xxxx

● 告警信息: Disk I/O is overloaded on xxxx

● 告警时间: 2020.04.10-13:09:06

● 主机地址: xxxxxx

● 当前状态: 36.14 %

数据库磁盘io高时,执行的sql如下:

也就是数据库会批量的执行insert ignore into 语句。

可以看到,每个事务都在flushing log中,说明刷redo log比较慢。可能是redo log 比较小。

事实证明,innodb_log_file_size确实比较小,才50M,建议增大至2个4G。

继续分析:

上述看到log thread 挂起的fsync()操作数据为1,说明log thread刷盘有等待。

另外,last checkpoint落后于log flushed up to太多,接近于redo log文件的大小,这时会触发innodb疯狂刷redo,从而导致磁盘io高,对性能影响非常糟糕。

还有,这个数据库的innodb buffer pool也很小,使用的默认值为128M,也需要调大。

优化方法:

设置innodb_log_file_size=4G,设置innodb_buffer_pool_size=4G。

经过观察,数据库磁盘io高、cpu不高的问题消失。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐