游乐游手机版
首页/数据库/文章详情

如何排查Redis持久化导致的系统负载过高(iostat与strace)

时间:2026-07-03 07:01
遇到高Load,最直接的反应就是敲下iostat -x 1,然后盯死那面“仪表盘”。但很多人容易被rkB s和wkB s这些流量数据带偏,其实真正需要关注的核心指标只有两个:%util(磁盘繁忙度)和await(平均IO响应时间)。 如果%util > 90%且await > 20ms,别犹豫了,这

遇到高Load,最直接的反应就是敲下iostat -x 1,然后盯死那面“仪表盘”。但很多人容易被rkB/swkB/s这些流量数据带偏,其实真正需要关注的核心指标只有两个:%util(磁盘繁忙度)和await(平均IO响应时间)。

  • 如果%util > 90%await > 20ms,别犹豫了,这说明磁盘已经饱和,IO请求排着长队在等队长派活。高Load的根源不是Redis处理慢了,而是数据写不进去磁盘。
  • 一个常见的误判是:%util很高,但await却很低(比如10ms以内甚至为-1)。这看似矛盾,但恰恰说明问题不在磁盘本身,而是底层存储的响应就是快,只是请求太多把总线塞满了。这时要配合pidstat -d 1确认,是不是Redis进程在疯狂发IO。
  • 更危险的一种情况:await飙到几十毫秒,但%util只有60%~70%感觉“还有余地”。这其实是IO请求已经在队列里排队了,只不过磁盘服务端还能应付。这通常出现在appendfsync everysec和AOF rewrite双写叠加时。

当然,如果有多实例共享一块盘的情况,记得加上-d /dev/nvme0n1指定设备,否则看到的只是全盘统计,单实例的真实压力被掩盖了。

接下来,拿出追踪利器——strace,去抓Redis子进程的IO行为。

iostat只能告诉我们“磁盘累了”,但它不会告诉我们“是谁干的”。这个时候,就要请出strace这位大侦探了。关键点在于:执行RDB或AOF rewrite写盘的是Redis fork出来的子进程,主进程虽然还在,但它只是个“甩手掌柜”。所以直接用strace -p挂主进程PID,纯粹是白费功夫。

正确操作步骤是:

  1. 阅读Redis日志(通常位于/var/log/redis/redis-server.log),找到类似Background saving started by pid 12345Starting automatic rewriting of AOF的行,锁定那个子进程的PID。
  2. 立刻执行:strace -T -e trace=write,fsync,fdatasync -p 12345 -o /tmp/redis_io.strace。注意不要加-f,因为子进程生命周期很短,且AOF rewrite子进程不会再次fork,加了反倒可能干扰。
  3. 重点观察write系统调用的耗时和返回值。如果大量write耗时超过10ms,甚至返回-1 EAGAIN,说明底层存储响应太慢。如果fsync阻塞时间超过50ms,那基本可以锁定,罪魁祸首就是磁盘延迟。
现在,你来解释一下,为什么top里看到的wa%很高,但Redis INFO输出一切正常?

这是个非常经典的“灯下黑”问题。很多同学百思不得其解:为什么top里wa%(IO等待)高得吓人,但用redis-cli INFO却看到used_memoryconnected_clients、甚至instantaneous_ops_per_second都完全正常?

其实原因很简单:INFO反映的是Redis的用户态逻辑状态,它只是“在自己的世界里一切正常”。而wa%是内核统计的进程等待IO完成的时间。此时,Redis主进程在做什么?它在等待子进程完成fsync并退出,自己处于S(sleep)状态,所以top里看不到CPU占用,但Load和wa%已经拉满了。

这时,必须多维度交叉验证:

  • 查配置:redis-cli config get saveconfig get auto-aof-rewrite-percentage,确认RDB/AOF触发条件是否过于激进(比如save 60 10000在写入密集时,每分钟都在dump)。
  • 看内核栈:cat /proc/$(pgrep redis-server)/stack,如果主进程当前内核栈停在wait_event_interruptibledo_wait,那就是在等子进程退出。
  • 查IO分布:pidstat -p $(pgrep redis-server) -d 1,如果观察到主进程的MB/s几乎为0,但子进程的写入量很高,那就是典型的“父等子”模式。
最后,聊三个最容易被忽视的细节。

排查这类问题,最怕的就是“只见树木,不见森林”。除了上面这些常规操作,还有三个点很容易中招:

  • 时间戳未对齐:Redis日志里的时间戳和iostat的采样周期可能差了3秒。看到IO出现尖峰,却找不到对应的日志条目,其实是时间轴没对上。所有监控必须手工用date +%s.%N打上精确时间戳,别信系统默认格式。
  • IO来源混淆:AOF rewrite期间,主进程仍然在往旧的AOF文件追加写入。这部分IO和rewrite的IO混在一起,iostat看到的是总和。必须借助strace区分每个write、fsync调用的来源,不然会误判。
  • 云盘指标失真:有些云盘(比如AWS的gp3)提供的%util指标本身就不太准,它反映的是EBS服务端的队列情况,而不是本地NVMe设备。这时候,改用iotop -a看实际进程的IO权重,反而更直接有效。


来源:https://www.php.cn/faq/2749293.html
上一篇SQL按时间戳每5分钟分组方法 下一篇MySQL中REPLACE函数用法详解与实战案例从入门到精通
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
金仓数据库逻辑备份实战:全库导出与模式替换全流程
数据库 · 2026-07-03

金仓数据库逻辑备份实战:全库导出与模式替换全流程

在长期的运维实践中,我越来越体会到,备份就像一份保险——平时看似无用,但关键时刻却是唯一的救命稻草。逻辑备份看似简单,可真正执行恢复时,各种陷阱接连浮现:表名大小写不一致、Schema 未正确切换、Owner 属性未同步修改……任何一个环节处理不当,最终恢复出的数据库就会与预期相去甚远。 本文将深入

金仓数据库sys_rman物理备份全流程演练与误覆盖恢复
数据库 · 2026-07-03

金仓数据库sys_rman物理备份全流程演练与误覆盖恢复

干运维这行,逻辑备份和物理备份我都接触过,但说句实在话,真正能在生产环境里扛住事儿的,还得是物理备份。逻辑备份导出的是 SQL 语句,数据量一大,那速度慢得让人抓狂,而且最关键的是,它没法做时间点恢复。物理备份不一样,它直接拷贝数据文件,再配上 WAL 归档日志,想恢复到过去哪一秒都行,这是它最硬核

Windows下将MySQL注册为系统自启服务教程
数据库 · 2026-07-03

Windows下将MySQL注册为系统自启服务教程

先说一个关键前提:务必以管理员身份运行终端,否则 mysqld --install 这条命令几乎不可能成功。问题不在于命令写错,而是 Windows 系统的用户账户控制(UAC)机制会在中途拦截——在普通 CMD 或 PowerShell 窗口执行这条命令,要么直接提示 Access is deni

Mac版Navicat中快速对比两个数据库的表结构异同
数据库 · 2026-07-03

Mac版Navicat中快速对比两个数据库的表结构异同

直接说结论:Mac 版 Navicat 和 Windows 版在表结构比对逻辑上完全一致。但默认配置下,它确实无法承受“全库一键比对上万张表”的压力。要想避免卡死、内存溢出、进度条永远停在 0%,你必须手动将表分批处理,或者利用前缀过滤来控制扫描范围。 为什么 Mac 上点击「结构同步」后界面会卡住

MySQL中UNION操作推荐用UNION ALL的原因
数据库 · 2026-07-03

MySQL中UNION操作推荐用UNION ALL的原因

MySQL中UNION与UNION ALL性能对比:别再被“保险”迷惑,差距远超预期 先给出核心结论:UNION ALL 的性能通常比 UNION 高出不止一个数量级。原因在于,UNION 在合并结果集后会自动触发去重操作,这往往伴随着隐式排序,进而产生临时表和文件排序。而 UNION ALL 则直