先说一个核心判断:Oracle RAC 的 Disk Heartbeat Timeout,十有八九不是网络问题,也不是集群软件本身出了故障。严格来说,出问题的往往不是“心跳”这根线,而是连在心跳线上那个“磁盘”——也就是 OCR 和 Voting Disk 所在的存储。
根本原因其实就一句话:OCR 或 Voting Disk 所在的 ASM 磁盘组(或者裸设备)的 I/O 响应延迟,超过了 Oracle 默认容忍的 200ms 阈值。只要 cssd 进程在规定时间里没从 Voting Disk 上读到那个要命的 heartbeat block,系统就会判定 disk heartbeat timeout,紧接着就是节点驱逐。

什么情况最容易诱发这种超时?
- ASM 磁盘组底层的存储 I/O 延迟突然飙升。比如 SAN 队列堆积、LUN 路径拥堵、存储控制器过载,这种突发性性能衰减是最常见的元凶。
- Voting Disk 所在的磁盘被其他高 I/O 操作“误伤”。比如备份跑起来了、RMAN 在做 COPY、或者一个大表全表扫描正往同一个 LUN 上疯狂写数据,Disk Heartbeat 的优先级并不比这些流量高。
- 多路径配置不正常。ALUA 状态在反复切换、路径 failover 和 failback 过于频繁,都会导致 I/O 响应出现毛刺。
disk_repair_time设置太短。尤其在慢速存储上,偶发性的 I/O 卡顿很容易被误判为磁盘永久故障,直接触发驱逐。
那么,怎么快速定位是哪个磁盘拖慢了心跳?
别指望直接从 v$asm_disk 的 state 和 mode_status 看出来——出事之后它们往往还是显示 ONLINE。真正有价值的信息在 CSS 层。去翻 $GRID_HOME/log/,找最近的 timeout 记录,重点关注时间戳和关联的 disk path,比如 /dev/oracleasm/disks/VOTE01。然后在 timeout 发生的时间段里,用 iostat -x 1 盯住对应磁盘的 %util 和 await。如果 await 直接飙到 200ms 以上,铁证如山。如果用的是 ASM 磁盘组,可以跑一下 asmcmd lsdsk -e 看看 path 和 repair_timer,再用 asmcmd lsattr -G 确认 disk_repair_time 的当前值。
再聊一个容易被忽视的陷阱:把 Voting Disk 放进普通 ASM 磁盘组。
Voting Disk 对延迟的要求是“确定性”和“低”,两者缺一不可。但普通 ASM 磁盘组,尤其是跨多个 failure group 或者混合了不同介质的,会引入太多不可控因素。ASM 的 extent 分配和 rebalance 会带来随机 I/O 毛刺;如果这个磁盘组还同时承载数据库文件,DBWR 或 ARCH 进程的突发写入会直接抢占磁盘带宽。更要命的是,disk_repair_time 对整个磁盘组生效,你没办法单独给 Voting Disk 调优。
标准做法是:
- Voting Disk 必须放在独立、专用、低延迟的磁盘组里。推荐用
EXTERNAL冗余加 3 块物理盘,绝不和数据文件混用。 - 用
crsctl replace votedisk迁移时,先确保目标磁盘路径已经用dd if=/dev/zero of=预热过,并且当时没有其他 I/O。bs=4k count=100 - 考虑禁用该磁盘组的 auto-rebalance:
ALTER DISKGROUP虽然不能直接解决问题,但能减少干扰。DISABLE VOLUME ALL;
还有一些参数改动,最容易把偶发延迟变成稳定超时,改之前一定要做 baseline 测试:
- 把
misscount从默认的 60 秒调小到 30 秒——这只会缩短驱逐窗口,但不能降低 timeout 触发频率,反而放大误判风险。 - 存储层用了 write-back cache 却没配电池或电容保护。掉电后 cache 数据丢失,ASM 元数据不一致,后续 heartbeat read 返回的是校验错误而非延迟,同样表现为 timeout。
ASM_DISKSTRING设得太宽泛,比如/dev/sd*,导致 CSS 探测大量无效路径,累积的探测延迟本身就可能成为压垮骆驼的最后一根稻草。
最稳妥的缓解动作是什么?
- 临时把
disk_repair_time提高到 300 秒,只针对 Voting Disk 所在的磁盘组。 - 检查并固化多路径策略。用
mpathconf --show确认queue_if_no_path为yes,避免路径丢失时立即返回 I/O error。 - 在
ocssd启动参数里显式指定 heartbeat device(需要相应 patch 支持),绕过 ASM 层抽象。
说到底,实际环境里 80% 的 Disk Heartbeat Timeout,都藏在两个地方:一个是存储交付验收时没做 I/O 压力测试,另一个是运维过程中悄悄把 Voting Disk 和归档日志挂到了同一套阵列上。问题从来不在 Oracle,而在于你是不是真的把它当“心跳线”来保护了。
