游乐游手机版
首页/科技数码/文章详情

MySQL写缓存Change Buffer原理与架构师必备技能详解

时间:2025-12-02 20:35
MySQL作为一个存储系统,同样具有缓冲池(buffer pool)机制,以避免每次查询数据都进行磁盘IO。如果大家使用MySQL,那么InnoDB的缓冲池,是架构师必须了解的内容。 上篇《MySQ

作为一种存储系统,MySQL同样配备了缓冲池(buffer pool)机制,旨在避免每次数据查询都触发磁盘IO操作。对于使用MySQL的开发者而言,深入理解InnoDB缓冲池的工作原理是架构师必备的知识。

在之前的《MySQL缓冲池(buffer pool)》一文中,我们详细介绍了InnoDB缓冲池的工作机制。

有一位名为童鞋的读者在评论区提问:对于读请求,MySQL缓冲池能够显著减少磁盘IO,提升系统性能。那么对于写请求,MySQL又是如何进行优化的呢?今天我们就来深入探讨这个问题。

首先,让我们简要回顾上一讲提到的缓冲池核心概念:

MySQL的数据存储包含内存与磁盘两个部分;内存缓冲池(buffer pool)以页为单位,缓存最热的数据页(data page)与索引页(index page);InnoDB采用改进版LRU算法管理缓冲池,能够有效应对“预读失效”与“缓冲池污染”的问题;

当写请求到来时,会发生什么?

情况一

假设需要修改页码为4的索引页,而这个页面恰好在缓冲池内。

如上图步骤1-2所示:

直接修改缓冲池中的页面,这是一次内存操作;写入redo log,这是一次磁盘顺序写操作;

这样的处理效率是最高的。

画外音:类似日志顺序写入的场景,每秒数万次操作都能轻松应对。

是否会引发数据一致性问题?

完全不会。

读取操作会命中缓冲池中的页面;当缓冲池进行LRU数据淘汰时,会将“脏页”刷回磁盘;即使数据库异常崩溃,也能通过redo log恢复数据;

缓冲池中的页面何时会被刷入磁盘?

采用定期刷盘机制,而非每次修改都立即刷盘,能够有效降低磁盘IO,显著提升MySQL性能。

画外音:批量写入是常见的优化手段。

情况二

假设需要修改页码为40的索引页,而这个页面当前不在缓冲池内。

此时流程会稍微复杂一些,如上图需要完成步骤1-3:

先将页码40的索引页从磁盘加载到缓冲池,这是一次磁盘随机读操作;修改缓冲池中的页面,这是一次内存操作;写入redo log,这是一次磁盘顺序写操作;

当写请求未能命中缓冲池时,至少会产生一次磁盘IO。对于写多读少的业务场景,是否存在进一步的优化空间呢?

这正是InnoDB设计者考虑的问题,也是本文将要讨论的写缓冲(change buffer)机制。

画外音:从命名就可以看出,写缓冲是通过降低磁盘IO来提升数据库写入性能的一种技术手段。

什么是InnoDB的写缓冲?

在MySQL 5.5版本之前,这个功能称为插入缓冲(insert buffer),仅对insert操作进行优化;现在该机制对delete和update同样有效,因此更名为写缓冲(change buffer)。

它是一种应用于非唯一普通索引页(non-unique secondary index page)不在缓冲池中时,对页面进行写操作的优化技术。该机制不会立即将磁盘页加载到缓冲池,而是仅仅记录缓冲变更(buffer changes),等到未来数据被读取时,再将数据合并(merge)恢复到缓冲池中的技术。写缓冲的核心目的是降低写操作的磁盘IO,提升数据库整体性能。

画外音:这个句子确实写得有点长。

引入写缓冲优化后的流程变化

假设需要修改页码为40的索引页,而这个页面正好不在缓冲池内。

加入写缓冲优化后,流程简化为:

在写缓冲中记录这个操作,这是一次内存操作;写入redo log,这是一次磁盘顺序写操作;

此时性能表现与目标页面在缓冲池中时非常接近。

画外音:可以看到,40这个页面并没有被加载到缓冲池中。

此时是否会出现一致性问题?

同样不会。

即使数据库异常崩溃,也能从redo log中恢复数据;写缓冲不仅是一个内存结构,它也会被定期刷盘到写缓冲系统表空间;数据读取时,存在另外一个流程将数据合并到缓冲池;

不妨设想,稍后的某个时间,有请求需要查询索引页40的数据。

此时的流程如步骤1-3所示:

加载索引页面,缓冲池未命中,这次磁盘IO无法避免;从写缓冲读取相关信息;恢复索引页面,放到缓冲池LRU列表里;

画外音:可以看到,40这个页面只有在真正被读取时,才会被加载到缓冲池中。

还有一个遗留问题:为什么写缓冲优化仅适用于非唯一普通索引页?

在InnoDB中,聚集索引(clustered index)和普通索引(secondary index)存在本质差异,我们在之前的文章中已经详细讨论过,这里不再展开。

如果索引设置了唯一(unique)属性,在进行修改操作时,InnoDB必须进行唯一性检查。也就是说,即使索引页不在缓冲池中,磁盘上的页面读取也无法避免(否则如何校验是否唯一?),此时应该直接将要修改的页面放入缓冲池再进行变更,而不应该再使用写缓冲这个中间环节。

除了数据页被访问,还有哪些场景会触发写缓冲中的数据刷盘?

还存在以下几种情况,会促发写缓冲中的数据刷盘:

后台有一个专门的线程,会在数据库空闲时执行;当数据库缓冲池空间不足时;在数据库正常关闭时;当redo log写满时;

画外音:几乎不会出现redo log写满的情况,此时整个数据库将处于不可写入的不可用状态。

什么样的业务场景适合开启InnoDB的写缓冲机制?

先说说什么时候不适合,如上文分析,当:

数据库都是唯一索引;或者,在写入一个数据后,会立即读取它;

这两类场景在执行写操作时(进行后),本来就要进行页面读取,本来相应页面就要入缓冲池,此时写缓冲反倒成了负担,增加了复杂度。

什么时候适合使用写缓冲,比如:

数据库中大部分是非唯一索引;业务是写多读少,或者不是写后立即读取;

可以使用写缓冲,将原本每次写入都需要进行磁盘IO的SQL,优化为定期批量写磁盘。

画外音:例如,账单流水业务。

上述原理对应InnoDB中的哪些参数?

有两个比较重要的参数。

(1)参数:innodb_change_buffer_max_size

介绍:配置写缓冲的大小,占整个缓冲池的比例,默认值是25%,最大值是50%。

画外音:写多读少的业务,才需要调大这个值,读多写少的业务,25%其实也多了。

(2)参数:innodb_change_buffering

介绍:配置哪些写操作启用写缓冲,可以设置成all/none/inserts/deletes等。

写缓冲机制,你学明白了吗?

知其然,知其所以然。

思路比结论更重要。

来源:https://www.51cto.com/article/828272.html
上一篇大众点评招募兼职:商家信息核验员,用吃喝提升数据准确度 下一篇大数据时代终结?数据科学人才需求正盛
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
LiblibAI云端WebUI降低AI绘画部署门槛
科技数码 · 2026-07-02

LiblibAI云端WebUI降低AI绘画部署门槛

LiblibAI在线WebUI的核心优势在于——只需通过浏览器即可流畅运行Stable Diffusion,无需自行搭建本地环境。云端直接处理运算,模型即选即试,大幅降低了AI绘画的创作门槛。对于轻量创作和模型快速测试来说,体验相当顺畅,但用户仍需重视数据隐私保护和版权合规等问题。 过去使用Stab

微软因用户不安叫停Edge浏览器AI历史搜索功能
科技数码 · 2026-07-02

微软因用户不安叫停Edge浏览器AI历史搜索功能

微软紧急暂停Edge浏览器AI历史搜索功能,该功能因被用户吐槽“令人不安”而暂缓部署。尽管微软强调所有AI处理在设备端完成且数据不上传云端,但用户仍不信任。此举与WindowsK2计划减少功能堆砌的理念一致。

红魔游戏平板5 Pro发布 4999元起售将登陆全球市场
科技数码 · 2026-07-02

红魔游戏平板5 Pro发布 4999元起售将登陆全球市场

【CNMO科技消息】近日,红魔游戏平板5 Pro正式发布。这款平板从定位上就明确瞄准“极致游戏”体验,外观方面带来了一个重磅亮点——首次引入RGB水冷散热系统,背部那条可视化的水路通道,配合纯平透明背板设计,核心配置信息一览无余,科技感十足。 图源网络 屏幕方面同样表现突出。一块9 06英寸OLED

杭州全国首所机器人学校首批30台机器人入学
科技数码 · 2026-07-02

杭州全国首所机器人学校首批30台机器人入学

30台机器人整齐列队,有的刚从生产线卸下,机械零件还带着崭新的“工业气息”;有的已搭载运动控制模块,能稳健地小跑、跳跃几下。它们来自不同制造工厂,外形与功能各有千秋,但此刻都拥有了同一个身份——杭州机器人学校的第一批入学新生。 6月30日,杭州经信正式发布:由浙江大学机器人研究院、浙江省质量科学研究

美国计划发射航天器托举天文卫星
科技数码 · 2026-07-02

美国计划发射航天器托举天文卫星

就在最近,NASA公布了一项非常果断的干预计划——他们定于6月30日实施一次“卫星维修任务”,派遣一台名为“连接”号的机器人服务卫星,为一颗超期服役的天文卫星延长运行寿命。这颗卫星是“尼尔·格雷尔斯·斯威夫特天文台”,其轨道高度正在不断衰减,如果不进行干预,今年年底前很可能会坠入地球大气层并烧毁。