简单来说,SSD缓存的运作机制是:写入数据时先快速写入SSD,积累到一定量后再选择合适时机同步至普通机械硬盘;读取数据时,热数据直接从SSD中提取,速度明显提升。
目前业内主流的开源SSD缓存方案主要有两款:bcache与flashcache。
bcache需要编译较新版本的内核,部署门槛较高,配置过程也比较复杂,因此目前多见于测试环境。相比之下,flashcache最初由Facebook内部研发并随后开源,社区活跃度更高。目前已有开发者编译好了适用于RHEL 6的rpm包,在CentOS 6上可直接安装,使用更为便捷。本次测试我们选用flashcache进行初步性能验证。
测试环境
先交代一下当前使用的硬件配置:
- SSD盘(sdc):4块160GB硬盘组成RAID 10,使用fio工具测得4K随机写的IOPS约为5433。
- 普通SAS盘(sdb):2块146GB硬盘组成RAID 1,同样用fio测试4K随机写的IOPS约为447。
性能差距一目了然:SSD的IOPS是普通硬盘的十余倍。
初步测试结果同样直观:
- 4K随机写:在SSD缓存加速下,IOPS可达5014。
- 4K随机读:提升更为显著,IOPS达到45874。
Flashcache 安装与配置
这部分是实操步骤,请直接参考以下流程。
安装
在CentOS 6系统中,添加ELRepo源后,一条命令即可完成安装:
rpm --import https://elrepo.org/RPM-GPG-KEY-elrepo.org
rpm -Uvh https://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm
yum install flashcache-utils kmod-flashcache
配置:用SSD为SAS盘提供缓存
创建缓存的主要命令是 flashcache_create。本例使用 -p back 参数,表示采用写回(WriteBack)模式。
flashcache_create -p back cachedev /dev/sdc /dev/sdb
执行后系统会显示缓存设备名称、模式及内存占用等信息。需要注意,flashcache的元数据可能占用较大内存,示例中提示需要约1192MB。
三种缓存模式
flashcache支持三种策略,可根据业务对数据安全性的要求灵活选择:
- Writethrough(写透模式):最安全。数据同时写入SSD和普通硬盘。如果SSD的写入性能低于普通硬盘(老款SSD可能出现此情况),该模式反而会成为瓶颈。所有读取操作均能享受缓存加速。
- Writearound(写绕模式):同样安全。写入操作直接绕过SSD,仅写入普通硬盘。只有当数据再次被读取时才会缓存到SSD。适用于写入请求少、读取请求频繁的场景。
- Writeback(写回模式):性能最高,但风险也最大。数据仅先写入SSD,随后由后台策略逐步同步至普通硬盘。若SSD突然故障,尚未同步的数据将丢失。实测中该模式性能提升最为显著。
查看状态与使用
配置完成后,可通过 flashstat 命令实时查看缓存状态、命中率等关键信息。执行后将显示设备及详细的性能统计数据,重点关注 hit%(读命中率)和 whit%(写命中率)两列。
若一切正常,使用 fdisk -l /dev/mapper/cachedev 可看到一个新的混合设备,其容量与普通硬盘一致(本例为146.8GB)。
此后,/dev/mapper/cachedev 可当作普通块设备使用,例如在其上创建物理卷、卷组,再划分逻辑卷,操作方式与普通硬盘完全一致。
pvcreate /dev/mapper/cachedev
vgcreate ssdcachetest /dev/mapper/cachedev
lvcreate -L 100G -n ssdcache_test_lv1 ssdcachetest
如何拆除缓存
若需拆除缓存设备,请执行以下两步:
dmsetup remove cachedev
flashcache_destroy /dev/sdc
第一条命令用于从逻辑卷管理器中卸载缓存设备,第二条命令则清除SSD上的缓存元数据,使其恢复为普通硬盘。
