Ubuntu 上优化 Kafka 存储空间的实用方法
一 存储与文件系统优化
- 优先使用NVMe SSD作为 Kafka 日志目录存储介质，能够获得更优的顺序写入性能；同时将多个磁盘挂载到log.dirs，可实现并行写入，进一步提升存储容量、吞吐能力与可用性。
- 合理调整num.io.threads以匹配磁盘并发处理能力，在网络请求较多或流量较高的场景下，可适当增加num.network.threads。
- 充分利用 Linux 的页缓存机制和sendfile 零拷贝能力，减少内核态与用户态之间的数据拷贝，降低 I/O 放大问题，提升 Kafka 在 Ubuntu 上的整体性能。
- 规划分区数量时，要兼顾消费并行度与系统资源消耗，避免分区过多带来索引文件增多、文件句柄占用上升等问题。
- 当磁盘空间不足时，建议优先扩容磁盘，或将部分log.dirs迁移到新磁盘，再逐步完成分区均衡，避免直接影响 Kafka 服务稳定性。
二 保留策略与段管理
- 明确数据清理策略：
- 纯日志采集、埋点上报类主题建议使用cleanup.policy=delete；
- 状态存储类主题建议使用compact或delete,compact，以保留每个 key 的最新值。
- 合理设置保留阈值：
- 按时间控制：使用log.retention.ms，其优先级高于 hours/minutes；
- 按容量控制：使用log.retention.bytes，该参数按“分区”生效，因此主题可用容量约等于 retention.bytes × 分区数。
- 优化段滚动与清理粒度：
- 适当增大log.segment.bytes（例如1GB），可减少段文件数量和索引开销；
- 合理配置segment.ms与segment.jitter.ms，避免多个分区同时滚段造成瞬时抖动。
- 启用压缩策略：
- 建议统一使用compression.type=zstd（或lz4/snappy），有效降低网络传输与磁盘存储占用；
- 压缩级别需要根据业务吞吐需求与 CPU 消耗进行平衡选择。
- 容量估算示例：如果单分区保留上限设置为1GB，而主题包含100个分区，那么该主题最大磁盘占用约为100GB（未计算副本空间）。
三 分层存储与冷热数据
- 开启分层存储（remote storage）后，可将历史冷数据卸载到对象存储中，Broker 本地仅保留热数据：
- 主题级启用方式：remote.storage.enable=true；
- 本地保留窗口设置：local.retention.ms/bytes，用于控制本地段文件的保留上限；
- 迁移与回退控制：可通过remote.log.copy.disable、remote.log.delete.on.disable管理远程上传与清理逻辑。
- 采用分层存储后，容量规划重点应放在“远程保留策略”上，本地磁盘更多承担缓存层角色，可明显缓解 Kafka 本地磁盘空间压力。
四、主题层面的配置以及运维的实际落地
- 按主题进行精细化配置覆盖：
- 创建/修改/查看覆盖值：
- 创建：bin/kafka-topics.sh --create … --config cleanup.policy=delete,compact --config retention.ms=…
- 修改：bin/kafka-configs.sh --alter --add-config …
- 查看：bin/kafka-configs.sh --describe
- 创建/修改/查看覆盖值：
- 兼顾容量规划与数据一致性：
- 关键业务场景建议设置acks=all、min.insync.replicas=2、replication.factor=3；
- 仅建议在应急情况下启用unclean.leader.election.enable，避免非 ISR 副本被选为 Leader 导致数据丢失。
- 配置变更生效与回滚：
- 大多数主题级参数支持动态生效；如需回滚，可通过 --delete-config 恢复默认配置。
- 监控与性能压测：
- 使用kafka-producer-perf-test / kafka-consumer-perf-test验证 Kafka 吞吐、延迟等关键指标表现；
- 重点监控UnderReplicatedPartitions、RequestQueueTimeMs等指标，并配置相应告警机制。
五 快速检查清单
- 存储与 I/O：使用 SSD、配置多个log.dirs、合理设置num.io.threads/num.network.threads、启用sendfile。
- 保留与段管理：设置log.retention.ms/bytes与log.cleanup.policy；适度增大log.segment.bytes；压缩建议使用zstd/lz4。
- 容量评估：按照“分区数 × retention.bytes”估算主题占用空间，避免容量预估过低。
- 分层存储：如需长期保留数据，建议启用remote.storage.enable并配置local.retention。
- 一致性保障：关键主题建议配置acks=all / min.insync.replicas=2 / RF=3，并谨慎开启unclean 选主。
