游乐游手机版
首页/数据库/文章详情

如何分库分别导出为多个独立文件_多库备份环境的高级选项配置

时间:2026-04-27 20:56
分库独立导出需为每个库单独调用 mysqldump 或 pg_dump:MySQL 用循环执行 mysqldump -B "$db " -r "${db}_$(date +%F) sql ",PostgreSQL 用 psql -t -c "SELECT datname " 动态获取库名并 pg_d

分库独立导出需为每个库单独调用 mysqldump 或 pg_dump:MySQL 用循环执行 mysqldump -B "$db" -r "${db}_$(date +%F).sql",PostgreSQL 用 psql -t -c "SELECT datname..." 动态获取库名并 pg_dump -d "$db" -f "${db// /\_}.sql",均需引号保护变量、避免覆盖、控制并发≤2、加 set -e 确保失败中断。

mysqldump 一次导出多个库时如何避免混在一个文件里

很多朋友习惯用 mysqldump --databases db1 db2 db3 来一次性备份多个库,结果发现所有数据都被塞进了一个巨大的 SQL 文件里,中间仅仅用 create databaseuse 语句隔开。这种做法在恢复时其实埋了不少坑:万一目标实例里已经存在同名库,或者当前连接用户的权限不足,整个恢复过程就可能卡在半路,进退两难。

所以,想要真正实现“分库独立文件”,没有捷径可走,必须让每个数据库都走一遍独立的 mysqldump 进程。这里有个常见的误解,以为加上 --result-file 参数就能分流,其实这个参数只控制单次命令的输出路径,对合并多个库的操作完全无效。

  • 正确的做法是借助 shell 循环,每次调用 mysqldump 时只传入一个库名。
  • 输出文件名必须包含库名变量,比如 db1_$(date +%F).sql,否则后一个库的备份会直接覆盖前一个,风险极高。
  • 建议加上 --skip-comments 选项,减少冗余注释,避免某些恢复工具误将注释里的 USE 语句当作命令来解析。
  • 如果库名包含中划线、下划线这类特殊字符,mysqldump 本身是支持的,但在 shell 脚本里引用变量时,务必记得加上双引号:"$db"

PostgreSQL pg_dump 分库导出不写死库名的脚本写法

pg_dump 工具本身没有提供一键导出所有非系统库的开关,它的 -d 参数一次只能接受一个数据库。于是有人把命令硬写成 pg_dump -d db1 -f db1.sql && pg_dump -d db2 -f db2.sql 这样一长串。看起来能跑通,可一旦数据库列表有变动,维护起来就成了噩梦。

更稳健的方式,是动态查询 pg_database 系统表,过滤掉模板库后再进行循环导出。这里有两个细节需要特别注意:一是必须排除 template0template1;二是连接参数(比如 -U-h)最好统一放在循环外部定义,别在每次循环里重复写,既啰嗦又容易出错。

  • 使用 psql -t -c "SELECT datname FROM pg_database WHERE datistemplate = false AND datname NOT IN ('postgres')" 来获取需要备份的库名列表。
  • 在循环体内,执行 pg_dump -U $USER -h $HOST -d "$db" -f "$db.sql",记住,$db 变量两端必须加上双引号。
  • 加上 --no-owner--no-privileges 选项是个好习惯,可以避免在恢复时因为目标环境用户不存在而报错。
  • 如果某个库特别大,导出很慢,可以尝试加上 --jobs=2 启用并行导出,但要注意,这只是针对单个库内部的并行,并非跨库并行。

备份脚本里怎么处理库名中的空格或连字符

MySQL 允许库名包含空格(创建时需要用反引号包裹),PostgreSQL 也允许使用连字符(创建时用双引号包裹)。但问题来了,在 shell 脚本里,如果直接把这些包含特殊字符的库名当作变量展开,命令执行往往会直接崩溃。典型的错误就像 mysqldump -B `dbname with space`,系统会报 Unknown database——这其实不是数据库不认识它,而是 shell 把空格当成了命令参数的分隔符,把库名给“切碎”了。

根本的解决方案不是去修改数据库里的库名,而是确保在命令执行时,变量值能被原封不动地传递过去。关键在于理解引号的嵌套和转义层级:外层用双引号保护变量不被 shell 解析,内层可能存在的反引号或双引号,则交给数据库客户端自己去处理。

  • MySQL 场景:使用 mysqldump -B "$db" -r "${db}_backup.sql"。即使 $db 的值本身包含反引号(比如 `my db`),这样写也能正确传递。
  • PostgreSQL 场景:使用 pg_dump -d "$db" -f "${db// /_}.sql"。这里用了一个小技巧 ${db// /_},把库名中的空格替换成下划线,主要是为了避免生成包含空格、可能引发问题的文件名。
  • 一个通用的好建议:所有输出文件路径都尽量使用绝对路径。如果使用相对路径,当脚本通过 cron 定时任务执行时,工作目录可能不是你预想的那一个,文件很容易被写到莫名其妙的地方去。

并发导出多个库时磁盘 I/O 和连接数的实际瓶颈

听起来很美好:用 & 符号在后台并发跑 5 个 mysqldump,备份速度岂不是能翻几倍?但现实往往很骨感,真正的瓶颈通常会卡在磁盘写入速度上,或者把数据库的连接池直接打满。尤其是在使用共享宿主机的云数据库服务时,默认的 max_connections 可能只有 151,5 个库同时 dump 就占去 5 个连接,如果业务本身连接数就高,还可能意外触发慢查询甚至导致锁表。

因此,一个更现实、更平衡的策略是:将并发数控制在 ≤ 2,并且配合压缩进行流式写入。千万别盲目相信“进程越多越快”,对于 I/O 密集型任务,过多的并发反而会因磁盘磁头频繁寻道而导致整体速度下降。

  • 对于 MySQL,强烈推荐在导出 InnoDB 表时加上 --single-transaction 参数。它通过开启一个一致性快照来获取数据,比 --lock-tables 那种锁表的方式对线上业务的影响要小得多。
  • 输出直接通过管道交给 gzip 压缩:mysqldump db1 | gzip > db1.sql.gz。这不仅能大幅节省磁盘空间,还能减少实际的磁盘写入量(写放大)。
  • 对于 PostgreSQL,可以考虑使用 -Fc(自定义格式)替代默认的纯 SQL 文本格式。这种格式体积更小、恢复更快,但缺点是必须使用 pg_restore 工具来读取。
  • 务必在脚本的开头加上 set -e 命令。这样,当任何一个 mysqldumppg_dump 命令执行失败时,整个脚本就会立即停止,防止后续的备份操作继续覆盖或写入不完整的文件。

还有一个极易被忽略的细节:时间戳的精度。如果在同一秒内启动多个 dump 进程,按照常规的 $(date +%F) 生成的文件名就会重复,导致文件被覆盖。哪怕只是毫秒级的冲突,也需要防范。可以采用 $(date +%F_%H-%M-%S-%N | cut -c1-17) 来截断纳秒部分,或者更简单地,在文件名中嵌入进程号 $$,从而彻底避免重名。

来源:https://www.php.cn/faq/2314580.html
上一篇mysql如何利用角色简化权限分配_mysql 8.0 Role功能详解 下一篇mysql5.7与8.0备份文件兼容吗_跨版本数据迁移的注意事项
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
Redis 7.0增量AOF重写RDB前导码配置详解
数据库 · 2026-07-02

Redis 7.0增量AOF重写RDB前导码配置详解

先说一个几乎所有人都踩过的典型误区:很多人把 aof-use-rdb-preamble yes 当作开启“增量重写”的开关。实际上,这个配置只干了一件事——让重写后的 AOF 文件头部带上 RDB 快照。它解决的是加载速度问题,跟“增量重写”本身的概念压根不是一回事。真正的增量重写,依赖的是 Red

在Python Tornado异步框架中安全执行SQL命令的方法与最佳实践
数据库 · 2026-07-02

在Python Tornado异步框架中安全执行SQL命令的方法与最佳实践

直接在Tornado里用SQLAlchemy同步执行SQL,结果就是阻塞IOLoop,所谓“异步框架里写同步数据库代码”,等于白搭。安全执行的关键不是“怎么写SQL”,而是“怎么不卡住事件循环”。 为什么不能在RequestHandler里直接调用session execute() 因为sessio

利用SQL触发器实现在INSERT数据时自动同步到审计表
数据库 · 2026-07-02

利用SQL触发器实现在INSERT数据时自动同步到审计表

先说结论:可以用触发器把 INSERT 数据同步到审计表,但必须用 AFTER INSERT,并且审计表的字段顺序、类型、字符集得和源表严格一致。否则,轻则写入错位、数据截断,重则直接报错、丢数据。下面把这些坑一个一个掰开说。 能,但必须用 AFTER INSERT,且审计表字段顺序、类型、字符集要

如何用SQL编写按不同工作日统计员工出勤率
数据库 · 2026-07-02

如何用SQL编写按不同工作日统计员工出勤率

在实际业务中,统计不同工作日的出勤率是HR系统里的高频需求。如果直接按日期函数分组,很容易掉进语言环境、索引失效或分母口径的坑里。下面就来拆解具体的实现要点。 必须用 CASE WHEN 将日期映射为固定 weekday 标签(如 Mon )再分组,避免语言环境导致的分组断裂;需过滤 DOW IN

Spring Boot 3动态拼接SQL为何引发严重安全漏洞
数据库 · 2026-07-02

Spring Boot 3动态拼接SQL为何引发严重安全漏洞

SQL注入漏洞的核心成因,本质上是因为用户输入直接参与了SQL语句的字符串拼接,而未采用参数化绑定机制。在MyBatis中使用${}、QueryWrapper中调用apply()与last()、JPA的@Query注解进行拼接等操作,都会绕过PreparedStatement的安全防护。动态字段必须