如何提升SQL INSERT语句的导入效率：使用批量加载与直接路径
INSERT太慢？先确认是不是在用单行逐条插入
说到数据导入慢，十有八九的根源都出在一个地方：代码里写了几十万次单行的 INSERT INTO table VALUES (...)。你猜怎么着？每一次执行，数据库都得老老实实走完SQL解析、权限校验、写事务日志、更新索引这一整套流程。这其中的I/O开销和锁竞争，足以把性能拖入泥潭。
所以，动手优化前，不妨先看看这几个地方：
- 仔细检查代码，是不是存在循环调用
execute()或cursor.execute()来插入单行数据——这堪称性能的头号杀手。 - 如果数据源是文件或者内存中的数组，优先考虑改用批量接口。比如Python的
executemany()，或者Ja va的addBatch()配合executeBatch()。 - 值得注意的是，即便用了
executemany()，底层驱动和数据库的实现也可能将其拆分成多条语句执行，这并非真正的“批量插入”，效果会打折扣。
MySQL：用 LOAD DATA INFILE 还是 INSERT ... VALUES (...), (...)?
在MySQL的世界里，LOAD DATA INFILE 是原生的“快车道”。它采用直接路径加载，绕过了SQL解析层，速度通常比任何形式的 INSERT 语句快上5到20倍。不过，这条快车道有准入条件：数据文件通常需要放在数据库服务器本地，或者需要启用 LOCAL INFILE 选项，权限配置上也稍显繁琐。
具体怎么选？可以遵循以下思路：
- 如果数据文件已经在服务器上，那就直接上
LOAD DATA INFILE '/var/data.csv'。别忘了通过FIELDS TERMINATED BY ','等参数明确指定文件格式。 - 数据在客户端机器上？可以尝试启用
local_infile=1连接参数，然后使用LOAD DATA LOCAL INFILE。但需要提前确认，部分云托管环境（例如AWS RDS）出于安全考虑默认禁用了此功能。 - 不想和文件打交道？那就用多值插入语法：
INSERT INTO t VALUES (..),(..),(..)。每批插入1000到5000行是个比较稳妥的范围；如果单条语句超过1MB，则要小心可能触发max_allowed_packet错误。
PostgreSQL的COPY比INSERT快多少？怎么安全用？
PostgreSQL的 COPY 命令是其性能王牌。它同样走直接路径，不经过SQL解析器，默认不触发触发器，在合适的WAL配置下甚至能避免全页写入。实测下来，其速度比同等数据量的 INSERT 快出一个数量级（10倍以上）是常有的事。
想要安全又高效地使用它，这几个要点得把握好：
- 标准用法是：
COPY table FROM '/path/to/file' WITH (FORMAT CSV, HEADER true)。前提是文件必须在数据库服务器上，且运行PostgreSQL的系统用户有读取权限。 - 需要从客户端流式导入？可以使用psql的封装命令：
psql -c "\COPY table FROM 'local.csv' WITH (FORMAT CSV, HEADER)"。这是客户端模式的COPY，不依赖服务端的文件路径权限。 - 务必注意，
COPY命令本身不支持部分回滚。如果把它放在一个事务里执行，中途失败会导致整批数据回滚，无法保留已插入的部分。 - 目标表如果存在外键或CHECK约束，可以在
COPY前执行SET CONSTRAINTS ALL DEFERRED，将约束检查推迟到事务提交时，避免导入过程被中途打断。
Oracle直接路径插入（APPEND）为什么有时没生效？
明明在INSERT语句里加了 /*+ APPEND */ 提示，速度却不见起色？这种情况并不少见。常见原因包括：表处于非归档模式却没有关闭日志记录，或者目标数据段存在活动事务、有未提交的DML操作，这些都会导致Oracle自动降级为常规路径插入，性能提升自然无从谈起。
要让直接路径插入真正发挥作用，可以按以下步骤操作和排查：
- 首先，确保会话环境已就绪：执行
ALTER SESSION ENABLE PARALLEL DML（如果需要并行插入），并在插入前考虑ALTER TABLE t NOLOGGING（此操作需谨慎，会影响基于日志的恢复）。 - 关键一步是检查执行计划。插入后查询
V$SQL_PLAN视图，观察OPERATION列是否包含LOAD AS SELECT。如果没有，说明没有走上真正的直接路径。 - 如果表上有唯一索引，需要特别留意：直接路径插入期间，这些索引会暂时失效，必须在插入完成后执行
ALTER INDEX ... REBUILD来重建，否则后续查询可能得到错误结果。 - 对于分区表，
APPEND提示默认只对新插入数据所在的分区有效。如果要对已有分区进行直接路径插入，需要配合使用ALTER TABLE ... MOVE PARTITION命令。
话说回来，真正的性能卡点往往不在语法本身，而在于那些“看不见”的配置：权限、日志模式、索引状态等等。在运行大批量导入前，先查询一下 V$SESSION_LONGOPS 视图，看看数据库实际在做什么，这比盲目猜测要有效得多。
