Sublime Text无原生保序去重功能：Remove Duplicate Lines仅删相邻重复，Sort Lines: Unique必打乱顺序；真正保序需用正则^(.*$)\n(?=.*^\1$)或外部命令如awk '!seen[$0]++'。
这里有个核心事实需要明确：Sublime Text 并没有真正意义上的“一键保序去重”功能。它自带的两个工具，一个只能处理相邻的重复行，另一个则必然会打乱你原有的行序。如果你想要的效果是“保留首次出现的行，删除后面所有重复项”，那就得借助正则表达式或者调用外部命令了。
为什么 Remove Duplicate Lines 总是删不干净？
这个命令的工作原理其实很简单：它只判断“当前行”和“紧挨着的上一行”是否完全一致。一旦两行相同的文本中间被其他内容隔开，它就无能为力了。举个例子：
apple banana apple
你看，第二个 apple 并不会被删除，因为它前面是 banana，而不是另一个 apple。
除此之外，这个命令还有一些“固执”的特性：
- 它对任何细微差别都零容忍，包括行尾的空格、制表符，甚至是不可见的零宽字符。只要多一个空格，就会被判定为不同的行。
- 它不支持忽略大小写，也不能自动跳过空行，更不用说按指定列进行匹配了。
- 默认情况下，它没有绑定快捷键，你需要手动在命令面板里搜索
Remove Duplicate Lines才能调用它。
为什么 Sort Lines: Unique 会乱序？
这个命令的名字有点“误导性”。它本质上是一个组合操作：先对全文所有行进行字典序排序，然后再合并相邻的重复行。所以，无论原文中 zebra 出现在哪里，排序后它都会跑到 apple 前面去，原始顺序完全丢失。
这里有几个关键点需要注意：
- 它保留的是“排序后”每组重复行里的第一行，而不是“原文中”第一次出现的那一行。
- 如果你想使用它，通常需要手动配置快捷键，例如：
{"keys": ["ctrl+alt+u"], "command": "sort_lines", "args": {"unique": true}}。 - 对于包含数字的字符串（比如
log2.txt和log10.txt），字典序排序会产生不符合直觉的结果（log10.txt会排在log2.txt前面），这时可能需要借助 Natural Sort 这类插件来辅助。
怎么真正保序去重？用正则 ^(.*$)\n(?=.*^\1$)
要想在不打乱顺序的前提下删除重复行，正则表达式是一个强大而精准的工具。上面这个正则模式，能够匹配那些“在后面还会再次出现”的重复行（但会巧妙地跳过每组中的第一行）。这对于处理代码片段、配置文件等对行序有依赖的文本尤其有用。
操作步骤其实很清晰：
- 打开查找面板（
Ctrl+F），务必勾选Regular Expression（正则表达式）和Whole Line（整行匹配）。 - 在查找框输入：
^(.*$)\n(?=.*^\1$)，然后点击Find All。 - 此时，所有后续的重复行都会被选中。按下
Ctrl+Shift+L将它们转换为多个光标，再按一次Delete键，就大功告成了——首行会自动被保留下来。 - 有个细节值得注意：如果文件是Windows格式（
\r\n换行），而正则只匹配了\n，可能会导致失败。保险起见，可以先用File → Line Endings → Unix统一换行符格式。
大文件（>5 万行）别硬扛，换系统命令
当文本行数膨胀到数万甚至更多时，在Sublime Text内部使用正则或排序命令可能会感到明显的卡顿，内存占用也会飙升。这时候，把任务交给系统终端或脚本往往是更高效、更稳定的选择。
- Linux/macOS：保序去重可以交给经典的
awk命令：awk '!seen[$0]++' file.txt > dedup.txt。如果不需要保序，直接用sort -u file.txt > dedup.txt更快。 - Windows PowerShell：实现保序去重需要稍微绕一下：
Get-Content file.txt | ForEach-Object {$seen[$_.Trim()]++ -eq 1} | Set-Content dedup.txt。这里手动调用了Trim()来处理可能存在的尾部空格差异。 - 跨平台 Python：用一行Python脚本也能轻松搞定：
python3 -c "import sys; seen=set(); [print(l.rstrip()) for l in sys.stdin if l not in seen and not seen.add(l)]" < file.txt > dedup.txt。
最后，分享一个经常被忽略却极其有效的预处理建议：很多所谓的“重复行”，其实罪魁祸首是行尾看不见的空格或特殊字符。在执行任何去重操作之前，不妨先用正则 \s+$ 全局替换一下，清理所有行的尾部空白。这个简单的步骤，往往比后续纠结选用哪个去重命令更能从根本上解决问题。
