前言

在从事新闻爬虫、新闻数据分析或舆情监控项目时，开发者常常会遇到一个棘手的问题：海量重复新闻数据。同一篇新闻被多家网站转载，标题仅改动一两个字、内容局部修修补补、发布时间不同，但本质就是同一条新闻。如果不去重，统计结果会失真、数据库出现膨胀、分析结果被重复样本干扰，整个项目都可能偏离正确方向。

新闻去重与普通文本去重存在显著差异——不能简单粗暴地直接比较字符串。常见的陷阱包括：标题多一两个字、换行空格不同、HTML标签残留、转载时增删导语，若直接使用==全等匹配，会遗漏大量重复样本。

本文将从基础到工业可用，系统分享几套Python处理新闻数据的实用方案，涵盖精准去重、模糊去重以及海量新闻场景下的优化策略，希望能为正在推进类似项目的朋友提供有效参考。

一、简单场景：基于标题MD5精准去重

适用场景：新闻标题完全一致，仅来源、发布时间字段不同。原理很简单：将标题生成MD5哈希值，保存哈希值，新数据到来时判断该哈希是否已存在。

优点：速度极快，内存占用低；缺点：标题稍有改动即失效，转载改标题后便无法识别重复。

import hashlib

def get_md5(text: str) -> str:
    """生成文本的MD5哈希值"""
    return hashlib.md5(text.strip().encode("utf-8")).hexdigest()

news_list = [
    {"title": "人工智能行业迎来新一轮发展机遇", "content": "正文1...", "source": "A网"},
    {"title": "人工智能行业迎来新一轮发展机遇", "content": "正文1...", "source": "B网"},
    {"title": "大模型应用落地加速", "content": "正文2...", "source": "C网"},
]

seen = set()
distinct_news = []
for item in news_list:
    title = item["title"].strip()
    h = get_md5(title)
    if h not in seen:
        seen.add(h)
        distinct_news.append(item)

print(f"原始:{len(news_list)} 去重后:{len(distinct_news)}")

需要特别提醒：转载新闻经常修改标题，例如添加【快讯】、更改标点符号，标题MD5会直接失效。该方案适合小规模、标题几乎不变的数据集。

二、预处理清洗文本（所有去重方案的前置步骤）

从新闻网页获取的数据常混杂HTML标签、换行、空格、特殊符号、【】、#、摘要标记。无论后续使用哪种算法，一定要先清洗文本，这一步直接决定了去重效果的下限。

import re

def clean_news_text(text: str) -> str:
    """清洗新闻文本，去除干扰符号"""
    if not text:
        return ""
    # 去除HTML标签
    text = re.sub(r"<.*?>", "", text)
    # 去掉各类特殊符号、换行、多余空格
    text = re.sub(r"[【】《》#@nrt]", "", text)
    text = re.sub(r"s+", "", text)
    return text.strip()

使用建议：优先清洗标题，条件允许时清洗正文片段。清洗后再进行哈希或相似度计算，准确率能显著提升。

三、局部敏感哈希 SimHash：新闻行业经典模糊去重

新闻去重最经典的算法当属SimHash。核心思想：将长文本转换为指纹，指纹相似度高则判定为重复新闻。即使改几个字、增删几句话，依然能识别出是同一篇新闻。非常适合转载新闻、正文局部改动、标题微调等场景。

simhash简单实现

import hashlib

def get_hash(s):
    return int(hashlib.md5(s.encode("utf-8")).hexdigest(), 16)

def simhash(text: str, bit=64):
    words = list(text)
    v = [0]*bit
    for word in words:
        h = get_hash(word)
        for i in range(bit):
            if h >> i & 1:
                v[i] +=1
            else:
                v[i] -=1
    fingerprint = 0
    for i in range(bit):
        if v[i]>0:
            fingerprint |= 1 << i
    return fingerprint

def hamming_distance(h1, h2):
    return bin(h1 ^ h2).count("1")

# 测试
news1_title = clean_news_text("人工智能行业迎来新一轮发展机遇")
news2_title = clean_news_text("【快讯】人工智能行业迎来新一轮发展机遇！")

fp1 = simhash(news1_title)
fp2 = simhash(news2_title)

dist = hamming_distance(fp1, fp2)
print(f"汉明距离：{dist}")
# 新闻业务经验阈值：汉明距离 <=3 判定为重复新闻
if dist <=3:
    print("判定为重复新闻")

业务经验阈值：

• 汉明距离 ≤2：高度重复，几乎一样
• 汉明距离 3~4：大概率是转载新闻
• 汉明距离 >5：判定为不同新闻

注意：完整的SimHash工程实现通常使用分词（jieba）而非按单字切割，效果更佳。

结合jieba分词优化simhash

import jieba

def simhash_by_jieba(text:str, bit=64):
    words = jieba.lcut(text)
    v = [0]*bit
    for w in words:
        h = get_hash(w)
        for i in range(bit):
            if h >> i &1:
                v[i] +=1
            else:
                v[i] -=1
    fp =0
    for i in range(bit):
        if v[i]>0:
            fp |= 1 <
真实项目中，海量新闻库直接两两计算汉明距离速度很慢，通常采用分桶策略，将指纹分段存储，仅对比同一桶内的指纹，从而大幅降低计算量。
四、使用文本相似度：difflib 快速比对
适合小数据集，直接计算文本相似度得分，简单开箱即用。
from difflib import SequenceMatcher

def text_similarity(a:str,b:str)->float:
    return SequenceMatcher(None,a,b).ratio()

t1 = clean_news_text("大模型产业正在快速发展")
t2 = clean_news_text("快讯：大模型产业正在快速发展！")

score = text_similarity(t1,t2)
print(f"相似度得分：{score:.2f}")
if score >=0.85:
    print("判定重复新闻")

优点：简单，无需第三方库；缺点：数据量大时复杂度为O(n²)，上万条新闻就会变得很慢，适合小批量处理。
五、数据库场景下新闻去重实战
在爬虫入库时，通常不希望将全部指纹保留在内存中，而是将指纹存入MySQL。流程如下：
清洗新闻标题、正文
生成simhash指纹、MD5标题指纹
入库前查询数据库，比对指纹，判断是否重复；重复则跳过保存。
建表参考：
CREATE TABLE news(
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    title VARCHAR(500),
    content TEXT,
    source VARCHAR(100),
    publish_time DATETIME,
    title_md5 CHAR(32),
    simhash_fp BIGINT UNSIGNED,
    INDEX idx_title_md5(title_md5)
);
业务逻辑伪代码：
# 拿到爬虫新闻
raw_news = {...}
clean_title = clean_news_text(raw_news["title"])
md5_val = get_md5(clean_title)
fp = simhash_by_jieba(clean_title)

# 查询数据库是否存在重复
# 优先匹配title_md5；如果没有，再做simhash汉明距离比对

注意：MySQL直接大量计算汉明距离性能很差，百万级新闻建议使用分桶策略，或借助ES向量检索辅助去重。
六、不同方案选型对比
方案
适用场景
优点
缺点
标题MD5哈希
标题完全一致
速度极快
标题微调即失效，无法识别转载改写新闻
difflib相似度
小数据集（几千条以内）
简单，无需第三方库
大数据量性能差
SimHash
新闻转载、文本局部改动
工业界新闻去重标准，抗改写能力强
需要调参，海量数据需分桶优化
七、生产环境踩坑经验
不要只用标题做去重：部分新闻标题相同，但内容完全不同；条件允许时，标题+正文摘要共同生成simhash。
一定要做文本清洗：网页符号、【快讯】、换行空格会严重干扰指纹结果。
阈值不要写死：短文本（如短标题）汉明距离阈值应调小；长正文阈值可适度放大。
海量新闻不要两两循环比对，n²复杂度会爆炸，应使用simhash分桶或向量库。
时间差异：同一条新闻在不同时间转载，simhash可以识别，而单纯MD5会将其视为新新闻。
八、总结
新闻数据去重分为两个层级：精准去重（MD5）和模糊去重（SimHash）。
如果只是简单爬虫，标题基本不变，MD5足够简单高效；
如果做舆情、新闻分析，面临大量转载改写新闻，优先使用基于jieba分词的SimHash算法。
预处理清洗是所有方案的基础，很多人去重效果差，根源就在于没有做文本清洗，特殊符号干扰了指纹。如果数据量达到百万级别，内存方案已无法承载，就需要结合数据库分桶策略，或接入Elasticsearch向量检索进行大规模新闻去重。