当我们需要对海量非结构化文本进行语义级分类——例如处理用户反馈、客服对话或产品评论时——最直观的方案是依靠千问这类大模型统一分析。但实际操作中,逐条手动输入效率极低,且模型输出缺乏结构化,这该如何解决?事实上,实现这一目标有五种成熟的技术路径:API批量调用、本地向量化加分类器、规则驱动流水线、APP端表格Agent,以及基于重排序模型的联合分类。下面逐一深入拆解。

如果你手头已有大量非结构化文本数据,希望借助千问模型统一完成语义分类,但发现单次交互只能逐条输入、输出又不结构化,这通常是因为尚未启用批量推理机制、未正确配置模型接口,或者输入格式尚需优化。以下五种技术路径,能帮你高效搞定批量文本分类任务。
一、调用通义千问 API 实现批量文本分类
这条思路最为直接:通过HTTP请求将文本列表批量发送至千问服务端,让模型一次性返回每条文本的预测类别及置信度。运行脚本即可全自动完成分类。它特别适合已有结构化数据源(如Excel、CSV)且需要程序化集成的场景。
具体操作分为四步:
1. 准备好待分类文本列表,以JSON格式存储,结构示例如下:{"texts": ["物流太慢了", "产品质量很好", "客服态度差"]}。
2. 使用curl或Python的requests库,向千问API端点发起POST请求,请求头中必须包含有效的Authorization Token。
3. 在请求body中指定model参数,推荐选用 qwen-plus 或 qwen-max,同时附上清晰的prompt指令,例如:“请对以下每条用户反馈进行情感倾向分类,输出结果为JSON数组,每个元素包含‘text’、‘label’(取值:正面/负面/中性)、‘confidence’(0.0–1.0)”。
4. 收到响应后解析JSON,提取label字段,并写回本地CSV文件,至此批量标注完成。
二、使用 Qwen3-Embedding + 本地分类器联合建模
如果你对数据隐私较为敏感,或需要离线运行、便于反复调参,那么此方案更为适用。其核心思路是先用Qwen3-Embedding将全部文本向量化,再接入一个轻量级分类器(如SVM、逻辑回归)进行批量预测。
具体步骤:
1. 下载并加载 Qwen3-Embedding-0.6B 模型,确保环境中已安装torch和transformers库。
2. 读取原始文本文件(如feedbacks.txt),按行拆分为文本列表,剔除空行和超长文本(超过2048字符的截断或跳过)。
3. 调用 embedder.encode() 批量生成句向量,输出维度为 (N, 1024) 的numpy数组。
4. 加载之前训练好的SVM分类器(存为.pkl文件),调用 predict() 和 predict_proba(),获取每条文本的标签及概率。
5. 将原始文本、预测标签、最高置信度三列合并为一个DataFrame,导出为 classified_output.xlsx。
三、通过 OpenClaw 构建语义规则驱动的批量分类流水线
该方法适合业务规则频繁变动、需要人工可解释归因的场景。它将自然语言指令与声明式YAML规则相结合,在OpenClaw框架内定义多层级匹配逻辑,千问模型可动态扩展关键词和语义边界。
操作方式:
1. 编辑OpenClaw的技能配置文件 ~/.openclaw/skills/text-classifier/config.yaml,添加rules列表。
2. 定义一条规则,例如命名为“物流投诉”,conditions中包含 model_check: "判断是否表达对配送时效、包裹状态或快递员行为的不满",以及 content_contains: ["延误", "没收到", "丢件", "态度恶劣"]。
3. 设置actions:tag: "logistics_complaint" 和 move_to: "~/Reports/Classified/{{YYYY-MM-DD}}/"。
4. 执行 openclaw skills reload text-classifier 加载新规则。
5. 最后运行指令:“分析 ~/Downloads/feedback_batch/ 目录下全部 .txt 文件,依据 config.yaml 中定义的全部规则执行分类与归档”。
四、在千问 APP 内使用“表格 Agent”实现跨文档文本分类
这个方案对不熟悉代码的用户特别友好。它完全依托千问APP最新版内置的表格理解能力,上传多个Excel文件后,通过自然语言指令驱动模型完成整表级的语义分类,全程在端侧处理,响应时间通常控制在90秒以内。
操作流程:
1. 打开通义千问APP,进入“文档”页,点击“批量上传”,一次可选择最多100个Excel文件(每个表中必须包含“反馈内容”列)。
2. 上传完成后,点击任意已上传文件的缩略图,进入文档解析界面。
3. 在对话框输入指令:“将所有已上传表格中的‘反馈内容’列文本,按情感倾向分为‘正面’‘负面’‘中性’三类,并在原表新增‘分类结果’列显示对应标签”。
4. 等待模型处理完毕,点击右上角“导出为Excel”,系统将自动生成包含分类列的合并文件。
五、基于 Qwen3-Reranker-0.6B 实现联合排序与分类输出
如果你的任务不仅需要分类,还涉及排序——例如工单优先级判定、FAQ匹配增强等复合型任务——那么此方法尤为合适。它利用Qwen3-Reranker的多任务学习架构,在进行文本相关性重排序的同时,同步输出细粒度分类结果。
具体操作:
1. 启动本地vLLM服务,加载 Qwen3-Reranker-0.6B 模型,监听在8080端口。
2. 构造请求体,包含query字段(例如“客户投诉类型识别”)和documents字段(待分类文本列表)。
3. 发送POST请求至 http://127.0.0.1:8080/rerank,请求头设置 Content-Type: application/json。
4. 解析返回的JSON,提取每个document对应的 rerank_score 和 cls_label 字段——后者即为模型联合输出的分类标签。
5. 按 rerank_score 降序排列结果,将 cls_label 写入输出文件的首列。
