我也想过过过儿过过的生活，分词工具表示“人类的语言太难了”
热心网友
47
转载
本文测试了PaddleNLP等多个分词工具在疑难案例和垂类领域的表现。对“我没有上上上上海的火车”等趣味句子，各工具分词结果有差异；在垂类领域，PaddleNLP精确模式对专有名词识别更优，通用领域也表现出色，其他工具各有优劣，测试仅供娱乐，最新测试更权威。
听说，PaddleNLP新发多个任务的一键预测能力，
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
突发奇想，用疑难case玩玩TA。上最简单的任务吧 ———分词。
嗯...谁说分词简单，真的吗？
安装了几个分词工具：
In [1]# 首次更新完以后，重启后方能生效!pip install --upgrade paddlenlp!pip install jieba!pip install snownlp!pip install thulac!pip install pkuseg登录后复制In [2]
import paddlenlpimport jiebaimport snownlpimport thulacimport pkusegassert(paddlenlp.__version__ == '2.2.5') # check下PaddleNLP是不是最新版登录后复制In [3]
# 这几个分词工具的使用方式都非常简单，把PaddleNLP三种分词模式测了个遍seg_paddlenlp_accurate = paddlenlp.Taskflow("word_segmentation", mode="accurate") # 精准模式，基于百度-解语，实体粒度分词最精准！seg_paddlenlp_fast = paddlenlp.Taskflow("word_segmentation", mode="fast") # 快速模式，基于NLPer都知道的jieba，快！seg_paddlenlp_default = paddlenlp.Taskflow("word_segmentation") # 默认模式，基于百度LAC，精度和速度的完美权衡！seg_jieba = jieba.cutseg_snownlp = snownlp.SnowNLPseg_thulac = thulac.thulac(seg_only=True).cut #只进行分词，不进行词性标注seg_pku = pkuseg.pkuseg().cut # 以默认配置加载模型登录后复制In [4]# 就是玩，哈哈，好奇他们搞得定这些疑难case吗test_list = [ '我没有上上上上海的火车', '骑车出门差点摔跤，还好我一把把把把住了', '我爸是我爸，我是我爸儿', '灭霸爸爸叭叭叭叭儿的在那叭叭啥呢', '姑姑你估估我鼓鼓的口袋里有多少谷和菇', '胖胖的胖胖不想再胖胖', '你知不知道我不知道你知道我是谁', '我想梦梦梦梦梦过的梦', '我也想过过过儿过过的生活',]登录后复制In [5]
for input in test_list: print('input: ', input) print('PaddleNLP 精确模式: ', ' '.join(seg_paddlenlp_accurate(input))) print('PaddleNLP 快速模式: ', ' '.join(seg_paddlenlp_fast(input))) print('PaddleNLP 默认模式: ', ' '.join(seg_paddlenlp_default(input))) print('Jieba 默认模式: ', ' '.join(seg_jieba(input))) print("SnowNLP: ", ' '.join(seg_snownlp(input).words)) text = seg_thulac(input) lb = [i[0] for i in text] print("THULAC: ",' '.join(lb)) text = seg_pku(input) print("PkuSeg: ", ' '.join(text)) print('\r\n')登录后复制input: 我没有上上上上海的火车PaddleNLP 精确模式: 我 没有 上上 上 上海 的 火车登录后复制
Building prefix dict from the default dictionary ...Dumping model to file cache /tmp/jieba.cacheLoading model cost 0.776 seconds.Prefix dict has been built successfully.登录后复制
PaddleNLP 快速模式: 我 没有 上 上 上 上海 的 火车PaddleNLP 默认模式: 我 没有 上上 上 上海 的 火车Jieba 默认模式: 我 没有 上 上 上 上海 的 火车SnowNLP: 我 没有 上上 上 上海 的 火车THULAC: 我 没有 上 上 上 上海 的 火车PkuSeg: 我 没有 上上 上 上海 的 火车input: 骑车出门差点摔跤，还好我一把把把把住了PaddleNLP 精确模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把把 把住 了PaddleNLP 快速模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把 把 把住 了PaddleNLP 默认模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把 把 把 住 了Jieba 默认模式: 骑车 出门 差点 摔跤 ， 还好 我 一把 把 把 把住 了SnowNLP: 骑车 出门 差点 摔跤 ， 还 好 我 一把把 把 把 住 了THULAC: 骑车 出门 差点 摔跤 ， 还 好 我 一把把 把 把 住 了PkuSeg: 骑车 出门 差点 摔跤 ， 还好 我 一把把 把 把 住 了input: 我爸是我爸，我是我爸儿PaddleNLP 精确模式: 我爸 是 我爸 ， 我 是 我爸 儿PaddleNLP 快速模式: 我爸 是 我 爸 ， 我 是 我 爸儿PaddleNLP 默认模式: 我 爸 是 我 爸 ， 我 是 我 爸儿Jieba 默认模式: 我爸 是 我 爸 ， 我 是 我 爸儿SnowNLP: 我 爸 是 我 爸 ， 我 是 我 爸儿THULAC: 我 爸 是 我 爸 ， 我 是 我 爸儿PkuSeg: 我 爸 是 我 爸 ， 我 是 我 爸儿input: 灭霸爸爸叭叭叭叭儿的在那叭叭啥呢PaddleNLP 精确模式: 灭霸 爸爸 叭叭叭叭 儿 的 在 那 叭叭 啥 呢PaddleNLP 快速模式: 灭霸 爸爸 叭叭 叭叭 儿 的 在 那 叭叭 啥 呢PaddleNLP 默认模式: 灭霸 爸爸 叭 叭叭叭儿 的 在 那 叭 叭 啥 呢Jieba 默认模式: 灭霸 爸爸 叭叭 叭叭 儿 的 在 那 叭叭 啥 呢SnowNLP: 灭 霸 爸爸 叭叭 叭叭 儿 的 在 那叭叭 啥 呢THULAC: 灭霸 爸爸 叭叭 叭叭儿 的 在 那 叭叭 啥 呢PkuSeg: 灭霸 爸爸 叭叭 叭叭儿 的 在 那 叭叭 啥 呢input: 姑姑你估估我鼓鼓的口袋里有多少谷和菇PaddleNLP 精确模式: 姑姑 你 估估 我 鼓鼓 的 口袋 里 有多少 谷 和 菇PaddleNLP 快速模式: 姑姑 你 估估 我 鼓鼓的 口袋 里 有 多少 谷和菇PaddleNLP 默认模式: 姑姑你 估估 我 鼓鼓 的 口袋 里 有 多少 谷 和 菇Jieba 默认模式: 姑姑 你 估估 我 鼓鼓的 口袋 里 有 多少 谷和菇SnowNLP: 姑姑 你 估 估 我 鼓鼓 的 口袋 里 有 多少 谷 和菇THULAC: 姑姑 你 估估 我 鼓鼓 的 口袋 里 有 多少 谷 和 菇PkuSeg: 姑姑 你 估估 我 鼓鼓的 口袋 里 有 多少 谷 和 菇input: 胖胖的胖胖不想再胖胖PaddleNLP 精确模式: 胖胖 的 胖胖 不想 再 胖胖PaddleNLP 快速模式: 胖胖的 胖胖 不想 再 胖胖PaddleNLP 默认模式: 胖胖 的 胖胖 不 想 再 胖胖Jieba 默认模式: 胖胖的 胖胖 不想 再 胖胖SnowNLP: 胖胖 的 胖胖 不 想 再 胖胖THULAC: 胖 胖 的 胖 胖 不 想 再 胖 胖PkuSeg: 胖胖 的 胖胖 不 想 再 胖胖input: 你知不知道我不知道你知道我是谁PaddleNLP 精确模式: 你 知不知道 我 不知道 你 知道 我 是谁PaddleNLP 快速模式: 你 知不知道 我 不 知道 你 知道 我 是 谁PaddleNLP 默认模式: 你 知不知道 我 不知道 你 知道 我 是 谁Jieba 默认模式: 你 知不知道 我 不 知道 你 知道 我 是 谁SnowNLP: 你 知 不 知道 我 不 知道 你 知道 我 是 谁THULAC: 你 知 不 知道 我 不 知道 你 知道 我 是 谁PkuSeg: 你 知 不 知道 我 不 知道 你 知道 我 是 谁input: 我想梦梦梦梦梦过的梦PaddleNLP 精确模式: 我 想 梦梦梦梦梦 过 的 梦PaddleNLP 快速模式: 我 想 梦梦 梦 梦梦 过 的 梦PaddleNLP 默认模式: 我 想 梦梦梦梦 梦过 的 梦Jieba 默认模式: 我 想 梦梦 梦 梦梦 过 的 梦SnowNLP: 我 想 梦 梦 梦 梦 梦 过 的 梦THULAC: 我 想 梦 梦 梦 梦 梦 过 的 梦PkuSeg: 我 想 梦 梦 梦 梦 梦 过 的 梦input: 我也想过过过儿过过的生活PaddleNLP 精确模式: 我 也 想过 过 过 儿 过 过 的 生活PaddleNLP 快速模式: 我 也 想 过 过 过儿 过过 的 生活PaddleNLP 默认模式: 我 也 想过 过 过儿 过 过 的 生活Jieba 默认模式: 我 也 想 过 过 过儿 过过 的 生活SnowNLP: 我 也 想 过过 过 儿 过 过 的 生活THULAC: 我 也 想 过 过 过儿 过 过 的 生活PkuSeg: 我 也 想 过过 过儿 过过 的 生活登录后复制
免责声明：
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关攻略
一个月费$200的Claude Max订阅，用出了$5000的算力价值——这件事最终让Anthropic下定决心，彻底关上了第三方工具“蹭订阅”的大门。北京时间4月4日，Anthropic向订阅用户
IT之家 4 月 4 日消息，国外维修团队 iFixit 昨日发布视频，拆解苹果 AirPods Max 2，发现其内部结构与初代产品高度相似，可沿用旧版拆解手册。IT之家附上相关拆解视频如下：iF
每日经济新闻4月1日消息 当地时间3月31日，被视为OpenAI最强竞争对手的Anthropic再次遭遇代码泄露事件，是其在一周内遭遇的第二起重大数据失误事件。Anthropic因npm包打包失误，
IT之家 3 月 31 日消息，据《滚石》杂志的深度调查显示，AI 生成工具正迅速渗透专业音乐制作领域，但整个行业却对此讳莫如深。今年早些时候，Suno 首席执行官米奇 · 舒尔曼接受《卫报》采访时
克雷西 发自 凹非寺量子位 | 公众号 QbitAIAI进入营销行业，已经是定局。艾瑞咨询报告显示，去年中国AI营销市场规模达669亿元，年复合增长率26 2%这个增速背后，是整个行业链条——从内容
热门专题
刀塔传奇破解版无限钻石下载大全
2025-08-05
洛克王国正式正版手游下载安装大全
2025-08-05
热门推荐
清明节假期期间，A 股和港股休市，但比特币行情永不停歇。 4月6日，当多数市场还在假期中沉睡时，比特币已经悄然启动。价格从亚洲早盘的低点67400美元出发，一路向上试探，盘中最高涨破70300美元，不仅刷新了3月26日以来的高位，较日内低点的涨幅也超过了4%。以太坊的表现同样不俗，从2050美元附近
4月5日消息，日前，REDMI K90至尊版通过3C认证，预计将于本月发布。今日，小米中国区市场部总经理魏思琪用小米新机发布微博，不出意外，这正是即将登场的REDMI K90至尊版，这将是小米首款配
WPS演示中图表不随数据更新时，可通过四种方法实现自动同步：一、用OFFSET+COUNTA定义动态名称绑定图表；二、用组合框控件联动VLOOKUP提取数据；三、用数据透视图配合切
聚焦数字技术，释放创新动能。为集中展示静安区区块链技术从“实验室”走向“应用场”的丰硕成果，挖掘一批可复制、可推广的行业解决方案，加速构建区块链产业生态闭环，静安区数据局特推出“静安区区块链创新应用
太空中的马桶堵了，边飞边修还能勉强用。但中东被点燃的火药桶，美国怎么来扑灭？靠一再延期的“最后通牒”？还是靠无底线的轰炸？2300万美元的马桶美国航空航天局4名宇航员1日搭乘“猎户座”飞船升空，执行