通俗讲解DeepSeek开源:DeepEP,究竟是个啥?(第二弹)
deepseek开源周继flash-mla之后,再次推出第二弹deepep。让我们来看看这个新的大餐究竟是什么。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
画外音:上一顿还没消化完,新的大餐又来了。
今天我们简单聊聊:
吃瓜:DeepEP是做什么的?
技术:DeepEP是如何实现的?
普通人有什么用:对写提示词有什么启示?
【1】
DeepEP是做什么的?
DeepEP,即Distributed Expert Parallel Communication Library,是为混合专家MOE与并行专家EP量身定制的通信库。
DeepEP通信库能达到什么效果?
降低延时;
提升吞吐量;
其背后的意义在于:训练/计算更快,成本更低,模型迭代更快。
【2】
它是如何实现的?
核心思路:优化MOE混合专家节点间的数据分发与合并。
什么是混合专家MOE?
图片混合专家,即Mixture of Experts,这种模型思路不再追求大而全,而是追求多而专精。它会将任务动态路由给各个领域专家,并将各个领域专家的输出进行组合。
举个容易理解的例子。
大而全模型:全栈工程师。
混合专家模型:Java,FE,QA,DBA,OP工程师...
有了MOE之后,对LLM的架构有什么影响?
学习与训练阶段
之前:追求多参数
如今:训练多专家Expert(例如:1万个专家,每个专家单一职责SRP)
计算与执行阶段
之前:收到提示词input,一上来就干
如今:
先判断,需要几个专家(分类任务,很容易);
动态路由(需要一个门控网络作为协调者,Gating Network),分发任务给专家,专家并行计算;
组合专家输出, 协调者再统筹输出;
新的模式,不管是训练阶段还是执行阶段,专家节点之间都需要进行大量的通讯,而DeepEP就好比节点间的智能物流:
NVLink优化,好比建成城际高铁,负责同一节点内专家高速通讯,交换数据,带宽高达160GB/s,接近硬件极限;
RDMA优化,好比建成跨城磁悬浮,负责跨节点专家高速通讯,跨节点直接访问内存,带宽高达50GB/s;
FP8优化,低精度运算,好比货物压缩,更省空间,能交换更多信息;
这些优化对deepseek非常重要:
专家分发(Dispatch):数据快速精准分配给多个专家;
数据合并(Combine):汇总各个专家的处理结果,统筹形成最终数据;
【3】
对我们普通人写提示词有什么启示?
为了充分发挥deepseek的混合专家MOE的最大潜力,可以显性告诉它,你希望它扮演哪些专家角色来回复问题。
bad case:如何设计高并发高可用系统?
这样的提示词,你会得到一个泛泛而谈的回答。
good case:假设你是由以下专家组成的团队:
分布式领域系统架构师
电商领域业务架构师
资深DBA
请分别从各自领域提出5项技术选型建议,并组合设计方案满足每秒10万次交易,数据满足最终一致性,故障恢复时间小于30秒的系统。
没错,你不止可以让deepseek扮演一个角色,你甚至可以让他扮演专家团的多个角色。此时处理时间并不会显著增长,但输出质量会显著提高。
节省训练资源,缩短回复时间,提升回答质量,多个专家还能够交叉验证(大而全模型可能过拟合),deepseek创新性使用MOE之后,很快就得到了业界的广泛认可与复制。
稍作总结
DeepEP,是为混合专家MOE量身定制的通信库;
DeepEP的核心思路是:优化MOE混合专家节点间的数据分发与合并;
提示词层面:通过让deepseek显示扮演专家团的多个角色,能充分发挥deepseek的混合专家MOE机制,不会显著增加处理时间,但能显著提升输出质量;
一切的一切,提示词只有适配了AI的认知模式,才能最高效的发挥最大的作用。
知其然,知其所以然。
思路比结论更重要。
相关攻略
4月5日消息,据“上海交通大学”公众号消息,日前,米哈游联合创始人、总裁、董事长、上海交通大学2005级信息工程专业本科、2009级通信与信息系统专业硕士校友刘伟,代表米哈游创始团队蔡浩宇、罗宇皓,
据彭博社近日报道称,尽管2026年Alphabet、亚马逊、Meta和微软等科技巨头都要投入超过6,500亿美元扩展人工智能(AI),但关键电气元件可用性成为主要障碍,近50%将因电力基础设施短缺和
4月6日消息,最近两年AI发展速度越来越快,AI取代大量工作导致人类失业的说法甚嚣尘上,然而事实可能不是这样。著名风投机构创始人a16z联合创始人Marc Andreessen也是AI圈的大佬,他日
4月6日消息,今日,红果短剧发布《关于持续治理AI短剧素材违规使用行为的公告》(以下简称《公告》)。《公告》显示,今年一季度,平台已累计下架违反平台治理规范的漫剧1718部。其中,针对近期AI短剧素
4月4日消息,发布仅1天的阿里千问新模型Qwen3 6-Plus,冲上全球知名大模型API调用平台OpenRouter的日榜榜首,成为当下最受企业和开发者热捧的大模型。OpenRouter最新数据显
热门专题
热门推荐
清明节假期期间,A 股和港股休市,但比特币行情永不停歇。 4月6日,当多数市场还在假期中沉睡时,比特币已经悄然启动。价格从亚洲早盘的低点67400美元出发,一路向上试探,盘中最高涨破70300美元,不仅刷新了3月26日以来的高位,较日内低点的涨幅也超过了4%。以太坊的表现同样不俗,从2050美元附近
4月5日消息,日前,REDMI K90至尊版通过3C认证,预计将于本月发布。今日,小米中国区市场部总经理魏思琪用小米新机发布微博,不出意外,这正是即将登场的REDMI K90至尊版,这将是小米首款配
WPS演示中图表不随数据更新时,可通过四种方法实现自动同步:一、用OFFSET+COUNTA定义动态名称绑定图表;二、用组合框控件联动VLOOKUP提取数据;三、用数据透视图配合切
聚焦数字技术,释放创新动能。为集中展示静安区区块链技术从“实验室”走向“应用场”的丰硕成果,挖掘一批可复制、可推广的行业解决方案,加速构建区块链产业生态闭环,静安区数据局特推出“静安区区块链创新应用
太空中的马桶堵了,边飞边修还能勉强用。但中东被点燃的火药桶,美国怎么来扑灭?靠一再延期的“最后通牒”?还是靠无底线的轰炸?2300万美元的马桶美国航空航天局4名宇航员1日搭乘“猎户座”飞船升空,执行





