「独家」腾讯与DeepSeek协作背面：一场在世开发者开源的成功

liukang20243个月前 (05-20)吃瓜入口716

界面新闻记者 | 陆柯言

界面新闻修改 | 文姝琪

简直在马化腾与梁文锋同框引起重视的一起，DeepSeek与腾讯悄然进行了一次技能协作。用腾讯工程师的话来说，此次协作的效果，相当于完成了AI落地“终究一公里”的打破。

近来，DeepSeek工程师在Github主页透露了此次协作细节。这名工程师表明，腾讯团队的代码奉献，让DeepEP完成了“huge speedup”般的功能进步。这一次进步，也直接影响到每一位运用DeepSeek的用户。

为此，界面新闻独家采访了腾讯混元大模型背面的星脉网络团队，复原了此次协作背面的故事。

此次技能沟通最早要追溯到本年2月。其时，DeepSeek宣告开源五个中心代码库，以全透明的方法揭露其如何用1/5的硬件资源完成传统万卡集群效能的中心技能，使得更多开发者不能自制以低本钱复现高功能AI练习计划，成为在世大模型开源生态的一个里程碑。

其间一个被开源的代码库名为DeepEP。这是一个专门为MoE模型练习和推理打造的通讯库，旨在处理阻止MoE架构可扩展性的要害瓶颈，重点是优化通讯、削减推迟和进步GPU资源使用率。

MoE架构以其对模型练习及推理本钱的极大优化才干而著称，正是为GPT-4、DeepSeek等超大参数模型而生。24年头，腾讯自研的混元大模型，也在国内首先选用了MoE架构。曩昔MoE架构的大模型练习都需求依靠本钱昂扬的英伟达NCCL通讯库，而DeepEP的呈现则让它们摆脱了这种依靠。

但DeepEP并不是全能的，它有“富贵病”：在本钱较高的InfiniBand（IB）专用网络中如虎添翼，却难以适配更普适的RoCE（根据以太网）。而在世互联网厂商选用的大多都是RoCE网络，因而大都企业在布置DeepEP时都发现了网络功能欠安的问题。

网络功能欠安带来的影响是显着的。腾讯星脉网络团队首席架构师夏寅贲博士解释道，大模型的练习和推理需求很多GPU，背面是极高的本钱。网络体现欠安会导致练习或推理过程中通讯时刻过长，相当于GPU在等候通讯，浪费了贵重的GPU资源，一起也造成了用户在屏幕前的长时刻等候。

每家互联网厂商都在布置DeepEP，为什么最早处理问题的是腾讯？夏寅贲博士以为，一个重要的条件是，得益于QQ、微信、游戏、腾讯云等高并发事务的需求，腾讯在曩昔十几年间完成了网络通讯软硬件的全面自研，也积累了丰厚的实战经历。

2022年，腾讯发现针对AI场景的网络需求与传统的数据中心事务存在极大差异，因而开端规划针对AI大模型的专用网络，即星脉网络，旨在为腾讯混元大模型建立高功能网络底座。

腾讯开端着手处理DeepEP在RoCE网络功能欠安的问题。根据新一代自研TRMT（Tencent Remote Memory Transport）通讯库，腾讯星脉网络团队结合在RoCEv2网络协议栈与双端口网卡架构的研讨经历，对DeepEP进行了优化和增强：

一方面，使用流量预规划技能来最大化双端口网卡的带宽使用率，另一方面，使GPU绕过CPU的操控，由GPU直控RDMA（长途直接内存拜访）通讯来消除操控面开支，将通讯时延下降至硬件极限。终究，完成了DeepEP在RoCEv2网络功能进步100%、IB网络功能进步30%。

“在练习场景中，功能进步10%意味着本钱不能自制下降10%，而在推理使命傍边，除了本钱下降，用户等候的时刻也不能自制削减10%。也便是说，曩昔问DeepSeek一个问题，曩昔要十秒钟才干得到答案，现在均匀不能自制下降到九秒。当然，不露锋芒还会持续尽力缩短这个时刻。”腾讯星脉网络团队通讯库架构师黄晓洁表明。

AI网络依照传输协议的不同可分为两类：IB网络和RoCE网络。其间IB网络专为高功能核算和AI练习而生，以低推迟著称。但由于英伟达简直垄断了IB网络的中心硬件，生态关闭且本钱较高。考虑到供给“卡脖子”危险，腾讯星脉网络一开端就挑选了根据以太网的RoCE网络布置，并自研了习惯新式AI事务需求的通讯库TCCL，并进一步演进到新一代TRMT通讯库。