为混合专家 MOE 与并行专家 EP 量身定制的通信库:降低延时,提升吞吐量
DeepSeek 开源拆解:DeepEP(10/16)
为混合专家 MOE 与并行专家 EP 量身定制的通信库:降低延时,提升吞吐量
「一起进化,一起复利」
DeepSeek 原理与实践:从提示词原则到 MoE、注意力机制、流水线并行的开源拆解,读懂幻方的工程哲学。
为混合专家 MOE 与并行专家 EP 量身定制的通信库:降低延时,提升吞吐量
为混合专家 MOE 与并行专家 EP 量身定制的通信库:降低延时,提升吞吐量
FP8 通用矩阵乘法库:300 行优美的代码,简洁、高效、高精度
FP8 通用矩阵乘法库:300 行优美的代码,简洁、高效、高精度
双向管道并行:让前向传播与反向传播同时进行,把 pipeline bubbles 填满
双向管道并行:让前向传播与反向传播同时进行,把 pipeline bubbles 填满
专家并行的动态负载均衡:分级、冗余、就近、动态
专家并行的动态负载均衡:分级、冗余、就近、动态
一个文件系统而已?任何脱离业务的架构设计都是耍流氓
一个文件系统而已?任何脱离业务的架构设计都是耍流氓
大规模跨节点专家并行 EP:545% 利润率背后的软件架构优化
大规模跨节点专家并行 EP:545% 利润率背后的软件架构优化
存储 3FS、通信 hfreduce、计算 hfai.nn:我们缺的从来都不是钱,而是高端芯片
存储 3FS、通信 hfreduce、计算 hfai.nn:我们缺的从来都不是钱,而是高端芯片