双向管道并行:让前向传播与反向传播同时进行,把 pipeline bubbles 填满
DeepSeek 开源拆解:DualPipe(12/16)
双向管道并行:让前向传播与反向传播同时进行,把 pipeline bubbles 填满
「一起进化,一起复利」
双向管道并行:让前向传播与反向传播同时进行,把 pipeline bubbles 填满
双向管道并行:让前向传播与反向传播同时进行,把 pipeline bubbles 填满
FP8 通用矩阵乘法库:300 行优美的代码,简洁、高效、高精度
FP8 通用矩阵乘法库:300 行优美的代码,简洁、高效、高精度
为混合专家 MOE 与并行专家 EP 量身定制的通信库:降低延时,提升吞吐量
为混合专家 MOE 与并行专家 EP 量身定制的通信库:降低延时,提升吞吐量
GPU 高速解码器与多头潜在注意力机制 MLA
GPU 高速解码器与多头潜在注意力机制 MLA
CREATE 提示词框架:把反事实推理用在自己的提示词里
CREATE 提示词框架:把反事实推理用在自己的提示词里
构建与事实相反的假设性情景,探索因果关系和潜在结果
构建与事实相反的假设性情景,探索因果关系和潜在结果
将问题化整为零,在问题与答案之间建立临时的桥梁
将问题化整为零,在问题与答案之间建立临时的桥梁
动态注意力机制:让模型在处理过程中,把资源聚焦于当下最重要的部分
动态注意力机制:让模型在处理过程中,把资源聚焦于当下最重要的部分
知识图谱激活:属性明确化、关系显式化、领域与身份显式化
知识图谱激活:属性明确化、关系显式化、领域与身份显式化
混合专家 MOE:不再追求大而全,转而追求多而专精
混合专家 MOE:不再追求大而全,转而追求多而专精