无辅助损失负载平衡的DeepSeekMoE
DeepSeek-V3提出了一种无辅助损失的负载均街策略(Loss-Free
Balancing),通过动态调整每个专家的偏差来控制负载平街，而不引入干扰梯度。减少因鼓励负载均街而对模型性能产生的负面影响。
Multi-Head Latent Attention(MLA)
MLA的核心在于通过低秩联合压缩来减少注意力键(keys)和值(values)在推理过程中的缓存，从而提高推理效率多token预测(Multi-Token Prediction,MTP)
主流大模型token-by-token生成序列，而每次token生成需要频繁与访存交互，从而因为访存效率形成训练或推理的瓶颈。MTP方法主要将单token的生成，率变成多token的生成，提升训练和推理的性能。DeepSeek主要对传统MTP算进行了一定优化，顺序预测额外token,并在每个预测深度保持完整的因果链。
FP8混合精度训练框架
在DeepSeek的训练过程中，绝大多数核心计算核(即通用矩阵乘法GEMM操作)均以FP8精度实现。这些GEMM操作接受FP8张量作为输入，并输出BF16或FP32格式的结果。如下图所示，与线性算子(Linear operator)相关的三个GEMM运算——前向传播(Fprop)、激活梯度反向传播(Dgrad)和权重梯度反向传播(Wgrad)—都采用FP8精度执行。对以下模块维持原有精度(如BF16或FP32):嵌入模块(embeddingmodule)、输出头(output head)、混合专家门控模块(MoE gating modules)、标准化算子(normalization operators)以及注意力算子(attention operators).(尽管FP8格式具有计算效率优势，但由于部分算子对低精度计算较为敏感，仍需保持更高计算精度)计算-通信重叠(DualPipe调度策略)
DeepSeek-V3设计了DualPipe算法，用于高效的流水线并行计算。该算法通过重叠计算和通信，减少了流水线气泡，并在跨节点的专家并行训练中实现了近乎完全的计算-通信重叠，显著提升了训练效率。
通过PTX手动优化跨芯片通信
英伟达H800芯片互联带宽相比H100被阉割，为弥补这一缺陷，DeepSeek偕助PTX手动优化跨芯片通信，保障数据传输效率。
PTX是CUDA编译的中间代码，处于高级编程语言(如CUDA C/C++)和底层机器码(SASS)之间，起到在CUDA和最终机器码之间的桥梁作用。
偕助PTX,开发者能够直接对GPU的寄存器分配，线程调度等硬件级操作进行控制，实现细粒度的性能优化。在多GPU协同训练场景中，可通过PTX手动调整跨芯片通信效率，提升整体训练效能。
本文来自知之小站
PDF完整报告已分享至知识星球，微信扫码加入立享4万+最新精选报告
（星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com）
