<aside>

本文由人类编写

</aside>

1. 背景

基于 Deepseek 新开的论文中所讲，mHC 改进了 HC 的训练过程，且提到新的模型使用了 mHC 进行训练，那么站在推理的角度，针对 mHC 使用的三个融合算子，有必要先用 CuTile 搓一个前向的 demo 出来。用于了解算法内容，以及为后续的调优提供一定的基础。

[!info] arxiv.org

https://arxiv.org/pdf/2512.24880

2. 计算过程分析

从算子角度看，mHC 的前向计算并不复杂，本质上是：

[!important]

用一个 GEMM + 若干约束函数，生成三组 mixing 系数，再用这些系数去重新组织 residual stream。

为了方便分析，先约定几个维度含义（与论文、实际实现保持一致）：

• B：Batch × SeqLen
• n：mHC 的扩张系数（通常为 4）
• C：原始 hidden size
• X_t ∈ R^{B × nC}：n 路 residual 拼接后的输入

2.1 一次 GEMM，生成全部未约束系数

mHC 首先通过一次大的线性变换，生成所有 mixing 的“原始参数”：

[H̃̃_pre , H̃̃_post , H̃̃_res] = X_t · φ_t