{ "source_file": "0930", "source_platform": "个人博客", "author": "苏剑林", "title_listed": "简单谈谈K3的MoE和Attention", "keywords": "MoE,MLA,K3,LatentMoE", "domain": "大模型算法", "content_type": "深度技术解析", "is_paid_flag": "否", "url": "https://spaces.ac.cn/archives/11848", "publish_date": "2026-08", "corpus_stage": "预训练/SFT", "notes": "K3 模型架构设计", "id": "7d03b5a4b3c4", "collected_at": "2026-10-02T15:14:57", "title": "简单谈谈K3的MoE和Attention - 科学空间|Scientific Spaces", "body_markdown": "SEARCH\nMENU\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\nCATEGORIES\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\nNEWPOSTS\n如何让GDN2更稳定一些？\n通过微扰分析求解等式约束优化问题\n慢即是快：1. Shampoo的尽...\n排序不等式及其推广\n让炼丹更科学一些（十）：单调性假设...\n让炼丹更科学一些（九）：经典自适应...\n让炼丹更科学一些（八）：多阶段训练...\n动量的新理解：逼近特征层面的梯度下降\n流形上的最速下降：7. Stief...\n除了交叉熵，LM Loss还有什么选择？\nCOMMENTS\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...\nAli Hatamizadeh\n: Thank you for looking into this...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...\n苏剑林\n: Thanks for sharing! I looked in...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyx...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 htt...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\nUSERLOGIN\n登录\n科学空间|Scientific Spaces\n登录\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\n渴望成为一个小飞侠\n欢迎订阅\n个性邮箱\n天象信息\n观测ISS\nLaTeX\n关于博主\n欢迎访问“科学空间”，这里将与您共同探讨自然科学，回味人生百态；也期待大家的分享～\n千奇百怪\nEverything\n天文探索\nAstronomy\n数学研究\nMathematics\n物理化学\nPhy-chem\n信息时代\nBig-Data\n生物自然\nBiology\n图片摄影\nPhotograph\n问题百科\nQuestions\n生活/情感\nLife-Feeling\n资源共享\nResources\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\n首页\n信息时代\n简单谈谈K3的MoE和Attention\n4\nAug\n简单谈谈K3的MoE和Attention\nBy\n苏剑林\n|\n2026-08-04\n|\n31047位读者\n|\n:\n上个月，我们发布了迄今为止最大的开源模型\nK3\n。\n作为K2的继任者，K3并不是一次从零开始的重新设计，而是沿着我们过去一系列工作自然演化而来，并融合了我们对效果、效率、稳定性的一些最新理解和改进。可以说，它是一项持续的、“集大成”的研究成果，而非孤注一掷的豪赌。\n这篇文章，我们来聊聊K3在架构上的一些设计思路。\n写在前面\n#\n简单来说，在架构方面K3 = KDA + MLA + Stable LatentMoE + AttnRes，训练优化器依然是Moonlight版Muon，但Attention部分的权重改成了Per-Head形式来优化。\n在这些东西之中，AttnRes我们之前已经在\n《Attention Residuals 回忆录》\n做过详细介绍，而KDA我们也已经分享过详细的技术报告\n《Kimi Linear: An Expressive, Efficient Attention Architecture》\n。至于Per-Head Muon，它其实没有效果上的优势（当然也没有劣势），改用它更多是出于正确性考虑（每个Head本就是相对独立的，不应耦合在一块）。\n所以接下来，我们主要围绕着MoE和MLA部分来讨论：前者聊聊我们是如何“驯服”LatentMoE的；后者聊聊我们在Attention上的取舍。\n混合专家\n#\nK3所用的MoE，我们称之为“Stable LatentMoE”，顾名思义，它是“Stable”的“LatentMoE”，其中LatentMoE不是新的，它出自\n《LatentMoE: Toward Optimal Accuracy per FLOP and Parameter in Mixture of Experts》\n，好处是可以在大致相同的训练和推理成本下，实现更好的效果，但它的加入也引发了稳定性问题，所以我们提出了一些改进。\nSiTU\n#\n当前主流MoE架构，单个Expert通常都是采用SwiGLU的形式：\n\\begin{equation}\\newcommand{SiLU}{\\mathop{\\text{SiLU}}}\\boldsymbol{W}_3(\\SiLU(\\boldsymbol{W}_1 \\boldsymbol{x}) \\odot \\boldsymbol{W}_2 \\boldsymbol{x})\\end{equation}\n其中$\\SiLU(x) = x\\sigma(x)$（Sigmoid Linear Unit，亦称\nSwish\n），$\\sigma$是Sigmoid函数。作为主要非线性来源，SwiGLU经常出现的问题是：$\\boldsymbol{W}_1$的某一行$\\boldsymbol{w}$与某个输入$\\boldsymbol{x}$同向（Align），导致输出$\\boldsymbol{w}\\cdot\\boldsymbol{x}$非常大。更极端的是，这种现象在$\\boldsymbol{W}_2 \\boldsymbol{x}$也同时发生，并且发生的位置还一样，于是中间部分出现了$\\mathcal{O}(\\Vert\\boldsymbol{x}\\Vert^4)$级别的异常值。\n对此，我们先将SiLU换成了SiTU（Sigmoid Tanh Unit）：\n\\begin{equation}\\newcommand{SiTU}{\\mathop{\\text{SiTU}}}\\newcommand{softcap}{\\mathop{\\text{softcap}}}\\SiTU(x;\\beta) = \\underbrace{\\beta \\tanh\\left(\\frac{x}{\\beta}\\right)}_{\\softcap(x;\\beta)}\\cdot\\sigma(x)\\end{equation}\n这样先将门控部分控制在$(-\\beta, \\beta)$内，其中$\\beta=4$。进一步压测发现，这样还不能完全杜绝膨胀，所以我们干脆把线性也加上了$\\softcap$运算，形成了如今的SiTU-GLU：\n\\begin{equation}\\boldsymbol{W}_3\\Big(\\SiTU(\\boldsymbol{W}_1 \\boldsymbol{x};\\beta_1) \\odot \\softcap(\\boldsymbol{W}_2 \\boldsymbol{x};\\beta_2)\\Big)\\end{equation}\n其中$\\beta_1=4,\\beta_2=25$。给SwiGLU引入Clip操作已经不新鲜，\nGPT-OSS\n、\nDSV4\n就已经引入过Hard Clip操作，但我们发现，在同样的界限下，$\\softcap$往往能起到更好的效果，所以我们选择了$\\softcap$。\nNorm\n#\nLatentMoE与MoE的区别是：\n\\begin{align}\\text{MoE:}&\\qquad\\qquad\\underbrace{d \\to D \\to d}_{n\\text{选}k} \\\\[5pt]\n\\text{LatentMoE:}&\\qquad d\\to\\underbrace{d/2 \\to D \\to d/2}_{2n\\text{选}2k}\\to d \\\\\n\\end{align}\n即LatentMoE会先降维，再做$2n$选$2k$的MoE，最后升维，这样训推成本大致相同，但效果略好一些。其中降/升维都是线性投影，原版LatentMoE在这里没有加额外操作，所以加上中间的MoE就出现了4个矩阵连乘的模式，极不稳定。\n为了稳定训练，一个朴素的想法是在降维之后（即$d\\to d/2$的输出）、升维之前（即$d/2 \\to d$的输入）这两个位置，都加上一个RMS Norm。但进一步消融发现，后一个位置的RMS Norm作用最为本质，所以按照“最小改动原则”，我们只保留了最后一个RMS Norm，形成了当前Stable LatentMoE的形式。\n事后，我们还做了更仔细的对比实验，发现多加的这个RMS Norm，不止能稳定训练，还对效果有神奇作用。具体表现是，在大家都能正常收敛的情况下，加不加这个RMS Norm对Valid Loss影响不大，但对于某些Benchmark来说，不加这个RMS Norm会稳定变差。\n究其原因，可能是这个Norm更好地平衡了Routed Expert和Shared Expert的比例（实测加了这个Norm后，就不用额外加Scaling Factor了），也可能是因为Norm是个非线性运算（虽然非线性极弱），它的加入无形增加了LatentMoE的等效深度。\nQB\n#\nK3的MoE，原本的设想是448选8，而引入LatentMoE后，就变成了896选16，虽然稀疏度不变，但总Expert数的增加，依然会加剧负载不均衡问题。\n跟上一代模型K2一样，K3同样采用\nLoss-Free\n的负载均衡方案，但之前所用的SignSGD式更新规则，在K3这么大的总Expert数下表现已经不大稳定了，所以我们引入了QB（Quantile Balancing），优点是数学上更合理，且无额外超参，其细节我们在\n《MoE环游记：6、最优分配促均衡》\n已做过详细介绍。\nQB的核心运算是求全局分位数，但分位数是非线性运算，如果朴素地计算，通信非常大。之前笔者提议的做法是局部求分位数然后全局平均，但后来发现在规模进一步扩大时该做法还是不够准确，所以K3最终用了分bin近似（直方图估计）：将要求分位数的分数压缩到0～1后，分bin估计分数的分布，再从分布中读出分位数。\n直方图近似估计分位数示意图\n对于分bin数，我们发现10000个bin相比1000个bin，对负载均衡并没有更好的增益，所以推荐使用1000个bin就够了。由于分布的可加性，我们可以以极低的通信量跨机器、跨梯度累积地聚合分布信息，从而获得全局的近似分位数。\n注意机制\n#\nK3的注意力是“KDA + MLA”混合，这里我们主要谈谈MLA。当然MLA早已经不新鲜，但有些细节可以拿出来讨论一下。可能有些读者会嗤之以鼻：\nDSV4\n都放弃MLA了，你们居然还用MLA，是没活了吗？当然不是。K3用MLA，依然是经过慎重考虑的结果。\nMLA\n#\n一年前，笔者写了\n《Transformer升级之路：20、MLA好在哪里?（上）》\n和\n《Transformer升级之路：21、MLA好在哪里?（下）》\n，从实验和理论来探究MLA的好处，当时笔者给出的判断是：“\n在相同训练成本和推理成本下，MLA可能是效果最好的Full Attention变体。\n”。\n这个判断在今天还对吗？基本对，但有一些小变化。在固定训练成本和KV Cache大小时，MLA依然是近乎最优的Attention，但现在除KV Cache外，Decoding还有一个新的变数——MTP，或者说推测解码，其思想是计算换速度。然而MLA在Decoding时表现为head_dims=512+的MQA，已经提前消耗了大部分算力，所以“MLA+MTP”很容易吃亏。\n但是，Attention的选择是需要综合多方面考虑，MTP只是一部分，换成别的设计，可能对MTP是友好了，但其他方面不见得更好。\nMLA在训练阶段是192+128（qk_dims和v_dims）的MHA，如果往小了改，比如128+128的GQA8，效果上很难打赢MLA。即便能打平，GQA8的KV Cache也是MLA三倍多，并不现实。注意，MTP的加入，只是让Decoding速度不只取决于KV Cache大小，并不意味着KV Cache可以随意大，在长文本场景下，KV Cache依然是越小越好。\n如果往大了改，比如换成256+256的\nMFA\n（本质上是个MQA），那么效果确实能追回来了，KV Cache也不比MLA多，但是训练成本却上去了，在Scaling Law上大概率是要吃亏的。而且这时候Prefill成本也增加了，这一块同样不可忽略——因为在当前主流的Agent/Coding场景下，每一轮的Prefill长度也不短。\n所以，理想的、比MLA更好的Attention设计，它至少要满足如下条件：\n1、效果不能差于MLA（保证效果）；\n2、训练和Prefill成本至少不能超过MLA（计算效率）；\n3、KV Cache比MLA小（超长文本）；\n4、Decoding的计算量比MLA小（MTP友好）。\n至少在笔者现在看来，目前没有一个简单优雅的Attention设计能同时满足以上特点，所以我们必须有所取舍，而在跟KDA混合的背景之下，MLA的部分问题得以缓解，所以我们依旧选择了MLA。\nDSV4\n#\n这里我们加个插曲，简单讨论一下\nDSV4\n的Attention。DSV4看上去放弃了MLA，重新设计了截然不同的Attention，但如果我们细品，就会发现其实它还有MLA的影子，并且符合上述两篇MLA博客和刚才说的四个方向。\n在\n《Transformer升级之路：20、MLA好在哪里?（上）》\n中，我们实验发现无形增大的head_dims是MLA效果的关键，然后在\n《Transformer升级之路：21、MLA好在哪里?（下）》\n中，我们指出给定KV Cache大小下，效果最好的Attention是“一个head_dims等于KV Cache大小、K和V共享的MQA”。\n于是，DSV4直接将Attention换成head_dims=512、K=V的MQA（位置编码是\nQKVO-RoPE\n），以保证效果，而这正是MLA的Decoding形式。但这样一来，训练和Prefill的计算暴涨，且DSV4没有线性注意力，每一层都有KV Cache，即便每Token只有512维也吃不消。为此，DSV4引入了Sparse和Compress：Sparse节省计算量，Compress进一步压缩KV Cache，也节省计算量。\n所以，与其说DSV4放弃了MLA，不如说它按照上一节提到的几个方向，将MLA推到了另一个极致。不过，这种推广不是毫无代价，首先是Infra上的复杂性，其次是如此激进地Sparse和Compress，其最优性感觉还有待仔细检验。但总而言之，从MLA到DSV4，更像是一次传承和升级，而不是抛弃和重造。\n当然，“Linear+Full”路线也有它的不足之处，所以跟Sparse路线相比，究竟谁能走得更远，目前还不得而知。\nNoPE\n#\nK3的MLA还有另外一个细节：它在保持标准MLA结构的前提下，将RoPE直接移除，变成了NoPE。这个改动在\nKimi Linear\n中就已经出现了，但K3发布后又引来了一些讨论。\n首先，K3是可以把RoPE加回去的，只不过加RoPE之后效果看上去没啥变化，所以按照最简洁原则，就干脆不加了。但要注意，如果是K2这种全MLA模型，RoPE是关键的，去掉RoPE会明显变差，K3能用NoPE，是因为它是“KDA+MLA”的混合模型。\n为什么“KDA+MLA”就可以NoPE了呢？我们在\n《Transformer升级之路：6、旋转位置编码的完备性分析》\n推导过，任意正交矩阵的幂都可以用作构建广义的RoPE，通常说的RoPE选择的是简单的旋转矩阵，而\nPaTH\n尝试了另一种选择——Householder矩阵，并且表现也不错。\n在\n《线性注意力简史：从模仿、创新到反哺》\n中我们推导过，在正交情形下，PaTH可以等价写成\n\\begin{equation}\\mathop{\\text{SoftmaxAttention}}(\\underbrace{\\boldsymbol{Q}-\\mathop{\\text{DeltaNet}}(\\boldsymbol{Q},\\boldsymbol{W},\\boldsymbol{W})}_{\\tilde{\\boldsymbol{Q}}},\\underbrace{\\boldsymbol{K}-\\mathop{\\text{DeltaNet}}(\\boldsymbol{K},\\boldsymbol{W},\\boldsymbol{W})}_{\\tilde{\\boldsymbol{K}}},\\boldsymbol{V})\\end{equation}\n这个等价形式表明，给$\\boldsymbol{Q},\\boldsymbol{K}$加DeltaNet，也能起到类似RoPE的位置编码作用，我们知道KDA是更一般的DeltaNet，所以说KDA+MLA的混合模型，本身就自带类似RoPE、PaTH的位置编码效果了。我们也可以说，K3并不是没有RoPE了，而是KDA隐含提供了一种广义的RoPE。\n此外，还有一个审美上的问题：既然MLA不加RoPE了，为什么还保留着另外拼接64维的做法？\n这个有很多原因，比如更好适配现有MLA基建，不用重写一套代码。更重要的是，如果直接投影出576维的Latent，然后投影出192+128维的K、V，这样确实是优雅了，但计算会增加，且效果没啥收益，综合起来反而是吃亏的。最后，K3已经引入了KDA、AttnRes等新变量，所以也不想往MLA引入太多的变数，毕竟饭要一口一口地吃。\n文章小结\n#\n本文简单聊了聊K3在MoE和Attention这两块的设计与取舍。总的来说，K3的每一处改动都不算激进和花哨，背后基本都有明确的动机和实验支撑。效果、效率与稳定性之间的协调，依然是架构设计的主旋律。\n转载到请包括本文地址：\nhttps://spaces.ac.cn/archives/11848\n更详细的转载事宜请参考：\n《科学空间FAQ》\n如果您还有什么疑惑或建议，欢迎在下方评论区继续讨论。\n如果您觉得本文还不错，欢迎\n分享\n/\n打赏\n本文。打赏并非要从中获得收益，而是希望知道科学空间获得了多少读者的真心关注。当然，如果你无视它，也不会影响你的阅读。再次表示欢迎和感谢！\n打赏\n微信打赏\n支付宝打赏\n因为网站后台对打赏并无记录，因此欢迎在打赏时候备注留言。\n你还可以\n点击这里\n或在下方评论区留言来告知你的建议或需求。\n如果您需要引用本文，请参考：\n苏剑林. (Aug. 04, 2026). 《简单谈谈K3的MoE和Attention 》[Blog post]. Retrieved from\nhttps://spaces.ac.cn/archives/11848\n@online{kexuefm-11848,\ntitle={简单谈谈K3的MoE和Attention},\nauthor={苏剑林},\nyear={2026},\nmonth={Aug},\nurl={\\url{https://spaces.ac.cn/archives/11848}},\n}\n分类：\n信息时代\n标签：\n线性\n,\nattention\n,\n位置编码\n,\nmoe\n39 评论\n<\n解构Scaling Law：优化、架构、数据的三重奏\n|\n除了交叉熵，LM Loss还有什么选择？\n>\n你也许还对下面的内容感兴趣\n如何让GDN2更稳定一些？\n动量的新理解：逼近特征层面的梯度下降\n将Softmax Attention线性化为Gated DeltaNet\nLogSumExp和Softmax的泰勒展开\nMoE环游记：9、门控归一化之争\nMoE环游记：8、强制序列级均衡\nDeepSeek V4的tid2eid是怎么来的？\nAttention Residuals 回忆录\nMuP之上：3. 特殊情况特殊处理\nMoE环游记：7、动态激活极简解\n发表你的看法\n«\n1\n2\n苏剑林\nAugust 31st, 2026\n@yuke|comment-29742\n按道理如果要雕的话，pixel层面做patchify，是不是也能多帧一起来？这里核心问题其实还是：压缩的优点和缺点本质上就是同一个东西，很难兼顾。当然现在no-encoder这条路还不是完全畅通，我觉得基本的vision能力跑通后，针对视频应该还有一些提升空间的。\n回复评论\nyuke\n发表于\n September 1st, 2026\n感谢苏老师的回复！受益很多\n回复评论\nztyler\nSeptember 3rd, 2026\n苏神好，请教一下：注意到技术报告里对 kda 的 bias 初始化写的是 following 了 Kimi-Linear, GDN 和 Mamba2，但这三个用的非线性函数都是 softplus，这次 k3 换成了 L*sigmoid，我理解是否相应调整了初始化变成 logit(dt/L) 呢？\n回复评论\n苏剑林\n发表于\n September 8th, 2026\nk3训练没有调整，不过按道理确实可以调整的，后来也验证过按你说的这个方式调整也没问题。\n回复评论\nXu wentao\nSeptember 12th, 2026\n苏神，为什么现在的混合架构似乎都是用的【linear linear。。。full】 这样顺序的block呢，把full放在block 的第一个会有什么不好的结果吗。稀疏注意力上大家似乎都认同了sparse 层可以复用前面层产生的topk 路由，那么linear 层是否可以借用前面full层的kv，把重要的kv，重新写入state吗（虽然他们照理不在同一个空间中）\n回复评论\n苏剑林\n发表于\n September 15th, 2026\n应该还是实验结果决定吧，各种解释本质上都是勉强的\n回复评论\n李润中\nOctober 7th, 2026\n我还是不太理解DeepSeek他们从MLA转向MQA-512的原因。感觉实际上相当于把q的low rank projection从一个grouped low rank变成了一种普通的low rank，所以MHA没了。o_proj原来是个合并的v_proj_up和o_proj，也是个grouped low rank，新的还是grouped low rank，就是具体配置变了一下。所以相当于是：\nMLA -> MQA\nq_proj_up + k_proj_up -> q_proj_up\nv_proj_up -> o_proj_1\no_proj -> o_proj_2\n感觉他们V4里面好像没有什么新技术是非得破坏MHA模式才能做到的？所以真的就仅仅只为了效果吗？但是看下来感觉好像只是调整了low rank的做法，会在效果上产生很客观的区别吗？我感觉有点难以想象。难道说q_proj_up这么重要吗？\n回复评论\n苏剑林\n发表于\n October 10th, 2026\n感觉就是训推一致性，以及一分参数一分智能吧。它Sparse了之后，计算不成问题了，没理由还搞MHA模式降低上限呀。\n回复评论\nyicli\nOctober 7th, 2026\n苏老师会尝试对KDA做loop以提高表现能力吗？最近一直在相关研究，感觉对KDA做循环应该会非常有效\n回复评论\n苏剑林\n发表于\n October 10th, 2026\n有一些尝试，也有一些问题。不过你是指层内loop还是层间loop还是模型loop啊？\n回复评论\nyicli 发表于\n October 10th, 2026\n目前想的是层内loop，就是先试试对单个KDA做loop看看效果，我感觉如果有条件，不需要重新训练，直接找一个K3架构的小模型，在当前的训练参数上什么都不改，直接让KDA做两次循环看看模型输出，可能会有惊喜\n回复评论\n苏剑林\n发表于\n October 11th, 2026\n免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\n回复评论\n«\n1\n2\n取消回复\n你的大名\n电子邮箱\n个人网站（选填）\n1. 可以使用LaTeX代码，点击“预览效果”可查看效果；\n2. 可以通过点击评论楼层编号来引用该楼层；\n3. 网站可能会有点卡，如非确认评论失败，请\n不要重复点击提交\n。\n内容速览\n写在前面\n混合专家\nSiTU\nNorm\nQB\n注意机制\nMLA\nDSV4\nNoPE\n文章小结\n智能搜索\n支持整句搜索！网站自动使用\n结巴分词\n进行分词，并结合ngrams排序算法给出合理的搜索结果。\n热门标签\nattention\n生成模型\n优化\n模型\n语言模型\n梯度\n优化器\n矩阵\n概率\n网站\n转载\n微分方程\n分析\n天象\n深度学习\n积分\npython\n几何\n扩散\n力学\n无监督\n损失函数\n节日\n线性\n生活\n随机文章\n矩阵平方根和逆平方根的高效计算\n《冲出亚马逊》—在世界立起五星红旗！\n修改了一下背景音乐\npython简单实现gillespie模拟\n重温SSM（三）：HiPPO的高效计算（S4）\n蘑菇的最优形状模型\n关于e是无理数的证明\n变分自编码器（七）：球面上的VAE（vMF-VAE）\nWGAN新方案：通过梯度归一化来实现L约束\n泛化性乱弹：从随机噪声、梯度惩罚到虚拟对抗训练\n最近评论\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FFN相比原始的大FFN（也就是直接...\nAli Hatamizadeh\n: Thank you for looking into this and featuring i...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muon比Adam、SGD等要好，所以...\n苏剑林\n: Thanks for sharing! I looked into this improvem...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author.We've addressed...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyxx/CyclicFlowAtte...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 https://papers.cool...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\n友情链接\nCool Papers\n数学研发\nSeatop\nXiaoxia\n积分表-网络版\n丝路博傲\n数学之家\n有趣天文奇观\nTwistedW\ngodweiyang\nAI柠檬\n王登科-DK博客\nESON\n枫之羽\ncoding-zuo\n博科园\n孔皮皮的博客\n运鹏的博客\njiming.site\nOmegaXYZ\nEAI猩球\n文举的博客\n汇尘轩\n申请链接\n本站采用创作共用版权协议，要求署名、非商业用途和保持一致。转载本站内容必须也遵循“\n署名-非商业用途-保持一致\n”的创作共用协议。\n© 2009-2026 Scientific Spaces. All rights reserved. Theme by\nlaogui\n. Powered by\nTypecho\n. 备案号:\n粤ICP备09093259号-1/2\n。", "metadata": { "title": "简单谈谈K3的MoE和Attention - 科学空间|Scientific Spaces", "description": "上个月，我们发布了迄今为止最大的开源模型K3。作为K2的继任者，K3并不是一次从零开始的重新设计，而是沿着我们过去一系列工作自然演化而来，并融合了我们对效果、效率、稳定性的一些最新理解和改进。可...", "keywords": "线性,attention,位置编码,moe", "author": null }, "paywall": { "listed_paid": false, "detected": false, "marker": "", "public_only": false, "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙" }, "crawl": { "success": true, "status_code": 200, "error": "" }, "code_blocks": [], "images": [ { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "bytes": 4328, "reused": false, "local_path": "attachments/7d03b5a4b3c4/images/body-fcd8b7d1212b1f5eab2b.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "alt": "MobileSideBar", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "bytes": 19283, "reused": false, "local_path": "attachments/7d03b5a4b3c4/images/body-043e6308dc873ff9fa67.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "bytes": 16811, "reused": false, "local_path": "attachments/7d03b5a4b3c4/images/body-942ff5c7b650f4d3d31f.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "bytes": 2524, "reused": false, "local_path": "attachments/7d03b5a4b3c4/images/body-53b9d00850633d612de3.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "bytes": 3301, "reused": false, "local_path": "attachments/7d03b5a4b3c4/images/body-896b482bdde5ec1df88a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "bytes": 939, "reused": false, "local_path": "attachments/7d03b5a4b3c4/images/body-3f7f2f2318249e4eac9a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "bytes": 18685, "reused": false, "local_path": "attachments/7d03b5a4b3c4/images/body-cbbace78f2cd4551d156.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/uploads/2026/05/2013347987.png", "bytes": 194376, "reused": false, "local_path": "attachments/7d03b5a4b3c4/images/body-0c544292af985af96efa.png", "src": "https://spaces.ac.cn/usr/uploads/2026/05/2013347987.png", "alt": "直方图近似估计分位数示意图", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "bytes": 36540, "reused": false, "local_path": "attachments/7d03b5a4b3c4/images/body-c5d79f289db1f5d431bc.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "bytes": 31565, "reused": false, "local_path": "attachments/7d03b5a4b3c4/images/body-4345e58697a529a3d3a5.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "bytes": 2031, "reused": false, "local_path": "attachments/7d03b5a4b3c4/images/body-b2904ced8e4508d61bed.gif", "src": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "alt": "署名-非商业用途-保持一致", "downloaded": true } ], "audio": [], "videos": [], "links": [ { "href": "https://spaces.ac.cn/reward.html", "label": "打赏", "type": "a" }, { "href": "https://spaces.ac.cn/latex.html", "label": "公式", "type": "a" }, { "href": "https://spaces.ac.cn/ac.html", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/links.html", "label": "链接", "type": "a" }, { "href": "https://spaces.ac.cn/me.html", "label": "时光", "type": "a" }, { "href": "https://spaces.ac.cn/science.html", "label": "博览", "type": "a" }, { "href": "https://spaces.ac.cn/content.html", "label": "归档", "type": "a" }, { "href": "https://spaces.ac.cn/category/Everything", "label": "千奇百怪", "type": "a" }, { "href": "https://spaces.ac.cn/category/Astronomy", "label": "天文探索", "type": "a" }, { "href": "https://spaces.ac.cn/category/Mathematics", "label": "数学研究", "type": "a" }, { "href": "https://spaces.ac.cn/category/Phy-chem", "label": "物理化学", "type": "a" }, { "href": "https://spaces.ac.cn/category/Big-Data", "label": "信息时代", "type": "a" }, { "href": "https://spaces.ac.cn/category/Biology", "label": "生物自然", "type": "a" }, { "href": "https://spaces.ac.cn/category/Photograph", "label": "图片摄影", "type": "a" }, { "href": "https://spaces.ac.cn/category/Questions", "label": "问题百科", "type": "a" }, { "href": "https://spaces.ac.cn/category/Life-Feeling", "label": "生活/情感", "type": "a" }, { "href": "https://spaces.ac.cn/category/Resources", "label": "资源共享", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945", "label": "如何让GDN2更稳定一些？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11928", "label": "通过微扰分析求解等式约束优化问题", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11917", "label": "慢即是快：1. Shampoo的尽...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11910", "label": "排序不等式及其推广", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11885", "label": "让炼丹更科学一些（十）：单调性假设...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11882", "label": "让炼丹更科学一些（九）：经典自适应...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11879", "label": "让炼丹更科学一些（八）：多阶段训练...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11875", "label": "动量的新理解：逼近特征层面的梯度下降", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11864", "label": "流形上的最速下降：7. Stief...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11854", "label": "除了交叉熵，LM Loss还有什么选择？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10699/comment-page-3", "label": "carl_lei : 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945/comment-page-1", "label": "Ali Hatamizadeh : Thank you for looking into this...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11340/comment-page-1", "label": "苏剑林 : 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1328/comment-page-1", "label": "bookworm : 天下苦秦久矣，期待苏老师的教材！", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2", "label": "苏剑林 : 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能", "type": "a" }, { "href": "https://spaces.ac.cn/admin/login.php", "label": "登录", "type": "a" }, { "href": "https://spaces.ac.cn/", "label": "科学空间|Scientific Spaces", "type": "a" }, { "href": "https://spaces.ac.cn/feed", "label": "欢迎订阅", "type": "a" }, { "href": "https://spaces.ac.cn/archives/119", "label": "个性邮箱", "type": "a" }, { "href": "https://spaces.ac.cn/archives/41", "label": "观测ISS", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848", "label": "简单谈谈K3的MoE和Attention", "type": "a" }, { "href": "https://www.kimi.com/blog/kimi-k3", "label": "K3", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11664", "label": "《Attention Residuals 回忆录》", "type": "a" }, { "href": "https://papers.cool/arxiv/2510.26692", "label": "《Kimi Linear: An Expressive, Efficient Attention Architecture》", "type": "a" }, { "href": "https://papers.cool/arxiv/2601.18089", "label": "《LatentMoE: Toward Optimal Accuracy per FLOP and Parameter in Mixture of Experts》", "type": "a" }, { "href": "https://papers.cool/arxiv/1710.05941", "label": "Swish", "type": "a" }, { "href": "https://papers.cool/arxiv/2508.10925", "label": "GPT-OSS", "type": "a" }, { "href": "https://papers.cool/arxiv/2606.19348", "label": "DSV4", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10757", "label": "Loss-Free", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11619", "label": "《MoE环游记：6、最优分配促均衡》", "type": "a" }, { "href": "https://spaces.ac.cn/usr/uploads/2026/05/2013347987.png", "label": "", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10907", "label": "《Transformer升级之路：20、MLA好在哪里?（上）》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111", "label": "《Transformer升级之路：21、MLA好在哪里?（下）》", "type": "a" }, { "href": "https://papers.cool/arxiv/2412.19255", "label": "MFA", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10862", "label": "QKVO-RoPE", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9403", "label": "《Transformer升级之路：6、旋转位置编码的完备性分析》", "type": "a" }, { "href": "https://papers.cool/arxiv/2505.16381", "label": "PaTH", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11033", "label": "《线性注意力简史：从模仿、创新到反哺》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/6508", "label": "《科学空间FAQ》", "type": "a" }, { "href": "http://mail.qq.com/cgi-bin/qm_share?t=qm_mailme&email=tN7d1drY3drrx8H0xcWa19vZ", "label": "点击这里", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BA%BF%E6%80%A7/", "label": "线性", "type": "a" }, { "href": "https://spaces.ac.cn/tag/attention/", "label": "attention", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81/", "label": "位置编码", "type": "a" }, { "href": "https://spaces.ac.cn/tag/moe/", "label": "moe", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11833", "label": "解构Scaling Law：优化、架构、数据的三重奏", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11823", "label": "将Softmax Attention线性化为Gated DeltaNet", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11814", "label": "LogSumExp和Softmax的泰勒展开", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11782", "label": "MoE环游记：9、门控归一化之争", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11760", "label": "MoE环游记：8、强制序列级均衡", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11750", "label": "DeepSeek V4的tid2eid是怎么来的？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11647", "label": "MuP之上：3. 特殊情况特殊处理", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11626", "label": "MoE环游记：7、动态激活极简解", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-1", "label": "«", "type": "a" }, { "href": "https://kexue.fm/", "label": "苏剑林", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29743", "label": "回复评论", "type": "a" }, { "href": "https://hzeroyuke.github.io/my_blog/", "label": "yuke", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29748", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29750", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29758", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29774", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29782", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29812", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29816", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29813", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29817", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29820", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2?replyTo=29822", "label": "回复评论", "type": "a" }, { "href": "https://github.com/fxsjy/jieba", "label": "结巴分词", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%88%90%E6%A8%A1%E5%9E%8B/", "label": "生成模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96/", "label": "优化", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A8%A1%E5%9E%8B/", "label": "模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/", "label": "语言模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A2%AF%E5%BA%A6/", "label": "梯度", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96%E5%99%A8/", "label": "优化器", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%9F%A9%E9%98%B5/", "label": "矩阵", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A6%82%E7%8E%87/", "label": "概率", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BD%91%E7%AB%99/", "label": "网站", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%BD%AC%E8%BD%BD/", "label": "转载", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%BE%AE%E5%88%86%E6%96%B9%E7%A8%8B/", "label": "微分方程", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%88%86%E6%9E%90/", "label": "分析", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%A4%A9%E8%B1%A1/", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/", "label": "深度学习", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%A7%AF%E5%88%86/", "label": "积分", "type": "a" }, { "href": "https://spaces.ac.cn/tag/python/", "label": "python", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%87%A0%E4%BD%95/", "label": "几何", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%89%A9%E6%95%A3/", "label": "扩散", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%8A%9B%E5%AD%A6/", "label": "力学", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%97%A0%E7%9B%91%E7%9D%A3/", "label": "无监督", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0/", "label": "损失函数", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%8A%82%E6%97%A5/", "label": "节日", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%B4%BB/", "label": "生活", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11158", "label": "矩阵平方根和逆平方根的高效计算", "type": "a" }, { "href": "https://spaces.ac.cn/archives/111", "label": "《冲出亚马逊》—在世界立起五星红旗！", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1540", "label": "修改了一下背景音乐", "type": "a" }, { "href": "https://spaces.ac.cn/archives/5607", "label": "python简单实现gillespie模拟", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10162", "label": "重温SSM（三）：HiPPO的高效计算（S4）", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1339", "label": "蘑菇的最优形状模型", "type": "a" }, { "href": "https://spaces.ac.cn/archives/196", "label": "关于e是无理数的证明", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8404", "label": "变分自编码器（七）：球面上的VAE（vMF-VAE）", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8757", "label": "WGAN新方案：通过梯度归一化来实现L约束", "type": "a" }, { "href": "https://spaces.ac.cn/archives/7466", "label": "泛化性乱弹：从随机噪声、梯度惩罚到虚拟对抗训练", "type": "a" }, { "href": "https://papers.cool/", "label": "Cool Papers", "type": "a" }, { "href": "https://bbs.emath.ac.cn/", "label": "数学研发", "type": "a" }, { "href": "http://www.seatop.com.cn/", "label": "Seatop", "type": "a" }, { "href": "https://xiaoxia.org/", "label": "Xiaoxia", "type": "a" }, { "href": "https://kexue.fm/sci/integral/index.html", "label": "积分表-网络版", "type": "a" }, { "href": "http://blog.dvxj.com/", "label": "丝路博傲", "type": "a" }, { "href": "http://www.2math.cn/", "label": "数学之家", "type": "a" }, { "href": "http://interesting-sky.china-vo.org/", "label": "有趣天文奇观", "type": "a" }, { "href": "http://www.twistedwg.com/", "label": "TwistedW", "type": "a" }, { "href": "https://godweiyang.com/", "label": "godweiyang", "type": "a" }, { "href": "https://blog.ailemon.net/", "label": "AI柠檬", "type": "a" }, { "href": "https://greatdk.com/", "label": "王登科-DK博客", "type": "a" }, { "href": "https://blog.eson.org/", "label": "ESON", "type": "a" }, { "href": "https://fzhiy.net/", "label": "枫之羽", "type": "a" }, { "href": "https://coding-zuo.github.io/", "label": "coding-zuo", "type": "a" }, { "href": "https://www.bokeyuan.net/", "label": "博科园", "type": "a" }, { "href": "https://www.kppkkp.top/", "label": "孔皮皮的博客", "type": "a" }, { "href": "https://yunpengtai.top/", "label": "运鹏的博客", "type": "a" }, { "href": "https://jiming.site/", "label": "jiming.site", "type": "a" }, { "href": "https://www.omegaxyz.com/", "label": "OmegaXYZ", "type": "a" }, { "href": "https://www.robotech.ink/", "label": "EAI猩球", "type": "a" }, { "href": "https://liwenju0.com/", "label": "文举的博客", "type": "a" }, { "href": "https://kirigaya.cn/", "label": "汇尘轩", "type": "a" }, { "href": "https://kexue.fm/links.html", "label": "申请链接", "type": "a" }, { "href": "http://creativecommons.org/licenses/by-nc-nd/2.5/cn/", "label": "", "type": "a" }, { "href": "http://www.laogui.com/", "label": "laogui", "type": "a" }, { "href": "http://typecho.org/", "label": "Typecho", "type": "a" }, { "href": "https://beian.miit.gov.cn/", "label": "粤ICP备09093259号-1/2", "type": "a" } ], "repair_version": 2, "repaired_at": "2026-10-14T10:53:09Z", "source_url": "https://spaces.ac.cn/archives/11848", "papers": [], "actual_video_files": [], "body_chars": 11572, "expected_body_images": 11, "discovery_status": "ok", "delivery_status": "ok", "missing_reason": "", "raw_html": "attachments/7d03b5a4b3c4/pages/source.html", "local_html": "attachments/7d03b5a4b3c4/pages/article.html", "body_base_path": "attachments/7d03b5a4b3c4/pages/", "body_markdown_path": "attachments/7d03b5a4b3c4/pages/article.md" }