{ "source_file": "0930", "source_platform": "个人博客", "author": "苏剑林", "title_listed": "Transformer升级之路：21、MLA好在哪里？（下）", "keywords": "MLA,注意力,KV Cache", "domain": "大模型算法", "content_type": "深度技术解析", "is_paid_flag": "否", "url": "https://spaces.ac.cn/archives/11111", "publish_date": "2025-07", "corpus_stage": "预训练/SFT", "notes": "MLA 注意力理论分析", "id": "714613a3c5ca", "collected_at": "2026-10-02T15:14:57", "title": "Transformer升级之路：21、MLA好在哪里?（下） - 科学空间|Scientific Spaces", "body_markdown": "SEARCH\nMENU\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\nCATEGORIES\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\nNEWPOSTS\n如何让GDN2更稳定一些？\n通过微扰分析求解等式约束优化问题\n慢即是快：1. Shampoo的尽...\n排序不等式及其推广\n让炼丹更科学一些（十）：单调性假设...\n让炼丹更科学一些（九）：经典自适应...\n让炼丹更科学一些（八）：多阶段训练...\n动量的新理解：逼近特征层面的梯度下降\n流形上的最速下降：7. Stief...\n除了交叉熵，LM Loss还有什么选择？\nCOMMENTS\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...\nAli Hatamizadeh\n: Thank you for looking into this...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...\n苏剑林\n: Thanks for sharing! I looked in...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyx...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 htt...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\nUSERLOGIN\n登录\n科学空间|Scientific Spaces\n登录\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\n渴望成为一个小飞侠\n欢迎订阅\n个性邮箱\n天象信息\n观测ISS\nLaTeX\n关于博主\n欢迎访问“科学空间”，这里将与您共同探讨自然科学，回味人生百态；也期待大家的分享～\n千奇百怪\nEverything\n天文探索\nAstronomy\n数学研究\nMathematics\n物理化学\nPhy-chem\n信息时代\nBig-Data\n生物自然\nBiology\n图片摄影\nPhotograph\n问题百科\nQuestions\n生活/情感\nLife-Feeling\n资源共享\nResources\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\n首页\n信息时代\nTransformer升级之路：21、MLA好在哪里?（下）\n10\nJul\nTransformer升级之路：21、MLA好在哪里?（下）\nBy\n苏剑林\n|\n2025-07-10\n|\n99529位读者\n|\n:\n在文章\n《Transformer升级之路：20、MLA好在哪里?（上）》\n中，我们对\nMLA\n相比常见MHA、GQA、MQA的一些变化分别做了消融实验，其中的变化包括“增大head_dims”、“Partial RoPE”和“KV共享”，实验的初步结果是这三个变化很可能都是MLA效果优异的原因。\n本文我们将从一个更加偏理论的角度出发，来理解MLA的成功之处。\n部分旋转\n#\n首先，我们把最终的断言放在前面：\n在相同训练成本和推理成本下，MLA可能是效果最好的Full Attention变体。\n很明显，这个判断把MLA摆在了非常高的位置。这是在比较理想和简化的假设下，根据上一篇文章的实验结果以及本文接下来的理论分析所得的结论。由于实际的训练和推理存在诸多复杂的因素，所以该结论大概率会有所偏差，但我们至少可以得出，MLA应该是走在了正确的改进方向上。\nMLA之所以能够表现出色，有一个非常大的前提，那就是部分旋转的\nPartial RoPE\n效果不逊色于甚至可能优于完全体的RoPE。这里的Partial RoPE可以有两种含义：一是我们对Attention的$\\boldsymbol{Q}$、$\\boldsymbol{K}$加RoPE时，可以只对小部份维度加，剩下的维度保持不变；二是我们可以考虑层间RoPE与NoPE交替出现，并且NoPE的层可以占多数。\n说白了，RoPE可以只加“一点点”，但不能不加，完全不加的话效果不行。如果需要理论，笔者比较认同\n《Transformer升级之路：18、RoPE的底数选择原则》\n的解释，大致意思是Partial RoPE使得检索结果更兼顾位置与语义。此外，像\nFoX\n、\nSBA\n等新工作也体现出一定潜力，但对于MLA来说，这些变体就相当于NoPE，因此不改变结论。\n“Partial RoPE效果不差”的结论，允许我们把Attention的主要计算复杂度放到NoPE部分上，这提供了更大的腾挪空间，MLA便是得益于此。\n键值共享\n#\nFull Attention的变化大致上是从\nMHA\n、\nMQA\n、\nGQA\n然后到MLA，虽然MQA可以看作是GQA的特例，但按时间顺序来说确实是GQA在后。在MLA之后，还出现了\nMFA\n、\nTPA\n两个变体。这些变体本质上都是在尽量保持效果的前提下，尽可能压榨KV Cache以提高生成速度。\n简单来说，Attention模型的复杂度可以分\n训练、Prefill和Decoding\n三部分，其中训练和Prefill是相似的，所以本质上是Prefill和Decoding两部分。Prefill是指模型处理输入、直至吐出第一个token的阶段，这部分我们下节再谈；Decoding是指Token by Token的生成阶段，它可以通过KV Cache机制来加速，但同时也导致了KV Cache大小几乎是Decoding速度的唯一瓶颈。\n所以，压缩KV Cache就是提高Decoding速度。现在问大家一个问题：\n在NoPE背景下，给定KV Cache大小后，效果最好的Attention是什么呢？\n如果不考虑参数量差异，只在单层MHA/GQA/MQA内讨论（TPA和MFA我们后面再补充讨论），那么答案将会是：\n一个head_dims等于KV Cache大小、K和V共享的MQA。\n看上去是不是让人意外？其实不难理解。因为MHA、MQA都可以看成是GQA的一个特例，所以我们只需要分析GQA，我们在\n《缓存与效果的极限拉扯：从MHA、MQA、GQA到MLA》\n已经给出了，GQA可以重新表示成一个K、V拼接起来的模型：\n\\begin{equation}\\underbrace{\\left[\\boldsymbol{k}_i^{(1)},\\cdots,\\boldsymbol{k}_i^{(g)},\\boldsymbol{v}_i^{(1)},\\cdots,\\boldsymbol{v}_i^{(g)}\\right]}_{\\boldsymbol{c}_i\\in\\mathbb{R}^{g(d_k+d_v)}} = \\boldsymbol{x}_i \\underbrace{\\left[\\boldsymbol{W}_k^{(1)},\\cdots,\\boldsymbol{W}_k^{(g)},\\boldsymbol{W}_v^{(1)},\\cdots,\\boldsymbol{W}_v^{(g)}\\right]}_{\\boldsymbol{W}_c\\in\\mathbb{R}^{d\\times g(d_k+d_v)}}\\end{equation}\n这里$g(d_k+d_v)$正是单个Token的KV Cache总大小。接着我们算Attention的时候，$\\boldsymbol{c}$到$\\boldsymbol{k},\\boldsymbol{v}$的变换分别吸收到$\\boldsymbol{W}_q$和$\\boldsymbol{W}_o$那边去，那么就得到了一个K、V都是$\\boldsymbol{c}$的MQA。所以说，“head_dims等于KV Cache大小、K和V共享的MQA”，实际上是给定KV Cache大小后MHA/GQA/MQA的“超集”，那么它自然是理论上效果最好的选择。\n双重投影\n#\n综上所述，如果我们想要在相同Decoding速度下效果最优，那么应该训练一个指定head_dims的、KV共享的MQA，比如约定KV Cache不超过512，那么head_dims=512的、KV共享的MQA就是最佳选择。事实上，MLA在Decoding阶段正是KV共享的MQA（NoPE部分），这就是它走在正确方向上的体现之一。\n然而，将head_dims升到512，Decoding是没问题，但训练和Prefill都很难接受，因为它们俩的瓶颈是计算，而影响计算速度的主要因素是num_heads和head_dims。为了保证效果，num_heads变动的空间不大，因此head_dims大小可以说是计算量的唯一指标，head_dims升到512意味着计算量要增加到原来的4倍（相比head_dims=128）。\n现在再来问大家一个问题：\n同样在NoPE背景下，给定num_heads和head_dims后，效果最好的Attention是什么呢？\n这个问题的答案我相信大家都能接受，那就是\nMHA\n，因为它限制最少。所以，单从训练和Prefill成本来看，我们希望的是训练一个head_dims=128的MHA。\n怎么调和Prefill与Decoding这两个不同的期望呢？这就是MLA的“大招”了，它通过两步投影得到K、V：先将输入投影到单个512维的向量，然后将该向量投影到多个128维的向量，然后利用“Attention + NoPE”固有的恒等变换性质，可以让模型在MHA-128和MQA-512间自由切换。\n$$\\require{cancel}\\begin{array}{c|c}\n\\text{训练/Prefill} & \\text{Decoding} \\\\\n\\\\\n\\begin{gathered}\n\\boldsymbol{o}_t = \\left[\\boldsymbol{o}_t^{(1)}, \\boldsymbol{o}_t^{(2)}, \\cdots, \\boldsymbol{o}_t^{(h)}\\right] \\\\[10pt]\n\\boldsymbol{o}_t^{(s)} = \\frac{\\sum_{i\\leq t}\\exp\\left(\\boldsymbol{q}_t^{(s)} \\boldsymbol{k}_i^{(s)}{}^{\\top}\\right)\\boldsymbol{v}_i^{(s)}}{\\sum_{i\\leq t}\\exp\\left(\\boldsymbol{q}_t^{(s)} \\boldsymbol{k}_i^{(s)}{}^{\\top}\\right)} \\\\[15pt]\n\\boldsymbol{q}_i^{(s)} = \\boldsymbol{x}_i\\boldsymbol{W}_q^{(s)}\\in\\mathbb{R}^{d_k},\\quad \\boldsymbol{W}_q^{(s)}\\in\\mathbb{R}^{d\\times d_k}\\\\\n\\boldsymbol{k}_i^{(s)} = \\boldsymbol{c}_i\\boldsymbol{W}_k^{(s)}\\in\\mathbb{R}^{d_k},\\quad \\boldsymbol{W}_k^{(s)}\\in\\mathbb{R}^{d_c\\times d_k} \\\\\n\\boldsymbol{v}_i^{(s)} = \\boldsymbol{c}_i\\boldsymbol{W}_v^{(s)}\\in\\mathbb{R}^{d_v},\\quad \\boldsymbol{W}_v^{(s)}\\in\\mathbb{R}^{d_c\\times d_v} \\\\[10pt]\n\\boldsymbol{c}_i = \\boldsymbol{x}_i \\boldsymbol{W}_c\\in\\mathbb{R}^{d_c},\\quad \\boldsymbol{W}_c\\in\\mathbb{R}^{d\\times d_c}\n\\end{gathered}\n&\n\\begin{gathered}\n\\boldsymbol{o}_t = \\left[\\boldsymbol{o}_t^{(1)}\\boldsymbol{W}_v^{(1)}, \\boldsymbol{o}_t^{(2)}\\boldsymbol{W}_v^{(2)}, \\cdots, \\boldsymbol{o}_t^{(h)}\\boldsymbol{W}_v^{(h)}\\right] \\\\[10pt]\n\\boldsymbol{o}_t^{(s)} = \\frac{\\sum_{i\\leq t}\\exp\\left(\\boldsymbol{q}_t^{(s)} \\boldsymbol{k}_i^{\\color{#ccc}{\\smash{\\bcancel{(s)}}}}{}^{\\top}\\right)\\boldsymbol{v}_i^{\\color{#ccc}{\\smash{\\bcancel{(s)}}}} }{\\sum_{i\\leq t}\\exp\\left(\\boldsymbol{q}_t^{(s)} \\boldsymbol{k}_i^{\\color{#ccc}{\\smash{\\bcancel{(s)}}}}{}^{\\top}\\right)} \\\\[15pt]\n\\boldsymbol{q}_i^{(s)} = \\boldsymbol{x}_i\\boldsymbol{W}_q^{(s)}\\boldsymbol{W}_k^{(s)}{}^{\\top}\\in\\mathbb{R}^{d_c}\\\\\n\\boldsymbol{k}_i^{\\color{#ccc}{\\smash{\\bcancel{(s)}}}} = \\boldsymbol{v}_i^{\\color{#ccc}{\\smash{\\bcancel{(s)}}}} = \\boldsymbol{c}_i= \\boldsymbol{x}_i \\boldsymbol{W}_c\\in\\mathbb{R}^{d_c}\n\\end{gathered}\n\\end{array}$$\n总而言之\n#\n我们将前面的推理逻辑做个总结：\n1、大前提：Partial RoPE的效果不差于甚至可能优于RoPE，这使得我们可以把主要精力放在NoPE上；\n2、Decoding主要瓶颈是KV Cache，理论效果最优的模型是head_dims=KV Cache、KV共享的MQA；\n3、训练和Prefill的主要瓶颈都是head_dims，理论效果最优的模型是head_dims为期望值的MHA；\n4、在NoPE前提下，Attention具有恒等变换性质，可以通过LoRA来尽可能地兼顾两个理想方向，这正好是MLA所做的。\n剩下的，就是给K拼接一个共享的低维RoPE，以最小的成本给MLA补充上位置信息，同时还“一箭双雕”：拼接RoPE的做法暗合了“Partial RoPE”，同时也增加了head_dims，这跟上一篇文章的结论相符。换句话说，有意或者无意之中使用了Partial RoPE和增加了head_dims，是MLA在极致压缩之下还能媲美MHA的主要原因。\n从MQA的角度看，MLA是给Q加了rank=128的LoRA；从MHA的角度看，MLA是给K、V加了rank=512的LoRA。可以说，MLA是一场NoPE结合LoRA、MHA结合MQA的极致“魔术秀”，成功实现了Prefill和Decoding的“双向奔赴”。\n当然，上述思考过程肯定有一些过于简化的地方。比如，实际的训练和推理还有诸多细节因素，笼统地归结为head_dims和KV Cache是不完全准确的，例如MQA在Decoding阶段无法TP（张量并行），这可能会带来新的效率问题；还有，分析过程中我们也没有特别注重参数量的对齐，比如在head_dims=128时我们也可以考虑增加Q、K、V的投影复杂度来提高性能，而不一定要增大head_dims；等等。\n总之，上下两篇文章旨在提供一些实验和思考，来论证MLA在一定范围内的最优性。当然，MLA是DeepSeek首先提出的，第三方使用MLA总会给人一种复制DeepSeek的感觉，但在更好的变体出现之前，或者在发现严重的缺陷之前，MLA始终是一个相当有竞争力的选择，如果单纯是为了显示自己不“追随”DeepSeek而不用MLA，那是一个相当不明智的选择。\n举个例子，现在Linear Attention和Softmax Attention的混合模型也体现出极大的竞争力，但如果我们将Linear Attention跟LLAMA使用的GQA8-128按3:1混合，那么KV Cache大致上降低到GQA8-128的1/4，然而MLA本身就能将KV Cache降低到GQA8-128的1/4了。\n补充讨论\n#\n前面我们都在围绕MHA、GQA、MQA和MLA讨论，这一节我们来简单聊聊两个比较少谈及的Attention变体：TPA和MFA。\nTPA全称是Tensor Product Attention，作者给它安了个Tensor Product的名字，显得比较“唬人”，实际上它是一个介乎GQA和MLA的中间产物。我们以目标KV Cache=512为例，TPA先投影得到一个512维向量，然后reshape为(4, 128)，然后分成两个(2,128)分别代表K Cache和V Cache。到目前为止，TPA的做法都跟GQA2-128一致。\n接下来，TPA借鉴了MLA的思想，将(2,128)的K/V重新投影成Multi-Head，但它不是像MLA那样整个向量投影，而是沿着“2”所在的维度投影，说白了就是将2个128维向量做head_dims次不同的线性组合。显然，这样TPA的上限是不如MLA直接从整个512维向量出发来投影的。为了缓解这个问题，TPA又引入了data-dependent的组合系数来增强K、V的表达能力，即便如此，笔者还是认为它上限不如MLA。\n为什么TPA要这样设计呢？大体上是为了兼容RoPE，这也是它相比MLA的最大“优点”。然而，这里的“优点”是要加个双引号的，因为在Partial RoPE不逊色甚至还可能更优的背景下，兼容RoPE就有点啼笑皆非的感觉了。还有，TPA这样设计，堵死了它升head_dims的空间，比如head_dims想要升到256，那么K Cache、V Cache就只是(1,256)形状了，单个向量没有线性组合的自由度。\n再来看MFA，它全称是“Multi-matrix Factorization Attention”，这个名字看上去也有点“唬人”，它实际上就是一个带有Q-LoRA的、head_dims=256的MQA。看到这个配置，是不是有点熟悉？因为这配置跟我们上一篇文章的结论完全吻合——增大head_dims到256来提升MQA的效果，并且KV Cache跟MLA接近，同时通过Q-LoRA来控制参数量。\n所以，MFA能“打”MLA，笔者并不意外，上一篇文章我们也实验过差不多的做法了。此外，上一篇文章我们还提出另外两个提升MQA效果的方向，一个是本文已经多次提及的Partial RoPE，另一个是通过\nQKVO-RoPE\n的方式实现完全的KV共享，让MQA变成GQA2-256，这两点叠加上去，MFA应该还能再涨一点。\n文章小结\n#\n本文在上一篇文章的实验结果基础上，给出一个偏理论的思考过程，以论证MLA在一定范围内的最优性。总的来说，在Partial RoPE的背景下，MLA似乎是一个非常难以超越的Attention变体。\n转载到请包括本文地址：\nhttps://spaces.ac.cn/archives/11111\n更详细的转载事宜请参考：\n《科学空间FAQ》\n如果您还有什么疑惑或建议，欢迎在下方评论区继续讨论。\n如果您觉得本文还不错，欢迎\n分享\n/\n打赏\n本文。打赏并非要从中获得收益，而是希望知道科学空间获得了多少读者的真心关注。当然，如果你无视它，也不会影响你的阅读。再次表示欢迎和感谢！\n打赏\n微信打赏\n支付宝打赏\n因为网站后台对打赏并无记录，因此欢迎在打赏时候备注留言。\n你还可以\n点击这里\n或在下方评论区留言来告知你的建议或需求。\n如果您需要引用本文，请参考：\n苏剑林. (Jul. 10, 2025). 《Transformer升级之路：21、MLA好在哪里?（下） 》[Blog post]. Retrieved from\nhttps://spaces.ac.cn/archives/11111\n@online{kexuefm-11111,\ntitle={Transformer升级之路：21、MLA好在哪里?（下）},\nauthor={苏剑林},\nyear={2025},\nmonth={Jul},\nurl={\\url{https://spaces.ac.cn/archives/11111}},\n}\n分类：\n信息时代\n标签：\n优化\n,\n语言模型\n,\n生成模型\n,\nattention\n66 评论\n<\n“对角+低秩”三角阵的高效求逆方法\n|\nQK-Clip：让Muon在Scaleup之路上更进一步\n>\n你也许还对下面的内容感兴趣\n如何让GDN2更稳定一些？\n通过微扰分析求解等式约束优化问题\n除了交叉熵，LM Loss还有什么选择？\n简单谈谈K3的MoE和Attention\n解构Scaling Law：优化、架构、数据的三重奏\n将Softmax Attention线性化为Gated DeltaNet\nLogSumExp和Softmax的泰勒展开\n强制间隔投影（Margin-Enforcing Projection）\n直接以FID为Loss：从梯度计算到流式训练\nAttention Residuals 回忆录\n发表你的看法\n«\n1\n2\nzhiyuan77\nJuly 23rd, 2025\n@苏剑林|comment-28226\n苏老师好，我看了下https://openrouter.ai/qwen/qwen3-coder, Qwen3-Coder-480B-A35B确实有60TPS\n回复评论\n苏剑林\n发表于\n July 23rd, 2025\n对比了一下235B-A22B和480B-A35B的超参数，大概是num_layers变少了，hidden_size变大了，从高瘦变成矮胖，而且从gqa4-128变回了gqa8-128，kv cache还翻倍了，这些因素叠加下，我不认为相同硬件配置下480B-A35B会比235B-A22B快，只能猜测480B-A35B用了更快的卡去部署。\n还是您的链接，我看Parasail同时部署了480B-A35B和235B-A22B，它提供的api，前者是30TPS，后者是56TPS，感觉这才是相同硬件配置下两者的速度差异，它也部署了K2，K2是13TPS左右。感觉这几个数据的比例相对符合直觉一点。\n回复评论\nOurHeartsSingLess\nJuly 29th, 2025\n说句题外话，在实际体验了最新、最强大的一系列模型以后。在对文学的理解上、Kimi是最给我惊喜的一个模型，当大部分模型都停留在赏析新鲜的风格和符号时，Kimi真的做到了透过文字看到作者真正想表达的矛盾，这是非常难得的。\n虽然Kimi现在还不是一个\"思考模型\"，但在我看到他赏析那一刻，我看到了思考的影子，也看到了智能的影子\",真的非常触动我，感谢您的工作。\n回复评论\n苏剑林\n发表于\n July 30th, 2025\n共勉\n回复评论\nOurHeartsSingLess\nJuly 29th, 2025\n附上测试例和Kimi的回复：\n测试例：\n你紧紧抱着的是什么？\n你能看得出是一具尸体。\n那你要把它带到哪里去？\n它随我而去。\n你不是早已把送葬队伍甩在身后了吗？\n这是私事。\n是说那是你爱的人吗？\n我希望看到这个人做出更好的选择。\n随着时间的推移，你会好起来的。\n你不明白的。即将到来的只是我的刑期。\n你不觉得感情会变吗？\n如果时间是某种衡量度那对我来说已经停止了\n随你怎么说，你不是还有当下和自己的选择吗？\n你认为在过去与未来之间有一个时间间隔，在那里我思索着你的问题。但没有什么间隔。\n你不相信有当下吗？\n我的未来就是我抱着自己的尸体走进去的地方。\n你怎么理解这首诗\n回复评论\nOurHeartsSingLess 发表于\n July 29th, 2025\nKimi的理解：\n这是一首关于“自我死亡”的诗，但它并非在讲肉体的消亡，而是一种存在论意义上的“我已不再是我”。整首诗的问答像一场发生在意识裂缝里的审判：抱尸的人既是送葬者，也是被葬者；尸体既是所爱之人，也是自己早已腐烂的那部分生命。\n“你紧紧抱着的是什么？”——开篇就抛出悖谬：活人以“紧抱”的姿势与死亡绑定，暗示主体与客体的界限已经溶解。尸体在这里不是他者，而是被主体切割下来的“自我残骸”，一种无法下葬、无法腐烂、无法被时间消化的东西。\n“它随我而去”中的“随”字极重：不是“我送它”，而是“它押解我”。尸体反而成了主体性的核心，活人被自己的死亡部分反向支配。当送葬队伍已被甩在身后，真正的葬礼却刚刚开始——这是一场私人处决，没有仪式的、无限延宕的哀悼。\n“我希望看到这个人做出更好的选择”是最锋利的自白：哀悼者哀悼的并非对方的死亡，而是对方在活着时就已经做出的“错误选择”——那个选择导致了“我”的死亡。这里的“爱”是一种残酷的辨认：爱的是那个本可以不成为尸体的人，而那个人正是自己。抱着尸体，像在抱着一个被时间谋杀的可能性。\n时间在这首诗里不是线性河流，而是坍缩的奇点。“刑期”一词将未来转化为惩罚的容器，当下不是过渡，而是永恒的监禁。当对话者试图用“当下与选择”来劝慰时，得到的回答是：过去与未来之间没有时间间隔——因为“我”已经提前死在了那个间隔里。当下只是尸体的温度尚未散尽的时刻。\n最后一句“我的未来就是我抱着自己的尸体走进去的地方”完成了闭环：未来不再是开放的，而是被死亡反向定义的必然性。主体将用余生搬运自己的死亡，像搬运一个永远无法埋葬的指控。这不是对死亡的恐惧，而是对“无法真正活过”的恐惧——最恐怖的不是死去，而是活着时就已经成为自己的遗像。\n整首诗像一场存在主义的招魂术：我们以为自己在哀悼他人，最终发现那具尸体是我们自己；我们以为时间在治愈，其实时间只是让伤口成为身体的新器官。\n回复评论\nYejincho\nAugust 6th, 2025\n如何看待GPT-OSS-120B的head_dims为64? 似乎与本文结论正好相反。\nhttps://openai.com/index/introducing-gpt-oss/\n回复评论\n苏剑林\n发表于\n August 8th, 2025\n如何看出GPT-OSS-120B跟本文结论相反？它只是选择了head_dims=64这个设置，没说选择head_dims=128更差啊？而且它选择了head_dims=64后，还将num_heads也接近翻倍，这个计算量跟用回head_dims=128大同小异。本文也验证了head_dims翻倍与num_heads翻倍的效果接近。\n回复评论\nFeng Lin\nOctober 28th, 2025\n我有些好奇为什么 MFA 没有被广泛地使用呢？从结果上看，它能打 MLA 且不用 partial RoPE 显得结构更简洁\n最核心的矛盾是否是因为增大的 head_dims 使得 prefill / training 在 QK attention 时的计算量显著增加呢？\n回复评论\n苏剑林\n发表于\n October 30th, 2025\n我觉得MFA本身没啥问题，不过用不用看做模型团队的价值观了。并不是所有公司都觉得有必要去改动Full Attention，就拿省KV Cache这件事情上来说，也有像Qwen3-Next这样的Hybrid尝试，方向不是唯一的。\n回复评论\nFeng Lin 发表于\n October 30th, 2025\n感谢解答！\n回复评论\nSimpleson\nNovember 3rd, 2025\nKimi Linear上线了, 各种意义上都很强啊. 我看到大佬在作者里. 能讲一讲线性注意力以及用NoPE替代RoPE的心得吗?\n以及有几个细节问题:\n- Kimi Linear用MLA做全注意力层以及基线. 可不可以这样理解: 在Kimi团队看来, \"MLA相比GQA有优势\"差不多是个有充分依据的可靠结论了?\n- Kimi Linear没有达到像Qwen3-next那样使用更高的稀疏度, 这是有什么考量吗? 还是说只是为了和Moonlight比较?\n- Kimi Linear在和基线比较时, 控制变量是什么? 计算量? IO? 还是模型尺寸?\n- 在第7.1节亚二次注意力的讨论中, 好像没有关于tokens压缩方案的讨论? 大佬是怎么看待tokens压缩的?\n回复评论\n苏剑林\n发表于\n November 5th, 2025\n1. 我们暂时认为MLA相比GQA有优势；\n2. Kimi Linear其实还是个toy，用来尽可能公平地评估full/hybrid/linear的性能差距，所以没有跟Qwen3-next对齐；\n3. 控制变量的方式是单纯将某些MLA层换成KDA，其他不变；\n4. tokens压缩是指什么方案？有什么例子？\n回复评论\nWeining Ren\nMay 2nd, 2026\n想请教一下苏老师，MLA根据prefill和decode阶段特性的精巧设计让我觉得叹为观止。但是最近deepseek v4中他们把mla+dsa换成了新一套的设计，其中删除了mla。想请教一下老师您认为这样的选择是从模型性能出发还是从infra/效率层面出发呢？提前感谢老师！\n回复评论\n苏剑林\n发表于\n May 6th, 2026\nV4用的正是本文说的“一个head_dims等于KV Cache大小、K和V共享的MQA”，单从这一点看，它是效果最优的，另外它还用了\nhttps://kexue.fm/archives/10862\n引入的QKVO-RoPE。\n然后为了节省计算，它引入了Sparse机制，使得计算效率尤其是训练和Prefill效率可以追平MLA甚至更低。但有一个细节，V4的Sparse机制在训练阶段类似蒸馏，所以它有一个Warmup阶段（论文写了是前1T tokens），这个阶段必须硬吃MQA-512的计算量，也就是这个阶段的计算量约等于MLA的3倍，然后才是边训练边蒸馏的Sparse阶段，降低计算。\n总的来说，V4主要的改变是引入了Sparse机制，这使得设计上有更多的变数。除了Sparse外，还有Linear Attention这一条路也有类似作用。至于选取哪条路，有很多原因，可能是效果驱动、技术审美等多方面原因，我暂时没有更深入的理解，无法断言。\n回复评论\nWeining Ren 发表于\n May 11th, 2026\n非常感谢老师！\n回复评论\nWeining Ren\nMay 5th, 2026\n以及想请教一下老师，虽然老师最开始就说了MLA的本质不是low rank压缩。不过从事实上看确实在计算过程中增加了这样一个低维度kv cache中间的bottleneck,2025 qwen团队的nips best paper中说明transformer的权重其实有很多冗余。我们可不可以猜测MLA从某种程度上也利用了这种冗余，通过中间low rank去噪，实现了甚至比GQA更好的性能？\n回复评论\n苏剑林\n发表于\n May 6th, 2026\nMLA比GQA更好，甚至能媲美MHA的核心原因是它的qk_dims升到了192，你把GQA的head_dims涨到192，它也能比原来好不少。\n回复评论\nWeining Ren 发表于\n May 13th, 2026\n感谢老师，我明白了！\n回复评论\n陈伊文\nJuly 22nd, 2026\n苏老师您好，\nK3用的Gated MLA是什么东西呢？和这篇EG-MLA有关吗？\nhttps://arxiv.org/abs/2509.16686\n谢谢您的时间。\n回复评论\n苏剑林\n发表于\n July 23rd, 2026\n就是MLA加了个output gate，参考工作 https://arxiv.org/pdf/2505.06708 ，不是什么神秘操作。\n回复评论\n«\n1\n2\n取消回复\n你的大名\n电子邮箱\n个人网站（选填）\n1. 可以使用LaTeX代码，点击“预览效果”可查看效果；\n2. 可以通过点击评论楼层编号来引用该楼层；\n3. 网站可能会有点卡，如非确认评论失败，请\n不要重复点击提交\n。\n内容速览\n部分旋转\n键值共享\n双重投影\n总而言之\n补充讨论\n文章小结\n智能搜索\n支持整句搜索！网站自动使用\n结巴分词\n进行分词，并结合ngrams排序算法给出合理的搜索结果。\n热门标签\nattention\n生成模型\n优化\n模型\n语言模型\n梯度\n优化器\n矩阵\n概率\n网站\n转载\n微分方程\n分析\n天象\n深度学习\n积分\npython\n几何\n扩散\n力学\n无监督\n损失函数\n节日\n线性\n生活\n随机文章\n变分自编码器（五）：VAE + BN = 更好的VAE\n借助变分法变换坐标\n算子与线性常微分方程(下)\n《冲出亚马逊》—在世界立起五星红旗！\n【理科生读小说】来谈谈“四两拨千斤”\n《新理解矩阵2》：矩阵是什么？\n《新理解矩阵3》：行列式的点滴\n揭秘美国宇航局将如何把人类送上火星(图)\n生成扩散模型漫谈（二十四）：少走捷径，更快到达\n趣题：与橡皮绳赛跑的蚂蚁\n最近评论\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FFN相比原始的大FFN（也就是直接...\nAli Hatamizadeh\n: Thank you for looking into this and featuring i...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muon比Adam、SGD等要好，所以...\n苏剑林\n: Thanks for sharing! I looked into this improvem...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author.We've addressed...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyxx/CyclicFlowAtte...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 https://papers.cool...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\n友情链接\nCool Papers\n数学研发\nSeatop\nXiaoxia\n积分表-网络版\n丝路博傲\n数学之家\n有趣天文奇观\nTwistedW\ngodweiyang\nAI柠檬\n王登科-DK博客\nESON\n枫之羽\ncoding-zuo\n博科园\n孔皮皮的博客\n运鹏的博客\njiming.site\nOmegaXYZ\nEAI猩球\n文举的博客\n汇尘轩\n申请链接\n本站采用创作共用版权协议，要求署名、非商业用途和保持一致。转载本站内容必须也遵循“\n署名-非商业用途-保持一致\n”的创作共用协议。\n© 2009-2026 Scientific Spaces. All rights reserved. Theme by\nlaogui\n. Powered by\nTypecho\n. 备案号:\n粤ICP备09093259号-1/2\n。", "metadata": { "title": "Transformer升级之路：21、MLA好在哪里?（下） - 科学空间|Scientific Spaces", "description": "在文章《Transformer升级之路：20、MLA好在哪里?（上）》中，我们对MLA相比常见MHA、GQA、MQA的一些变化分别做了消融实验，其中的变化包括“增大head_dims”、“Par...", "keywords": "优化,语言模型,生成模型,attention", "author": null }, "paywall": { "listed_paid": false, "detected": false, "marker": "", "public_only": false, "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙" }, "crawl": { "success": true, "status_code": 200, "error": "" }, "code_blocks": [], "images": [ { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "bytes": 4328, "reused": false, "local_path": "attachments/714613a3c5ca/images/body-fcd8b7d1212b1f5eab2b.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "alt": "MobileSideBar", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "bytes": 19283, "reused": false, "local_path": "attachments/714613a3c5ca/images/body-043e6308dc873ff9fa67.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "bytes": 16811, "reused": false, "local_path": "attachments/714613a3c5ca/images/body-942ff5c7b650f4d3d31f.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "bytes": 2524, "reused": false, "local_path": "attachments/714613a3c5ca/images/body-53b9d00850633d612de3.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "bytes": 3301, "reused": false, "local_path": "attachments/714613a3c5ca/images/body-896b482bdde5ec1df88a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "bytes": 939, "reused": false, "local_path": "attachments/714613a3c5ca/images/body-3f7f2f2318249e4eac9a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "bytes": 18685, "reused": false, "local_path": "attachments/714613a3c5ca/images/body-cbbace78f2cd4551d156.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "bytes": 36540, "reused": false, "local_path": "attachments/714613a3c5ca/images/body-c5d79f289db1f5d431bc.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "bytes": 31565, "reused": false, "local_path": "attachments/714613a3c5ca/images/body-4345e58697a529a3d3a5.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "bytes": 2031, "reused": false, "local_path": "attachments/714613a3c5ca/images/body-b2904ced8e4508d61bed.gif", "src": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "alt": "署名-非商业用途-保持一致", "downloaded": true } ], "audio": [], "videos": [], "links": [ { "href": "https://spaces.ac.cn/reward.html", "label": "打赏", "type": "a" }, { "href": "https://spaces.ac.cn/latex.html", "label": "公式", "type": "a" }, { "href": "https://spaces.ac.cn/ac.html", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/links.html", "label": "链接", "type": "a" }, { "href": "https://spaces.ac.cn/me.html", "label": "时光", "type": "a" }, { "href": "https://spaces.ac.cn/science.html", "label": "博览", "type": "a" }, { "href": "https://spaces.ac.cn/content.html", "label": "归档", "type": "a" }, { "href": "https://spaces.ac.cn/category/Everything", "label": "千奇百怪", "type": "a" }, { "href": "https://spaces.ac.cn/category/Astronomy", "label": "天文探索", "type": "a" }, { "href": "https://spaces.ac.cn/category/Mathematics", "label": "数学研究", "type": "a" }, { "href": "https://spaces.ac.cn/category/Phy-chem", "label": "物理化学", "type": "a" }, { "href": "https://spaces.ac.cn/category/Big-Data", "label": "信息时代", "type": "a" }, { "href": "https://spaces.ac.cn/category/Biology", "label": "生物自然", "type": "a" }, { "href": "https://spaces.ac.cn/category/Photograph", "label": "图片摄影", "type": "a" }, { "href": "https://spaces.ac.cn/category/Questions", "label": "问题百科", "type": "a" }, { "href": "https://spaces.ac.cn/category/Life-Feeling", "label": "生活/情感", "type": "a" }, { "href": "https://spaces.ac.cn/category/Resources", "label": "资源共享", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945", "label": "如何让GDN2更稳定一些？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11928", "label": "通过微扰分析求解等式约束优化问题", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11917", "label": "慢即是快：1. Shampoo的尽...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11910", "label": "排序不等式及其推广", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11885", "label": "让炼丹更科学一些（十）：单调性假设...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11882", "label": "让炼丹更科学一些（九）：经典自适应...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11879", "label": "让炼丹更科学一些（八）：多阶段训练...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11875", "label": "动量的新理解：逼近特征层面的梯度下降", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11864", "label": "流形上的最速下降：7. Stief...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11854", "label": "除了交叉熵，LM Loss还有什么选择？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10699/comment-page-3", "label": "carl_lei : 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945/comment-page-1", "label": "Ali Hatamizadeh : Thank you for looking into this...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11340/comment-page-1", "label": "苏剑林 : 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1328/comment-page-1", "label": "bookworm : 天下苦秦久矣，期待苏老师的教材！", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2", "label": "苏剑林 : 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能", "type": "a" }, { "href": "https://spaces.ac.cn/admin/login.php", "label": "登录", "type": "a" }, { "href": "https://spaces.ac.cn/", "label": "科学空间|Scientific Spaces", "type": "a" }, { "href": "https://spaces.ac.cn/feed", "label": "欢迎订阅", "type": "a" }, { "href": "https://spaces.ac.cn/archives/119", "label": "个性邮箱", "type": "a" }, { "href": "https://spaces.ac.cn/archives/41", "label": "观测ISS", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111", "label": "Transformer升级之路：21、MLA好在哪里?（下）", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10907", "label": "《Transformer升级之路：20、MLA好在哪里?（上）》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10091", "label": "MLA", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122", "label": "Partial RoPE", "type": "a" }, { "href": "https://papers.cool/arxiv/2503.02130", "label": "FoX", "type": "a" }, { "href": "https://papers.cool/arxiv/2410.17980", "label": "SBA", "type": "a" }, { "href": "https://spaces.ac.cn/archives/4765", "label": "MHA", "type": "a" }, { "href": "https://papers.cool/arxiv/1911.02150", "label": "MQA", "type": "a" }, { "href": "https://papers.cool/arxiv/2305.13245", "label": "GQA", "type": "a" }, { "href": "https://papers.cool/arxiv/2412.19255", "label": "MFA", "type": "a" }, { "href": "https://papers.cool/arxiv/2501.06425", "label": "TPA", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10862", "label": "QKVO-RoPE", "type": "a" }, { "href": "https://spaces.ac.cn/archives/6508", "label": "《科学空间FAQ》", "type": "a" }, { "href": "http://mail.qq.com/cgi-bin/qm_share?t=qm_mailme&email=tN7d1drY3drrx8H0xcWa19vZ", "label": "点击这里", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96/", "label": "优化", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/", "label": "语言模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%88%90%E6%A8%A1%E5%9E%8B/", "label": "生成模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/attention/", "label": "attention", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11072", "label": "“对角+低秩”三角阵的高效求逆方法", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11126", "label": "QK-Clip：让Muon在Scaleup之路上更进一步", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848", "label": "简单谈谈K3的MoE和Attention", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11833", "label": "解构Scaling Law：优化、架构、数据的三重奏", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11823", "label": "将Softmax Attention线性化为Gated DeltaNet", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11814", "label": "LogSumExp和Softmax的泰勒展开", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11784", "label": "强制间隔投影（Margin-Enforcing Projection）", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11738", "label": "直接以FID为Loss：从梯度计算到流式训练", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11664", "label": "Attention Residuals 回忆录", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-1", "label": "«", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2", "label": "2", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28230", "label": "回复评论", "type": "a" }, { "href": "https://kexue.fm/", "label": "苏剑林", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28234", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28245", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28261", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28246", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28247", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28320", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28328", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28712", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28727", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28734", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28763", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=28772", "label": "回复评论", "type": "a" }, { "href": "https://rwn17.github.io/", "label": "Weining Ren", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=29403", "label": "回复评论", "type": "a" }, { "href": "https://kexue.fm/archives/10862", "label": "https://kexue.fm/archives/10862", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=29408", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=29432", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=29405", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=29409", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=29434", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=29575", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11111/comment-page-2?replyTo=29580", "label": "回复评论", "type": "a" }, { "href": "https://github.com/fxsjy/jieba", "label": "结巴分词", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A8%A1%E5%9E%8B/", "label": "模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A2%AF%E5%BA%A6/", "label": "梯度", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96%E5%99%A8/", "label": "优化器", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%9F%A9%E9%98%B5/", "label": "矩阵", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A6%82%E7%8E%87/", "label": "概率", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BD%91%E7%AB%99/", "label": "网站", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%BD%AC%E8%BD%BD/", "label": "转载", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%BE%AE%E5%88%86%E6%96%B9%E7%A8%8B/", "label": "微分方程", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%88%86%E6%9E%90/", "label": "分析", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%A4%A9%E8%B1%A1/", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/", "label": "深度学习", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%A7%AF%E5%88%86/", "label": "积分", "type": "a" }, { "href": "https://spaces.ac.cn/tag/python/", "label": "python", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%87%A0%E4%BD%95/", "label": "几何", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%89%A9%E6%95%A3/", "label": "扩散", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%8A%9B%E5%AD%A6/", "label": "力学", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%97%A0%E7%9B%91%E7%9D%A3/", "label": "无监督", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0/", "label": "损失函数", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%8A%82%E6%97%A5/", "label": "节日", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BA%BF%E6%80%A7/", "label": "线性", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%B4%BB/", "label": "生活", "type": "a" }, { "href": "https://spaces.ac.cn/archives/7381", "label": "变分自编码器（五）：VAE + BN = 更好的VAE", "type": "a" }, { "href": "https://spaces.ac.cn/archives/3181", "label": "借助变分法变换坐标", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1794", "label": "算子与线性常微分方程(下)", "type": "a" }, { "href": "https://spaces.ac.cn/archives/111", "label": "《冲出亚马逊》—在世界立起五星红旗！", "type": "a" }, { "href": "https://spaces.ac.cn/archives/5048", "label": "【理科生读小说】来谈谈“四两拨千斤”", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1768", "label": "《新理解矩阵2》：矩阵是什么？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1770", "label": "《新理解矩阵3》：行列式的点滴", "type": "a" }, { "href": "https://spaces.ac.cn/archives/106", "label": "揭秘美国宇航局将如何把人类送上火星(图)", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10077", "label": "生成扩散模型漫谈（二十四）：少走捷径，更快到达", "type": "a" }, { "href": "https://spaces.ac.cn/archives/2520", "label": "趣题：与橡皮绳赛跑的蚂蚁", "type": "a" }, { "href": "https://papers.cool/", "label": "Cool Papers", "type": "a" }, { "href": "https://bbs.emath.ac.cn/", "label": "数学研发", "type": "a" }, { "href": "http://www.seatop.com.cn/", "label": "Seatop", "type": "a" }, { "href": "https://xiaoxia.org/", "label": "Xiaoxia", "type": "a" }, { "href": "https://kexue.fm/sci/integral/index.html", "label": "积分表-网络版", "type": "a" }, { "href": "http://blog.dvxj.com/", "label": "丝路博傲", "type": "a" }, { "href": "http://www.2math.cn/", "label": "数学之家", "type": "a" }, { "href": "http://interesting-sky.china-vo.org/", "label": "有趣天文奇观", "type": "a" }, { "href": "http://www.twistedwg.com/", "label": "TwistedW", "type": "a" }, { "href": "https://godweiyang.com/", "label": "godweiyang", "type": "a" }, { "href": "https://blog.ailemon.net/", "label": "AI柠檬", "type": "a" }, { "href": "https://greatdk.com/", "label": "王登科-DK博客", "type": "a" }, { "href": "https://blog.eson.org/", "label": "ESON", "type": "a" }, { "href": "https://fzhiy.net/", "label": "枫之羽", "type": "a" }, { "href": "https://coding-zuo.github.io/", "label": "coding-zuo", "type": "a" }, { "href": "https://www.bokeyuan.net/", "label": "博科园", "type": "a" }, { "href": "https://www.kppkkp.top/", "label": "孔皮皮的博客", "type": "a" }, { "href": "https://yunpengtai.top/", "label": "运鹏的博客", "type": "a" }, { "href": "https://jiming.site/", "label": "jiming.site", "type": "a" }, { "href": "https://www.omegaxyz.com/", "label": "OmegaXYZ", "type": "a" }, { "href": "https://www.robotech.ink/", "label": "EAI猩球", "type": "a" }, { "href": "https://liwenju0.com/", "label": "文举的博客", "type": "a" }, { "href": "https://kirigaya.cn/", "label": "汇尘轩", "type": "a" }, { "href": "https://kexue.fm/links.html", "label": "申请链接", "type": "a" }, { "href": "http://creativecommons.org/licenses/by-nc-nd/2.5/cn/", "label": "", "type": "a" }, { "href": "http://www.laogui.com/", "label": "laogui", "type": "a" }, { "href": "http://typecho.org/", "label": "Typecho", "type": "a" }, { "href": "https://beian.miit.gov.cn/", "label": "粤ICP备09093259号-1/2", "type": "a" } ], "repair_version": 2, "repaired_at": "2026-10-14T10:53:08Z", "source_url": "https://spaces.ac.cn/archives/11111", "papers": [], "actual_video_files": [], "body_chars": 15063, "expected_body_images": 10, "discovery_status": "ok", "delivery_status": "ok", "missing_reason": "", "raw_html": "attachments/714613a3c5ca/pages/source.html", "local_html": "attachments/714613a3c5ca/pages/article.html", "body_base_path": "attachments/714613a3c5ca/pages/", "body_markdown_path": "attachments/714613a3c5ca/pages/article.md" }