{ "source_file": "0930", "source_platform": "个人博客", "author": "苏剑林", "title_listed": "Transformer升级之路：15、Key归一化助力长度外推", "keywords": "Key归一化,长度外推", "domain": "大模型算法", "content_type": "深度技术解析", "is_paid_flag": "否", "url": "https://spaces.ac.cn/archives/9859", "publish_date": "2023-11", "corpus_stage": "预训练/SFT", "notes": "Key 归一化方法", "id": "ec8a0a5e40d7", "collected_at": "2026-10-02T15:14:52", "title": "Transformer升级之路：15、Key归一化助力长度外推 - 科学空间|Scientific Spaces", "body_markdown": "SEARCH\nMENU\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\nCATEGORIES\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\nNEWPOSTS\n如何让GDN2更稳定一些？\n通过微扰分析求解等式约束优化问题\n慢即是快：1. Shampoo的尽...\n排序不等式及其推广\n让炼丹更科学一些（十）：单调性假设...\n让炼丹更科学一些（九）：经典自适应...\n让炼丹更科学一些（八）：多阶段训练...\n动量的新理解：逼近特征层面的梯度下降\n流形上的最速下降：7. Stief...\n除了交叉熵，LM Loss还有什么选择？\nCOMMENTS\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...\nAli Hatamizadeh\n: Thank you for looking into this...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...\n苏剑林\n: Thanks for sharing! I looked in...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyx...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 htt...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\nUSERLOGIN\n登录\n科学空间|Scientific Spaces\n登录\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\n渴望成为一个小飞侠\n欢迎订阅\n个性邮箱\n天象信息\n观测ISS\nLaTeX\n关于博主\n欢迎访问“科学空间”，这里将与您共同探讨自然科学，回味人生百态；也期待大家的分享～\n千奇百怪\nEverything\n天文探索\nAstronomy\n数学研究\nMathematics\n物理化学\nPhy-chem\n信息时代\nBig-Data\n生物自然\nBiology\n图片摄影\nPhotograph\n问题百科\nQuestions\n生活/情感\nLife-Feeling\n资源共享\nResources\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\n首页\n信息时代\nTransformer升级之路：15、Key归一化助力长度外推\n20\nNov\nTransformer升级之路：15、Key归一化助力长度外推\nBy\n苏剑林\n|\n2023-11-20\n|\n106968位读者\n|\n:\n大体上，我们可以将目前Transformer的长度外推技术分为两类：一类是事后修改，比如\nNTK-RoPE\n、\nYaRN\n、\nReRoPE\n等，这类方法的特点是直接修改推理模型，无需微调就能达到一定的长度外推效果，但缺点是它们都无法保持模型在训练长度内的恒等性；另一类自然是事前修改，如\nALIBI\n、\nKERPLE\n、\nXPOS\n以及\nHWFA\n等，它们可以不加改动地实现一定的长度外推，但相应的改动需要在训练之前就引入，因此无法不微调地用于现成模型，并且这类方法是否能够Scale Up还没得到广泛认可。\n在这篇文章中，笔者将介绍一种意外发现的长度外推方案——“KeyNorm”——对Attention的Key序列做L2 Normalization，很明显它属于事前修改一类，但对Attention机制的修改非常小，因此看上去非常有希望能够Scale Up。\n最初动机\n#\n之所以说“意外发现”，是因为该改动的原始动机并不是长度外推，而是尝试替换Scaled Dot-Product Attention中的Scale方式。我们知道，Attention的标准定义是（本文主要考虑Causal场景）\n\\begin{equation}\\boldsymbol{o}_i = \\frac{\\sum_{j = 1}^i\\exp\\left(\\frac{\\boldsymbol{q}_i\\cdot \\boldsymbol{k}_j}{\\sqrt{d}}\\right)\\boldsymbol{v}_j}{\\sum_{j = 1}^i\\exp\\left(\\frac{\\boldsymbol{q}_i\\cdot \\boldsymbol{k}_j}{\\sqrt{d}}\\right)},\\quad \\boldsymbol{q}_i,\\boldsymbol{k}_j\\in\\mathbb{R}^d\\label{eq:sdpa}\\end{equation}\n其中，Scale因子$\\frac{1}{\\sqrt{d}}$我们已经多次进行过解释甚至推广，比如\n《浅谈Transformer的初始化、参数化与标准化》\n、\n《从熵不变性看Attention的Scale操作》\n、\n《从梯度最大化看Attention的Scale操作》\n等。标准的推导是在“$\\boldsymbol{q}_i,\\boldsymbol{k}_j$均独立地采样自“均值为0、方差为1”的分布”的假设下进行的，而在该假设之下，我们还有\n\\begin{equation}\\Vert\\boldsymbol{q}_i\\Vert\\approx \\sqrt{d},\\quad \\Vert\\boldsymbol{k}_j\\Vert\\approx \\sqrt{d}\\end{equation}\n这是因为\n\\begin{equation}\\Vert\\boldsymbol{x}\\Vert^2 = \\sum_{i=1}^d x_i^2 = d\\times\\frac{1}{d}\\sum_{i=1}^d x_i^2\\approx d\\,\\mathbb{E}_{x\\sim\\mathcal{N}(0,1)}[x^2] = d\\end{equation}\n相关推广还可以参考\n《让人惊叹的Johnson-Lindenstrauss引理：理论篇》\n。这个近似式意味着，在Attention的初始阶段式$\\eqref{eq:sdpa}$与下面两个变体有着相同的效果：\n\\begin{align}\\color{red}{\\text{Q}}\\text{uery}\\color{red}{\\text{N}}\\text{orm:}\\quad\\boldsymbol{o}_i =&\\, \\frac{\\sum_{j = 1}^i\\exp\\left(\\tilde{\\boldsymbol{q}}_i\\cdot \\boldsymbol{k}_j\\right)\\boldsymbol{v}_j}{\\sum_{j = 1}^i\\exp\\left(\\tilde{\\boldsymbol{q}}_i\\cdot \\boldsymbol{k}_j\\right)},\\qquad \\tilde{\\boldsymbol{q}}_i = \\frac{\\boldsymbol{q}_i}{\\Vert\\boldsymbol{q}_i\\Vert} \\\\[5pt]\n\\color{red}{\\text{K}}\\text{ey}\\color{red}{\\text{N}}\\text{orm:}\\quad\\boldsymbol{o}_i =&\\, \\frac{\\sum_{j = 1}^i\\exp\\left(\\boldsymbol{q}_i\\cdot \\tilde{\\boldsymbol{k}}_j\\right)\\boldsymbol{v}_j}{\\sum_{j = 1}^i\\exp\\left(\\boldsymbol{q}_i\\cdot \\tilde{\\boldsymbol{k}}_j\\right)},\\qquad \\tilde{\\boldsymbol{k}}_j = \\frac{\\boldsymbol{k}_j}{\\Vert\\boldsymbol{k}_j\\Vert}\n\\end{align}\n因此，就有了验证这两个变体与标准的式$\\eqref{eq:sdpa}$哪个更优的想法。为了描述的方便，我们可以相应地称为“\nQ\nuery/\nK\ney-\nN\normalized Dot-Product\nA\nttention”，分别简称为“QNA”和“KNA”。\n此外，既然可以QueryNorm和KeyNorm，那么自然也可以考虑两者都Norm一下，所以我们将如下“Scaled\nCos\nine\nA\nttention（CosA）”也一并进行实验：\n\\begin{equation}\\boldsymbol{o}_i = \\frac{\\sum_{j = 1}^i\\exp\\left(\\lambda\\,\\tilde{\\boldsymbol{q}}_i\\cdot \\tilde{\\boldsymbol{k}}_j\\right)\\boldsymbol{v}_j}{\\sum_{j = 1}^i\\exp\\left(\\lambda\\,\\tilde{\\boldsymbol{q}}_i\\cdot \\tilde{\\boldsymbol{k}}_j\\right)} = \\frac{\\sum_{j = 1}^i\\exp\\left(\\lambda\\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j)\\right)\\boldsymbol{v}_j}{\\sum_{j = 1}^i\\exp\\left(\\lambda\\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j)\\right)}\n\\end{equation}\n其中$\\lambda$采用\n《从梯度最大化看Attention的Scale操作》\n中的结果，即$\\lambda = 4\\log n$（原文是3.5，但下面训练长度比较小，改为4更精准一些），其中$n$固定为训练长度的一半，或者动态取位置id加1。\n先看结果\n#\n沿着\n之前\n做长度外推的实验设置，都是1亿参数的小模型，\nGAU\n架构，训练相同的步数（时间有限，这个步数下其实模型还没训练充分），训练长度512，并考虑外推到4096长度，实验结果如下表。其中Baseline就是式$\\eqref{eq:sdpa}$，$\\text{-}\\log n$就是加入\n《从熵不变性看Attention的Scale操作》\n介绍的长度相关的缩放因子。评价指标是语言模型的逐token准确率，越大越好。\n\\begin{array}{c|cc}\n\\hline\n\\text{测试长度} & 512(\\text{训练}) & 4096(\\text{重复}) & 4096(\\text{不重复}) \\\\\n\\hline\n\\text{Baseline} & 49.41\\% & 24.17\\% & 23.16\\% \\\\\n\\text{Baseline-}\\log n & 49.40\\% & 24.60\\% & 24.02\\% \\\\\n\\hline\n\\text{QNA} & 49.55\\% & 22.45\\% & 22.18\\% \\\\\n\\text{QNA-}\\log n & 49.42\\% & 19.55\\% & 18.74\\% \\\\\n\\text{KNA} & 49.60\\% & 61.08\\% & 47.69\\% \\\\\n\\text{KNA-}\\log n & 49.58\\% & 63.17\\% & 46.40\\%\\\\\n\\text{CosA} & 49.73\\% & 58.90\\% & 46.98\\% \\\\\n\\text{CosA-}\\log n & 49.67\\% & 64.74\\% & 48.95\\% \\\\\n\\hline\n\\end{array}\n从表格中我们可以看出：1、不管是QueryNorm还是KeyNorm，都在训练长度上取得了更好的效果，虽然这个优势非常微弱，大概率随着训练的进一步推进可以忽略不计，但这个优势非常稳定，暗示着让训练更加平稳的可能性；2、\nKeyNorm对长度外推的提升非常明显\n，这就是实验结果中的“意外之喜”！\n注意，跟NTK-RoPE、YaRN需要修改推理阶段的模型不同，这里的KNA和CosA的长度外推在推理阶段是完全不做改动的。因此，可能有读者想知道，既然KNA和CosA推理时不加改动外推效果都这么好了，如果配合NTK-RoPE、YaRN等外推技巧，效果会不会“更上一层楼”？对此，笔者也进行了测试，结果如下表：\n\\begin{array}{c|cc}\n\\hline\n\\text{测试长度} & 512(\\text{训练}) & 4096(\\text{重复}) & 4096(\\text{不重复}) \\\\\n\\hline\n\\text{Baseline} & 49.41\\% & 24.17\\% & 23.16\\% \\\\\n\\text{Baseline-NTK} & 49.41\\% & 60.57\\% & 42.20\\% \\\\\n\\text{Baseline-YaRN} & 49.41\\% & 80.10\\% & 47.45\\% \\\\\n\\text{Baseline-ReRoPE} & 49.41\\% & 76.11\\% & 47.82\\% \\\\\n\\hline\n\\text{Baseline-}\\log n & 49.40\\% & 24.60\\% & 24.02\\% \\\\\n\\text{Baseline-}\\log n\\text{-NTK} & 49.40\\% & 75.86\\% & 47.06\\% \\\\\n\\text{Baseline-}\\log n\\text{-YaRN} & 49.40\\% & 82.57\\% & 46.52\\% \\\\\n\\text{Baseline-}\\log n\\text{-ReRoPE} & 49.40\\% & 85.47\\% & 48.87\\% \\\\\n\\hline\n\\text{QNA} & 49.55\\% & 22.45\\% & 22.18\\% \\\\\n\\text{QNA-NTK} & 49.55\\% & 52.28\\% & 39.88\\% \\\\\n\\text{QNA-YaRN} & 49.55\\% & 82.53\\% & 47.50\\% \\\\\n\\text{QNA-ReRoPE} & 49.55\\% & 78.22\\% & 47.72\\% \\\\\n\\hline\n\\text{QNA-}\\log n & 49.42\\% & 19.55\\% & 18.74\\% \\\\\n\\text{QNA-}\\log n\\text{-NTK} & 49.42\\% & 57.44\\% & 41.56\\% \\\\\n\\text{QNA-}\\log n\\text{-YaRN} & 49.42\\% & 80.08\\% & 45.16\\% \\\\\n\\text{QNA-}\\log n\\text{-ReRoPE} & 49.42\\% & 84.71\\% & 48.31\\% \\\\\n\\hline\n\\text{KNA} & 49.60\\% & 61.08\\% & 47.69\\% \\\\\n\\text{KNA-NTK} & 49.60\\% & 64.44\\% & 43.02\\% \\\\\n\\text{KNA-YaRN} & 49.60\\% & 84.19\\% & 47.44\\% \\\\\n\\text{KNA-ReRoPE} & 49.60\\% & 77.76\\% & 47.73\\% \\\\\n\\hline\n\\text{KNA-}\\log n & 49.58\\% & 63.17\\% & 46.40\\%\\\\\n\\text{KNA-}\\log n\\text{-NTK} & 49.58\\% & 79.05\\% & 47.43\\%\\\\\n\\text{KNA-}\\log n\\text{-YaRN} & 49.58\\% & 83.95\\% & 47.16\\%\\\\\n\\text{KNA-}\\log n\\text{-ReRoPE} & 49.58\\% & 85.48\\% & 48.78\\%\\\\\n\\hline\n\\text{CosA} & 49.73\\% & 58.90\\% & 46.98\\% \\\\\n\\text{CosA-NTK} & 49.73\\% & 62.50\\% & 42.77\\% \\\\\n\\text{CosA-YaRN} & 49.73\\% & 83.40\\% & 47.80\\% \\\\\n\\text{CosA-ReRoPE} & 49.73\\% & 77.82\\% & 47.80\\% \\\\\n\\hline\n\\text{CosA-}\\log n & 49.67\\% & 64.74\\% & 48.39\\% \\\\\n\\text{CosA-}\\log n\\text{-NTK} & 49.67\\% & 78.97\\% & 47.46\\% \\\\\n\\text{CosA-}\\log n\\text{-YaRN} & 49.67\\% & 82.28\\% & 45.72\\% \\\\\n\\text{CosA-}\\log n\\text{-ReRoPE} & 49.67\\% & 85.67\\% & 48.39\\% \\\\\n\\hline\n\\end{array}\n这个表比较啰嗦，主要是为了让大家对主流长度外推技巧的效果差异有一个全面的感知，大家选择自己感兴趣的维度比较就好，但要注意如果看长度外推效果的话，应该以“不重复”一列为主，“重复”一列为辅。从上表看，结果着实有点让人意外，KeyNorm似乎“免疫”了已有的RoPE外推技巧，NTK、YaRN等技巧叠加上去并没有明显提升，甚至可能会下降，不过总体来看“重复”一列还是有显著提升的，不显著的是“不重复”一列。这些结果表明，KeyNorm依然有着无法有效识别超出训练长度的位置（所以“重复”的结果不高）的问题，但有效地避免了PPL爆炸问题（所以“不重复”的结果还不错）。\n这对做Long Context的同学来说可能是个好消息：一方面，KeyNorm不像ALIBI、KERPLE等，它的长度外推不用加Local约束，训练完成后也不做任何修改，纯属是“免费的午餐”，甚至看上去加了KeyNorm后训练效果都变好了；另一方面，也因为它是非Local的，所以可以更长文本继续训练，并且继续训练时再也不用纠结是选\nPI\n还是\nABF\n了，对于KeyNorm来说，啥也不改就行。\n原理分析\n#\n尽管这是个意外发现，但我们仍需要尝试去解释它，不然它就一直只是个意外。所以这一节我们尝试来思考，为什么KeyNorm会有助于长度外推。\n让我们重新回到式$\\eqref{eq:sdpa}$，第$i$个token与第$j$个token的相关性打分由内积完成：\n\\begin{equation}s(j|i) = \\boldsymbol{q}_i\\cdot \\boldsymbol{k}_j = \\Vert\\boldsymbol{q}_i\\Vert \\Vert\\boldsymbol{k}_j\\Vert \\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j),\\quad p(j|i) = \\frac{\\exp\\left(\\frac{s(j|i)}{\\sqrt{d}}\\right)}{\\sum_{j=1}^i \\exp\\left(\\frac{s(j|i)}{\\sqrt{d}}\\right)}\\end{equation}\n第二个等号，我们从几何意义出发，将它分解为了各自模长与夹角余弦的乘积。注意力$p(j|i)$是一个条件概率，$\\Vert\\boldsymbol{q}_i\\Vert$只跟当前位置$i$有关，它不改变注意力的相对大小，而只改变\n稀疏程度\n；$\\Vert\\boldsymbol{k}_j\\Vert$则有能力改变$p(j|i)$的相对大小，但它不涉及到$i,j$的交互，可以用来表达一些绝对信号，比如\nScissorhands\n表明某些绝对位置的token的注意力一直都会很高，这就有可能用$\\Vert\\boldsymbol{k}_j\\Vert$来表达；剩下的$\\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j)$就是用来表达$i,j$的交互，它是自由度最大的一项。\n很明显，为了提高某个位置$j$的相对重要性，模型有两个选择：1、增大模长$\\Vert\\boldsymbol{k}_j\\Vert$；2、增大$\\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j)$，即缩小$\\boldsymbol{q}_i,\\boldsymbol{k}_j$的夹角大小。然而，由于“\n维度灾难\n”的存在，在高维空间中显著地改变夹角大小相对来说没有那么容易，所以如果能靠增大模长$\\Vert\\boldsymbol{k}_j\\Vert$完成的，模型会优先选择通过增大模长$\\Vert\\boldsymbol{k}_j\\Vert$来完成，这导致的直接后果是：$\\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j)$的训练可能并不充分。\n这里笔者作出一个断言（猜测）：\n$\\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j)$的训练不充分是Attention无法长度外推的主要原因。\n$\\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j)$的训练不充分，是指被训练过的$\\boldsymbol{q}_i,\\boldsymbol{k}_j$的夹角只是一个有限的集合，而进行长度外推时，它要面对一个更大的集合，从而无法进行正确的预测。仔细思考\nYaRN\n一文的推导就会发现，NTK、YaRN之所以有效，是因为修改了推理阶段RoPE的实现，使得$\\boldsymbol{q}_i,\\boldsymbol{k}_j$的夹角落到原本训练阶段的有限集合中，避免面对没见过的更大的集合，转外推为内插；ReRoPE则更加干脆，直接截断Window以外的相对位置，这使得推理阶段的位置编码都不会“面生”。这些技巧一定程度上都间接地验证了这个断言。\n从这个断言出发，KeyNorm的长度外推起因就变得简单了。不论是只进行KeyNorm的KNA，还是QueryNorm、KeyNorm都做的CosA，它们都将$\\Vert\\boldsymbol{k}_j\\Vert$从Attention的定义中排除掉了，于是为了改变$j$的相对重要性，模型就只有“调整$\\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j)$”这一个选择，这将会使得模型更加充分地训练和利用$\\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j)$，从而间接促进了长度外推性。此外，笔者也实验过“KeyNorm + NoPE”的组合，但并没有发现长度外推性，这说明RoPE也在KeyNorm的长度外推中担任重要角色。事实上这也不难理解，RoPE对$\\boldsymbol{q}_i,\\boldsymbol{k}_j$进行旋转，更有助于扩大训练期间$\\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j)$的范围，从而使得$\\cos(\\boldsymbol{q}_i,\\boldsymbol{k}_j)$的训练更为充分。\n有没有工作已经尝试过QueryNorm和KeyNorm了呢？有。2020年的论文\n《Query-Key Normalization for Transformers》\n曾实验过CosA，论文还提出了一个类似的长度对数的Scale因子，但没有讨论到长度外推问题。此外，今年初Google的论文\n《Scaling Vision Transformers to 22 Billion Parameters》\n也在Query和Key加了Norm，但加的是LayerNorm，LayerNorm或者RMSNorm都带有可学的gamma参数，这使得Norm之后的向量模长未必为常数，因此并不好说是否能达到本文一样的长度外推效果。\n文章小结\n#\n本文介绍了笔者意外发现的一种长度外推方案“KeyNorm”——对Attention的Key序列进行L2归一化，在训练长度上取得了更好的效果，并在长度外推方面表现出显著的提升。它属于“事前修改”方案，跟其他事前修改方案如ALIBI、KERPLE等相比，它没有Local约束，因此更有希望能够Scale Up；相比于NTK-RoPE、YaRN等“事后修改”方案，它在外推的时候则不会损失训练长度内的性能。\n转载到请包括本文地址：\nhttps://spaces.ac.cn/archives/9859\n更详细的转载事宜请参考：\n《科学空间FAQ》\n如果您还有什么疑惑或建议，欢迎在下方评论区继续讨论。\n如果您觉得本文还不错，欢迎\n分享\n/\n打赏\n本文。打赏并非要从中获得收益，而是希望知道科学空间获得了多少读者的真心关注。当然，如果你无视它，也不会影响你的阅读。再次表示欢迎和感谢！\n打赏\n微信打赏\n支付宝打赏\n因为网站后台对打赏并无记录，因此欢迎在打赏时候备注留言。\n你还可以\n点击这里\n或在下方评论区留言来告知你的建议或需求。\n如果您需要引用本文，请参考：\n苏剑林. (Nov. 20, 2023). 《Transformer升级之路：15、Key归一化助力长度外推 》[Blog post]. Retrieved from\nhttps://spaces.ac.cn/archives/9859\n@online{kexuefm-9859,\ntitle={Transformer升级之路：15、Key归一化助力长度外推},\nauthor={苏剑林},\nyear={2023},\nmonth={Nov},\nurl={\\url{https://spaces.ac.cn/archives/9859}},\n}\n分类：\n信息时代\n标签：\nattention\n,\n位置编码\n,\n泛化\n,\n外推\n28 评论\n<\n【生活杂记】炒锅的尽头是铁锅\n|\n我在Performer中发现了Transformer-VQ的踪迹\n>\n你也许还对下面的内容感兴趣\n如何让GDN2更稳定一些？\n简单谈谈K3的MoE和Attention\n将Softmax Attention线性化为Gated DeltaNet\nLogSumExp和Softmax的泰勒展开\nAttention Residuals 回忆录\nDeltaNet的核心逆矩阵的元素总是在[-1, 1]内\n为什么DeltaNet要加L2 Normalize？\n低精度Attention可能存在有偏的舍入误差\n为什么线性注意力要加Short Conv？\nQK-Clip：让Muon在Scaleup之路上更进一步\n发表你的看法\n«\n1\n2\n探秘Transformer系列之（10）R12; 自注意力 | 呱唧呱唧网\nMarch 6th, 2025\n[...]Transformer升级之路：15、Key归一化助力长度外推 苏剑林[...]\n回复评论\n探秘Transformer系列之（14）R12; 残差网络和归一化 | 呱唧呱唧网\nMarch 17th, 2025\n[...]Transformer升级之路：15、Key归一化助力长度外推 苏剑林[...]\n回复评论\n探秘Transformer系列之（23）R12; 长度外推 | 呱唧呱唧网\nApril 6th, 2025\n[...]Transformer升级之路：15、Key归一化助力长度外推[...]\n回复评论\n«\n1\n2\n取消回复\n你的大名\n电子邮箱\n个人网站（选填）\n1. 可以使用LaTeX代码，点击“预览效果”可查看效果；\n2. 可以通过点击评论楼层编号来引用该楼层；\n3. 网站可能会有点卡，如非确认评论失败，请\n不要重复点击提交\n。\n内容速览\n最初动机\n先看结果\n原理分析\n文章小结\n智能搜索\n支持整句搜索！网站自动使用\n结巴分词\n进行分词，并结合ngrams排序算法给出合理的搜索结果。\n热门标签\nattention\n生成模型\n优化\n模型\n语言模型\n梯度\n优化器\n矩阵\n概率\n网站\n转载\n微分方程\n分析\n天象\n深度学习\n积分\npython\n几何\n扩散\n力学\n无监督\n损失函数\n节日\n线性\n生活\n随机文章\n生日|野炊|嫦娥\nDiVeQ：一种非常简洁的VQ训练方案\n话说金属活动性顺序\nTransformer升级之路：6、旋转位置编码的完备性分析\n年三十折腾极路由之SSH反向代理\n斯皮策太空望远镜发现两颗行星大碰撞(图)\n两男一女分享2009年诺贝尔化学奖\n集训结束了——入选了IOAA\n情人节？元宵节！\n力学系统及其对偶性（二）\n最近评论\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FFN相比原始的大FFN（也就是直接...\nAli Hatamizadeh\n: Thank you for looking into this and featuring i...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muon比Adam、SGD等要好，所以...\n苏剑林\n: Thanks for sharing! I looked into this improvem...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author.We've addressed...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyxx/CyclicFlowAtte...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 https://papers.cool...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\n友情链接\nCool Papers\n数学研发\nSeatop\nXiaoxia\n积分表-网络版\n丝路博傲\n数学之家\n有趣天文奇观\nTwistedW\ngodweiyang\nAI柠檬\n王登科-DK博客\nESON\n枫之羽\ncoding-zuo\n博科园\n孔皮皮的博客\n运鹏的博客\njiming.site\nOmegaXYZ\nEAI猩球\n文举的博客\n汇尘轩\n申请链接\n本站采用创作共用版权协议，要求署名、非商业用途和保持一致。转载本站内容必须也遵循“\n署名-非商业用途-保持一致\n”的创作共用协议。\n© 2009-2026 Scientific Spaces. All rights reserved. Theme by\nlaogui\n. Powered by\nTypecho\n. 备案号:\n粤ICP备09093259号-1/2\n。", "metadata": { "title": "Transformer升级之路：15、Key归一化助力长度外推 - 科学空间|Scientific Spaces", "description": "大体上，我们可以将目前Transformer的长度外推技术分为两类：一类是事后修改，比如NTK-RoPE、YaRN、ReRoPE等，这类方法的特点是直接修改推理模型，无需微调就能达到一定的长度外...", "keywords": "attention,位置编码,泛化,外推", "author": null }, "paywall": { "listed_paid": false, "detected": false, "marker": "", "public_only": false, "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙" }, "crawl": { "success": true, "status_code": 200, "error": "" }, "code_blocks": [], "images": [ { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "bytes": 4328, "reused": false, "local_path": "attachments/ec8a0a5e40d7/images/body-fcd8b7d1212b1f5eab2b.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "alt": "MobileSideBar", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "bytes": 19283, "reused": false, "local_path": "attachments/ec8a0a5e40d7/images/body-043e6308dc873ff9fa67.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "bytes": 16811, "reused": false, "local_path": "attachments/ec8a0a5e40d7/images/body-942ff5c7b650f4d3d31f.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "bytes": 2524, "reused": false, "local_path": "attachments/ec8a0a5e40d7/images/body-53b9d00850633d612de3.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "bytes": 3301, "reused": false, "local_path": "attachments/ec8a0a5e40d7/images/body-896b482bdde5ec1df88a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "bytes": 939, "reused": false, "local_path": "attachments/ec8a0a5e40d7/images/body-3f7f2f2318249e4eac9a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "bytes": 18685, "reused": false, "local_path": "attachments/ec8a0a5e40d7/images/body-cbbace78f2cd4551d156.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "bytes": 36540, "reused": false, "local_path": "attachments/ec8a0a5e40d7/images/body-c5d79f289db1f5d431bc.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "bytes": 31565, "reused": false, "local_path": "attachments/ec8a0a5e40d7/images/body-4345e58697a529a3d3a5.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "bytes": 2031, "reused": false, "local_path": "attachments/ec8a0a5e40d7/images/body-b2904ced8e4508d61bed.gif", "src": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "alt": "署名-非商业用途-保持一致", "downloaded": true } ], "audio": [], "videos": [], "links": [ { "href": "https://spaces.ac.cn/reward.html", "label": "打赏", "type": "a" }, { "href": "https://spaces.ac.cn/latex.html", "label": "公式", "type": "a" }, { "href": "https://spaces.ac.cn/ac.html", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/links.html", "label": "链接", "type": "a" }, { "href": "https://spaces.ac.cn/me.html", "label": "时光", "type": "a" }, { "href": "https://spaces.ac.cn/science.html", "label": "博览", "type": "a" }, { "href": "https://spaces.ac.cn/content.html", "label": "归档", "type": "a" }, { "href": "https://spaces.ac.cn/category/Everything", "label": "千奇百怪", "type": "a" }, { "href": "https://spaces.ac.cn/category/Astronomy", "label": "天文探索", "type": "a" }, { "href": "https://spaces.ac.cn/category/Mathematics", "label": "数学研究", "type": "a" }, { "href": "https://spaces.ac.cn/category/Phy-chem", "label": "物理化学", "type": "a" }, { "href": "https://spaces.ac.cn/category/Big-Data", "label": "信息时代", "type": "a" }, { "href": "https://spaces.ac.cn/category/Biology", "label": "生物自然", "type": "a" }, { "href": "https://spaces.ac.cn/category/Photograph", "label": "图片摄影", "type": "a" }, { "href": "https://spaces.ac.cn/category/Questions", "label": "问题百科", "type": "a" }, { "href": "https://spaces.ac.cn/category/Life-Feeling", "label": "生活/情感", "type": "a" }, { "href": "https://spaces.ac.cn/category/Resources", "label": "资源共享", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945", "label": "如何让GDN2更稳定一些？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11928", "label": "通过微扰分析求解等式约束优化问题", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11917", "label": "慢即是快：1. Shampoo的尽...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11910", "label": "排序不等式及其推广", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11885", "label": "让炼丹更科学一些（十）：单调性假设...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11882", "label": "让炼丹更科学一些（九）：经典自适应...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11879", "label": "让炼丹更科学一些（八）：多阶段训练...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11875", "label": "动量的新理解：逼近特征层面的梯度下降", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11864", "label": "流形上的最速下降：7. Stief...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11854", "label": "除了交叉熵，LM Loss还有什么选择？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10699/comment-page-3", "label": "carl_lei : 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945/comment-page-1", "label": "Ali Hatamizadeh : Thank you for looking into this...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11340/comment-page-1", "label": "苏剑林 : 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1328/comment-page-1", "label": "bookworm : 天下苦秦久矣，期待苏老师的教材！", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2", "label": "苏剑林 : 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能", "type": "a" }, { "href": "https://spaces.ac.cn/admin/login.php", "label": "登录", "type": "a" }, { "href": "https://spaces.ac.cn/", "label": "科学空间|Scientific Spaces", "type": "a" }, { "href": "https://spaces.ac.cn/feed", "label": "欢迎订阅", "type": "a" }, { "href": "https://spaces.ac.cn/archives/119", "label": "个性邮箱", "type": "a" }, { "href": "https://spaces.ac.cn/archives/41", "label": "观测ISS", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9859", "label": "Transformer升级之路：15、Key归一化助力长度外推", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9675", "label": "NTK-RoPE", "type": "a" }, { "href": "https://papers.cool/arxiv/2309.00071", "label": "YaRN", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9708", "label": "ReRoPE", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9431", "label": "ALIBI", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9603", "label": "HWFA", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8620", "label": "《浅谈Transformer的初始化、参数化与标准化》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8823", "label": "《从熵不变性看Attention的Scale操作》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9812", "label": "《从梯度最大化看Attention的Scale操作》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8679", "label": "《让人惊叹的Johnson-Lindenstrauss引理：理论篇》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9731", "label": "之前", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9052", "label": "GAU", "type": "a" }, { "href": "https://papers.cool/arxiv/2306.15595", "label": "PI", "type": "a" }, { "href": "https://papers.cool/arxiv/2309.16039", "label": "ABF", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9595", "label": "稀疏程度", "type": "a" }, { "href": "https://papers.cool/arxiv/2305.17118", "label": "Scissorhands", "type": "a" }, { "href": "https://spaces.ac.cn/archives/7076", "label": "维度灾难", "type": "a" }, { "href": "https://papers.cool/arxiv/2010.04245", "label": "《Query-Key Normalization for Transformers》", "type": "a" }, { "href": "https://papers.cool/arxiv/2302.05442", "label": "《Scaling Vision Transformers to 22 Billion Parameters》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/6508", "label": "《科学空间FAQ》", "type": "a" }, { "href": "http://mail.qq.com/cgi-bin/qm_share?t=qm_mailme&email=tN7d1drY3drrx8H0xcWa19vZ", "label": "点击这里", "type": "a" }, { "href": "https://spaces.ac.cn/tag/attention/", "label": "attention", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81/", "label": "位置编码", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%B3%9B%E5%8C%96/", "label": "泛化", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%A4%96%E6%8E%A8/", "label": "外推", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9855", "label": "【生活杂记】炒锅的尽头是铁锅", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9862", "label": "我在Performer中发现了Transformer-VQ的踪迹", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848", "label": "简单谈谈K3的MoE和Attention", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11823", "label": "将Softmax Attention线性化为Gated DeltaNet", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11814", "label": "LogSumExp和Softmax的泰勒展开", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11664", "label": "Attention Residuals 回忆录", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11563", "label": "DeltaNet的核心逆矩阵的元素总是在[-1, 1]内", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11486", "label": "为什么DeltaNet要加L2 Normalize？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11371", "label": "低精度Attention可能存在有偏的舍入误差", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11320", "label": "为什么线性注意力要加Short Conv？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11126", "label": "QK-Clip：让Muon在Scaleup之路上更进一步", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9859/comment-page-1", "label": "«", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9859/comment-page-2", "label": "2", "type": "a" }, { "href": "http://www.itfaba.com/jishufenxian/205620.html", "label": "探秘Transformer系列之（10）R12; 自注意力 | 呱唧呱唧网", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9859/comment-page-2?replyTo=27001", "label": "回复评论", "type": "a" }, { "href": "http://www.itfaba.com/jishufenxian/207380.html", "label": "探秘Transformer系列之（14）R12; 残差网络和归一化 | 呱唧呱唧网", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9859/comment-page-2?replyTo=27153", "label": "回复评论", "type": "a" }, { "href": "http://www.itfaba.com/jishufenxian/211006.html", "label": "探秘Transformer系列之（23）R12; 长度外推 | 呱唧呱唧网", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9859/comment-page-2?replyTo=27328", "label": "回复评论", "type": "a" }, { "href": "https://github.com/fxsjy/jieba", "label": "结巴分词", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%88%90%E6%A8%A1%E5%9E%8B/", "label": "生成模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96/", "label": "优化", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A8%A1%E5%9E%8B/", "label": "模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/", "label": "语言模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A2%AF%E5%BA%A6/", "label": "梯度", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96%E5%99%A8/", "label": "优化器", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%9F%A9%E9%98%B5/", "label": "矩阵", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A6%82%E7%8E%87/", "label": "概率", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BD%91%E7%AB%99/", "label": "网站", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%BD%AC%E8%BD%BD/", "label": "转载", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%BE%AE%E5%88%86%E6%96%B9%E7%A8%8B/", "label": "微分方程", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%88%86%E6%9E%90/", "label": "分析", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%A4%A9%E8%B1%A1/", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/", "label": "深度学习", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%A7%AF%E5%88%86/", "label": "积分", "type": "a" }, { "href": "https://spaces.ac.cn/tag/python/", "label": "python", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%87%A0%E4%BD%95/", "label": "几何", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%89%A9%E6%95%A3/", "label": "扩散", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%8A%9B%E5%AD%A6/", "label": "力学", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%97%A0%E7%9B%91%E7%9D%A3/", "label": "无监督", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0/", "label": "损失函数", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%8A%82%E6%97%A5/", "label": "节日", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BA%BF%E6%80%A7/", "label": "线性", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%B4%BB/", "label": "生活", "type": "a" }, { "href": "https://spaces.ac.cn/archives/957", "label": "生日|野炊|嫦娥", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11328", "label": "DiVeQ：一种非常简洁的VQ训练方案", "type": "a" }, { "href": "https://spaces.ac.cn/archives/89", "label": "话说金属活动性顺序", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9403", "label": "Transformer升级之路：6、旋转位置编码的完备性分析", "type": "a" }, { "href": "https://spaces.ac.cn/archives/3604", "label": "年三十折腾极路由之SSH反向代理", "type": "a" }, { "href": "https://spaces.ac.cn/archives/69", "label": "斯皮策太空望远镜发现两颗行星大碰撞(图)", "type": "a" }, { "href": "https://spaces.ac.cn/archives/171", "label": "两男一女分享2009年诺贝尔化学奖", "type": "a" }, { "href": "https://spaces.ac.cn/archives/696", "label": "集训结束了——入选了IOAA", "type": "a" }, { "href": "https://spaces.ac.cn/archives/2360", "label": "情人节？元宵节！", "type": "a" }, { "href": "https://spaces.ac.cn/archives/2136", "label": "力学系统及其对偶性（二）", "type": "a" }, { "href": "https://papers.cool/", "label": "Cool Papers", "type": "a" }, { "href": "https://bbs.emath.ac.cn/", "label": "数学研发", "type": "a" }, { "href": "http://www.seatop.com.cn/", "label": "Seatop", "type": "a" }, { "href": "https://xiaoxia.org/", "label": "Xiaoxia", "type": "a" }, { "href": "https://kexue.fm/sci/integral/index.html", "label": "积分表-网络版", "type": "a" }, { "href": "http://blog.dvxj.com/", "label": "丝路博傲", "type": "a" }, { "href": "http://www.2math.cn/", "label": "数学之家", "type": "a" }, { "href": "http://interesting-sky.china-vo.org/", "label": "有趣天文奇观", "type": "a" }, { "href": "http://www.twistedwg.com/", "label": "TwistedW", "type": "a" }, { "href": "https://godweiyang.com/", "label": "godweiyang", "type": "a" }, { "href": "https://blog.ailemon.net/", "label": "AI柠檬", "type": "a" }, { "href": "https://greatdk.com/", "label": "王登科-DK博客", "type": "a" }, { "href": "https://blog.eson.org/", "label": "ESON", "type": "a" }, { "href": "https://fzhiy.net/", "label": "枫之羽", "type": "a" }, { "href": "https://coding-zuo.github.io/", "label": "coding-zuo", "type": "a" }, { "href": "https://www.bokeyuan.net/", "label": "博科园", "type": "a" }, { "href": "https://www.kppkkp.top/", "label": "孔皮皮的博客", "type": "a" }, { "href": "https://yunpengtai.top/", "label": "运鹏的博客", "type": "a" }, { "href": "https://jiming.site/", "label": "jiming.site", "type": "a" }, { "href": "https://www.omegaxyz.com/", "label": "OmegaXYZ", "type": "a" }, { "href": "https://www.robotech.ink/", "label": "EAI猩球", "type": "a" }, { "href": "https://liwenju0.com/", "label": "文举的博客", "type": "a" }, { "href": "https://kirigaya.cn/", "label": "汇尘轩", "type": "a" }, { "href": "https://kexue.fm/links.html", "label": "申请链接", "type": "a" }, { "href": "http://creativecommons.org/licenses/by-nc-nd/2.5/cn/", "label": "", "type": "a" }, { "href": "http://www.laogui.com/", "label": "laogui", "type": "a" }, { "href": "http://typecho.org/", "label": "Typecho", "type": "a" }, { "href": "https://beian.miit.gov.cn/", "label": "粤ICP备09093259号-1/2", "type": "a" } ], "repair_version": 2, "repaired_at": "2026-10-14T10:53:08Z", "source_url": "https://spaces.ac.cn/archives/9859", "papers": [], "actual_video_files": [], "body_chars": 12811, "expected_body_images": 10, "discovery_status": "ok", "delivery_status": "ok", "missing_reason": "", "raw_html": "attachments/ec8a0a5e40d7/pages/source.html", "local_html": "attachments/ec8a0a5e40d7/pages/article.html", "body_base_path": "attachments/ec8a0a5e40d7/pages/", "body_markdown_path": "attachments/ec8a0a5e40d7/pages/article.md" }