{ "source_file": "0930", "source_platform": "个人博客", "author": "苏剑林", "title_listed": "Bias项的神奇作用：RoPE + Bias = 更好的长度外推性", "keywords": "RoPE,Bias,长度外推", "domain": "大模型算法", "content_type": "深度技术解析", "is_paid_flag": "否", "url": "https://spaces.ac.cn/archives/9577", "publish_date": "2023-04", "corpus_stage": "预训练/SFT", "notes": "Bias 增强长度外推的发现", "id": "9783df2e4a0e", "collected_at": "2026-10-02T15:14:49", "title": "Bias项的神奇作用：RoPE + Bias = 更好的长度外推性 - 科学空间|Scientific Spaces", "body_markdown": "SEARCH\nMENU\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\nCATEGORIES\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\nNEWPOSTS\n如何让GDN2更稳定一些？\n通过微扰分析求解等式约束优化问题\n慢即是快：1. Shampoo的尽...\n排序不等式及其推广\n让炼丹更科学一些（十）：单调性假设...\n让炼丹更科学一些（九）：经典自适应...\n让炼丹更科学一些（八）：多阶段训练...\n动量的新理解：逼近特征层面的梯度下降\n流形上的最速下降：7. Stief...\n除了交叉熵，LM Loss还有什么选择？\nCOMMENTS\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...\nAli Hatamizadeh\n: Thank you for looking into this...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...\n苏剑林\n: Thanks for sharing! I looked in...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyx...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 htt...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\nUSERLOGIN\n登录\n科学空间|Scientific Spaces\n登录\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\n渴望成为一个小飞侠\n欢迎订阅\n个性邮箱\n天象信息\n观测ISS\nLaTeX\n关于博主\n欢迎访问“科学空间”，这里将与您共同探讨自然科学，回味人生百态；也期待大家的分享～\n千奇百怪\nEverything\n天文探索\nAstronomy\n数学研究\nMathematics\n物理化学\nPhy-chem\n信息时代\nBig-Data\n生物自然\nBiology\n图片摄影\nPhotograph\n问题百科\nQuestions\n生活/情感\nLife-Feeling\n资源共享\nResources\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\n首页\n信息时代\nBias项的神奇作用：RoPE + Bias = 更好的长度外推性\n3\nApr\nBias项的神奇作用：RoPE + Bias = 更好的长度外推性\nBy\n苏剑林\n|\n2023-04-03\n|\n78714位读者\n|\n:\n万万没想到，Bias项能跟Transformer的长度外推性联系在一起！\n长度外推性是我们希望Transformer具有的一个理想性质，笔者曾在\n《Transformer升级之路：7、长度外推性与局部注意力》\n、\n《Transformer升级之路：8、长度外推性与位置鲁棒性》\n系统地介绍过这一问题。至于Bias项（偏置项），目前的主流观点是当模型足够大时，Bias项不会有什么特别的作用，所以很多模型选择去掉Bias项，其中代表是Google的\nT5\n和\nPaLM\n，我们后面做的\nRoFormerV2\n和\nGAU-α\n也沿用了这个做法。\n那么，这两个看上去“风牛马不相及”的东西，究竟是怎么联系起来的呢？Bias项真的可以增强Transformer的长度外推性？且听笔者慢慢道来。\n隐藏彩蛋\n#\n首先，为什么会想到考察Bias项和长度外推性的联系呢？这是因为笔者前几天在重温GAU的论文\n《Transformer Quality in Linear Time》\n时，发现了之前没有在意的一个“隐藏彩蛋”——加性相对位置编码，其伪代码为\nGAU的加性相对位置编码的伪代码\n这里我们主要看$n\\geq 512$的部分，如果写成公式，大致是\n\\begin{equation}\\boldsymbol{q}_m^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n\\boldsymbol{k}_n \\quad\\to\\quad \\boldsymbol{q}_m^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n\\boldsymbol{k}_n+ \\boldsymbol{a}^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n\\boldsymbol{b}\\label{eq:rel-bias}\\end{equation}\n其中$\\boldsymbol{\\mathcal{R}}_m,\\boldsymbol{\\mathcal{R}}_n$是RoPE的旋转矩阵，$\\boldsymbol{a},\\boldsymbol{b}$是两个可学习参数。\n这个加性相对位置编码其实之前也留意到了，但当时的评价只是“不理解为什么同时用几种位置编码”，而最近笔者一直在思考长度外推性问题，所以对这个形式就比较敏感了。可以证明，当$\\boldsymbol{a}=\\boldsymbol{b}=[\\sqrt{\\lambda},0,\\sqrt{\\lambda},0,\\cdots,\\sqrt{\\lambda},0]^{\\top}$时，结果正好是\n《Transformer升级之路：7、长度外推性与局部注意力》\n介绍的能改善长度外推性的Sandwich ，其原理就是$\\boldsymbol{a}^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n\\boldsymbol{b}$呈现出关于$|m-n|$递减的趋势，加到注意力矩阵上后，能够起到局部化注意力的作用，而根据\n《Transformer升级之路：7、长度外推性与局部注意力》\n，注意力局部化是语言模型外推性的关键。\n所以笔者不禁猜测，难道原论文中的这个加性相对位置编码，就是用来增强长度外推性的？GAU的作者竟然如此有先见之明，早在Sandwich之前就提出了类似的想法来解决长度外推性问题？\n换成偏置\n#\n不过，对于笔者来说，这种往Attention矩阵上额外加上一项来增强长度外推性的方案都显得不够优雅，所以不管原作者意图如何以及实际效果如何，笔者都不倾向这样做。有什么类似的但几乎“无感”的方案呢？笔者考虑到，如果$\\boldsymbol{a}$、$\\boldsymbol{b}$分别是$\\boldsymbol{q}_m,\\boldsymbol{k}_n$的Bias项，或许可以起到类似的效果，即考虑\n\\begin{equation}\\boldsymbol{q}_m^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n\\boldsymbol{k}_n \\quad\\to\\quad (\\boldsymbol{q}_m + \\boldsymbol{a})^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n(\\boldsymbol{k}_n + \\boldsymbol{b})\\end{equation}\n很明显，单纯增加一个Bias项，不管从形式上还是计算量上看都几乎是“无感”的，如果这样就能增强长度外推性，无疑是一个很漂亮的方案。是否可行呢？我们先来看展开后的结果：\n\\begin{equation}\\boldsymbol{q}_m^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n\\boldsymbol{k}_n + \\boldsymbol{a}^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n\\boldsymbol{k}_n + \\boldsymbol{q}_m^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n\\boldsymbol{b} + \\boldsymbol{a}^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n\\boldsymbol{b} \\label{eq:bias}\\end{equation}\n其中第一项和第四项正好对应公式$\\eqref{eq:rel-bias}$，它们都是我们想要的，所以我们想看看第二项和第三项起到什么作用，如果它们不会有什么明显的效应，那么直接加上Bias项的做法，至少是“有希望”能够取得跟式$\\eqref{eq:rel-bias}$或者Sandwich相似的外推效果。\n笔者是这样想的：作为Attention的Query和Key，$\\boldsymbol{q}_m$、$\\boldsymbol{k}_n$应该是比较“各向同性”的，即它们的方向比较均匀，接近球面上均匀采样，而$\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n=\\boldsymbol{\\mathcal{R}}_{n-m}$只是一个正交变换，它不改变$\\boldsymbol{q}_m$、$\\boldsymbol{k}_n$的各向同性性质，那么$\\boldsymbol{a}^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n\\boldsymbol{k}_n $、$\\boldsymbol{q}_m^{\\top}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n\\boldsymbol{b}$这两项，就相当于从各向同性分布采样出来的向量，跟一个固定向量的内积，根据我们在\n《n维空间下两个随机向量的夹角分布》\n中的讨论，这样的两个向量夹角应该是很接近90度的，换言之这个内积的期望应该是0，所以第二项和第三项的效应理论上没有剩余两项那么强。\n当然，这仅仅是猜测，实际它会训练成怎样，只能通过实验来确定。所以事不宜迟，笔者立刻进行了实验。\n实验结果\n#\n这次笔者选了语言模型任务进行实验，模型架构还是之前的\nGAU-α\n，训练长度和batch_size都是512，优化器是\nTiger\n，两个模型的唯一差别就是Q、K的Bias是否开启（其他Bias仍被去掉）。\n外推效果上的对比：\n$$\\begin{array}{c}\n\\text{不同测试长度下的LM准确率} \\\\\n{\\begin{array}{c|cccc}\n\\hline\n& 512 & 1024 & 2048 & 4096 \\\\\n\\hline\n\\text{w/o Bias} & 52.37\\% & 33.15\\% & 22.85\\% & 17.87\\% \\\\\n\\text{w/ Bias} & 52.75\\% & 50.99\\% & 45.25\\% & 39.55\\% \\\\\n\\hline\n\\end{array}}\n\\end{array}$$\n可以看到，Bias项确实不怎么影响训练效果（512长度），但却在长度外推性上面明显拉开了差距，看似毫无存在感的Bias项居然有此神奇作用！当然，要是重跑几次实验，外推性的结果可能会有明显的波动，毕竟长度外推性属于“赠送功能”，并不是我们主动触发的。\n为了验证剩下生效机制是否如我们猜测，笔者可视化了式$\\eqref{eq:bias}$的四项在某个样本某一层的变化规律：\n加上Bias后四项内积对比\n可以看到，第4项确确实实呈现衰减趋势，并且其大小占据了主导地位，将这四项叠加起来，与没有加Bias的模型对比如下：\n有无Bias的Attention矩阵对比\n没有Bias的模型（蓝色），Attention在训练长度（512）范围内确实也呈现出衰减趋势，但长度增加之后就上升了，没有明显的局部性，这就是它外推性不够好的原因；相反，跟前面的猜测一致，带有Bias项的模型（橙色）的注意力矩阵呈现更明显的衰减趋势，换言之它的局部化效应更加强，从而有更好的外推性能。需要指出的是，加上Bias的模型并不是每一层的Attention都有这么明显的衰减趋势，总体来说前面的层衰减趋势更明显些，后面的层衰减趋势更弱些，说明越靠近输入的层越关注局部信息，这跟\n《The Devil in Linear Transformer》\n的结论一致。\n【注：后来经过反复测试发现，发现此篇文章的长度外推结果可复现性比较不稳定（可能跟模型结构、超参数等紧密相关），请自行斟酌使用。】\n延伸思考\n#\n这时候问题就来了：之前做长度外推性的工作不是都验证了RoPE的外推性不大好了吗？难道它们都没加Bias？为此，笔者特意去考证了一下，果然”不出所料”：“开山之作”ALIBI和最近的XPOS都是没有加Bias项的，而KERPLE和Sandwich则是加了Bias项的。之前笔者在读论文的时候，就一直感觉KERPLE和Sandwich中的RoPE外推效果似乎比ALIBI和XPOS中的好，现在可以肯定这应该不是错觉了，既然KERPLE和Sandwich都加了Bias，那么根据本文的结论，RoPE是可能呈现出更好的长度外推性的。\n可能有读者想起，之前不是说Attention的Key的Bias可以去掉吗？难道这里也可以去掉？关于这个问题，可以参考知乎的提问\n《为什么有的 Vision Transformer 中的 key 不需要 bias ？》\n，事实上，“可以去掉Key的Bias”这个结论，是针对没有RoPE的Attention的，由于Softmax的存在，加上的bias可以约掉：\n\\begin{equation}\\frac{e^{\\boldsymbol{q}\\cdot(\\boldsymbol{k}_n + \\boldsymbol{b})}}{\\sum\\limits_n e^{\\boldsymbol{q}\\cdot(\\boldsymbol{k}_n + \\boldsymbol{b})}} = \\frac{e^{\\boldsymbol{q}\\cdot\\boldsymbol{k}_n}e^{\\boldsymbol{q}\\cdot\\boldsymbol{b}}}{\\sum\\limits_n e^{\\boldsymbol{q}\\cdot\\boldsymbol{k}_n} e^{\\boldsymbol{q}\\cdot\\boldsymbol{b}}}= \\frac{e^{\\boldsymbol{q}\\cdot\\boldsymbol{k}_n}}{\\sum\\limits_n e^{\\boldsymbol{q}\\cdot\\boldsymbol{k}_n}}\\end{equation}\n然而，这个“可以约掉”依赖于$\\boldsymbol{b}$跟$n$无关，但从式$\\eqref{eq:bias}$我们就知道，经过RoPE后，$\\boldsymbol{b}$也算是$m,n$的函数了，实际上是无法约掉的，因此对于加了RoPE的模型，Bias项去掉前后会有不一样的效果。\n还有一个问题，就是为什么要费力探索长度外推性呢？直接在更长的样本下微调模型不行吗？事实上，即便是对于抱有这样想法的读者，长度外推性也是有好处的。抛开算力不说，更好的长度外推性意味着在微调的时候与预训练差距更小，于是微调更不容易发生灾难性遗忘，这对于当前的LLM更为重要了。当然，还可以发散一下，最理想的结果是：在短文本学习的模型，能够切换到长文本场景而无损效果甚至效果更优。\n文章小结\n#\n本文分享了笔者发现的一个“万万没想到”的有趣结论：Bias项能增强RoPE模型的长度外推性！看上去毫无存在感的Bias项，居然能跟Transformer的长度外推性联系在一起，让人不得不感叹细节的重要性——细枝末节有时候也能发挥关键作用。\n转载到请包括本文地址：\nhttps://spaces.ac.cn/archives/9577\n更详细的转载事宜请参考：\n《科学空间FAQ》\n如果您还有什么疑惑或建议，欢迎在下方评论区继续讨论。\n如果您觉得本文还不错，欢迎\n分享\n/\n打赏\n本文。打赏并非要从中获得收益，而是希望知道科学空间获得了多少读者的真心关注。当然，如果你无视它，也不会影响你的阅读。再次表示欢迎和感谢！\n打赏\n微信打赏\n支付宝打赏\n因为网站后台对打赏并无记录，因此欢迎在打赏时候备注留言。\n你还可以\n点击这里\n或在下方评论区留言来告知你的建议或需求。\n如果您需要引用本文，请参考：\n苏剑林. (Apr. 03, 2023). 《Bias项的神奇作用：RoPE + Bias = 更好的长度外推性 》[Blog post]. Retrieved from\nhttps://spaces.ac.cn/archives/9577\n@online{kexuefm-9577,\ntitle={Bias项的神奇作用：RoPE + Bias = 更好的长度外推性},\nauthor={苏剑林},\nyear={2023},\nmonth={Apr},\nurl={\\url{https://spaces.ac.cn/archives/9577}},\n}\n分类：\n信息时代\n标签：\n语言模型\n,\nattention\n,\n位置编码\n,\n外推\n,\nrope\n15 评论\n<\nGoogle新作试图“复活”RNN：RNN能否再次辉煌？\n|\n从JL引理看熵不变性Attention\n>\n你也许还对下面的内容感兴趣\n如何让GDN2更稳定一些？\n除了交叉熵，LM Loss还有什么选择？\n简单谈谈K3的MoE和Attention\n将Softmax Attention线性化为Gated DeltaNet\nLogSumExp和Softmax的泰勒展开\nAttention Residuals 回忆录\nDeltaNet的核心逆矩阵的元素总是在[-1, 1]内\n为什么DeltaNet要加L2 Normalize？\n低精度Attention可能存在有偏的舍入误差\n为什么线性注意力要加Short Conv？\n发表你的看法\n心狠手辣小王\nApril 3rd, 2023\n非常有意思的结论！不愧是苏神！\n之前的实验中用dropout也可以有类似的效果 如果现在来看 把它从bias的角度就非常有趣了\n回复评论\ntellw\nApril 4th, 2023\n太强了\n回复评论\nzw\nApril 4th, 2023\n感觉bias也有两种：\n1. 输入特征在线性映射成Q和K的时候，linear层的bias为True，这个时候bias的维度是m*d\n2. linear层的bias为False，Q和K分别reshape成多头的Qm和Km之后再加bias，这个时候bias的维度是d，多头共享bias\n不知道苏神文中是指哪一种，以及这两种的外推性表现是否有区别？\n回复评论\nzw 发表于\n April 4th, 2023\n还有几种：\n3. 对所有位置，只用一个标量作为bias\n4. 每个位置上的特征用一个标量，不同位置不同标量\n回复评论\nzw 发表于\n April 4th, 2023\n总结来说就是bias形状的问题。\n回复评论\n苏剑林\n发表于\n April 4th, 2023\n不知道你这里的$m$指的是head的数目，还是token的数目（序列长度）？\n本文所实验的bias，就是Q、K的Linear层的bias设为True，但是对于Transformer来说，这样做的结果是所有位置的token共用同一个bias，而不是每个位置不同的bias，事实上一般也没有每个位置用不同bias的做法。\n另外，还可以考虑的做法是：1、Q和K共用同一个向量bias；2、Q和K共用同一个标量bias。这些还在实验当中，有新结果了会继续分享，敬请期待。\n另外，本文实验的GAU结构，只有一个head\n回复评论\nzz\nApril 11th, 2023\n印象中刷到过几篇论文，他们在attention的Softmax里给注意力分数加上了一个可学习的量 softmax(QK + B)，但时间太久了找不到原文了，忘了他们是什么motivation\n回复评论\n苏剑林\n发表于\n April 15th, 2023\n这些研究不少，T5的位置编码也差不多是这一个形式。只不过本文讨论的是$Q,K$的bias，并非$A$的bias。\n回复评论\n羡鱼\nMay 8th, 2023\n这真是万万没想到了~\n回复评论\nlonglongman\nMay 11th, 2023\n提供一个相关论文 TRAIN SHORT, TEST LONG: ATTENTION WITH LINEAR\nBIASES ENABLES INPUT LENGTH EXTRAPOLATION （https://arxiv.org/pdf/2108.12409.pdf）\n回复评论\n苏剑林\n发表于\n May 12th, 2023\n这个不大相关。\n回复评论\n何以琛\nJuly 18th, 2023\n@longlongman|comment-21580\n这个不就是alibi的论文吗\n回复评论\n探秘Transformer系列之（23）R12; 长度外推 | 呱唧呱唧网\nApril 6th, 2025\n[...]Bias项的神奇作用：RoPE + Bias = 更好的长度外推性[...]\n回复评论\nRui Wang\nMay 19th, 2025\n苏神update说了不太可复现，在这篇https://arxiv.org/pdf/2410.06205之后看一下有没有可能是因为bias能让qk更像paper中figure 2的左边而非右边？\n回复评论\n苏剑林\n发表于\n May 28th, 2025\n如果你没说错的话，像左边不是更好？\n回复评论\n取消回复\n你的大名\n电子邮箱\n个人网站（选填）\n1. 可以使用LaTeX代码，点击“预览效果”可查看效果；\n2. 可以通过点击评论楼层编号来引用该楼层；\n3. 网站可能会有点卡，如非确认评论失败，请\n不要重复点击提交\n。\n内容速览\n隐藏彩蛋\n换成偏置\n实验结果\n延伸思考\n文章小结\n智能搜索\n支持整句搜索！网站自动使用\n结巴分词\n进行分词，并结合ngrams排序算法给出合理的搜索结果。\n热门标签\nattention\n生成模型\n优化\n模型\n语言模型\n梯度\n优化器\n矩阵\n概率\n网站\n转载\n微分方程\n分析\n天象\n深度学习\n积分\npython\n几何\n扩散\n力学\n无监督\n损失函数\n节日\n线性\n生活\n随机文章\n如何度量数据的稀疏程度？\n科学空间：2010年11月重要天象\n温馨|生活一角\n算子与线性常微分方程(下)\n时空之章：将Attention视为平方复杂度的RNN\n高阶MuP：更简明但更高明的谱条件缩放\n【理解黎曼几何】7. 高斯-博内公式\n关于行星留周期的几何讨论\n角的疑惑——为什么使用弧度？\n最受尊崇的3位诺贝尔奖得主\n最近评论\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FFN相比原始的大FFN（也就是直接...\nAli Hatamizadeh\n: Thank you for looking into this and featuring i...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muon比Adam、SGD等要好，所以...\n苏剑林\n: Thanks for sharing! I looked into this improvem...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author.We've addressed...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyxx/CyclicFlowAtte...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 https://papers.cool...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\n友情链接\nCool Papers\n数学研发\nSeatop\nXiaoxia\n积分表-网络版\n丝路博傲\n数学之家\n有趣天文奇观\nTwistedW\ngodweiyang\nAI柠檬\n王登科-DK博客\nESON\n枫之羽\ncoding-zuo\n博科园\n孔皮皮的博客\n运鹏的博客\njiming.site\nOmegaXYZ\nEAI猩球\n文举的博客\n汇尘轩\n申请链接\n本站采用创作共用版权协议，要求署名、非商业用途和保持一致。转载本站内容必须也遵循“\n署名-非商业用途-保持一致\n”的创作共用协议。\n© 2009-2026 Scientific Spaces. All rights reserved. Theme by\nlaogui\n. Powered by\nTypecho\n. 备案号:\n粤ICP备09093259号-1/2\n。", "metadata": { "title": "Bias项的神奇作用：RoPE + Bias = 更好的长度外推性 - 科学空间|Scientific Spaces", "description": "万万没想到，Bias项能跟Transformer的长度外推性联系在一起！长度外推性是我们希望Transformer具有的一个理想性质，笔者曾在《Transformer升级之路：7、长度外推性与局...", "keywords": "语言模型,attention,位置编码,外推,rope", "author": null }, "paywall": { "listed_paid": false, "detected": false, "marker": "", "public_only": false, "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙" }, "crawl": { "success": true, "status_code": 200, "error": "" }, "code_blocks": [], "images": [ { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "bytes": 4328, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-fcd8b7d1212b1f5eab2b.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "alt": "MobileSideBar", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "bytes": 19283, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-043e6308dc873ff9fa67.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "bytes": 16811, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-942ff5c7b650f4d3d31f.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "bytes": 2524, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-53b9d00850633d612de3.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "bytes": 3301, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-896b482bdde5ec1df88a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "bytes": 939, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-3f7f2f2318249e4eac9a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "bytes": 18685, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-cbbace78f2cd4551d156.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/uploads/2023/04/1959476500.png", "bytes": 199607, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-4de5b71f06c6a628a70e.png", "src": "https://spaces.ac.cn/usr/uploads/2023/04/1959476500.png", "alt": "GAU的加性相对位置编码的伪代码", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/uploads/2023/04/83521782.svg", "bytes": 166562, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-840d1a1e8dff7db47d5a.svg", "src": "https://spaces.ac.cn/usr/uploads/2023/04/83521782.svg", "alt": "加上Bias后四项内积对比", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/uploads/2023/04/2535762443.svg", "bytes": 100040, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-3267f5eda74569918f6d.svg", "src": "https://spaces.ac.cn/usr/uploads/2023/04/2535762443.svg", "alt": "有无Bias的Attention矩阵对比", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "bytes": 36540, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-c5d79f289db1f5d431bc.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "bytes": 31565, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-4345e58697a529a3d3a5.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "bytes": 2031, "reused": false, "local_path": "attachments/9783df2e4a0e/images/body-b2904ced8e4508d61bed.gif", "src": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "alt": "署名-非商业用途-保持一致", "downloaded": true } ], "audio": [], "videos": [], "links": [ { "href": "https://spaces.ac.cn/reward.html", "label": "打赏", "type": "a" }, { "href": "https://spaces.ac.cn/latex.html", "label": "公式", "type": "a" }, { "href": "https://spaces.ac.cn/ac.html", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/links.html", "label": "链接", "type": "a" }, { "href": "https://spaces.ac.cn/me.html", "label": "时光", "type": "a" }, { "href": "https://spaces.ac.cn/science.html", "label": "博览", "type": "a" }, { "href": "https://spaces.ac.cn/content.html", "label": "归档", "type": "a" }, { "href": "https://spaces.ac.cn/category/Everything", "label": "千奇百怪", "type": "a" }, { "href": "https://spaces.ac.cn/category/Astronomy", "label": "天文探索", "type": "a" }, { "href": "https://spaces.ac.cn/category/Mathematics", "label": "数学研究", "type": "a" }, { "href": "https://spaces.ac.cn/category/Phy-chem", "label": "物理化学", "type": "a" }, { "href": "https://spaces.ac.cn/category/Big-Data", "label": "信息时代", "type": "a" }, { "href": "https://spaces.ac.cn/category/Biology", "label": "生物自然", "type": "a" }, { "href": "https://spaces.ac.cn/category/Photograph", "label": "图片摄影", "type": "a" }, { "href": "https://spaces.ac.cn/category/Questions", "label": "问题百科", "type": "a" }, { "href": "https://spaces.ac.cn/category/Life-Feeling", "label": "生活/情感", "type": "a" }, { "href": "https://spaces.ac.cn/category/Resources", "label": "资源共享", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945", "label": "如何让GDN2更稳定一些？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11928", "label": "通过微扰分析求解等式约束优化问题", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11917", "label": "慢即是快：1. Shampoo的尽...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11910", "label": "排序不等式及其推广", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11885", "label": "让炼丹更科学一些（十）：单调性假设...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11882", "label": "让炼丹更科学一些（九）：经典自适应...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11879", "label": "让炼丹更科学一些（八）：多阶段训练...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11875", "label": "动量的新理解：逼近特征层面的梯度下降", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11864", "label": "流形上的最速下降：7. Stief...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11854", "label": "除了交叉熵，LM Loss还有什么选择？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10699/comment-page-3", "label": "carl_lei : 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945/comment-page-1", "label": "Ali Hatamizadeh : Thank you for looking into this...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11340/comment-page-1", "label": "苏剑林 : 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1328/comment-page-1", "label": "bookworm : 天下苦秦久矣，期待苏老师的教材！", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2", "label": "苏剑林 : 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能", "type": "a" }, { "href": "https://spaces.ac.cn/admin/login.php", "label": "登录", "type": "a" }, { "href": "https://spaces.ac.cn/", "label": "科学空间|Scientific Spaces", "type": "a" }, { "href": "https://spaces.ac.cn/feed", "label": "欢迎订阅", "type": "a" }, { "href": "https://spaces.ac.cn/archives/119", "label": "个性邮箱", "type": "a" }, { "href": "https://spaces.ac.cn/archives/41", "label": "观测ISS", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577", "label": "Bias项的神奇作用：RoPE + Bias = 更好的长度外推性", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9431", "label": "《Transformer升级之路：7、长度外推性与局部注意力》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9444", "label": "《Transformer升级之路：8、长度外推性与位置鲁棒性》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/7867", "label": "T5", "type": "a" }, { "href": "https://papers.cool/arxiv/2204.02311", "label": "PaLM", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8998", "label": "RoFormerV2", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9052", "label": "GAU-α", "type": "a" }, { "href": "https://papers.cool/arxiv/2202.10447", "label": "《Transformer Quality in Linear Time》", "type": "a" }, { "href": "https://spaces.ac.cn/usr/uploads/2023/04/1959476500.png", "label": "", "type": "a" }, { "href": "https://spaces.ac.cn/archives/7076", "label": "《n维空间下两个随机向量的夹角分布》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9512", "label": "Tiger", "type": "a" }, { "href": "https://spaces.ac.cn/usr/uploads/2023/04/83521782.svg", "label": "", "type": "a" }, { "href": "https://spaces.ac.cn/usr/uploads/2023/04/2535762443.svg", "label": "", "type": "a" }, { "href": "https://papers.cool/arxiv/2210.10340", "label": "《The Devil in Linear Transformer》", "type": "a" }, { "href": "https://www.zhihu.com/question/506218961", "label": "《为什么有的 Vision Transformer 中的 key 不需要 bias ？》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/6508", "label": "《科学空间FAQ》", "type": "a" }, { "href": "http://mail.qq.com/cgi-bin/qm_share?t=qm_mailme&email=tN7d1drY3drrx8H0xcWa19vZ", "label": "点击这里", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/", "label": "语言模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/attention/", "label": "attention", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81/", "label": "位置编码", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%A4%96%E6%8E%A8/", "label": "外推", "type": "a" }, { "href": "https://spaces.ac.cn/tag/rope/", "label": "rope", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9554", "label": "Google新作试图“复活”RNN：RNN能否再次辉煌？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9588", "label": "从JL引理看熵不变性Attention", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848", "label": "简单谈谈K3的MoE和Attention", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11823", "label": "将Softmax Attention线性化为Gated DeltaNet", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11814", "label": "LogSumExp和Softmax的泰勒展开", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11664", "label": "Attention Residuals 回忆录", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11563", "label": "DeltaNet的核心逆矩阵的元素总是在[-1, 1]内", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11486", "label": "为什么DeltaNet要加L2 Normalize？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11371", "label": "低精度Attention可能存在有偏的舍入误差", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11320", "label": "为什么线性注意力要加Short Conv？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=21305", "label": "回复评论", "type": "a" }, { "href": "https://cnblogs.com/tellw", "label": "tellw", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=21308", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=21314", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=21315", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=21316", "label": "回复评论", "type": "a" }, { "href": "https://kexue.fm/", "label": "苏剑林", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=21339", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=21384", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=21404", "label": "回复评论", "type": "a" }, { "href": "https://www.zhihu.com/people/hai-tan-shang-chong-hua-47", "label": "羡鱼", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=21546", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=21580", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=21611", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1", "label": "@longlongman|comment-21580", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=22271", "label": "回复评论", "type": "a" }, { "href": "http://www.itfaba.com/jishufenxian/211006.html", "label": "探秘Transformer系列之（23）R12; 长度外推 | 呱唧呱唧网", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=27327", "label": "回复评论", "type": "a" }, { "href": "http://ruiwang1998.com/", "label": "Rui Wang", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=27633", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9577/comment-page-1?replyTo=27696", "label": "回复评论", "type": "a" }, { "href": "https://github.com/fxsjy/jieba", "label": "结巴分词", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%88%90%E6%A8%A1%E5%9E%8B/", "label": "生成模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96/", "label": "优化", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A8%A1%E5%9E%8B/", "label": "模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A2%AF%E5%BA%A6/", "label": "梯度", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96%E5%99%A8/", "label": "优化器", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%9F%A9%E9%98%B5/", "label": "矩阵", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A6%82%E7%8E%87/", "label": "概率", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BD%91%E7%AB%99/", "label": "网站", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%BD%AC%E8%BD%BD/", "label": "转载", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%BE%AE%E5%88%86%E6%96%B9%E7%A8%8B/", "label": "微分方程", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%88%86%E6%9E%90/", "label": "分析", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%A4%A9%E8%B1%A1/", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/", "label": "深度学习", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%A7%AF%E5%88%86/", "label": "积分", "type": "a" }, { "href": "https://spaces.ac.cn/tag/python/", "label": "python", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%87%A0%E4%BD%95/", "label": "几何", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%89%A9%E6%95%A3/", "label": "扩散", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%8A%9B%E5%AD%A6/", "label": "力学", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%97%A0%E7%9B%91%E7%9D%A3/", "label": "无监督", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0/", "label": "损失函数", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%8A%82%E6%97%A5/", "label": "节日", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BA%BF%E6%80%A7/", "label": "线性", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%B4%BB/", "label": "生活", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9595", "label": "如何度量数据的稀疏程度？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/998", "label": "科学空间：2010年11月重要天象", "type": "a" }, { "href": "https://spaces.ac.cn/archives/144", "label": "温馨|生活一角", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1794", "label": "算子与线性常微分方程(下)", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10017", "label": "时空之章：将Attention视为平方复杂度的RNN", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10795", "label": "高阶MuP：更简明但更高明的谱条件缩放", "type": "a" }, { "href": "https://spaces.ac.cn/archives/4033", "label": "【理解黎曼几何】7. 高斯-博内公式", "type": "a" }, { "href": "https://spaces.ac.cn/archives/958", "label": "关于行星留周期的几何讨论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1868", "label": "角的疑惑——为什么使用弧度？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/154", "label": "最受尊崇的3位诺贝尔奖得主", "type": "a" }, { "href": "https://papers.cool/", "label": "Cool Papers", "type": "a" }, { "href": "https://bbs.emath.ac.cn/", "label": "数学研发", "type": "a" }, { "href": "http://www.seatop.com.cn/", "label": "Seatop", "type": "a" }, { "href": "https://xiaoxia.org/", "label": "Xiaoxia", "type": "a" }, { "href": "https://kexue.fm/sci/integral/index.html", "label": "积分表-网络版", "type": "a" }, { "href": "http://blog.dvxj.com/", "label": "丝路博傲", "type": "a" }, { "href": "http://www.2math.cn/", "label": "数学之家", "type": "a" }, { "href": "http://interesting-sky.china-vo.org/", "label": "有趣天文奇观", "type": "a" }, { "href": "http://www.twistedwg.com/", "label": "TwistedW", "type": "a" }, { "href": "https://godweiyang.com/", "label": "godweiyang", "type": "a" }, { "href": "https://blog.ailemon.net/", "label": "AI柠檬", "type": "a" }, { "href": "https://greatdk.com/", "label": "王登科-DK博客", "type": "a" }, { "href": "https://blog.eson.org/", "label": "ESON", "type": "a" }, { "href": "https://fzhiy.net/", "label": "枫之羽", "type": "a" }, { "href": "https://coding-zuo.github.io/", "label": "coding-zuo", "type": "a" }, { "href": "https://www.bokeyuan.net/", "label": "博科园", "type": "a" }, { "href": "https://www.kppkkp.top/", "label": "孔皮皮的博客", "type": "a" }, { "href": "https://yunpengtai.top/", "label": "运鹏的博客", "type": "a" }, { "href": "https://jiming.site/", "label": "jiming.site", "type": "a" }, { "href": "https://www.omegaxyz.com/", "label": "OmegaXYZ", "type": "a" }, { "href": "https://www.robotech.ink/", "label": "EAI猩球", "type": "a" }, { "href": "https://liwenju0.com/", "label": "文举的博客", "type": "a" }, { "href": "https://kirigaya.cn/", "label": "汇尘轩", "type": "a" }, { "href": "https://kexue.fm/links.html", "label": "申请链接", "type": "a" }, { "href": "http://creativecommons.org/licenses/by-nc-nd/2.5/cn/", "label": "", "type": "a" }, { "href": "http://www.laogui.com/", "label": "laogui", "type": "a" }, { "href": "http://typecho.org/", "label": "Typecho", "type": "a" }, { "href": "https://beian.miit.gov.cn/", "label": "粤ICP备09093259号-1/2", "type": "a" } ], "repair_version": 2, "repaired_at": "2026-10-14T10:53:07Z", "source_url": "https://spaces.ac.cn/archives/9577", "papers": [], "actual_video_files": [], "body_chars": 10770, "expected_body_images": 13, "discovery_status": "ok", "delivery_status": "ok", "missing_reason": "", "raw_html": "attachments/9783df2e4a0e/pages/source.html", "local_html": "attachments/9783df2e4a0e/pages/article.html", "body_base_path": "attachments/9783df2e4a0e/pages/", "body_markdown_path": "attachments/9783df2e4a0e/pages/article.md" }