{
  "source_file": "0930",
  "source_platform": "个人博客",
  "author": "苏剑林",
  "title_listed": "Transformer升级之路：10、RoPE是一种β进制编码",
  "keywords": "RoPE,β进制,NTK",
  "domain": "大模型算法",
  "content_type": "深度技术解析",
  "is_paid_flag": "否",
  "url": "https://spaces.ac.cn/archives/9675",
  "publish_date": "2023-07",
  "corpus_stage": "预训练/SFT",
  "notes": "RoPE 的进制诠释",
  "id": "e04a5a8d67b8",
  "collected_at": "2026-10-02T15:14:42",
  "title": "Transformer升级之路：10、RoPE是一种β进制编码 - 科学空间|Scientific Spaces",
  "body_markdown": "SEARCH\nMENU\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\nCATEGORIES\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\nNEWPOSTS\n如何让GDN2更稳定一些？\n通过微扰分析求解等式约束优化问题\n慢即是快：1. Shampoo的尽...\n排序不等式及其推广\n让炼丹更科学一些（十）：单调性假设...\n让炼丹更科学一些（九）：经典自适应...\n让炼丹更科学一些（八）：多阶段训练...\n动量的新理解：逼近特征层面的梯度下降\n流形上的最速下降：7. Stief...\n除了交叉熵，LM Loss还有什么选择？\nCOMMENTS\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...\nAli Hatamizadeh\n: Thank you for looking into this...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...\n苏剑林\n: Thanks for sharing! I looked in...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyx...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 htt...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\nUSERLOGIN\n登录\n科学空间|Scientific Spaces\n登录\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\n渴望成为一个小飞侠\n欢迎订阅\n个性邮箱\n天象信息\n观测ISS\nLaTeX\n关于博主\n欢迎访问“科学空间”，这里将与您共同探讨自然科学，回味人生百态；也期待大家的分享～\n千奇百怪\nEverything\n天文探索\nAstronomy\n数学研究\nMathematics\n物理化学\nPhy-chem\n信息时代\nBig-Data\n生物自然\nBiology\n图片摄影\nPhotograph\n问题百科\nQuestions\n生活/情感\nLife-Feeling\n资源共享\nResources\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\n首页\n信息时代\nTransformer升级之路：10、RoPE是一种β进制编码\n6\nJul\nTransformer升级之路：10、RoPE是一种β进制编码\nBy\n苏剑林\n|\n2023-07-06\n|\n255943位读者\n|\n:\n对关心如何扩展LLM的Context长度的读者来说，上周无疑是激动人心的一周，开源社区接连不断地出现令人振奋的成果。首先，网友\n@kaiokendev\n在他的项目\nSuperHOT\n中实验了“位置线性内插”的方案，显示通过非常少的长文本微调，就可以让已有的LLM处理Long Context。几乎同时，Meta也提出了同样的思路，带着丰富的实验结果发表在论文\n《Extending Context Window of Large Language Models via Positional Interpolation》\n上。惊喜还远不止此，随后网友\n@bloc97\n提出了\nNTK-aware Scaled RoPE\n，实现了不用微调就可以扩展Context长度的效果！\n以上种种进展，尤其是NTK-aware Scaled RoPE，迫使笔者去重新思考\nRoPE\n的含义。经过分析，笔者发现RoPE的构造可以视为一种$\\beta$进制编码，在这个视角之下，开源社区的这些进展可以理解为对进制编码编码的不同扩增方式。\n进制表示\n#\n假设我们有一个1000以内（不包含1000）的整数$n$要作为条件输入到模型中，那么要以哪种方式比较好呢？\n最朴素的想法是直接作为一维浮点向量输入，然而0～999这涉及到近千的跨度，对基于梯度的优化器来说并不容易优化得动。那缩放到0～1之间呢？也不大好，因为此时相邻的差距从1变成了0.001，模型和优化器都不容易分辨相邻的数字。总的来说，基于梯度的优化器都有点“矫情”，它只能处理好不大不小的输入，太大太小都容易出问题。\n所以，为了避免这个问题，我们还需要继续构思新的输入方式。在不知道如何让机器来处理时，我们不妨想想人是怎么处理呢。对于一个整数，比如759，这是一个10进制的三位数，每位数字是0～9。既然我们自己都是用10进制来表示数字的，为什么不直接将10进制表示直接输入模型呢？也就是说，我们将整数$n$以一个三维向量$[a,b,c]$来输入，$a,b,c$分别是$n$的百位、十位、个位。这样，我们既缩小了数字的跨度，又没有缩小相邻数字的差距，代价了增加了输入的维度——刚好，神经网络擅长处理高维数据。\n如果想要进一步缩小数字的跨度，我们还可以进一步缩小进制的基数，如使用8进制、6进制甚至2进制，代价是进一步增加输入的维度。\n直接外推\n#\n假设我们还是用三维10进制表示训练了模型，模型效果还不错。然后突然来了个新需求，将$n$上限增加到2000以内，那么该如何处理呢？\n如果还是用10进制表示的向量输入到模型，那么此时的输入就是一个四维向量了。然而，原本的模型是针对三维向量设计和训练的，所以新增一个维度后，模型就无法处理了。可能有读者想说，为什么不能提前预留好足够多的维度呢？没错，是可以提前预留多几维，训练阶段设为0，推理阶段直接改为其他数字，这就是外推（Extrapolation）。\n直接外推\n然而，训练阶段预留的维度一直是0，如果推理阶段改为其他数字，效果不见得会好，因为模型对没被训练过的情况不一定具有适应能力。也就是说，由于某些维度的训练数据不充分，所以直接进行外推通常会导致模型的性能严重下降。\n线性内插\n#\n于是，有人想到了将外推改为内插（Interpolation），简单来说就是将2000以内压缩到1000以内，比如通过除以2，1749就变成了874.5，然后转为三维向量[8,7,4.5]输入到原来的模型中。从绝对数值来看，新的$[7,4,9]$实际上对应的是1498，是原本对应的2倍，映射方式不一致；从相对数值来看，原本相邻数字的差距为1，现在是0.5，最后一个维度更加“拥挤”。所以，做了内插修改后，通常都需要微调训练，以便模型重新适应拥挤的映射关系。\n线性内插\n当然，有读者会说外推方案也可以微调。是的，但内插方案微调所需要的步数要少得多，因为很多场景（比如位置编码）下，相对大小（或许说序信息）更加重要，换句话说模型只需要知道874.5比874大就行了，不需要知道它实际代表什么多大的数字。而原本模型已经学会了875比874大，加之模型本身有一定的泛化能力，所以再多学一个874.5比874大不会太难。\n不过，内插方案也不尽完美，当处理范围进一步增大时，相邻差异则更小，并且这个相邻差异变小集中在个位数，剩下的百位、十位，还是保留了相邻差异为1。换句话说，内插方法使得不同维度的分布情况不一样，每个维度变得不对等起来，模型进一步学习难度也更大。\n进制转换\n#\n有没有不用新增维度，又能保持相邻差距的方案呢？有，我们也许很熟悉，那就是进制转换！三个数字的10进制编码可以表示0～999，如果是16进制呢？它最大可以表示$16^3 - 1 = 4095 > 1999$。所以，只需要转到16进制，如1749变为$[6,13,5]$，那么三维向量就可以覆盖目标范围，代价是每个维度的数字从0～9变为0～15。\n进制转换\n仔细想想，就会发现这真是一个绝妙的想法。刚才说到，我们关心的场景主要利用序信息，原来训练好的模型已经学会了$875 > 874$，而在16进制下同样有$875 > 874$，比较规则是一模一样的（模型根本不知道你输入的是多少进制）。唯一担心的是每个维度超过9之后（10～15）模型还能不能正常比较，但事实上一般模型也有一定的泛化能力，所以每个维度稍微往外推一些是没问题的。所以，这个转换进制的思路，甚至可能不微调原来模型也有效！另外，为了进一步缩窄外推范围，我们还可以换用更小的$\\left\\lceil\\sqrt[3]{2000}\\right\\rceil =13$进制而不是16进制。\n接下来我们将会看到，这个进制转换的思想，实际上就对应着文章开头提到的NTK-aware scaled RoPE！\n位置编码\n#\n为了建立起它们的联系，我们先要建立如下结果：\n位置$n$的旋转位置编码（RoPE），本质上就是数字$n$的$\\beta$进制编码！\n看上去可能让人意外，因为两者表面上迥然不同。但事实上，两者的运算有着相同的关键性质。为了理解这一点，我们首先回忆一个10进制的数字$n$，我们想要求它的$\\beta$进制表示的（从右往左数）第$m$位数字，方法是\n\\begin{equation}\\left\\lfloor\\frac{n}{\\beta^{m-1}}\\right\\rfloor\\bmod\\beta\\label{eq:mod}\\end{equation}\n也就是先除以$\\beta^{k-1}$次方，然后求模（余数）。然后再来回忆RoPE，它的构造基础是\nSinusoidal位置编码\n，可以改写为\n\\begin{equation}\\left[\\cos\\left(\\frac{n}{\\beta^0}\\right),\\sin\\left(\\frac{n}{\\beta^0}\\right),\\cos\\left(\\frac{n}{\\beta^1}\\right),\\sin\\left(\\frac{n}{\\beta^1}\\right),\\cdots,\\cos\\left(\\frac{n}{\\beta^{d/2-1}}\\right),\\sin\\left(\\frac{n}{\\beta^{d/2-1}}\\right)\\right]\\label{eq:sinu}\\end{equation}\n其中，$\\beta=10000^{2/d}$。现在，对比式$\\eqref{eq:mod}$，式$\\eqref{eq:sinu}$是不是也有一模一样的$\\frac{n}{\\beta^{m-1}}$？至于模运算，它的最重要特性是周期性，式$\\eqref{eq:sinu}$的$\\cos,\\sin$是不是刚好也是周期函数？所以，除掉取整函数这个无关紧要的差异外，RoPE（或者说Sinusoidal位置编码）其实就是数字$n$的$\\beta$进制编码！\n建立起这个联系后，前面几节讨论的整数$n$的扩增方案，就可以对应到文章开头的各种进展上了。其中，直接外推方案就是啥也不改，内插方案就是将$n$换成$n/k$，其中$k$是要扩大的倍数，这就是Meta的论文所实验的Positional Interpolation，里边的实验结果也证明了外推比内插确实需要更多的微调步数。\n至于进制转换，就是要扩大$k$倍表示范围，那么原本的$\\beta$进制至少要扩大成$\\beta (k^{2/d})$进制（式$\\eqref{eq:sinu}$虽然是$d$维向量，但$\\cos,\\sin$是成对出现的，所以相当于$d/2$位$\\beta$进制表示，因此要开$d/2$次方而不是$d$次方），或者等价地原来的底数$10000$换成$10000k$，这基本上就是\nNTK-aware Scaled RoPE\n。跟前面讨论的一样，由于位置编码更依赖于序信息，而进制转换基本不改变序的比较规则，所以NTK-aware Scaled RoPE在不微调的情况下，也能在更长Context上取得不错的效果。\n追根溯源\n#\n可能有读者好奇，这跟NTK有什么关系呢？NTK全称是“Neural Tangent Kernel”，我们之前在\n《从动力学角度看优化算法（七）：SGD ≈ SVM？》\n也稍微涉及过。要说上述结果跟NTK的关系，更多的是提出者的学术背景缘故，提出者对\n《Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains》\n等结果比较熟悉，里边利用NTK相关结果证明了神经网络无法直接学习高频信号，解决办法是要将它转化为Fourier特征——其形式就跟式$\\eqref{eq:mod}$的Sinusoidal位置编码差不多。\n所以，提出者基于NTK相关结果的直觉，推导了NTK-aware Scaled RoPE。笔者向提出者请教过他的推导，其实他的推导很简单，就是把外推和内插结合起来——高频外推、低频内插。具体来说，式$\\eqref{eq:sinu}$最低频是$\\frac{n}{\\beta^{d/2-1}}$项，引入参数$\\lambda$变为$\\frac{n}{(\\beta\\lambda)^{d/2-1}}$，让它跟内插一致，即\n\\begin{equation}\\frac{n}{(\\beta\\lambda)^{d/2-1}} = \\frac{n/k}{\\beta^{d/2-1}}\\end{equation}\n那么解得$\\lambda=k^{2/(d-2)}$。至于最高频是$\\frac{n}{\\beta}$项，引入$\\lambda$后变为$\\frac{n}{\\beta\\lambda}$，由于$d$通常很大，$\\lambda$很接近1，所以它还是接近于$\\frac{n}{\\beta}$，即等价于外推。\n所以这样的方案简单巧妙地将外推和内插结合了起来。另外，由于$d$比较大（BERT是64，LLAMA是128），$k^{2/(d-2)}$跟$k^{2/d}$差别不大，所以它跟笔者基于进制思想提出的$k^{2/d}$解是基本一致的。还有，从提出者这个思想来看，任意能实现“高频外推、低频内插”的方案都是可以的，并非只有上述引入$\\lambda$的方案，这个读者可以亲自尝试一下。\n个人测试\n#\n作为号称不用微调就可以增加LLM的Context长度的方案，笔者第一次看到NTK-aware Scaled RoPE时，也感到很震惊，并且迫不及待地去测试它。毕竟根据\n《Transformer升级之路：9、一种全局长度外推的新思路》\n的经验，在笔者所偏爱的“GAU+Post Norm”组合上，很多主流的方案都失效了，那么这个方法又如何？\n当$k$取8时，对比结果如下（关于“重复”与“不重复”的区别，可以参考\n这里\n）\n\\begin{array}{c|cc}\n\\hline\n\\text{测试长度} & 512(\\text{训练}) & 4096(\\text{重复}) & 4096(\\text{不重复})\\\\\n\\hline\n\\text{Baseline} & 49.41\\% & 24.17\\% & 23.16\\% \\\\\n\\text{Baseline-}\\log n & 49.40\\% & 24.60\\% & 24.02\\% \\\\\n\\hline\n\\text{PI-RoPE} & 49.41\\% & 15.04\\% & 13.54\\% \\\\\n\\text{PI-RoPE-}\\log n & 49.40\\% & 14.99\\% & 16.51\\% \\\\\n\\hline\n\\text{NTK-RoPE} & 49.41\\% & 51.28\\% & 39.27\\% \\\\\n\\text{NTK-RoPE-}\\log n & 49.40\\% & 61.71\\% & 43.75\\% \\\\\n\\hline\n\\end{array}\n以上报告的都是没有经过长文本微调的结果，其中Baseline就是外推，PI（Positional Interpolation）就是Baseline基础上改内插，NTK-RoPE就是Baseline基础上改NTK-aware Scaled RoPE。带$\\log n$的选项，是指预训练时加入了\n《从熵不变性看Attention的Scale操作》\n中的scale，考虑这个变体是因为笔者觉得NTK-RoPE虽然解决了RoPE的长度泛化问题，但没有解决注意力不集中问题。\n表格的实验结果完全符合预期：\n1、直接外推的效果不大行；\n2、内插如果不微调，效果也很差；\n3、NTK-RoPE不微调就取得了非平凡（但有所下降）的外推结果；\n4、加入$\\log n$来集中注意力确实有帮助。\n所以，NTK-RoPE成功地成为目前第二种笔者测试有效的不用微调就可以扩展LLM的Context长度的方案（第一种自然是\nNBCE\n），再次为提出者的卓越洞察力点赞！更加值得高兴的是，NTK-RoPE在“重复”外推上比“不重复”外推效果明显好，表明这样修改之后是保留了全局依赖，而不是单纯将注意力局部化。\n写在最后\n#\n本文从$\\beta$进制编码的角度理解RoPE，并借此介绍了目前开源社区关于Long Context的一些进展，其中还包含了一种不用微调就可以增加Context长度的修改方案。\n仅仅一周，开源社区的Long Context进展就让人应接不暇，也大快人心，以至于网友\n@ironborn123\n评论道\n上周看上去是插值器的报复:)\nOpen\nClosedAI最好小心了\n转载到请包括本文地址：\nhttps://spaces.ac.cn/archives/9675\n更详细的转载事宜请参考：\n《科学空间FAQ》\n如果您还有什么疑惑或建议，欢迎在下方评论区继续讨论。\n如果您觉得本文还不错，欢迎\n分享\n/\n打赏\n本文。打赏并非要从中获得收益，而是希望知道科学空间获得了多少读者的真心关注。当然，如果你无视它，也不会影响你的阅读。再次表示欢迎和感谢！\n打赏\n微信打赏\n支付宝打赏\n因为网站后台对打赏并无记录，因此欢迎在打赏时候备注留言。\n你还可以\n点击这里\n或在下方评论区留言来告知你的建议或需求。\n如果您需要引用本文，请参考：\n苏剑林. (Jul. 06, 2023). 《Transformer升级之路：10、RoPE是一种β进制编码 》[Blog post]. Retrieved from\nhttps://spaces.ac.cn/archives/9675\n@online{kexuefm-9675,\ntitle={Transformer升级之路：10、RoPE是一种β进制编码},\nauthor={苏剑林},\nyear={2023},\nmonth={Jul},\nurl={\\url{https://spaces.ac.cn/archives/9675}},\n}\n分类：\n信息时代\n标签：\nattention\n,\n位置编码\n,\n泛化\n,\n外推\n,\nrope\n72 评论\n<\n生成扩散模型漫谈（二十）：从ReFlow到WGAN-GP\n|\n当生成模型肆虐：互联网将有“疯牛病”之忧？\n>\n你也许还对下面的内容感兴趣\n如何让GDN2更稳定一些？\n简单谈谈K3的MoE和Attention\n将Softmax Attention线性化为Gated DeltaNet\nLogSumExp和Softmax的泰勒展开\nAttention Residuals 回忆录\nDeltaNet的核心逆矩阵的元素总是在[-1, 1]内\n为什么DeltaNet要加L2 Normalize？\n低精度Attention可能存在有偏的舍入误差\n为什么线性注意力要加Short Conv？\nQK-Clip：让Muon在Scaleup之路上更进一步\n发表你的看法\n«\n1\n2\n3\nimyzx\nAugust 16th, 2023\n苏神您好，小白想请教您，在rope PI插值SFT实验中，从2K扩展到8K，是否需要配置模型超参的seq_length呢？\n\"\"\"\nseq = torch.arange(max_seq_len, device=self.inv_freq.device) + offset\nseq = seq / self.interpolation_factor\n\"\"\"\n这种实现，如果不更改max_seq_len，seq表示的元素还是2K个呢，所以是否需要将max_seq_len修正到4倍后，再除以interpolation_factor呢？\n回复评论\nimyzx 发表于\n                August 17th, 2023\n抱歉，实操SFT时明白了，谢谢~\n回复评论\njqrookielu\nOctober 27th, 2023\n我想请教一下，这个实验表格中accuracy的计算是基于哪个实验数据呢，您之前的博客中有提到具体的训练方式，好像没提到是基于哪个数据集。\n我想问这个主要是最近在follow您的rope做实验。\n回复评论\n苏剑林\n发表于\n                November 1st, 2023\n由于我的实验数据、实验代码都没有公开，所以这个表格大家相对地看一下就行，比较难复现。\n实验数据是wudao开源的中文预训练数据，并且经过自己的清洗。\n回复评论\nTransformer升级之路：15、Key归一化助力长度外推 R11; AI 資訊\nNovember 20th, 2023\n[...]大体上，我们可以将目前Transformer的长度外推技术分为两类：一类是事后修改，比如NTK-RoPE、YaRN、ReRoPE等，这类方法的特点是直接修改推理模型，无需微调就能达到一定的长度外推效果，但缺点是它们都无法保持模型在训练长度内的恒等性；另一类自然是事前修改，如ALIBI、KERPLE、XPOS以及HWFA等，它们可以不加改动地实现一定的长度外推，但相应的改动需要在训练之前就引入，因此[...]\n回复评论\nKent\nMarch 5th, 2024\n我突然想到一个问题，既然高频外推低频内插，本质上就是把高频的频率变小，低频的频率变大，那我是不是还可以来个反向的，高频内插，低频外推？这样子他们的向量的乘积还是一样的。基本上也不用微调即可实现外推？\n回复评论\n苏剑林\n发表于\n                March 7th, 2024\n高频外推低频内插，指的是高频的频率不变，低频的频率变得更小。\n回复评论\nRogZ\nMarch 29th, 2024\n苏神您好，想问一下RoPE是绝对位置编码形式做的相对位置编码，那可不可以理解为绝对位置编码是相对于最开始位置的相对位置编码呢？\n回复评论\n苏剑林\n发表于\n                April 3rd, 2024\n应该说是可以通过这种方式识别绝对位置。近来的一些研究表明Transformer的训练结果确实存在类似机制，参考\nhttps://kexue.fm/archives/9948\n的“窗口截断”一节。\n回复评论\nhh2017\nApril 3rd, 2024\n苏神好，看了文章深受启发，有个认知想和您确认一下：“在不同的context length上，不能使用同一个$\\theta$”.\n如果我想做一个200K long-context model，我应该在比如4K上先训一个model with $\\theta=1e^4$，然后再把$\\theta$ scale up to $\\theta=5e^5$，再适配到200K上稍微训一会（当然按NTK的结论，不训练直接用的效果也行）。\n对应的，如果我在训4K model的时候先把$\\theta$ scale up 到$\\theta=5e^5$，然后再进行训练；这样当我把context适配到200K时，其实相当于只做了外推，而“低频项”在4K的训练阶段没有很好的训练到：$\\frac{n}{\\theta}$只覆盖到了$\\frac{4000}{5e^5}$,而200K的context会涉及更大的取值范围。\n所以如果我们的训练设计是从4K到200K，或者说中间还有更多阶段，$\\theta$在每个阶段的取值应该根据NTK的历练来相应变化吧，是吗?\n回复评论\n苏剑林\n发表于\n                April 3rd, 2024\n“所以如果我们的训练设计是从4K到200K，或者说中间还有更多阶段，$\\theta$在每个阶段的取值应该根据NTK的历练来相应变化吧，是吗?”\n我认同这个观点。\n回复评论\n诺\nMay 22nd, 2024\n为啥管它叫$\\beta$进制编码？而不是什么$\\alpha$进制、$\\gamma$进制？\n回复评论\n苏剑林\n发表于\n                May 24th, 2024\nbase -> b -> $\\beta$ -> beta\n当然这个随你喜欢了～\n回复评论\nCoder.AN\nAugust 2nd, 2024\n请教苏神，文中推导出的缩放系数形式为$k^{\\frac{2}{d-2}}$，但是查看了官方实现的NTK,使用的系数却是$k^{\\frac{d}{d-2}}$，有点不太理解。这方面您了解吗？\n参考：\n1.[文献1](https://normxu.github.io/A-Potential-Rotation-Inconsistency-of-Dynamic-Scaled-RoPE/)\n2.[文献2](https://github.com/huggingface/transformers/blob/main/src/transformers/modeling_rope_utils.py#L156)\n回复评论\nCoder.AN 发表于\n                August 2nd, 2024\n在前面几页的评论区找到答案了，谢谢！\n回复评论\n«\n1\n2\n3\n取消回复\n你的大名\n电子邮箱\n个人网站（选填）\n1. 可以使用LaTeX代码，点击“预览效果”可查看效果；\n2. 可以通过点击评论楼层编号来引用该楼层；\n3. 网站可能会有点卡，如非确认评论失败，请\n不要重复点击提交\n。\n内容速览\n进制表示\n直接外推\n线性内插\n进制转换\n位置编码\n追根溯源\n个人测试\n写在最后\n智能搜索\n支持整句搜索！网站自动使用\n结巴分词\n进行分词，并结合ngrams排序算法给出合理的搜索结果。\n热门标签\nattention\n生成模型\n优化\n模型\n语言模型\n梯度\n优化器\n矩阵\n概率\n网站\n转载\n微分方程\n分析\n天象\n深度学习\n积分\npython\n几何\n扩散\n力学\n无监督\n损失函数\n节日\n线性\n生活\n随机文章\n力学系统及其对偶性（二）\n科学空间论坛成立，正式开放！\n文本情感分类（三）：分词 OR 不分词\nUniVAE：基于Transformer的单模型、多尺度的VAE模型\n流形上的最速下降：3. Muon + Stiefel\n关于维度公式“n > 8.33 log N”的可用性分析\n线性Attention的探索：Attention必须有个Softmax吗？\n基于DGCNN和概率图的轻量级信息抽取模型\nbert4keras在手，baseline我有：CLUE基准代码\nGAU-α：尝鲜体验快好省的下一代Attention\n最近评论\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FFN相比原始的大FFN（也就是直接...\nAli Hatamizadeh\n: Thank you for looking into this and featuring i...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muon比Adam、SGD等要好，所以...\n苏剑林\n: Thanks for sharing! I looked into this improvem...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author.We've addressed...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyxx/CyclicFlowAtte...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 https://papers.cool...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\n友情链接\nCool Papers\n数学研发\nSeatop\nXiaoxia\n积分表-网络版\n丝路博傲\n数学之家\n有趣天文奇观\nTwistedW\ngodweiyang\nAI柠檬\n王登科-DK博客\nESON\n枫之羽\ncoding-zuo\n博科园\n孔皮皮的博客\n运鹏的博客\njiming.site\nOmegaXYZ\nEAI猩球\n文举的博客\n汇尘轩\n申请链接\n本站采用创作共用版权协议，要求署名、非商业用途和保持一致。转载本站内容必须也遵循“\n署名-非商业用途-保持一致\n”的创作共用协议。\n© 2009-2026 Scientific Spaces. All rights reserved. Theme by\nlaogui\n. Powered by\nTypecho\n. 备案号:\n粤ICP备09093259号-1/2\n。",
  "metadata": {
    "title": "Transformer升级之路：10、RoPE是一种β进制编码 - 科学空间|Scientific Spaces",
    "description": "对关心如何扩展LLM的Context长度的读者来说，上周无疑是激动人心的一周，开源社区接连不断地出现令人振奋的成果。首先，网友@kaiokendev在他的项目SuperHOT中实验了“位置线性内...",
    "keywords": "attention,位置编码,泛化,外推,rope",
    "author": null
  },
  "paywall": {
    "listed_paid": false,
    "detected": false,
    "marker": "",
    "public_only": false,
    "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙"
  },
  "crawl": {
    "success": true,
    "status_code": 200,
    "error": ""
  },
  "code_blocks": [],
  "images": [
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png",
      "bytes": 4328,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-fcd8b7d1212b1f5eab2b.png",
      "src": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png",
      "alt": "MobileSideBar",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png",
      "bytes": 19283,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-043e6308dc873ff9fa67.png",
      "src": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png",
      "alt": "",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png",
      "bytes": 16811,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-942ff5c7b650f4d3d31f.png",
      "src": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png",
      "alt": "",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png",
      "bytes": 2524,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-53b9d00850633d612de3.png",
      "src": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png",
      "alt": "",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png",
      "bytes": 3301,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-896b482bdde5ec1df88a.png",
      "src": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png",
      "alt": "",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png",
      "bytes": 939,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-3f7f2f2318249e4eac9a.png",
      "src": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png",
      "alt": "",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png",
      "bytes": 18685,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-cbbace78f2cd4551d156.png",
      "src": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png",
      "alt": "",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/uploads/2023/07/4094653858.png",
      "bytes": 29789,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-579d165baf3e36b1abd7.png",
      "src": "https://spaces.ac.cn/usr/uploads/2023/07/4094653858.png",
      "alt": "直接外推",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/uploads/2023/07/4113541717.png",
      "bytes": 28369,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-7a0083c8a948cfed0de7.png",
      "src": "https://spaces.ac.cn/usr/uploads/2023/07/4113541717.png",
      "alt": "线性内插",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/uploads/2023/07/4212256238.png",
      "bytes": 28539,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-45d052f9392488e0c3fe.png",
      "src": "https://spaces.ac.cn/usr/uploads/2023/07/4212256238.png",
      "alt": "进制转换",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png",
      "bytes": 36540,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-c5d79f289db1f5d431bc.png",
      "src": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png",
      "alt": "科学空间",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png",
      "bytes": 31565,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-4345e58697a529a3d3a5.png",
      "src": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png",
      "alt": "科学空间",
      "downloaded": true
    },
    {
      "status": "ok",
      "url": "https://kexue.fm/usr/themes/geekg/images/cc.gif",
      "bytes": 2031,
      "reused": false,
      "local_path": "attachments/e04a5a8d67b8/images/body-b2904ced8e4508d61bed.gif",
      "src": "https://kexue.fm/usr/themes/geekg/images/cc.gif",
      "alt": "署名-非商业用途-保持一致",
      "downloaded": true
    }
  ],
  "audio": [],
  "videos": [],
  "links": [
    {
      "href": "https://spaces.ac.cn/reward.html",
      "label": "打赏",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/latex.html",
      "label": "公式",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/ac.html",
      "label": "天象",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/links.html",
      "label": "链接",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/me.html",
      "label": "时光",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/science.html",
      "label": "博览",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/content.html",
      "label": "归档",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/category/Everything",
      "label": "千奇百怪",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/category/Astronomy",
      "label": "天文探索",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/category/Mathematics",
      "label": "数学研究",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/category/Phy-chem",
      "label": "物理化学",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/category/Big-Data",
      "label": "信息时代",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/category/Biology",
      "label": "生物自然",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/category/Photograph",
      "label": "图片摄影",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/category/Questions",
      "label": "问题百科",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/category/Life-Feeling",
      "label": "生活/情感",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/category/Resources",
      "label": "资源共享",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11945",
      "label": "如何让GDN2更稳定一些？",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11928",
      "label": "通过微扰分析求解等式约束优化问题",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11917",
      "label": "慢即是快：1. Shampoo的尽...",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11910",
      "label": "排序不等式及其推广",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11885",
      "label": "让炼丹更科学一些（十）：单调性假设...",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11882",
      "label": "让炼丹更科学一些（九）：经典自适应...",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11879",
      "label": "让炼丹更科学一些（八）：多阶段训练...",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11875",
      "label": "动量的新理解：逼近特征层面的梯度下降",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11864",
      "label": "流形上的最速下降：7. Stief...",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11854",
      "label": "除了交叉熵，LM Loss还有什么选择？",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/10699/comment-page-3",
      "label": "carl_lei : 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11945/comment-page-1",
      "label": "Ali Hatamizadeh : Thank you for looking into this...",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11340/comment-page-1",
      "label": "苏剑林 : 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/1328/comment-page-1",
      "label": "bookworm : 天下苦秦久矣，期待苏老师的教材！",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11848/comment-page-2",
      "label": "苏剑林 : 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/admin/login.php",
      "label": "登录",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/",
      "label": "科学空间|Scientific Spaces",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/feed",
      "label": "欢迎订阅",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/119",
      "label": "个性邮箱",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/41",
      "label": "观测ISS",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675",
      "label": "Transformer升级之路：10、RoPE是一种β进制编码",
      "type": "a"
    },
    {
      "href": "https://www.reddit.com/user/kaiokendev",
      "label": "@kaiokendev",
      "type": "a"
    },
    {
      "href": "https://kaiokendev.github.io/til",
      "label": "SuperHOT",
      "type": "a"
    },
    {
      "href": "https://papers.cool/arxiv/2306.15595",
      "label": "《Extending Context Window of Large Language Models via Positional Interpolation》",
      "type": "a"
    },
    {
      "href": "https://www.reddit.com/user/bloc97",
      "label": "@bloc97",
      "type": "a"
    },
    {
      "href": "https://www.reddit.com/r/LocalLLaMA/comments/14lz7j5/ntkaware_scaled_rope_allows_llama_models_to_have/",
      "label": "NTK-aware Scaled RoPE",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/8265",
      "label": "RoPE",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/usr/uploads/2023/07/4094653858.png",
      "label": "",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/usr/uploads/2023/07/4113541717.png",
      "label": "",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/usr/uploads/2023/07/4212256238.png",
      "label": "",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/8231",
      "label": "Sinusoidal位置编码",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/8009",
      "label": "《从动力学角度看优化算法（七）：SGD ≈ SVM？》",
      "type": "a"
    },
    {
      "href": "https://papers.cool/arxiv/2006.10739",
      "label": "《Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains》",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9603",
      "label": "《Transformer升级之路：9、一种全局长度外推的新思路》",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/8823",
      "label": "《从熵不变性看Attention的Scale操作》",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9617",
      "label": "NBCE",
      "type": "a"
    },
    {
      "href": "https://www.reddit.com/r/LocalLLaMA/comments/14mrgpr/comment/jq3jqju/?utm_source=share&utm_medium=web2x&context=3",
      "label": "@ironborn123",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/6508",
      "label": "《科学空间FAQ》",
      "type": "a"
    },
    {
      "href": "http://mail.qq.com/cgi-bin/qm_share?t=qm_mailme&email=tN7d1drY3drrx8H0xcWa19vZ",
      "label": "点击这里",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/attention/",
      "label": "attention",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81/",
      "label": "位置编码",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E6%B3%9B%E5%8C%96/",
      "label": "泛化",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E5%A4%96%E6%8E%A8/",
      "label": "外推",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/rope/",
      "label": "rope",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9668",
      "label": "生成扩散模型漫谈（二十）：从ReFlow到WGAN-GP",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9687",
      "label": "当生成模型肆虐：互联网将有“疯牛病”之忧？",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11848",
      "label": "简单谈谈K3的MoE和Attention",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11823",
      "label": "将Softmax Attention线性化为Gated DeltaNet",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11814",
      "label": "LogSumExp和Softmax的泰勒展开",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11664",
      "label": "Attention Residuals 回忆录",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11563",
      "label": "DeltaNet的核心逆矩阵的元素总是在[-1, 1]内",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11486",
      "label": "为什么DeltaNet要加L2 Normalize？",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11371",
      "label": "低精度Attention可能存在有偏的舍入误差",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11320",
      "label": "为什么线性注意力要加Short Conv？",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11126",
      "label": "QK-Clip：让Muon在Scaleup之路上更进一步",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-2",
      "label": "«",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-1",
      "label": "1",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3",
      "label": "3",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=22518",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=22523",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=22955",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://kexue.fm/",
      "label": "苏剑林",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=22981",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://news.aitime.space/2023/11/69309/",
      "label": "Transformer升级之路：15、Key归一化助力长度外推 R11; AI 資訊",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=23102",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=23871",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=23890",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=24036",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://kexue.fm/archives/9948",
      "label": "https://kexue.fm/archives/9948",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=24066",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=24055",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=24079",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=24398",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=24421",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=24944",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9675/comment-page-3?replyTo=24945",
      "label": "回复评论",
      "type": "a"
    },
    {
      "href": "https://github.com/fxsjy/jieba",
      "label": "结巴分词",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%88%90%E6%A8%A1%E5%9E%8B/",
      "label": "生成模型",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96/",
      "label": "优化",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E6%A8%A1%E5%9E%8B/",
      "label": "模型",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/",
      "label": "语言模型",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E6%A2%AF%E5%BA%A6/",
      "label": "梯度",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96%E5%99%A8/",
      "label": "优化器",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E7%9F%A9%E9%98%B5/",
      "label": "矩阵",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E6%A6%82%E7%8E%87/",
      "label": "概率",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E7%BD%91%E7%AB%99/",
      "label": "网站",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E8%BD%AC%E8%BD%BD/",
      "label": "转载",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E5%BE%AE%E5%88%86%E6%96%B9%E7%A8%8B/",
      "label": "微分方程",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E5%88%86%E6%9E%90/",
      "label": "分析",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E5%A4%A9%E8%B1%A1/",
      "label": "天象",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/",
      "label": "深度学习",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E7%A7%AF%E5%88%86/",
      "label": "积分",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/python/",
      "label": "python",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E5%87%A0%E4%BD%95/",
      "label": "几何",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E6%89%A9%E6%95%A3/",
      "label": "扩散",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E5%8A%9B%E5%AD%A6/",
      "label": "力学",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E6%97%A0%E7%9B%91%E7%9D%A3/",
      "label": "无监督",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0/",
      "label": "损失函数",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E8%8A%82%E6%97%A5/",
      "label": "节日",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E7%BA%BF%E6%80%A7/",
      "label": "线性",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%B4%BB/",
      "label": "生活",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/2136",
      "label": "力学系统及其对偶性（二）",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/339",
      "label": "科学空间论坛成立，正式开放！",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/3863",
      "label": "文本情感分类（三）：分词 OR 不分词",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/8475",
      "label": "UniVAE：基于Transformer的单模型、多尺度的VAE模型",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/11221",
      "label": "流形上的最速下降：3. Muon + Stiefel",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/8711",
      "label": "关于维度公式“n > 8.33 log N”的可用性分析",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/7546",
      "label": "线性Attention的探索：Attention必须有个Softmax吗？",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/6671",
      "label": "基于DGCNN和概率图的轻量级信息抽取模型",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/8739",
      "label": "bert4keras在手，baseline我有：CLUE基准代码",
      "type": "a"
    },
    {
      "href": "https://spaces.ac.cn/archives/9052",
      "label": "GAU-α：尝鲜体验快好省的下一代Attention",
      "type": "a"
    },
    {
      "href": "https://papers.cool/",
      "label": "Cool Papers",
      "type": "a"
    },
    {
      "href": "https://bbs.emath.ac.cn/",
      "label": "数学研发",
      "type": "a"
    },
    {
      "href": "http://www.seatop.com.cn/",
      "label": "Seatop",
      "type": "a"
    },
    {
      "href": "https://xiaoxia.org/",
      "label": "Xiaoxia",
      "type": "a"
    },
    {
      "href": "https://kexue.fm/sci/integral/index.html",
      "label": "积分表-网络版",
      "type": "a"
    },
    {
      "href": "http://blog.dvxj.com/",
      "label": "丝路博傲",
      "type": "a"
    },
    {
      "href": "http://www.2math.cn/",
      "label": "数学之家",
      "type": "a"
    },
    {
      "href": "http://interesting-sky.china-vo.org/",
      "label": "有趣天文奇观",
      "type": "a"
    },
    {
      "href": "http://www.twistedwg.com/",
      "label": "TwistedW",
      "type": "a"
    },
    {
      "href": "https://godweiyang.com/",
      "label": "godweiyang",
      "type": "a"
    },
    {
      "href": "https://blog.ailemon.net/",
      "label": "AI柠檬",
      "type": "a"
    },
    {
      "href": "https://greatdk.com/",
      "label": "王登科-DK博客",
      "type": "a"
    },
    {
      "href": "https://blog.eson.org/",
      "label": "ESON",
      "type": "a"
    },
    {
      "href": "https://fzhiy.net/",
      "label": "枫之羽",
      "type": "a"
    },
    {
      "href": "https://coding-zuo.github.io/",
      "label": "coding-zuo",
      "type": "a"
    },
    {
      "href": "https://www.bokeyuan.net/",
      "label": "博科园",
      "type": "a"
    },
    {
      "href": "https://www.kppkkp.top/",
      "label": "孔皮皮的博客",
      "type": "a"
    },
    {
      "href": "https://yunpengtai.top/",
      "label": "运鹏的博客",
      "type": "a"
    },
    {
      "href": "https://jiming.site/",
      "label": "jiming.site",
      "type": "a"
    },
    {
      "href": "https://www.omegaxyz.com/",
      "label": "OmegaXYZ",
      "type": "a"
    },
    {
      "href": "https://www.robotech.ink/",
      "label": "EAI猩球",
      "type": "a"
    },
    {
      "href": "https://liwenju0.com/",
      "label": "文举的博客",
      "type": "a"
    },
    {
      "href": "https://kirigaya.cn/",
      "label": "汇尘轩",
      "type": "a"
    },
    {
      "href": "https://kexue.fm/links.html",
      "label": "申请链接",
      "type": "a"
    },
    {
      "href": "http://creativecommons.org/licenses/by-nc-nd/2.5/cn/",
      "label": "",
      "type": "a"
    },
    {
      "href": "http://www.laogui.com/",
      "label": "laogui",
      "type": "a"
    },
    {
      "href": "http://typecho.org/",
      "label": "Typecho",
      "type": "a"
    },
    {
      "href": "https://beian.miit.gov.cn/",
      "label": "粤ICP备09093259号-1/2",
      "type": "a"
    }
  ],
  "repair_version": 2,
  "repaired_at": "2026-10-14T10:53:05Z",
  "source_url": "https://spaces.ac.cn/archives/9675",
  "papers": [],
  "actual_video_files": [],
  "body_chars": 12149,
  "expected_body_images": 13,
  "discovery_status": "ok",
  "delivery_status": "ok",
  "missing_reason": "",
  "raw_html": "attachments/e04a5a8d67b8/pages/source.html",
  "local_html": "attachments/e04a5a8d67b8/pages/article.html",
  "body_base_path": "attachments/e04a5a8d67b8/pages/",
  "body_markdown_path": "attachments/e04a5a8d67b8/pages/article.md"
}