{ "source_file": "0930", "source_platform": "个人博客", "author": "苏剑林", "title_listed": "Transformer升级之路：18、RoPE的底数选择原则", "keywords": "RoPE,底数,长度外推", "domain": "大模型算法", "content_type": "深度技术解析", "is_paid_flag": "否", "url": "https://spaces.ac.cn/archives/10122", "publish_date": "2024-05", "corpus_stage": "预训练/SFT", "notes": "RoPE 底数选择", "id": "4e2edb422b94", "collected_at": "2026-10-02T15:14:53", "title": "Transformer升级之路：18、RoPE的底数选择原则 - 科学空间|Scientific Spaces", "body_markdown": "SEARCH\nMENU\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\nCATEGORIES\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\nNEWPOSTS\n如何让GDN2更稳定一些？\n通过微扰分析求解等式约束优化问题\n慢即是快：1. Shampoo的尽...\n排序不等式及其推广\n让炼丹更科学一些（十）：单调性假设...\n让炼丹更科学一些（九）：经典自适应...\n让炼丹更科学一些（八）：多阶段训练...\n动量的新理解：逼近特征层面的梯度下降\n流形上的最速下降：7. Stief...\n除了交叉熵，LM Loss还有什么选择？\nCOMMENTS\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...\nAli Hatamizadeh\n: Thank you for looking into this...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...\n苏剑林\n: Thanks for sharing! I looked in...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyx...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 htt...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\nUSERLOGIN\n登录\n科学空间|Scientific Spaces\n登录\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\n渴望成为一个小飞侠\n欢迎订阅\n个性邮箱\n天象信息\n观测ISS\nLaTeX\n关于博主\n欢迎访问“科学空间”，这里将与您共同探讨自然科学，回味人生百态；也期待大家的分享～\n千奇百怪\nEverything\n天文探索\nAstronomy\n数学研究\nMathematics\n物理化学\nPhy-chem\n信息时代\nBig-Data\n生物自然\nBiology\n图片摄影\nPhotograph\n问题百科\nQuestions\n生活/情感\nLife-Feeling\n资源共享\nResources\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\n首页\n信息时代\nTransformer升级之路：18、RoPE的底数选择原则\n29\nMay\nTransformer升级之路：18、RoPE的底数选择原则\nBy\n苏剑林\n|\n2024-05-29\n|\n192807位读者\n|\n:\n我们知道，在\nRoPE\n中频率的计算公式为$\\theta_i = b^{-2i/d}$，底数$b$默认值为10000。目前Long Context的主流做法之一是，先在$b=10000$上用短文本预训练，然后调大$b$并在长文本微调，其出发点是\n《Transformer升级之路：10、RoPE是一种β进制编码》\n里介绍的NTK-RoPE，它本身有较好长度外推性，换用更大的$b$再微调相比不加改动的微调，起始损失更小，收敛也更快。该过程给人的感觉是：调大$b$完全是因为“先短后长”的训练策略，如果一直都用长文本训练似乎就没必要调大$b$了？\n上周的论文\n《Base of RoPE Bounds Context Length》\n试图回答这个问题，它基于一个期望性质研究了$b$的下界，由此指出更大的训练长度本身就应该选择更大的底数，与训练策略无关。整个分析思路颇有启发性，接下来我们一起来品鉴一番。\n期望性质\n#\nRoPE这里就不再详细介绍了，它本质上是一个分块对角矩阵\n\\begin{equation}\\boldsymbol{\\mathcal{R}}_n = \\scriptsize{\\left(\\begin{array}{cc:cc:cc:cc}\n\\cos n\\theta_0 & -\\sin n\\theta_0 & 0 & 0 & \\cdots & \\cdots & 0 & 0 \\\\\n\\sin n\\theta_0 & \\cos n\\theta_0 & 0 & 0 & \\cdots & \\cdots & 0 & 0 \\\\\n\\hdashline\n0 & 0 & \\cos n\\theta_1 & -\\sin n\\theta_1 & \\cdots & \\cdots & 0 & 0 \\\\\n0 & 0 & \\sin n\\theta_1 & \\cos n\\theta_1 & \\cdots & \\cdots & 0 & 0 \\\\\n\\hdashline\n\\vdots & \\vdots & \\vdots & \\vdots & \\ddots & \\ddots & \\vdots & \\vdots \\\\\n\\vdots & \\vdots & \\vdots & \\vdots & \\ddots & \\ddots & \\vdots & \\vdots \\\\\n\\hdashline\n0 & 0 & 0 & 0 & \\cdots & \\cdots & \\cos n\\theta_{d/2-1} & -\\sin n\\theta_{d/2-1} \\\\\n0 & 0 & 0 & 0 & \\cdots & \\cdots & \\sin n\\theta_{d/2-1} & \\cos n\\theta_{d/2-1} \\\\\n\\end{array}\\right)}\\end{equation}\n然后利用恒等式\n\\begin{equation}(\\boldsymbol{\\mathcal{R}}_m \\boldsymbol{q})^{\\top}(\\boldsymbol{\\mathcal{R}}_n \\boldsymbol{k}) = \\boldsymbol{q}^{\\top} \\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n \\boldsymbol{k} = \\boldsymbol{q}^{\\top} \\boldsymbol{\\mathcal{R}}_{n-m} \\boldsymbol{k}\\end{equation}\n给$\\boldsymbol{q},\\boldsymbol{k}$注入绝对位置信息，并自动实现了相对位置的效果。其中$\\theta_i = b^{-2i/d}$，这里的$b$的取值就是本文要探讨的问题。\n除了给模型注入位置信息外，我们期望RoPE能具备两个理想性质，以达到更好的效果：1、\n远程衰减\n，即位置相近的Token平均来说获得更多的注意力；2、\n语义聚合\n，即语义相似的Token平均来说获得更多的注意力。其中第一点我们早在\n《Transformer升级之路：2、博采众长的旋转式位置编码》\n有过相关讨论，RoPE确实有一定的远程衰减性质。\n所以接下来我们来分析第二点。\n不等关系\n#\n所谓语义聚合，指的是当$\\boldsymbol{k}$与$\\boldsymbol{q}$相近时，不管它们的相对距离$n-m$多大，其注意力$\\boldsymbol{q}^{\\top} \\boldsymbol{\\mathcal{R}}_{n-m} \\boldsymbol{k}$平均来说都应该更大（至少要比随机的两个Token更大）。为了得到一个量化的结论，我们进一步简化问题，假设$\\boldsymbol{q}$的每个分量都是独立同分布的，每个分量的均值为$\\mu$，方差为$\\sigma^2$。\n现在我们考虑两种不同的$\\boldsymbol{k}$：一种是在$\\boldsymbol{q}$的基础上，加上一个零均值的扰动$\\boldsymbol{\\varepsilon}$，我们记$\\tilde{\\boldsymbol{k}} = \\boldsymbol{q} + \\boldsymbol{\\varepsilon}$，代表跟$\\boldsymbol{q}$语义相近的Token；另一种则是假设$\\boldsymbol{k}$跟$\\boldsymbol{q}$独立同分布，这代表两个随机的Token。根据第二点理想性质，我们希望有\n\\begin{equation}\\mathbb{E}_{\\boldsymbol{q},\\boldsymbol{k},\\boldsymbol{\\varepsilon}}\\big[\\boldsymbol{q}^{\\top} \\boldsymbol{\\mathcal{R}}_{n-m} \\tilde{\\boldsymbol{k}} - \\boldsymbol{q}^{\\top} \\boldsymbol{\\mathcal{R}}_{n-m} \\boldsymbol{k}\\big] \\geq 0\\end{equation}\n注意我们刚才反复强调了“平均来说”，意味着我们只是期望一个平均的趋势，而不是每一点都能严格成立，所以我们在上式加了取数学期望$\\mathbb{E}_{\\boldsymbol{q},\\boldsymbol{k},\\boldsymbol{\\varepsilon}}$。现在根据假设和RoPE的定义，我们可以把上式具体地算出来：\n\\begin{equation}\\begin{aligned}\n&\\,\\mathbb{E}_{\\boldsymbol{q},\\boldsymbol{k},\\boldsymbol{\\varepsilon}}\\big[\\boldsymbol{q}^{\\top} \\boldsymbol{\\mathcal{R}}_{n-m} (\\boldsymbol{q} + \\boldsymbol{\\varepsilon}) - \\boldsymbol{q}^{\\top} \\boldsymbol{\\mathcal{R}}_{n-m} \\boldsymbol{k}\\big] \\\\[5pt]\n=&\\, \\mathbb{E}_{\\boldsymbol{q}}\\big[\\boldsymbol{q}^{\\top} \\boldsymbol{\\mathcal{R}}_{n-m} \\boldsymbol{q}\\big] - \\mathbb{E}_{\\boldsymbol{q},\\boldsymbol{k}}\\big[\\boldsymbol{q}^{\\top} \\boldsymbol{\\mathcal{R}}_{n-m} \\boldsymbol{k}\\big] \\\\[5pt]\n=&\\, \\mathbb{E}_{\\boldsymbol{q}}\\big[\\boldsymbol{q}^{\\top} \\boldsymbol{\\mathcal{R}}_{n-m} \\boldsymbol{q}\\big] - \\mathbb{E}_{\\boldsymbol{q}}[\\boldsymbol{q}]^{\\top}\\boldsymbol{\\mathcal{R}}_{n-m} \\mathbb{E}_{\\boldsymbol{k}}[\\boldsymbol{k}] \\\\[5pt]\n=&\\, \\mathbb{E}_{\\boldsymbol{q}}\\big[\\boldsymbol{q}^{\\top} \\boldsymbol{\\mathcal{R}}_{n-m} \\boldsymbol{q}\\big] - \\mu^2\\boldsymbol{1}^{\\top}\\boldsymbol{\\mathcal{R}}_{n-m} \\boldsymbol{1} \\\\[5pt]\n=& \\mathbb{E}_{\\boldsymbol{q}}\\left[\\sum_{i=0}^{d/2-1} (q_{2i}^2 + q_{2i+1}^2)\\cos (n-m)\\theta_i\\right] - \\sum_{i=0}^{d/2-1} 2\\mu^2\\cos (n-m)\\theta_i \\\\[5pt]\n=& \\sum_{i=0}^{d/2-1} 2(\\mu^2 + \\sigma^2)\\cos (n-m)\\theta_i - \\sum_{i=0}^{d/2-1} 2\\mu^2\\cos (n-m)\\theta_i \\\\[5pt]\n=& \\sum_{i=0}^{d/2-1} 2\\sigma^2\\cos (n-m)\\theta_i \\\\\n\\end{aligned}\\end{equation}\n如果训练长度最大为$L$，那么$n-m\\leq L-1$，因此第二点理想性质可以用如下不等式近似描述：\n\\begin{equation}\\sum_{i=0}^{d/2-1} \\cos m\\theta_i \\geq 0,\\quad m\\in\\{0,1,2,\\cdots,L-1\\}\\label{neq:base}\\end{equation}\n其中$L$是最大长度，是训练前就要选定的超参，而$d$是模型的head_size，按照LLAMA的一般设置是$d=128$，这也就意味着，上式的唯一可调参数就是$\\theta_i = b^{-2i/d}$中的$b$。在\n《Transformer升级之路：1、Sinusoidal位置编码追根溯源》\n中我们就简单探究过这个函数，它整体趋势是衰减的，$b$越大则衰减速度越慢，对应的连续非负区间就越大，所以存在一个最小的$b$使得上述不等式恒成立，即\n\\begin{equation}b^* = \\inf\\left\\{\\,\\,b\\,\\,\\,\\left|\\,\\,\\,f_b(m)\\triangleq\\sum_{i=0}^{d/2-1} \\cos m b^{-2i/d} \\geq 0,\\,\\, m\\in\\{0,1,2,\\cdots,L-1\\}\\right.\\right\\}\\end{equation}\n数值求解\n#\n由于$f_b(m)$涉及到多个三角函数的求和，并且$\\theta_i$关于$i$还是非线性的，很难想象上述问题会有解析解，因此只能诉诸数值求解了。然而，$f_b(m)$越到后面震荡越频繁且不规律，因此即便数值求解也不是那么简单的事情。\n笔者一开始以为，如果$b_0$使得$f_{b_0}(m)\\geq 0$恒成立，那么$\\forall b \\geq b_0$都恒成立$f_b(m)\\geq 0$，所以用二分法就可以了。但事实上这个假设并不成立，所以二分法宣告破产。继续想了一段时间，依然没什么优化思路，期间向原论文作者请教过，他们采用的是逆函数法，即给定$b$求使得$f_b(m)\\geq 0$恒成立的最大$L$是比较简单的，于是我们可以得到很多$(b, L)$对，理论上只要枚举的$b$足够多，那么对于任意$L$都可以找出最小的$b$。然而这里有个精度问题，原论文最大的$L$计算到了$10^6$，$b$至少要枚举到$10^8$，如果枚举间隔小，那么计算成本非常大，如果枚举间隔大，那么可能漏掉很多解。\n最后，笔者决定还是用“Jax + GPU”进行暴力搜索，以求得到更高精度的结果，大致流程是：\n1、初始化$b=1000L$（在$10^6$内$b=1000L$可以使得$f_b(m)\\geq 0$恒成立）；\n2、遍历$k=1,2,3,4,5$，执行以下操作：\n2.1）将$[0,b]$等分为$10^k$份，遍历等分点，判断$f_b(m)\\geq 0$是否恒成立；\n2.2）取最小的使得$f_b(m)\\geq 0$恒成立的等分点，更新$b$；\n3、返回最终的$b$。\n最终结果普遍要比原论文的更紧一些\n$$\\scriptsize\\begin{array}{c|cccccccccc}\n\\hline\nL & 1k & 2k & 4k & 8k & 16k & 32k & 64k & 128k & 256k & 512k & 1M \\\\\n\\hline\nb^*(\\text{原文}) & 4.3e3 & 1.6e4 & 2.7e4 & 8.4e4 & 3.1e5 & 6.4e5 & 2.1e6 & 7.8e6 & 3.6e7 & 6.4e7 & 5.1e8 \\\\\nb^*(\\text{本文}) & 4.3e3 & \\color{red}{1.2e4} & 2.7e4 & 8.4e4 & \\color{red}{2.3e5} & \\color{red}{6.3e5} & 2.1e6 & \\color{red}{4.9e6} & \\color{red}{2.4e7} & \\color{red}{5.8e7} & \\color{red}{6.5e7} \\\\\n\\hline\n\\end{array}$$\n参考代码：\nfrom functools import partial\nimport numpy as np\nimport jax.numpy as jnp\nimport jax\n\n@partial(jax.jit, static_argnums=(2,))\ndef f(m, b, d=128):\n i = jnp.arange(d / 2)\n return jnp.cos(m[:, None] * b ** (-2 * i[None] / d)).sum(axis=1)\n\n@np.vectorize\ndef fmin(L, b):\n return f(np.arange(L), b).min()\n\ndef bmin(L):\n B = 1000 * L\n for k in range(1, 6):\n bs = np.linspace(0, 1, 10**k + 1)[1:] * B \n ys = fmin(L, bs)\n for b, y in zip(bs, ys):\n if y >= 0:\n B = b\n break\n return B\n\nbmin(1024 * 128)\n渐近估计\n#\n除了数值求解外，我们也可以通过渐近分析来得到一个解析的估计结果，这个估计比数值结果要小，本质上是$d\\to\\infty$的解，但同样能够得出“$b$应该随着$L$增大而增大”的结论。\n渐近估计的思路，是用积分代替求和：\n\\begin{equation}f_b(m) = \\sum_{i=0}^{d/2-1} \\cos m b^{-2i/d}\\approx \\int_0^1 \\cos m b^{-s} ds \\xlongequal{\\text{令}t = mb^{-s}} \\int_{mb^{-1}}^m \\frac{\\cos t}{t \\ln b}dt\\end{equation}\n其中我们记\n\\begin{equation}\\text{Ci}(x) = -\\int_x^{\\infty} \\frac{\\cos t}{t} dt\\end{equation}\n这是被前人研究过的三角积分（参考\nTrigonometric integral\n），利用这个记号，我们可以写出\n\\begin{equation}f_b(m) \\approx \\frac{\\text{Ci}(m) - \\text{Ci}(mb^{-1})}{\\ln b}\\end{equation}\n$\\text{Ci}(x)$的图像长这样：\nCi(x)的图像【来自维基百科】\n它的第一个零点是$x_0=0.6165\\cdots$，对于$m\\geq 1$，可以看出$|\\text{Ci}(m)|\\leq 1/2$，所以其实$\\text{Ci}(m)$相对来说是小项，对于渐近估计来说可以忽略，那么问题近似地变成了$\\text{Ci}(mb^{-1})\\leq 0$对于$m=1,2,\\cdots,L$恒成立，我们只需要让相应的$mb^{-1}$都落在$[0,x_0]$区间内就可以实现，这意味着$Lb^{-1}\\leq x_0$，即\n\\begin{equation}b \\geq L / x_0 \\approx 2L\\end{equation}\n或者简单点$b^* = \\mathcal{O}(L)$。不出意料这个结果比精确的数值结果要小，因为它对应于$d\\to\\infty$，无限个三角函数叠加会使得函数图像的震荡更少，看起来更加平稳（相比于有限的$d$），从而对于固定的$b$，$f_b(m)$的连续非负区间更长，或者反过来，对于固定的$L$，保持$m=0,1,2,\\cdots,L-1$的$f_b(m)$都非负的$b$更小。\n相关思考\n#\n在\n《Transformer升级之路：10、RoPE是一种β进制编码》\n中，我们将RoPE类比为一种$\\beta$进制表示，其中$\\beta = b^{2/d}$，那么$b - 1= \\beta^{d/2} - 1$正好是$d/2$位$\\beta$进制编码能够表示的最大数字，于是要表示$0,1,2,\\cdots,L-1$这$L$个位置编码，至少有$b \\geq L$，这个朴素的类比再次给出了“$b$应该随着$L$增大而增大”的结论，其结果跟上一节的渐近分析结果更为接近。\n另一方面，Meta最新发布的LLAMA3，训练长度为8192，但RoPE的底数选择了惊人的500000（5e5），这比前面的数值结果（8.4e4）还要大将近一个数量级，不管从哪个角度看，这个数值笔者都认为是偏大的，可能LLAMA3的这个底数本就是给更大文本长度预留的。但不论如何，更大的文本长度选择更大的RoPE底数，似乎已经成为了很多训练人员的共识。\n其实不管是数值结果还是渐近估计，都只是一个参考值，实际上对于给定的$L$，一个相当大范围内的$b$都应该会有相近的效果。所以具体的数值都不重要，关键是原论文通过语义聚合的出发点和一系列推导，澄清了“$b$应该随着$L$增大而增大”的结论及其原理，这是笔者所认为的原论文的核心贡献。\n此外，其实语义聚合的出发点和结论也可以用来解释\nPosition Interpolation\n（PI）。刚才我们说了，同一个$b$，$f_b(m)$的连续非负区间是固定的，如果要使$0,1,2,\\cdots,L-1$都落在非负区间内，就需要随着$L$的增大而相应的增加$b$。但反过来，我们也可以不增加$b$，而是减少相邻位置的间隔（即位置ID改成$0,1/k,2/k,\\cdots$），那么就可以在同样大小的非负区间内表示$k$倍的位置了，这便是语义聚合视角下的Position Interpolation。\n部分旋转\n#\nRoPE提出于2021年，当时只有一篇中文博客，后来得到了EleutherAI组织的认可和实验，继而才逐渐向学术界推广。当时EleutherAI实验发现，如果只对部分维度加RoPE，会取得稍优的结果，相关内容可以参考\n这里\n、\n这里\n和\n这里\n，后来这个操作用到了它们的\nGPT-NeoX\n中。\n当然，部分旋转还不是当前LLM的主流选择，但这不妨碍我们研究它，也许它未成为主流选择只是因为我们对它还不够了解。那为什么部分旋转反而可能会更优呢？笔者发现可以用本文的结论来一定程度上解释它。以只旋转一半维度为例，它在数学上等价于选择如下的$\\theta_i$：\n\\begin{equation}\\theta_i = \\left\\{\\begin{aligned}&b^{-4i/d},& i < d/4 \\\\\n&0,&i \\geq d/4\\end{aligned}\\right.\\end{equation}\n此时我们有\n\\begin{equation}\\sum_{i=0}^{d/2-1} \\cos m\\theta_i = \\sum_{i=0}^{d/4-1} (1+\\cos mb^{-4i/d})\\geq 0\\end{equation}\n也就是不论$m,b$如何，我们所期望的不等式$\\eqref{neq:base}$都自动成立，这意味着从本文的观点来看，部分旋转在赋予位置信息的同时有更好的语义聚合能力，这对模型的效果也许更加有利。同时，部分旋转对模型的长文本能力或许也更有利，因为不等式恒成立，所以按照本文的观点，不论长短文本训练都不用修改$b$。\n值得一提的是，DeepSeek提出的\nMLA\n也应用了部分旋转，虽然在MLA的原始推导中，部分旋转更多是为了整合RoPE的无奈之举，但结合以往的部分旋转实验结果来看，也许MLA的优异效果有部分旋转的一分功劳。\n文章小结\n#\n本文简单介绍了论文\n《Base of RoPE Bounds Context Length》\n，它从语义聚合的期望性质讨论了RoPE的底数下界，由此指出更大的训练长度应该选择更大的底数，而不单单是为了配合“先短后长”的训练策略、继而利用NTK-RoPE来降低初始损失的折中选择。\n转载到请包括本文地址：\nhttps://spaces.ac.cn/archives/10122\n更详细的转载事宜请参考：\n《科学空间FAQ》\n如果您还有什么疑惑或建议，欢迎在下方评论区继续讨论。\n如果您觉得本文还不错，欢迎\n分享\n/\n打赏\n本文。打赏并非要从中获得收益，而是希望知道科学空间获得了多少读者的真心关注。当然，如果你无视它，也不会影响你的阅读。再次表示欢迎和感谢！\n打赏\n微信打赏\n支付宝打赏\n因为网站后台对打赏并无记录，因此欢迎在打赏时候备注留言。\n你还可以\n点击这里\n或在下方评论区留言来告知你的建议或需求。\n如果您需要引用本文，请参考：\n苏剑林. (May. 29, 2024). 《Transformer升级之路：18、RoPE的底数选择原则 》[Blog post]. Retrieved from\nhttps://spaces.ac.cn/archives/10122\n@online{kexuefm-10122,\ntitle={Transformer升级之路：18、RoPE的底数选择原则},\nauthor={苏剑林},\nyear={2024},\nmonth={May},\nurl={\\url{https://spaces.ac.cn/archives/10122}},\n}\n分类：\n信息时代\n标签：\n不等式\n,\nattention\n,\n位置编码\n,\nrope\n18 评论\n<\n重温SSM（一）：线性系统和HiPPO矩阵\n|\n重温SSM（二）：HiPPO的一些遗留问题\n>\n你也许还对下面的内容感兴趣\n如何让GDN2更稳定一些？\n慢即是快：1. Shampoo的尽头是Muon？\n排序不等式及其推广\n让炼丹更科学一些（十）：单调性假设的拆与补\n让炼丹更科学一些（九）：经典自适应梯度算法\n让炼丹更科学一些（八）：多阶段训练的学习率\n简单谈谈K3的MoE和Attention\n解构Scaling Law：优化、架构、数据的三重奏\n将Softmax Attention线性化为Gated DeltaNet\n基于排序不等式的相似度指标\n发表你的看法\nnidhogg\nMay 30th, 2024\n有一个困扰挺久的问题想请教一下苏神，每个位置对应的位置编码都是两两成对的形式（从Sinusoidal到RoPE），而且都建立在emb维度是偶数的基础上，偶数维emb与两两成对的PE组合有什么深意吗\n回复评论\n苏剑林\n发表于\n June 2nd, 2024\n非要扯故事的话，就是数域直到复数域才彻底完备（对于代数运算），而复数分实部和虚部，复数向量展开为实数向量的话，自然就是有偶数个分量了。\n回复评论\nsu.zhu\nMay 30th, 2024\n请教苏神一个问题，想听听你的看法。之前的做法普遍是先在小的b上大规模训练，再用大的b做少量训练（也可以解释为插值后训练）。 但是不知道如果一开始的大规模训练就用特别大的b是否对于长度外推有效？（个人感觉应该是无效的）\n回复评论\n苏剑林\n发表于\n June 2nd, 2024\n按照\nhttps://kexue.fm/archives/9948\n的转圈解释，那么应该就是无助于长度外推。\n回复评论\nlzfang\nMay 31st, 2024\n在之前那个ood转圈的视角下，为了使长度内的所有点都遍历整个圆，需要b越小越好；而在这篇文章的视角下需要b越大越好，这两者是不是出现了冲突？\n回复评论\nmdx 发表于\n June 1st, 2024\n以前的OOD需要b越小越好，这篇文章说的是b存在一个下界，不能无限小。否则的话，b 越小越好，那 b=0.1 好于 b=1000。 另外这篇文章说bound了上下文长度，但是也没说b越大越好，大于下界即可吧\n回复评论\n苏剑林\n发表于\n June 2nd, 2024\n这里有几个细节：\n1、在转圈视角下，我们是得出（理论上）$b$越小越利于长度外推，但长度外推好未必其他一切都好；\n2、实际测试显示，当$b$小到一定程度，其实连长度外推都不好，所以Attention堆叠起来后，其工作机制是非常复杂的，很多事后解释都很片面；\n3、另一个极端是$b\\to\\infty$，这相当于NoPE，有些文章说它长度外推性很好，我测试起来长度外推也没有，另外就算它真的长度外推好，也只是长度外推好，实际上的效果不如加了位置编码的；\n4、而本文说的是，$b$随着长度$L$增大，可能在某些方面（满足两个期望性质）对效果更加好，不同的假设，不同的评估指标，自然有不同的结论。\n回复评论\nhannlp\nSeptember 4th, 2024\n苏神您好，YaRN的论文中使用了rope_base=10000（静态YaRN），产生了很好的外推效果，想问一下苏神是否尝试过在使用YaRN的同时，将rope_base调为500000，这样是否会有1+1>2的效果，也就是既好于YaRN(rope_base=10000)，也好于NTK-aware(rope_base=500000)？还是说结合了两者会有负面效果呀？\n回复评论\n苏剑林\n发表于\n September 6th, 2024\n两者结合会有负面效果。YaRN是分析了NTK起作用的原理，然后针对提出更好的策略，所以直接使用的话，YaRN基本都优于NTK。YaRN本身就是改进NTK，不存在两者结合能更优的情况。\n回复评论\nhannlp 发表于\n September 9th, 2024\n感谢苏神回复，我当下的认知是，NTK(rope_base=500000)和YaRN(rope_base=10000)效果是好于RoPE(rope_base=10000)的，而YaRN是在rope_base=10000的基础上进行的改进，从而产生了\\alpha、\\beta、以及t等参数；但是为什么rope_base=10000就一定是YaRN最好的参数呢，如果适当的调整YaRN的其他超参数（\\alpha、\\beta），会不会在rope_base=500000上做到比NTK更好的效果呀\n回复评论\n苏剑林\n发表于\n September 9th, 2024\n你可能没搞清楚逻辑。\n从一个base（比如base=10000）出发，在相对较短的语料上，已经训练好了一个模型。现在想要将这个模型微调成长文本的模型，在微调之前我们需要先对RoPE做一些修改，提高它的长度外推效果，从而以达到更高的微调效率。这个修改有两种做法：NTK和YaRN，它们是有一定重叠的，YaRN分析了NTK为什么有效，然后提出了更好的解决方法，所以YaRN通常更好。\nNTK和YaRN的优劣，说的是它们的免训练长度外推效果，并不是说微调后甚至是从零训练的效果优劣。经过训练的效果已经不能简单判断了。至于从零训练为什么也需要调大base，这就是本文的主题，已经不属于NTK、YaRN的范畴了。\n回复评论\nfroze\nJanuary 15th, 2025\n我尝试了一下,同时修改yarn的rope的base效果是要优于只使用yarn的\n回复评论\nkingdeewang\nMay 8th, 2025\n想请教一下Eq(q)T = u2 I是怎么推导出来的？\n回复评论\n苏剑林\n发表于\n May 11th, 2025\n翻看了一下，好像没用到这个结论？\n回复评论\nkingdeewang\nMay 11th, 2025\n@苏剑林|comment-27575\n就是公式4，从第三步推导到第四步。\n回复评论\n苏剑林\n发表于\n May 17th, 2025\n你说$\\mathbb{E}_{\\boldsymbol{q}}[\\boldsymbol{q}]=\\mu\\boldsymbol{1}$？不是假设了$\\boldsymbol{q}$的每个分量独立同分布，均值为$\\mu$了吗？这完全就是定义呀。\n回复评论\nGrit\nJune 8th, 2025\n苏老师您好，我想请教一下，如果在训练一个context很短的模型时我们用了一个相对于其context来说很大的$b$这会导致性能下降很严重吗？\n回复评论\n苏剑林\n发表于\n June 8th, 2025\n目前各方面的实测效果看来不会，我觉得本质上就是因为partial rope的实测效果优于rope所致的。\n回复评论\n取消回复\n你的大名\n电子邮箱\n个人网站（选填）\n1. 可以使用LaTeX代码，点击“预览效果”可查看效果；\n2. 可以通过点击评论楼层编号来引用该楼层；\n3. 网站可能会有点卡，如非确认评论失败，请\n不要重复点击提交\n。\n内容速览\n期望性质\n不等关系\n数值求解\n渐近估计\n相关思考\n部分旋转\n文章小结\n智能搜索\n支持整句搜索！网站自动使用\n结巴分词\n进行分词，并结合ngrams排序算法给出合理的搜索结果。\n热门标签\nattention\n生成模型\n优化\n模型\n语言模型\n梯度\n优化器\n矩阵\n概率\n网站\n转载\n微分方程\n分析\n天象\n深度学习\n积分\npython\n几何\n扩散\n力学\n无监督\n损失函数\n节日\n线性\n生活\n随机文章\nEAE：自编码器 + BN + 最大熵 = 生成模型\n【福岛核电站】“最坏情况”有多坏？\n一道概率不等式：盯着它到显然成立为止！\n计算：每年夏至的精确时刻\n用Numpy实现高效的Apriori算法\n微积分学习（二）：导数\n【搜出来的文本】⋅（二）从MCMC到模拟退火\n参加天文竞赛的照片...\n地球引力场的悬链线方程\n广州棋院观赛——首见“岭南双雄”\n最近评论\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FFN相比原始的大FFN（也就是直接...\nAli Hatamizadeh\n: Thank you for looking into this and featuring i...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muon比Adam、SGD等要好，所以...\n苏剑林\n: Thanks for sharing! I looked into this improvem...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author.We've addressed...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyxx/CyclicFlowAtte...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 https://papers.cool...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\n友情链接\nCool Papers\n数学研发\nSeatop\nXiaoxia\n积分表-网络版\n丝路博傲\n数学之家\n有趣天文奇观\nTwistedW\ngodweiyang\nAI柠檬\n王登科-DK博客\nESON\n枫之羽\ncoding-zuo\n博科园\n孔皮皮的博客\n运鹏的博客\njiming.site\nOmegaXYZ\nEAI猩球\n文举的博客\n汇尘轩\n申请链接\n本站采用创作共用版权协议，要求署名、非商业用途和保持一致。转载本站内容必须也遵循“\n署名-非商业用途-保持一致\n”的创作共用协议。\n© 2009-2026 Scientific Spaces. All rights reserved. Theme by\nlaogui\n. Powered by\nTypecho\n. 备案号:\n粤ICP备09093259号-1/2\n。", "metadata": { "title": "Transformer升级之路：18、RoPE的底数选择原则 - 科学空间|Scientific Spaces", "description": "我们知道，在RoPE中频率的计算公式为$\\theta_i = b^{-2i/d}$，底数$b$默认值为10000。目前Long Context的主流做法之一是，先在$b=10000$上用短文本预...", "keywords": "不等式,attention,位置编码,rope", "author": null }, "paywall": { "listed_paid": false, "detected": false, "marker": "", "public_only": false, "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙" }, "crawl": { "success": true, "status_code": 200, "error": "" }, "code_blocks": [ { "file": "attachments/4e2edb422b94/code/body-000.txt", "chars": 570, "language": "text" } ], "images": [ { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "bytes": 4328, "reused": false, "local_path": "attachments/4e2edb422b94/images/body-fcd8b7d1212b1f5eab2b.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "alt": "MobileSideBar", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "bytes": 19283, "reused": false, "local_path": "attachments/4e2edb422b94/images/body-043e6308dc873ff9fa67.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "bytes": 16811, "reused": false, "local_path": "attachments/4e2edb422b94/images/body-942ff5c7b650f4d3d31f.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "bytes": 2524, "reused": false, "local_path": "attachments/4e2edb422b94/images/body-53b9d00850633d612de3.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "bytes": 3301, "reused": false, "local_path": "attachments/4e2edb422b94/images/body-896b482bdde5ec1df88a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "bytes": 939, "reused": false, "local_path": "attachments/4e2edb422b94/images/body-3f7f2f2318249e4eac9a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "bytes": 18685, "reused": false, "local_path": "attachments/4e2edb422b94/images/body-cbbace78f2cd4551d156.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/uploads/2024/05/3588196127.png", "bytes": 133797, "reused": false, "local_path": "attachments/4e2edb422b94/images/body-2d28eb99c846fc4b27b8.png", "src": "https://spaces.ac.cn/usr/uploads/2024/05/3588196127.png", "alt": "Ci(x)的图像【来自维基百科】", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "bytes": 36540, "reused": false, "local_path": "attachments/4e2edb422b94/images/body-c5d79f289db1f5d431bc.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "bytes": 31565, "reused": false, "local_path": "attachments/4e2edb422b94/images/body-4345e58697a529a3d3a5.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "bytes": 2031, "reused": false, "local_path": "attachments/4e2edb422b94/images/body-b2904ced8e4508d61bed.gif", "src": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "alt": "署名-非商业用途-保持一致", "downloaded": true } ], "audio": [], "videos": [], "links": [ { "href": "https://spaces.ac.cn/reward.html", "label": "打赏", "type": "a" }, { "href": "https://spaces.ac.cn/latex.html", "label": "公式", "type": "a" }, { "href": "https://spaces.ac.cn/ac.html", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/links.html", "label": "链接", "type": "a" }, { "href": "https://spaces.ac.cn/me.html", "label": "时光", "type": "a" }, { "href": "https://spaces.ac.cn/science.html", "label": "博览", "type": "a" }, { "href": "https://spaces.ac.cn/content.html", "label": "归档", "type": "a" }, { "href": "https://spaces.ac.cn/category/Everything", "label": "千奇百怪", "type": "a" }, { "href": "https://spaces.ac.cn/category/Astronomy", "label": "天文探索", "type": "a" }, { "href": "https://spaces.ac.cn/category/Mathematics", "label": "数学研究", "type": "a" }, { "href": "https://spaces.ac.cn/category/Phy-chem", "label": "物理化学", "type": "a" }, { "href": "https://spaces.ac.cn/category/Big-Data", "label": "信息时代", "type": "a" }, { "href": "https://spaces.ac.cn/category/Biology", "label": "生物自然", "type": "a" }, { "href": "https://spaces.ac.cn/category/Photograph", "label": "图片摄影", "type": "a" }, { "href": "https://spaces.ac.cn/category/Questions", "label": "问题百科", "type": "a" }, { "href": "https://spaces.ac.cn/category/Life-Feeling", "label": "生活/情感", "type": "a" }, { "href": "https://spaces.ac.cn/category/Resources", "label": "资源共享", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945", "label": "如何让GDN2更稳定一些？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11928", "label": "通过微扰分析求解等式约束优化问题", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11917", "label": "慢即是快：1. Shampoo的尽...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11910", "label": "排序不等式及其推广", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11885", "label": "让炼丹更科学一些（十）：单调性假设...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11882", "label": "让炼丹更科学一些（九）：经典自适应...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11879", "label": "让炼丹更科学一些（八）：多阶段训练...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11875", "label": "动量的新理解：逼近特征层面的梯度下降", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11864", "label": "流形上的最速下降：7. Stief...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11854", "label": "除了交叉熵，LM Loss还有什么选择？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10699/comment-page-3", "label": "carl_lei : 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945/comment-page-1", "label": "Ali Hatamizadeh : Thank you for looking into this...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11340/comment-page-1", "label": "苏剑林 : 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1328/comment-page-1", "label": "bookworm : 天下苦秦久矣，期待苏老师的教材！", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2", "label": "苏剑林 : 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能", "type": "a" }, { "href": "https://spaces.ac.cn/admin/login.php", "label": "登录", "type": "a" }, { "href": "https://spaces.ac.cn/", "label": "科学空间|Scientific Spaces", "type": "a" }, { "href": "https://spaces.ac.cn/feed", "label": "欢迎订阅", "type": "a" }, { "href": "https://spaces.ac.cn/archives/119", "label": "个性邮箱", "type": "a" }, { "href": "https://spaces.ac.cn/archives/41", "label": "观测ISS", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122", "label": "Transformer升级之路：18、RoPE的底数选择原则", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8265", "label": "RoPE", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9675", "label": "《Transformer升级之路：10、RoPE是一种β进制编码》", "type": "a" }, { "href": "https://papers.cool/arxiv/2405.14591", "label": "《Base of RoPE Bounds Context Length》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8231", "label": "《Transformer升级之路：1、Sinusoidal位置编码追根溯源》", "type": "a" }, { "href": "https://en.wikipedia.org/wiki/Trigonometric_integral", "label": "Trigonometric integral", "type": "a" }, { "href": "https://spaces.ac.cn/usr/uploads/2024/05/3588196127.png", "label": "", "type": "a" }, { "href": "https://papers.cool/arxiv/2306.15595", "label": "Position Interpolation", "type": "a" }, { "href": "https://github.com/lucidrains/x-transformers/issues/40", "label": "这里", "type": "a" }, { "href": "https://wandb.ai/eleutherai/neox/reports/Partial-Rotary-Tests--Vmlldzo2MjE1MjY", "label": "这里", "type": "a" }, { "href": "https://wandb.ai/eleutherai/neox/reports/Partial-Rotary-Tests-v2--Vmlldzo2MjE4MTQ", "label": "这里", "type": "a" }, { "href": "https://github.com/EleutherAI/gpt-neox/blob/8b43196fbd832b797be9f3d88d54481171010507/megatron/model/transformer.py", "label": "GPT-NeoX", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10091", "label": "MLA", "type": "a" }, { "href": "https://spaces.ac.cn/archives/6508", "label": "《科学空间FAQ》", "type": "a" }, { "href": "http://mail.qq.com/cgi-bin/qm_share?t=qm_mailme&email=tN7d1drY3drrx8H0xcWa19vZ", "label": "点击这里", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%B8%8D%E7%AD%89%E5%BC%8F/", "label": "不等式", "type": "a" }, { "href": "https://spaces.ac.cn/tag/attention/", "label": "attention", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81/", "label": "位置编码", "type": "a" }, { "href": "https://spaces.ac.cn/tag/rope/", "label": "rope", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10114", "label": "重温SSM（一）：线性系统和HiPPO矩阵", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10137", "label": "重温SSM（二）：HiPPO的一些遗留问题", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848", "label": "简单谈谈K3的MoE和Attention", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11833", "label": "解构Scaling Law：优化、架构、数据的三重奏", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11823", "label": "将Softmax Attention线性化为Gated DeltaNet", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11818", "label": "基于排序不等式的相似度指标", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=24461", "label": "回复评论", "type": "a" }, { "href": "https://kexue.fm/", "label": "苏剑林", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=24474", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=24463", "label": "回复评论", "type": "a" }, { "href": "https://kexue.fm/archives/9948", "label": "https://kexue.fm/archives/9948", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=24476", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=24465", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=24468", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=24478", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=25151", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=25162", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=25183", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=25197", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=26272", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=27547", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=27575", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1", "label": "@苏剑林|comment-27575", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=27587", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=27615", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=27822", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10122/comment-page-1?replyTo=27834", "label": "回复评论", "type": "a" }, { "href": "https://github.com/fxsjy/jieba", "label": "结巴分词", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%88%90%E6%A8%A1%E5%9E%8B/", "label": "生成模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96/", "label": "优化", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A8%A1%E5%9E%8B/", "label": "模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/", "label": "语言模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A2%AF%E5%BA%A6/", "label": "梯度", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96%E5%99%A8/", "label": "优化器", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%9F%A9%E9%98%B5/", "label": "矩阵", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A6%82%E7%8E%87/", "label": "概率", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BD%91%E7%AB%99/", "label": "网站", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%BD%AC%E8%BD%BD/", "label": "转载", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%BE%AE%E5%88%86%E6%96%B9%E7%A8%8B/", "label": "微分方程", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%88%86%E6%9E%90/", "label": "分析", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%A4%A9%E8%B1%A1/", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/", "label": "深度学习", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%A7%AF%E5%88%86/", "label": "积分", "type": "a" }, { "href": "https://spaces.ac.cn/tag/python/", "label": "python", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%87%A0%E4%BD%95/", "label": "几何", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%89%A9%E6%95%A3/", "label": "扩散", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%8A%9B%E5%AD%A6/", "label": "力学", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%97%A0%E7%9B%91%E7%9D%A3/", "label": "无监督", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0/", "label": "损失函数", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%8A%82%E6%97%A5/", "label": "节日", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BA%BF%E6%80%A7/", "label": "线性", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%B4%BB/", "label": "生活", "type": "a" }, { "href": "https://spaces.ac.cn/archives/7343", "label": "EAE：自编码器 + BN + 最大熵 = 生成模型", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1296", "label": "【福岛核电站】“最坏情况”有多坏？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10902", "label": "一道概率不等式：盯着它到显然成立为止！", "type": "a" }, { "href": "https://spaces.ac.cn/archives/5", "label": "计算：每年夏至的精确时刻", "type": "a" }, { "href": "https://spaces.ac.cn/archives/5525", "label": "用Numpy实现高效的Apriori算法", "type": "a" }, { "href": "https://spaces.ac.cn/archives/118", "label": "微积分学习（二）：导数", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8084", "label": "【搜出来的文本】⋅（二）从MCMC到模拟退火", "type": "a" }, { "href": "https://spaces.ac.cn/archives/314", "label": "参加天文竞赛的照片...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1361", "label": "地球引力场的悬链线方程", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1993", "label": "广州棋院观赛——首见“岭南双雄”", "type": "a" }, { "href": "https://papers.cool/", "label": "Cool Papers", "type": "a" }, { "href": "https://bbs.emath.ac.cn/", "label": "数学研发", "type": "a" }, { "href": "http://www.seatop.com.cn/", "label": "Seatop", "type": "a" }, { "href": "https://xiaoxia.org/", "label": "Xiaoxia", "type": "a" }, { "href": "https://kexue.fm/sci/integral/index.html", "label": "积分表-网络版", "type": "a" }, { "href": "http://blog.dvxj.com/", "label": "丝路博傲", "type": "a" }, { "href": "http://www.2math.cn/", "label": "数学之家", "type": "a" }, { "href": "http://interesting-sky.china-vo.org/", "label": "有趣天文奇观", "type": "a" }, { "href": "http://www.twistedwg.com/", "label": "TwistedW", "type": "a" }, { "href": "https://godweiyang.com/", "label": "godweiyang", "type": "a" }, { "href": "https://blog.ailemon.net/", "label": "AI柠檬", "type": "a" }, { "href": "https://greatdk.com/", "label": "王登科-DK博客", "type": "a" }, { "href": "https://blog.eson.org/", "label": "ESON", "type": "a" }, { "href": "https://fzhiy.net/", "label": "枫之羽", "type": "a" }, { "href": "https://coding-zuo.github.io/", "label": "coding-zuo", "type": "a" }, { "href": "https://www.bokeyuan.net/", "label": "博科园", "type": "a" }, { "href": "https://www.kppkkp.top/", "label": "孔皮皮的博客", "type": "a" }, { "href": "https://yunpengtai.top/", "label": "运鹏的博客", "type": "a" }, { "href": "https://jiming.site/", "label": "jiming.site", "type": "a" }, { "href": "https://www.omegaxyz.com/", "label": "OmegaXYZ", "type": "a" }, { "href": "https://www.robotech.ink/", "label": "EAI猩球", "type": "a" }, { "href": "https://liwenju0.com/", "label": "文举的博客", "type": "a" }, { "href": "https://kirigaya.cn/", "label": "汇尘轩", "type": "a" }, { "href": "https://kexue.fm/links.html", "label": "申请链接", "type": "a" }, { "href": "http://creativecommons.org/licenses/by-nc-nd/2.5/cn/", "label": "", "type": "a" }, { "href": "http://www.laogui.com/", "label": "laogui", "type": "a" }, { "href": "http://typecho.org/", "label": "Typecho", "type": "a" }, { "href": "https://beian.miit.gov.cn/", "label": "粤ICP备09093259号-1/2", "type": "a" } ], "repair_version": 2, "repaired_at": "2026-10-14T10:53:08Z", "source_url": "https://spaces.ac.cn/archives/10122", "papers": [], "actual_video_files": [], "body_chars": 15287, "expected_body_images": 11, "discovery_status": "ok", "delivery_status": "ok", "missing_reason": "", "raw_html": "attachments/4e2edb422b94/pages/source.html", "local_html": "attachments/4e2edb422b94/pages/article.html", "body_base_path": "attachments/4e2edb422b94/pages/", "body_markdown_path": "attachments/4e2edb422b94/pages/article.md" }