{ "source_file": "0930", "source_platform": "个人博客", "author": "苏剑林", "title_listed": "Transformer升级之路：4、二维位置的旋转式位置编码", "keywords": "RoPE,二维位置编码,ViT", "domain": "大模型算法", "content_type": "深度技术解析", "is_paid_flag": "否", "url": "https://spaces.ac.cn/archives/8397", "publish_date": "2021-05", "corpus_stage": "预训练/SFT", "notes": "二维 RoPE 推导", "id": "228230210305", "collected_at": "2026-10-02T15:14:42", "title": "Transformer升级之路：4、二维位置的旋转式位置编码 - 科学空间|Scientific Spaces", "body_markdown": "SEARCH\nMENU\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\nCATEGORIES\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\nNEWPOSTS\n如何让GDN2更稳定一些？\n通过微扰分析求解等式约束优化问题\n慢即是快：1. Shampoo的尽...\n排序不等式及其推广\n让炼丹更科学一些（十）：单调性假设...\n让炼丹更科学一些（九）：经典自适应...\n让炼丹更科学一些（八）：多阶段训练...\n动量的新理解：逼近特征层面的梯度下降\n流形上的最速下降：7. Stief...\n除了交叉熵，LM Loss还有什么选择？\nCOMMENTS\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...\nAli Hatamizadeh\n: Thank you for looking into this...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...\n苏剑林\n: Thanks for sharing! I looked in...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyx...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 htt...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\nUSERLOGIN\n登录\n科学空间|Scientific Spaces\n登录\n打赏\n公式\n天象\n链接\n时光\n博览\n归档\n渴望成为一个小飞侠\n欢迎订阅\n个性邮箱\n天象信息\n观测ISS\nLaTeX\n关于博主\n欢迎访问“科学空间”，这里将与您共同探讨自然科学，回味人生百态；也期待大家的分享～\n千奇百怪\nEverything\n天文探索\nAstronomy\n数学研究\nMathematics\n物理化学\nPhy-chem\n信息时代\nBig-Data\n生物自然\nBiology\n图片摄影\nPhotograph\n问题百科\nQuestions\n生活/情感\nLife-Feeling\n资源共享\nResources\n千奇百怪\n天文探索\n数学研究\n物理化学\n信息时代\n生物自然\n图片摄影\n问题百科\n生活/情感\n资源共享\n首页\n数学研究\n信息时代\nTransformer升级之路：4、二维位置的旋转式位置编码\n10\nMay\nTransformer升级之路：4、二维位置的旋转式位置编码\nBy\n苏剑林\n|\n2021-05-10\n|\n220365位读者\n|\n:\n在之前的文章\n《Transformer升级之路：2、博采众长的旋转式位置编码》\n中我们提出了旋转式位置编码RoPE以及对应的Transformer模型RoFormer。由于笔者主要研究的领域还是NLP，所以本来这个事情对于笔者来说已经完了。但是最近一段时间，Transformer模型在视觉领域也大火，各种Vision Transformer（ViT）层出不穷，于是就有了问题：二维情形的RoPE应该是怎样的呢？\n咋看上去，这个似乎应该只是一维情形的简单推广，但其中涉及到的推导和理解却远比我们想象中复杂，本文就对此做一个分析，从而深化我们对RoPE的理解。\n二维RoPE\n#\n什么是二维位置？对应的二维RoPE又是怎样的？它的难度在哪里？在这一节中，我们先简单介绍二维位置，然后直接给出二维RoPE的结果和推导思路，在随后的几节中，我们再详细给出推导过程。\n二维位置\n#\n在NLP中，语言的位置信息是一维的，换句话说，我们需要告诉模型这个词是句子的第几个词；但是在CV中，图像的位置信息是二维的，即我们需要告诉模型这个特征是在第几行、第几列。这里的二维指的是完整描述位置信息需要两个数字，并不是指位置向量的维数。\n有读者可能想：简单展平后当作一维的处理不行吗？确实不大行，比如一个$h\\times h$的feature map，位置$(x,y)$展平后就变成了$xh + y$，而位置$(x+1,y)$和$(x,y+1)$展平后就分别变成了$xh+y+h$和$xh+y+1$，两者与$xh + y$的差分别是$h$和$1$。然而，按照我们直观的认识，$(x+1,y)$、$(x,y+1)$它们与$(x,y)$的距离应该是一样的才对，但是展平后却得到了不一样的$h$和$1$，这未免就不合理了。\n所以，我们需要专门为二维情形设计的位置编码，不能简单地展平为一维来做。\n标准答案\n#\n经过后面的一番推导，得到二维RoPE的一个解为：\n\\begin{equation}\\boldsymbol{\\mathcal{R}}_{x,y}=\\left(\n\\begin{array}{cc:cc}\n\\cos x\\theta & -\\sin x\\theta & 0 & 0 \\\\\n\\sin x\\theta & \\cos x\\theta & 0 & 0 \\\\\n\\hdashline\n0 & 0 & \\cos y\\theta & -\\sin y\\theta \\\\\n0 & 0 & \\sin y\\theta & \\cos y\\theta \\\\\n\\end{array}\\right)\\label{eq:rope-2d}\\end{equation}\n其中这个解很容易理解，它是两个一维RoPE组成的分块矩阵，实现上它就是将输入向量分为两半，一半施加$x$的一维RoPE，一半施加$y$的一维RoPE。由此形式我们也不难类比三维、四维等位置的RoPE。\n矩阵$\\eqref{eq:rope-2d}$是一个正交矩阵，它满足两个关键性质：\n1、\n相对性\n：即$\\boldsymbol{\\mathcal{R}}_{x_1,y_1}^{\\top}\\boldsymbol{\\mathcal{R}}_{x_2,y_2}=\\boldsymbol{\\mathcal{R}}_{x_2-x_1,y_2-y_1}$，也正是由于这个性质，RoPE才具有通过绝对位置实现相对位置的能力；\n2、\n可逆性\n：给定$\\boldsymbol{\\mathcal{R}}_{x,y}$可以反解出$x,y$，这意味着对位置信息的编码是无损的。\n某种意义上来说，式$\\eqref{eq:rope-2d}$是满足上述两个性质的最简单解，也就是说，虽然存在略有不同的解满足上述两个性质，但是它们形式上和实现上都相对复杂些。\n推导思路\n#\n事后来看，RoPE其实就是找到了矩阵$\\boldsymbol{\\mathcal{R}}_n=\\begin{pmatrix}\\cos n\\theta & -\\sin n\\theta\\\\ \\sin n\\theta & \\cos n\\theta\\end{pmatrix}$，使得满足“相对性”条件：\n\\begin{equation}\\boldsymbol{\\mathcal{R}}_m^{\\top}\\boldsymbol{\\mathcal{R}}_n=\\boldsymbol{\\mathcal{R}}_{n-m}\\label{eq:re}\\end{equation}\n所以，不难想到，二维RoPE的基本要求也是满足相对性，即要找到矩阵$\\boldsymbol{\\mathcal{R}}_{x,y}$，使得它满足二维的相对性条件$\\boldsymbol{\\mathcal{R}}_{x_1,y_1}^{\\top}\\boldsymbol{\\mathcal{R}}_{x_2,y_2}=\\boldsymbol{\\mathcal{R}}_{x_2-x_1,y_2-y_1}$。不过，如果仅仅是这个要求的话，可行解就很多了，比如直接让\n\\begin{equation}\\boldsymbol{\\mathcal{R}}_{x,y} = \\begin{pmatrix}\\cos (x+y)\\theta & -\\sin (x+y)\\theta\\\\ \\sin (x+y)\\theta & \\cos (x+y)\\theta\\end{pmatrix}\\end{equation}\n但这个解的问题是，我们无法从$x+y$逆向推出$(x,y)$，这意味着这个选择对位置信息来说是有损的，所以我们需要多一个“可逆性”，保证可以从位置矩阵中无损地重构出原始位置信号。\n对此，我们有两个比较自然的途径选择：1、四元数；2、矩阵指数。接下来我们将会逐一介绍它们。\n四元数\n#\n在一维RoPE的推导中，我们主要以复数为工具，而\n四元数（Quaternion）\n是复数的推广，它同时也保留了复数的很多性质，所以用它来推导二维RoPE也算是一个自然的思路。不过很遗憾，这是一条\n走不通\n的途径，但笔者仍然将思考过程放置在此，供大家参考。\n复数与矩阵\n#\n在高中时我们就学习过，复数$a+b\\boldsymbol{i}$跟二维向量$(a,b)$是一一对应的（为了跟后面的四元数对齐，这里把虚数单位$\\boldsymbol{i}$也加粗了），但这个对应关系只能保持加减法对应（因为向量没有通用的乘法运算）。更精妙的对应是将复数与矩阵对应\n\\begin{equation}a+b\\boldsymbol{i} \\quad \\leftrightarrow \\quad \\begin{pmatrix} a & -b \\\\ b & a \\end{pmatrix}\\end{equation}\n在这个映射下，复数的加减乘除与矩阵的加减乘除一一对应，比如\n\\begin{equation}\\begin{array}{ccc}\n(a+b\\boldsymbol{i})(c+d\\boldsymbol{i}) &=& (ac - bd) + (ad + bc)\\boldsymbol{i} \\\\[5pt]\n\\begin{pmatrix} a & -b \\\\ b & a \\end{pmatrix}\\begin{pmatrix} c & -d \\\\ d & c \\end{pmatrix} &=& \\begin{pmatrix} ac - bd & - ad - bc \\\\ ad + bc & ac - bd \\end{pmatrix}\n\\end{array}\\end{equation}\n所以，矩阵映射才是复数域的完全同构，而向量映射只是直观的几何理解。\n复数的矩阵映射也是RoPE的重要基础，在\n《Transformer升级之路：2、博采众长的旋转式位置编码》\n中我们已经推导得到RoPE的复数表示是$\\boldsymbol{q}e^{n\\boldsymbol{i}\\theta}=(\\cos n\\theta + \\boldsymbol{i}\\sin n\\theta)\\boldsymbol{q}$，所以根据复数的矩阵映射，$\\cos n\\theta + \\boldsymbol{i}\\sin n\\theta$就对应着矩阵\n\\begin{equation}\\boldsymbol{\\mathcal{R}}_n=\\begin{pmatrix}\\cos n\\theta & -\\sin n\\theta\\\\ \\sin n\\theta & \\cos n\\theta\\end{pmatrix}\\end{equation}\n从而得到了一维RoPE的矩阵形式。\n四元数简介\n#\n前面说了，四元数是复数的一种推广，事实上它还是矩阵的“鼻祖”，从历史上来说，是先有四元数然后才有一般的矩阵运算，并且四元数启发了矩阵的很多运算。早年笔者也写了\n《与向量的渊源极深的四元数》\n、\n《几何的数与数的几何：超复数的浅探究》\n等文章来介绍四元数，欢迎读者参考。\n如果说复数是一个二维向量，那么四元数就是一个四维向量，表示为$a+b\\boldsymbol{i}+c\\boldsymbol{j}+d\\boldsymbol{k}$，这里的$\\boldsymbol{i}^2=\\boldsymbol{j}^2=\\boldsymbol{k}^2=-1$，但是它们本身都各不相等，几个基之间的运算规则是：\n\\begin{array}{c|cccc}\n\\times & 1 & \\boldsymbol{i} & \\boldsymbol{j} & \\boldsymbol{k} \\\\\n\\hline\n1 & 1 & \\boldsymbol{i} & \\boldsymbol{j} & \\boldsymbol{k} \\\\\n\\boldsymbol{i} & \\boldsymbol{i} & -1 & \\boldsymbol{k} & -\\boldsymbol{j} \\\\\n\\boldsymbol{j} & \\boldsymbol{j} & -\\boldsymbol{k} & -1 & \\boldsymbol{i} \\\\\n\\boldsymbol{k} & \\boldsymbol{k} & \\boldsymbol{j} & -\\boldsymbol{i} & -1 \\\\\n\\end{array}\n在当时它给人们最大的冲击是非交换性，比如$\\boldsymbol{i}\\boldsymbol{j}=-\\boldsymbol{j}\\boldsymbol{i}\\neq \\boldsymbol{j}\\boldsymbol{i}$。但除此之外，它跟复数运算其实是高度相似的。\n比如类似复数的欧拉公式\n\\begin{equation}e^{a+b\\boldsymbol{i}+c\\boldsymbol{j}+d\\boldsymbol{k}} = e^a\\left(\\cos r + \\frac{b\\boldsymbol{i}+c\\boldsymbol{j}+d\\boldsymbol{k}}{r}\\sin r\\right)\\label{eq:euler}\\end{equation}\n这里$r = \\Vert b\\boldsymbol{i}+c\\boldsymbol{j}+d\\boldsymbol{k}\\Vert = \\sqrt{b^2+c^2+d^2}$。此外，还有类似的矩阵映射\n\\begin{equation}\na+b\\boldsymbol{i}+c\\boldsymbol{j}+d\\boldsymbol{k} \\quad \\leftrightarrow \\quad \\begin{pmatrix}\na & -b & -c & -d \\\\\nb & a & -d & c \\\\\nc & d & a & -b \\\\\nd & -c & b & a\n\\end{pmatrix}\\label{eq:mapping}\\end{equation}\n违背相对性\n#\n关于这些公式背后的起源，那就说来话长了，这里也不打算细谈，有兴趣的读者请自行搜索资料阅读。有了欧拉公式和指数映射后，读者或许反应过来：一维RoPE无非是$e^{n\\boldsymbol{i}\\theta}$对应的矩阵映射，那么二维RoPE的话将$e^{x\\boldsymbol{i}\\theta + y\\boldsymbol{j}\\theta}$映射为矩阵形式不就行了？\n笔者一开始也是这样想的，很遗憾，这是错的。错在哪里呢？在一维RoPE中，我们利用了内积的复数表示：\n\\begin{equation}\\langle\\boldsymbol{q},\\boldsymbol{k}\\rangle=\\text{Re}[\\boldsymbol{q}\\boldsymbol{k}^*]\\end{equation}\n该恒等式在四元数中同样成立，因此可以照搬。接着我们利用了复指数：\n\\begin{equation}\\langle\\boldsymbol{q}e^{m\\boldsymbol{i}\\theta},\\boldsymbol{k}e^{n\\boldsymbol{i}\\theta}\\rangle=\\text{Re}\\left[\\left(\\boldsymbol{q}e^{m\\boldsymbol{i}\\theta}\\right)\\left(\\boldsymbol{k}e^{n\\boldsymbol{i}\\theta}\\right)^*\\right]=\\text{Re}\\left[\\boldsymbol{q}e^{m\\boldsymbol{i}\\theta}e^{-n\\boldsymbol{i}\\theta}\\boldsymbol{k}^*\\right]=\\text{Re}\\left[\\boldsymbol{q}e^{(m-n)\\boldsymbol{i}\\theta}\\boldsymbol{k}^*\\right]\\end{equation}\n前两个等号都可以照搬到四元数中，关键是第三个等号在四元数中并不恒成立！一般地，对于两个四元数$\\boldsymbol{p},\\boldsymbol{q}$，等式$e^{\\boldsymbol{p}+\\boldsymbol{q}}=e^{\\boldsymbol{p}}e^{\\boldsymbol{q}}$并不成立！更广义来说，对于两个乘法不满足交换律的对象，一般都有$e^{\\boldsymbol{p}+\\boldsymbol{q}}\\neq e^{\\boldsymbol{p}}e^{\\boldsymbol{q}}$。\n所以，推导到最后，由于指数乘法无法转换为加法，最后的相对性没法得到保证。因此通过四元数推导这条路，就此夭折了...\n矩阵指数\n#\n四元数的矩阵映射表明四元数事实上代表了一簇特定的$4\\times 4$矩阵，四元数推导走不通，那么或许使用一般的矩阵分析可以走得通。事实上确实如此，在这一节中，我们将利用矩阵指数给出一个推导结果。\n矩阵指数\n#\n这里的\n矩阵指数\n，并不是神经网络的用指数函数作为激活函数的逐位运算，而是按照幂级数定义的运算：\n\\begin{equation}\\exp \\boldsymbol{B} = \\sum_{k=0}^{\\infty}\\frac{\\boldsymbol{B}^k}{k!}\\end{equation}\n其中$\\boldsymbol{B}^k$是指按照矩阵乘法将$k$个$\\boldsymbol{B}$连乘。关于矩阵指数，笔者之前曾写过\n《恒等式 det(exp(A)) = exp(Tr(A)) 赏析》\n，也欢迎参考阅读。\n矩阵指数是非常重要的一种矩阵运算，它可以直接写出常系数微分方程组$\\frac{d}{dt}\\boldsymbol{x}_t=\\boldsymbol{A}\\boldsymbol{x}_t$的解：\n\\begin{equation}\\boldsymbol{x}_t = \\big(\\exp t\\boldsymbol{A}\\big)\\boldsymbol{x}_0\\end{equation}\n当然这跟本文的主题关系不大。对于RoPE的推导，我们主要利用到矩阵指数的如下性质：\n\\begin{equation}\\boldsymbol{A}\\boldsymbol{B} = \\boldsymbol{B}\\boldsymbol{A} \\quad\\Rightarrow\\quad \\big(\\exp \\boldsymbol{A}\\big)\\big(\\exp \\boldsymbol{B}\\big) = \\exp \\big(\\boldsymbol{A} + \\boldsymbol{B}\\big)\\label{eq:expm-ex}\\end{equation}\n也就是说，如果$\\boldsymbol{A},\\boldsymbol{B}$的乘法可以交换，那么矩阵指数就可以像数的指数一样将乘法转换为加法。不过要注意这是一个充分不必要条件。\n至于怎么把矩阵指数算出来，这里没法再展开介绍了，但是很多软件库已经自带了矩阵指数运算，比如数值计算库scipy和tensorflow都有\nexpm\n函数，而符号计算的话，Mathematica里边有\nMatrixExp\n函数。\n一维通解\n#\n为什么能够将RoPE跟矩阵指数联系起来呢？因为一维的RoPE存在比较简单的指数表达式：\n\\begin{equation}\\boldsymbol{\\mathcal{R}}_n=\\begin{pmatrix}\\cos n\\theta & -\\sin n\\theta\\\\ \\sin n\\theta & \\cos n\\theta\\end{pmatrix}=\\exp\\left\\{n\\theta\\begin{pmatrix}0 & -1\\\\ 1 & 0\\end{pmatrix}\\right\\}\\label{eq:rope-exp}\\end{equation}\n于是笔者开始思考如下形式的矩阵作为RoPE的解：\n\\begin{equation}\\boldsymbol{\\mathcal{R}}_n=\\exp n\\boldsymbol{B}\\end{equation}\n其中$\\boldsymbol{B}$是一个跟$n$无关的矩阵。RoPE的必要条件是满足“相对性”条件$\\eqref{eq:re}$，于是我们分析\n\\begin{equation}\\big(\\exp m\\boldsymbol{B}\\big)^{\\top}\\big(\\exp n\\boldsymbol{B}\\big) = \\big(\\exp m\\boldsymbol{B}^{\\top}\\big)\\big(\\exp n\\boldsymbol{B}\\big)\\end{equation}\n这里先假设$\\boldsymbol{B}^{\\top},\\boldsymbol{B}$是可交换的，那么根据式$\\eqref{eq:expm-ex}$有\n\\begin{equation}\\big(\\exp m\\boldsymbol{B}^{\\top}\\big)\\big(\\exp n\\boldsymbol{B}\\big) = \\exp \\big(m\\boldsymbol{B}^{\\top} + n\\boldsymbol{B}\\big)\\end{equation}\n要让$m\\boldsymbol{B}^{\\top} + n\\boldsymbol{B}=(n-m)\\boldsymbol{B}$，只需要满足\n\\begin{equation}\\boldsymbol{B}^{\\top} = - \\boldsymbol{B}\\end{equation}\n这便是“相对性”给出的约束条件，刚才我们还假设了$\\boldsymbol{B}^{\\top},\\boldsymbol{B}$是可交换的，现在可以检验满足这个等式的$\\boldsymbol{B}^{\\top},\\boldsymbol{B}$一定是可交换的，所以结果是自洽的。\n这也就是说，对于任何满足$\\boldsymbol{B}^{\\top} + \\boldsymbol{B} = 0$的矩阵$\\boldsymbol{B}$，$\\exp n\\boldsymbol{B}$都是方程$\\eqref{eq:re}$的解，并且还可以证明它一定是正交矩阵。当然，根据$\\exp n\\boldsymbol{B}=\\left(\\exp \\boldsymbol{B}\\right)^n$，我们更直接的得到：对于任意正交矩阵$\\boldsymbol{O}$，$\\boldsymbol{\\mathcal{R}}_n=\\boldsymbol{O}^n$都是方程$\\eqref{eq:re}$的解。\n对于$2\\times 2$的矩阵来说，$\\boldsymbol{B}^{\\top} + \\boldsymbol{B} = 0$的通解是$\\boldsymbol{B}=\\begin{pmatrix}0 & -\\theta\\\\ \\theta & 0\\end{pmatrix}$，于是就有了如式$\\eqref{eq:rope-exp}$的解。\n二维约束\n#\n类似地，对于二维RoPE，我们考虑\n\\begin{equation}\\boldsymbol{\\mathcal{R}}_{x,y}=\\exp \\big(x\\boldsymbol{B}_1 + y\\boldsymbol{B}_2\\big)\\end{equation}\n作为候选解。重复上述关于“相对性”条件的推导：先假设$x_1\\boldsymbol{B}_1^{\\top} + y_1\\boldsymbol{B}_2^{\\top}$与$x_2\\boldsymbol{B}_1 + y_2\\boldsymbol{B}_2$是可交换的，那么我们可以得到如下约束条件：\n\\begin{equation}\\boldsymbol{B}_1^{\\top} + \\boldsymbol{B}_1 = 0,\\quad \\boldsymbol{B}_2^{\\top} + \\boldsymbol{B}_2 = 0\\end{equation}\n然而，$x_1\\boldsymbol{B}_1^{\\top} + y_1\\boldsymbol{B}_2^{\\top}$与$x_2\\boldsymbol{B}_1 + y_2\\boldsymbol{B}_2$可交换，意味着$(\\boldsymbol{B}_1,\\boldsymbol{B}_1^{\\top})$、$(\\boldsymbol{B}_2,\\boldsymbol{B}_2^{\\top})$、$(\\boldsymbol{B}_1,\\boldsymbol{B}_2^{\\top})$和$(\\boldsymbol{B}_2,\\boldsymbol{B}_1^{\\top})$都可交换，但是上述两个约束只能保证$(\\boldsymbol{B}_1,\\boldsymbol{B}_1^{\\top})$和$(\\boldsymbol{B}_2,\\boldsymbol{B}_2^{\\top})$可交换，不能保证后两者的交换性，所以我们需要把它作为约束条件补充上去，得到：\n\\begin{equation}\\left\\{\\begin{aligned}\n&\\boldsymbol{B}_1^{\\top} + \\boldsymbol{B}_1 = 0\\\\\n&\\boldsymbol{B}_2^{\\top} + \\boldsymbol{B}_2 = 0\\\\\n&\\boldsymbol{B}_1 \\boldsymbol{B}_2^{\\top} = \\boldsymbol{B}_2^{\\top} \\boldsymbol{B}_1\n\\end{aligned}\\right.\\label{eq:2d-conds}\\end{equation}\n不难证明在前两个条件下，新增的约束条件也相当于$\\boldsymbol{B}_1 \\boldsymbol{B}_2 = \\boldsymbol{B}_2 \\boldsymbol{B}_1$。\nRoPE现身\n#\n由于满足前两个条件的$2\\times 2$矩阵只有一个独立参数，不满足“可逆性”，所以我们至少要考虑$3\\times 3$矩阵，它有3个独立参数\n\\begin{equation}\\begin{pmatrix}0 & -a & -b \\\\ a & 0 & -c \\\\ b & c & 0\\end{pmatrix}\\end{equation}\n为了保证可逆性，我们不妨设$\\boldsymbol{B}_1,\\boldsymbol{B}_2$是“正交”的，比如设：\n\\begin{equation}\\boldsymbol{B}_1=\\begin{pmatrix}0 & -a & 0 \\\\ a & 0 & 0 \\\\ 0 & 0 & 0\\end{pmatrix},\\quad\\boldsymbol{B}_2=\\begin{pmatrix}0 & 0 & -b \\\\ 0 & 0 & -c \\\\ b & c & 0\\end{pmatrix}\\end{equation}\n不失一般性还可以设$a=1$，那么由条件$\\eqref{eq:2d-conds}$解得$b=0,c=0$，即$\\boldsymbol{B}_2$只能是全零解，这不符合我们的要求。Mathematica的求解代码为：\nB[a_, b_, c_] = {{0, -a, -b}, {a, 0, -c}, {b, c, 0}};\nB1 = B[1, 0, 0];\nB2 = B[0, b, c];\nSolve[{Dot[B1, B2] == Dot[B2, B1]}, {b, c}]\n因此，我们至少要考虑$4\\times 4$矩阵，它有6个独立参数，不失一般性，考虑正交分解：\n\\begin{equation}\\boldsymbol{B}_1=\\begin{pmatrix}0 & -a & -b & 0 \\\\ a & 0 & -c & 0 \\\\ b & c & 0 & 0 \\\\ 0 & 0 & 0 & 0\\end{pmatrix},\\quad\\boldsymbol{B}_2=\\begin{pmatrix}0 & 0 & 0 & -d \\\\ 0 & 0 & 0 & -e \\\\ 0 & 0 & 0 & -f \\\\ d & e & f & 0\\end{pmatrix}\\end{equation}\n解得\n\\begin{equation}d=cf,\\quad e=-bf\\end{equation}\n求解代码：\nB[a_, b_, c_, d_, e_, \n f_] = {{0, -a, -b, -d}, {a, 0, -c, -e}, {b, c, 0, -f}, {d, e, f, \n 0}};\nB1 = B[1, b, c, 0, 0, 0];\nB2 = B[0, 0, 0, d, e, f];\nSolve[{Dot[B1, B2] == Dot[B2, B1]}, {b, c, d, e, f}]\n可以发现结果没有对$f$提出约束，所以从最简单起见，我们可以让$f=1$，剩下的$b,c,d,e$全部为0，此时\n\\begin{equation}\\boldsymbol{\\mathcal{R}}_{x,y}=\\exp \\,\\begin{pmatrix}0 & -x & 0 & 0 \\\\ x & 0 & 0 & 0 \\\\ 0 & 0 & 0 & -y \\\\ 0 & 0 & y & 0\\end{pmatrix}\\end{equation}\n可以增加个参数$\\theta$，完成展开，就得到：\n\\begin{equation}\\boldsymbol{\\mathcal{R}}_{x,y}=\\exp \\,\\left\\{\\begin{pmatrix}0 & -x & 0 & 0 \\\\ x & 0 & 0 & 0 \\\\ 0 & 0 & 0 & -y \\\\ 0 & 0 & y & 0\\end{pmatrix}\\theta\\right\\}=\\left(\n\\begin{array}{cc:cc}\n\\cos x\\theta & -\\sin x\\theta & 0 & 0 \\\\\n\\sin x\\theta & \\cos x\\theta & 0 & 0 \\\\\n\\hdashline\n0 & 0 & \\cos y\\theta & -\\sin y\\theta \\\\\n0 & 0 & \\sin y\\theta & \\cos y\\theta \\\\\n\\end{array}\\right)\\end{equation}\n延伸故事\n#\n至此，关于二维RoPE的推导介绍完毕。现在读者可能想问的是效果如何？很遗憾，现在还没有很完整的实验结果，毕竟笔者之前也没做过ViT相关的工作，而这个二维RoPE的推导也刚完成没多久，所以进展比较慢，只能说初步的结果显示还是挺有效的。EleutherAI团队的成员也实验过这个方案，效果也比已有的其他位置编码好。\n说到EleutherAI团队，这里再多说几句。EleutherAI团队是前段时候比较火的号称要“复现GPT3”的那个团队，我们在文章\n《Transformer升级之路：2、博采众长的旋转式位置编码》\n中提出了RoPE及RoFormer后，有幸得到了EleutherAI团队的关注，他们做了很多补充实验，确认了RoPE比很多其他位置编码都更加有效（参考他们的博客\n《Rotary Embeddings: A Relative Revolution》\n），这促使我们完成了英文论文\n《RoFormer: Enhanced Transformer with Rotary Position Embedding》\n并提交到了Arxiv上。而关于二维RoPE的疑问，最初也是来源于EleutherAI团队。\n文章小结\n#\n本文介绍了我们对RoPE的二维推广，主要以“相对性”、“可逆性”为出发点来确定二维RoPE的最终形式，尝试了四元数和矩阵指数两种推导过程，最终通过矩阵指数来给出了最终的解，从推导过程中我们还可以深化对RoPE的理解。\n转载到请包括本文地址：\nhttps://spaces.ac.cn/archives/8397\n更详细的转载事宜请参考：\n《科学空间FAQ》\n如果您还有什么疑惑或建议，欢迎在下方评论区继续讨论。\n如果您觉得本文还不错，欢迎\n分享\n/\n打赏\n本文。打赏并非要从中获得收益，而是希望知道科学空间获得了多少读者的真心关注。当然，如果你无视它，也不会影响你的阅读。再次表示欢迎和感谢！\n打赏\n微信打赏\n支付宝打赏\n因为网站后台对打赏并无记录，因此欢迎在打赏时候备注留言。\n你还可以\n点击这里\n或在下方评论区留言来告知你的建议或需求。\n如果您需要引用本文，请参考：\n苏剑林. (May. 10, 2021). 《Transformer升级之路：4、二维位置的旋转式位置编码 》[Blog post]. Retrieved from\nhttps://spaces.ac.cn/archives/8397\n@online{kexuefm-8397,\ntitle={Transformer升级之路：4、二维位置的旋转式位置编码},\nauthor={苏剑林},\nyear={2021},\nmonth={May},\nurl={\\url{https://spaces.ac.cn/archives/8397}},\n}\n分类：\n数学研究\n,\n信息时代\n标签：\n复数\n,\n矩阵\n,\nattention\n,\n位置编码\n,\nrope\n81 评论\n<\nGlobalPointer：用统一的方式处理嵌套和非嵌套NER\n|\n变分自编码器（七）：球面上的VAE（vMF-VAE）\n>\n你也许还对下面的内容感兴趣\n如何让GDN2更稳定一些？\n排序不等式及其推广\n让炼丹更科学一些（十）：单调性假设的拆与补\n简单谈谈K3的MoE和Attention\n将Softmax Attention线性化为Gated DeltaNet\nLogSumExp和Softmax的泰勒展开\n矩阵函数近似中的暴力美学\n矩阵参数的奇异值熵越高越好吗？\n直接以FID为Loss：从梯度计算到流式训练\n如何更科学地估计矩阵的谱范数？\n发表你的看法\n«\n1\n2\n3\nShadowSinger\nMay 29th, 2025\n苏神你好，请教一下，原文\n“但这个解的问题是，我们无法从x+y逆向推出(x,y)，这意味着这个选择对位置信息来说是有损的，所以我们需要多一个“可逆性”，保证可以从位置矩阵中无损地重构出原始位置信号。”\n是否可以理解为（假设Q x1=0,y1=0)，K (x2,y2)=(3,4),(-3,4),(-3,-4),(0,5),(-5,0)都是不一样的，即R(x2-x1)(y2-y1)实际上提供了旋转变化的、正负可知的无损相对位置信息？\n回复评论\n苏剑林\n发表于\n June 3rd, 2025\n嗯，是这个意思。\n回复评论\n盏一\nJune 17th, 2025\n苏神, 请教一下\n> 并且还可以证明它一定是正交矩阵\n是怎么证明的. 我本来以为隐式利用了 $\\Vert R_n q \\Vert = \\Vert q \\Vert$ 这一条件, 即前文提到的:\n> 正交矩阵，它不会改变向量的模长\n但忽然发现在 $B^T + B = 0$ 的前提下, $\\Vert \\exp nB q \\Vert $ = 0! 更迷惑了.\n回复评论\n盏一\n发表于\n June 17th, 2025\n呃, 是我脑子乱了... 忘了 $\\exp(0) = I$. 所以只要 $\\Vert B^T+B=0 \\Vert$, 就有 \\Vert R_n q \\Vert = \\Vert q \\Vert. 那证明 B 是正交矩阵缺少还少个 $B^2 = -I$ 的类似条件?\n回复评论\n盏一\nJune 17th, 2025\n哦哦哦 你是说 $\\exp nB$ 是正交矩阵! 并不是说 B.\n回复评论\n苏剑林\n发表于\n June 20th, 2025\n对。$\\boldsymbol{B}$是反对称矩阵，那么$\\exp n\\boldsymbol{B}$就是正交矩阵。\n回复评论\nHikaruNight\nJune 27th, 2025\n苏老师，想请教一下如果把四元数放在三维RoPE里面是不是可行的\n回复评论\n苏剑林\n发表于\n July 2nd, 2025\n不满足交换律是硬伤，不知道你打算怎么解决这一点。\n回复评论\nmali35\nJuly 29th, 2025\n苏神有注意到这篇所给出点乘形式的2d rope么：https://jerryxio.ng/posts/nd-rope/ 他使用的是2d平面上的点，与平面一个等速螺线上点的向量乘积作为旋转量\n回复评论\n苏剑林\n发表于\n July 30th, 2025\n学习了一下，这个推广形式有点妙，确实更加大一统些，我再悟一下。\n回复评论\nYYQ 发表于\n August 5th, 2025\n苏神有没有时间解析一下这篇blog, 看了一下感觉一知半解\n回复评论\n苏剑林\n发表于\n August 6th, 2025\n好像也没什么技术难度啊\n回复评论\nmali35\nJuly 29th, 2025\n哦不对，幅值是指数增长的，它好像是是个对数螺线。他这种方式下，1d的位置编码只是一个幅值项指数变化，但是角度项不变的特殊形式。甚至有可能通过添加更多维度的方向，来直接实现多模态的位置编码的大一统，比如图文就是角度旋转的2d+角度不变的1d方向。\n回复评论\nyzyyzyhhh\nNovember 22nd, 2025\n苏老师你好，我是数学系的学生，我发现可以用一些理论来简洁地导出一般情况下的 nD RoPE，涵盖了我目前见过的所有RoPE,您感兴趣的话可以看一看：https://github.com/happyyzy/position-encoding-and-representation-theory\n回复评论\nyzyyzyhhh 发表于\n November 22nd, 2025\n这个框架直接把相对位置不变性抽象为数学上的群表示，所以非常general和简洁。\n回复评论\n苏剑林\n发表于\n November 24th, 2025\n感谢分享。我简单扫了一下，可能对于你的背景来说更简洁，但对于一般读者（包括我）来说，应该是引入了更多的概念了...\n回复评论\nyzyyzyhhh 发表于\n November 25th, 2025\n苏老师我想到一种不需要更多概念的方法：2DROPE相比1D的难点在于要搞清楚两个可交换的正交矩阵长啥样，3DRPOE要搞清楚三个这样的矩阵长啥样。\n如你文章里所说，如果用矩阵指数来考虑，只能得到一个充分不必要条件。\n其实有一个标准的结论是说：多个两两可交换的正交矩阵可以同时块对角化，对角块就是二维的旋转或者1，-1，这个结论的证明只需要数学归纳法和线性代数。\n如此一来框架就清晰了：要得到nDROPE的公式，就要搞清楚n个两两交换的正交矩阵长啥样，用这个结论搞清楚就直接给出一般公式。\n回复评论\n苏剑林\n发表于\n November 26th, 2025\n嗯，这个好理解很多，我没问题。\n回复评论\ntrae1oung\nApril 9th, 2026\n苏神你好，公式10前面内积多了个q:$\\begin{equation}\\langle\\boldsymbol{q}e^{m\\boldsymbol{i}\\theta},\\boldsymbol{k}\\boldsymbol{q}e^{n\\boldsymbol{i}\\theta}\\rangle=\\text{Re}\\left[\\left(\\boldsymbol{q}e^{m\\boldsymbol{i}\\theta}\\right)\\left(\\boldsymbol{k}e^{n\\boldsymbol{i}\\theta}\\right)^*\\right]=\\text{Re}\\left[\\boldsymbol{q}e^{m\\boldsymbol{i}\\theta}e^{-n\\boldsymbol{i}\\theta}\\boldsymbol{k}^*\\right]=\\text{Re}\\left[\\boldsymbol{q}e^{(m-n)\\boldsymbol{i}\\theta}\\boldsymbol{k}^*\\right]\\end{equation}$\n回复评论\n苏剑林\n发表于\n April 14th, 2026\n确实，已经更正，感谢指出。\n回复评论\nsilver\nJune 18th, 2026\n捉虫，有几个minor typo：\n在高中时我们就学习过，复数a+bi跟二维向量(a,b)*时*一一对应的 （*是*一一对应的）\n前面说了，四元数是复数*是*一种推广 （*的*一种推广）\n而是*是*按照幂级数定义的运算 （多了一个*是*字）\n回复评论\n苏剑林\n发表于\n June 20th, 2026\n很仔细，更正了～\n回复评论\n«\n1\n2\n3\n取消回复\n你的大名\n电子邮箱\n个人网站（选填）\n1. 可以使用LaTeX代码，点击“预览效果”可查看效果；\n2. 可以通过点击评论楼层编号来引用该楼层；\n3. 网站可能会有点卡，如非确认评论失败，请\n不要重复点击提交\n。\n内容速览\n二维RoPE\n二维位置\n标准答案\n推导思路\n四元数\n复数与矩阵\n四元数简介\n违背相对性\n矩阵指数\n矩阵指数\n一维通解\n二维约束\nRoPE现身\n延伸故事\n文章小结\n智能搜索\n支持整句搜索！网站自动使用\n结巴分词\n进行分词，并结合ngrams排序算法给出合理的搜索结果。\n热门标签\nattention\n生成模型\n优化\n模型\n语言模型\n梯度\n优化器\n矩阵\n概率\n网站\n转载\n微分方程\n分析\n天象\n深度学习\n积分\npython\n几何\n扩散\n力学\n无监督\n损失函数\n节日\n线性\n生活\n随机文章\n生成扩散模型漫谈（十七）：构建ODE的一般步骤（下）\n文本情感分类（一）：传统模型\n矩阵的有效秩（Effective Rank）\n与向量的渊源极深的四元数\n【搜出来的文本】⋅（一）从文本生成到搜索采样\n黑洞融合的简单模拟\n多任务学习漫谈（三）：分主次之序\n“让Keras更酷一些！”：层中层与mask\n哈勃定律——宇宙各向同性的体现\n旋转的弹簧将如何伸长？\n最近评论\ncarl_lei\n: 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FFN相比原始的大FFN（也就是直接...\nAli Hatamizadeh\n: Thank you for looking into this and featuring i...\n苏剑林\n: 对于线性层，取max能得到谱范数，然后可以推出Muon，Muon比Adam、SGD等要好，所以...\n苏剑林\n: Thanks for sharing! I looked into this improvem...\nPurshow\n: 苏老师，请问下取max会不会影响控制下界太宽松了呢\nbookworm\n: 天下苦秦久矣，期待苏老师的教材！\nAli Hatamizadeh\n: Hi ! I am the lead GDN-2 author.We've addressed...\nyixiao chen\n: 谢谢苏神！代码在https://github.com/Chyxx/CyclicFlowAtte...\n苏剑林\n: 欢迎作者！我仔细读了一下，感觉写作还是很清晰的，至少比 https://papers.cool...\n苏剑林\n: 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能\n友情链接\nCool Papers\n数学研发\nSeatop\nXiaoxia\n积分表-网络版\n丝路博傲\n数学之家\n有趣天文奇观\nTwistedW\ngodweiyang\nAI柠檬\n王登科-DK博客\nESON\n枫之羽\ncoding-zuo\n博科园\n孔皮皮的博客\n运鹏的博客\njiming.site\nOmegaXYZ\nEAI猩球\n文举的博客\n汇尘轩\n申请链接\n本站采用创作共用版权协议，要求署名、非商业用途和保持一致。转载本站内容必须也遵循“\n署名-非商业用途-保持一致\n”的创作共用协议。\n© 2009-2026 Scientific Spaces. All rights reserved. Theme by\nlaogui\n. Powered by\nTypecho\n. 备案号:\n粤ICP备09093259号-1/2\n。", "metadata": { "title": "Transformer升级之路：4、二维位置的旋转式位置编码 - 科学空间|Scientific Spaces", "description": "在之前的文章《Transformer升级之路：2、博采众长的旋转式位置编码》中我们提出了旋转式位置编码RoPE以及对应的Transformer模型RoFormer。由于笔者主要研究的领域还是NL...", "keywords": "复数,矩阵,attention,位置编码,rope", "author": null }, "paywall": { "listed_paid": false, "detected": false, "marker": "", "public_only": false, "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙" }, "crawl": { "success": true, "status_code": 200, "error": "" }, "code_blocks": [ { "file": "attachments/228230210305/code/body-000.txt", "chars": 131, "language": "text" }, { "file": "attachments/228230210305/code/body-001.txt", "chars": 205, "language": "text" } ], "images": [ { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "bytes": 4328, "reused": false, "local_path": "attachments/228230210305/images/body-fcd8b7d1212b1f5eab2b.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/slide-button.png", "alt": "MobileSideBar", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "bytes": 19283, "reused": false, "local_path": "attachments/228230210305/images/body-043e6308dc873ff9fa67.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/rss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "bytes": 16811, "reused": false, "local_path": "attachments/228230210305/images/body-942ff5c7b650f4d3d31f.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mail.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "bytes": 2524, "reused": false, "local_path": "attachments/228230210305/images/body-53b9d00850633d612de3.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/Saturn.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "bytes": 3301, "reused": false, "local_path": "attachments/228230210305/images/body-896b482bdde5ec1df88a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/iss.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "bytes": 939, "reused": false, "local_path": "attachments/228230210305/images/body-3f7f2f2318249e4eac9a.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/pi.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "bytes": 18685, "reused": false, "local_path": "attachments/228230210305/images/body-cbbace78f2cd4551d156.png", "src": "https://spaces.ac.cn/usr/themes/geekg/images/mlogo.png", "alt": "", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "bytes": 36540, "reused": false, "local_path": "attachments/228230210305/images/body-c5d79f289db1f5d431bc.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/wx.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "bytes": 31565, "reused": false, "local_path": "attachments/228230210305/images/body-4345e58697a529a3d3a5.png", "src": "https://spaces.ac.cn/usr/themes/geekg/payment/zfb.png", "alt": "科学空间", "downloaded": true }, { "status": "ok", "url": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "bytes": 2031, "reused": false, "local_path": "attachments/228230210305/images/body-b2904ced8e4508d61bed.gif", "src": "https://kexue.fm/usr/themes/geekg/images/cc.gif", "alt": "署名-非商业用途-保持一致", "downloaded": true } ], "audio": [], "videos": [], "links": [ { "href": "https://spaces.ac.cn/reward.html", "label": "打赏", "type": "a" }, { "href": "https://spaces.ac.cn/latex.html", "label": "公式", "type": "a" }, { "href": "https://spaces.ac.cn/ac.html", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/links.html", "label": "链接", "type": "a" }, { "href": "https://spaces.ac.cn/me.html", "label": "时光", "type": "a" }, { "href": "https://spaces.ac.cn/science.html", "label": "博览", "type": "a" }, { "href": "https://spaces.ac.cn/content.html", "label": "归档", "type": "a" }, { "href": "https://spaces.ac.cn/category/Everything", "label": "千奇百怪", "type": "a" }, { "href": "https://spaces.ac.cn/category/Astronomy", "label": "天文探索", "type": "a" }, { "href": "https://spaces.ac.cn/category/Mathematics", "label": "数学研究", "type": "a" }, { "href": "https://spaces.ac.cn/category/Phy-chem", "label": "物理化学", "type": "a" }, { "href": "https://spaces.ac.cn/category/Big-Data", "label": "信息时代", "type": "a" }, { "href": "https://spaces.ac.cn/category/Biology", "label": "生物自然", "type": "a" }, { "href": "https://spaces.ac.cn/category/Photograph", "label": "图片摄影", "type": "a" }, { "href": "https://spaces.ac.cn/category/Questions", "label": "问题百科", "type": "a" }, { "href": "https://spaces.ac.cn/category/Life-Feeling", "label": "生活/情感", "type": "a" }, { "href": "https://spaces.ac.cn/category/Resources", "label": "资源共享", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945", "label": "如何让GDN2更稳定一些？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11928", "label": "通过微扰分析求解等式约束优化问题", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11917", "label": "慢即是快：1. Shampoo的尽...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11910", "label": "排序不等式及其推广", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11885", "label": "让炼丹更科学一些（十）：单调性假设...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11882", "label": "让炼丹更科学一些（九）：经典自适应...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11879", "label": "让炼丹更科学一些（八）：多阶段训练...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11875", "label": "动量的新理解：逼近特征层面的梯度下降", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11864", "label": "流形上的最速下降：7. Stief...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11854", "label": "除了交叉熵，LM Loss还有什么选择？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10699/comment-page-3", "label": "carl_lei : 苏神，之前我一直有一个直觉是：MoE通过不同系数加权得到的FF...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11945/comment-page-1", "label": "Ali Hatamizadeh : Thank you for looking into this...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11340/comment-page-1", "label": "苏剑林 : 对于线性层，取max能得到谱范数，然后可以推出Muon，Muo...", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1328/comment-page-1", "label": "bookworm : 天下苦秦久矣，期待苏老师的教材！", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848/comment-page-2", "label": "苏剑林 : 免训练估计够呛，从实用的角度看，其实也不应该相信任何免训练的可能", "type": "a" }, { "href": "https://spaces.ac.cn/admin/login.php", "label": "登录", "type": "a" }, { "href": "https://spaces.ac.cn/", "label": "科学空间|Scientific Spaces", "type": "a" }, { "href": "https://spaces.ac.cn/feed", "label": "欢迎订阅", "type": "a" }, { "href": "https://spaces.ac.cn/archives/119", "label": "个性邮箱", "type": "a" }, { "href": "https://spaces.ac.cn/archives/41", "label": "观测ISS", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397", "label": "Transformer升级之路：4、二维位置的旋转式位置编码", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8265", "label": "《Transformer升级之路：2、博采众长的旋转式位置编码》", "type": "a" }, { "href": "https://en.wikipedia.org/wiki/Quaternion", "label": "四元数（Quaternion）", "type": "a" }, { "href": "https://spaces.ac.cn/archives/898", "label": "《与向量的渊源极深的四元数》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/2291", "label": "《几何的数与数的几何：超复数的浅探究》", "type": "a" }, { "href": "https://en.wikipedia.org/wiki/Matrix_exponential", "label": "矩阵指数", "type": "a" }, { "href": "https://spaces.ac.cn/archives/6377", "label": "《恒等式 det(exp(A)) = exp(Tr(A)) 赏析》", "type": "a" }, { "href": "https://blog.eleuther.ai/rotary-embeddings/", "label": "《Rotary Embeddings: A Relative Revolution》", "type": "a" }, { "href": "https://papers.cool/arxiv/2104.09864", "label": "《RoFormer: Enhanced Transformer with Rotary Position Embedding》", "type": "a" }, { "href": "https://spaces.ac.cn/archives/6508", "label": "《科学空间FAQ》", "type": "a" }, { "href": "http://mail.qq.com/cgi-bin/qm_share?t=qm_mailme&email=tN7d1drY3drrx8H0xcWa19vZ", "label": "点击这里", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%A4%8D%E6%95%B0/", "label": "复数", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%9F%A9%E9%98%B5/", "label": "矩阵", "type": "a" }, { "href": "https://spaces.ac.cn/tag/attention/", "label": "attention", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81/", "label": "位置编码", "type": "a" }, { "href": "https://spaces.ac.cn/tag/rope/", "label": "rope", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8373", "label": "GlobalPointer：用统一的方式处理嵌套和非嵌套NER", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8404", "label": "变分自编码器（七）：球面上的VAE（vMF-VAE）", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11848", "label": "简单谈谈K3的MoE和Attention", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11823", "label": "将Softmax Attention线性化为Gated DeltaNet", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11814", "label": "LogSumExp和Softmax的泰勒展开", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11787", "label": "矩阵函数近似中的暴力美学", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11767", "label": "矩阵参数的奇异值熵越高越好吗？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11738", "label": "直接以FID为Loss：从梯度计算到流式训练", "type": "a" }, { "href": "https://spaces.ac.cn/archives/11736", "label": "如何更科学地估计矩阵的谱范数？", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-2", "label": "«", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-1", "label": "1", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3", "label": "3", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=27730", "label": "回复评论", "type": "a" }, { "href": "https://kexue.fm/", "label": "苏剑林", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=27747", "label": "回复评论", "type": "a" }, { "href": "http://hidva.com/", "label": "盏一", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=27907", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=27908", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=27910", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=27937", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=27985", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=28030", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=28244", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=28260", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=28304", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=28319", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=28248", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=28859", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=28860", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=28888", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=28910", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=28916", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=29349", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=29361", "label": "回复评论", "type": "a" }, { "href": "http://zhengyinhe.com/", "label": "silver", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=29513", "label": "回复评论", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8397/comment-page-3?replyTo=29516", "label": "回复评论", "type": "a" }, { "href": "https://github.com/fxsjy/jieba", "label": "结巴分词", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%88%90%E6%A8%A1%E5%9E%8B/", "label": "生成模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96/", "label": "优化", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A8%A1%E5%9E%8B/", "label": "模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/", "label": "语言模型", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A2%AF%E5%BA%A6/", "label": "梯度", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96%E5%99%A8/", "label": "优化器", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%A6%82%E7%8E%87/", "label": "概率", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BD%91%E7%AB%99/", "label": "网站", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%BD%AC%E8%BD%BD/", "label": "转载", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%BE%AE%E5%88%86%E6%96%B9%E7%A8%8B/", "label": "微分方程", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%88%86%E6%9E%90/", "label": "分析", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%A4%A9%E8%B1%A1/", "label": "天象", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/", "label": "深度学习", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%A7%AF%E5%88%86/", "label": "积分", "type": "a" }, { "href": "https://spaces.ac.cn/tag/python/", "label": "python", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%87%A0%E4%BD%95/", "label": "几何", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%89%A9%E6%95%A3/", "label": "扩散", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E5%8A%9B%E5%AD%A6/", "label": "力学", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%97%A0%E7%9B%91%E7%9D%A3/", "label": "无监督", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0/", "label": "损失函数", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E8%8A%82%E6%97%A5/", "label": "节日", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%BA%BF%E6%80%A7/", "label": "线性", "type": "a" }, { "href": "https://spaces.ac.cn/tag/%E7%94%9F%E6%B4%BB/", "label": "生活", "type": "a" }, { "href": "https://spaces.ac.cn/archives/9497", "label": "生成扩散模型漫谈（十七）：构建ODE的一般步骤（下）", "type": "a" }, { "href": "https://spaces.ac.cn/archives/3360", "label": "文本情感分类（一）：传统模型", "type": "a" }, { "href": "https://spaces.ac.cn/archives/10847", "label": "矩阵的有效秩（Effective Rank）", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8062", "label": "【搜出来的文本】⋅（一）从文本生成到搜索采样", "type": "a" }, { "href": "https://spaces.ac.cn/archives/1825", "label": "黑洞融合的简单模拟", "type": "a" }, { "href": "https://spaces.ac.cn/archives/8907", "label": "多任务学习漫谈（三）：分主次之序", "type": "a" }, { "href": "https://spaces.ac.cn/archives/6810", "label": "“让Keras更酷一些！”：层中层与mask", "type": "a" }, { "href": "https://spaces.ac.cn/archives/964", "label": "哈勃定律——宇宙各向同性的体现", "type": "a" }, { "href": "https://spaces.ac.cn/archives/782", "label": "旋转的弹簧将如何伸长？", "type": "a" }, { "href": "https://papers.cool/", "label": "Cool Papers", "type": "a" }, { "href": "https://bbs.emath.ac.cn/", "label": "数学研发", "type": "a" }, { "href": "http://www.seatop.com.cn/", "label": "Seatop", "type": "a" }, { "href": "https://xiaoxia.org/", "label": "Xiaoxia", "type": "a" }, { "href": "https://kexue.fm/sci/integral/index.html", "label": "积分表-网络版", "type": "a" }, { "href": "http://blog.dvxj.com/", "label": "丝路博傲", "type": "a" }, { "href": "http://www.2math.cn/", "label": "数学之家", "type": "a" }, { "href": "http://interesting-sky.china-vo.org/", "label": "有趣天文奇观", "type": "a" }, { "href": "http://www.twistedwg.com/", "label": "TwistedW", "type": "a" }, { "href": "https://godweiyang.com/", "label": "godweiyang", "type": "a" }, { "href": "https://blog.ailemon.net/", "label": "AI柠檬", "type": "a" }, { "href": "https://greatdk.com/", "label": "王登科-DK博客", "type": "a" }, { "href": "https://blog.eson.org/", "label": "ESON", "type": "a" }, { "href": "https://fzhiy.net/", "label": "枫之羽", "type": "a" }, { "href": "https://coding-zuo.github.io/", "label": "coding-zuo", "type": "a" }, { "href": "https://www.bokeyuan.net/", "label": "博科园", "type": "a" }, { "href": "https://www.kppkkp.top/", "label": "孔皮皮的博客", "type": "a" }, { "href": "https://yunpengtai.top/", "label": "运鹏的博客", "type": "a" }, { "href": "https://jiming.site/", "label": "jiming.site", "type": "a" }, { "href": "https://www.omegaxyz.com/", "label": "OmegaXYZ", "type": "a" }, { "href": "https://www.robotech.ink/", "label": "EAI猩球", "type": "a" }, { "href": "https://liwenju0.com/", "label": "文举的博客", "type": "a" }, { "href": "https://kirigaya.cn/", "label": "汇尘轩", "type": "a" }, { "href": "https://kexue.fm/links.html", "label": "申请链接", "type": "a" }, { "href": "http://creativecommons.org/licenses/by-nc-nd/2.5/cn/", "label": "", "type": "a" }, { "href": "http://www.laogui.com/", "label": "laogui", "type": "a" }, { "href": "http://typecho.org/", "label": "Typecho", "type": "a" }, { "href": "https://beian.miit.gov.cn/", "label": "粤ICP备09093259号-1/2", "type": "a" } ], "repair_version": 2, "repaired_at": "2026-10-14T10:53:04Z", "source_url": "https://spaces.ac.cn/archives/8397", "papers": [], "actual_video_files": [], "body_chars": 19010, "expected_body_images": 10, "discovery_status": "ok", "delivery_status": "ok", "missing_reason": "", "raw_html": "attachments/228230210305/pages/source.html", "local_html": "attachments/228230210305/pages/article.html", "body_base_path": "attachments/228230210305/pages/", "body_markdown_path": "attachments/228230210305/pages/article.md" }