Processing math: 0% ![MobileSideBar](../images/body-fcd8b7d1212b1f5eab2b.png) ## SEARCH ## MENU * [打赏](https://spaces.ac.cn/reward.html) * [公式](https://spaces.ac.cn/latex.html) * [天象](https://spaces.ac.cn/ac.html) * [链接](https://spaces.ac.cn/links.html) * [时光](https://spaces.ac.cn/me.html) * [博览](https://spaces.ac.cn/science.html) * [归档](https://spaces.ac.cn/content.html) ## CATEGORIES * [千奇百怪](https://spaces.ac.cn/category/Everything) * [天文探索](https://spaces.ac.cn/category/Astronomy) * [数学研究](https://spaces.ac.cn/category/Mathematics) * [物理化学](https://spaces.ac.cn/category/Phy-chem) * [信息时代](https://spaces.ac.cn/category/Big-Data) * [生物自然](https://spaces.ac.cn/category/Biology) * [图片摄影](https://spaces.ac.cn/category/Photograph) * [问题百科](https://spaces.ac.cn/category/Questions) * [生活/情感](https://spaces.ac.cn/category/Life-Feeling) * [资源共享](https://spaces.ac.cn/category/Resources) ## NEWPOSTS * [慢即是快：1. Shampoo的尽...](https://spaces.ac.cn/archives/11917) * [排序不等式及其推广](https://spaces.ac.cn/archives/11910) * [让炼丹更科学一些（十）：单调性假设...](https://spaces.ac.cn/archives/11885) * [让炼丹更科学一些（九）：经典自适应...](https://spaces.ac.cn/archives/11882) * [让炼丹更科学一些（八）：多阶段训练...](https://spaces.ac.cn/archives/11879) * [动量的新理解：逼近特征层面的梯度下降](https://spaces.ac.cn/archives/11875) * [流形上的最速下降：7. Stief...](https://spaces.ac.cn/archives/11864) * [除了交叉熵，LM Loss还有什么选择？](https://spaces.ac.cn/archives/11854) * [简单谈谈K3的MoE和Attention](https://spaces.ac.cn/archives/11848) * [解构Scaling Law：优化、...](https://spaces.ac.cn/archives/11833) ## COMMENTS * [yicli: 苏老师好，我有两个问题想再请教一下： 1. Full Attn...](https://spaces.ac.cn/archives/11664/comment-page-3#comment-29805) * [Lindsay: 这是不是也是为什么diffusion text model质量...](https://spaces.ac.cn/archives/11854/comment-page-1#comment-29804) * [Honghao: 一般结论那节中“$q_t=E[L(\theta_t)] - L...](https://spaces.ac.cn/archives/11494/comment-page-1#comment-29803) * [田奕哲: 似乎engram与其思路有点相似 都是用hash直接通过tok...](https://spaces.ac.cn/archives/11750/comment-page-1#comment-29802) * [Kacent: 苏神好,我想请教一下. 如果b只被LossFree更新, ...](https://spaces.ac.cn/archives/10757/comment-page-3#comment-29801) * [Dr.Ink: 受教、感谢苏神～ 最近做实验建立更深的理解、也在尝试一些改进，...](https://spaces.ac.cn/archives/11619/comment-page-1#comment-29799) * [Honghao: 感谢苏神回复！](https://spaces.ac.cn/archives/11875/comment-page-1#comment-29798) * [苏剑林: 我们对ds方案和qb做了充分对比，结论是qb更均衡，并且效果（...](https://spaces.ac.cn/archives/11619/comment-page-1#comment-29797) * [苏剑林: 不是愿不愿意更新的问题，主要是暂时对这个方向没有什么新理解](https://spaces.ac.cn/archives/10352/comment-page-2#comment-29796) * [苏剑林: 确实，更正了，感谢反馈](https://spaces.ac.cn/archives/9431/comment-page-2#comment-29795) ## USERLOGIN * [登录](https://spaces.ac.cn/admin/login.php) # [科学空间|Scientific Spaces](https://spaces.ac.cn) * [登录](https://spaces.ac.cn/admin/login.php) * [打赏](https://spaces.ac.cn/reward.html) * [公式](https://spaces.ac.cn/latex.html) * [天象](https://spaces.ac.cn/ac.html) * [链接](https://spaces.ac.cn/links.html) * [时光](https://spaces.ac.cn/me.html) * [博览](https://spaces.ac.cn/science.html) * [归档](https://spaces.ac.cn/content.html) 渴望成为一个小飞侠 * [![](../images/body-043e6308dc873ff9fa67.png) 欢迎订阅](https://spaces.ac.cn/feed) * [![](../images/body-942ff5c7b650f4d3d31f.png) 个性邮箱](https://spaces.ac.cn/archives/119) * [![](../images/body-53b9d00850633d612de3.png) 天象信息](https://spaces.ac.cn/ac.html) * [![](../images/body-896b482bdde5ec1df88a.png) 观测ISS](https://spaces.ac.cn/archives/41) * [![](../images/body-3f7f2f2318249e4eac9a.png) LaTeX](https://spaces.ac.cn/latex.html) * [![](../images/body-cbbace78f2cd4551d156.png) 关于博主](https://spaces.ac.cn/me.html) 欢迎访问“科学空间”，这里将与您共同探讨自然科学，回味人生百态；也期待大家的分享～ * [**千奇百怪** Everything](https://spaces.ac.cn/category/Everything) * [**天文探索** Astronomy](https://spaces.ac.cn/category/Astronomy) * [**数学研究** Mathematics](https://spaces.ac.cn/category/Mathematics) * [**物理化学** Phy-chem](https://spaces.ac.cn/category/Phy-chem) * [**信息时代** Big-Data](https://spaces.ac.cn/category/Big-Data) * [**生物自然** Biology](https://spaces.ac.cn/category/Biology) * [**图片摄影** Photograph](https://spaces.ac.cn/category/Photograph) * [**问题百科** Questions](https://spaces.ac.cn/category/Questions) * [**生活/情感** Life-Feeling](https://spaces.ac.cn/category/Life-Feeling) * [**资源共享** Resources](https://spaces.ac.cn/category/Resources) * [**千奇百怪**](https://spaces.ac.cn/category/Everything) * [**天文探索**](https://spaces.ac.cn/category/Astronomy) * [**数学研究**](https://spaces.ac.cn/category/Mathematics) * [**物理化学**](https://spaces.ac.cn/category/Phy-chem) * [**信息时代**](https://spaces.ac.cn/category/Big-Data) * [**生物自然**](https://spaces.ac.cn/category/Biology) * [**图片摄影**](https://spaces.ac.cn/category/Photograph) * [**问题百科**](https://spaces.ac.cn/category/Questions) * [**生活/情感**](https://spaces.ac.cn/category/Life-Feeling) * [**资源共享**](https://spaces.ac.cn/category/Resources) ## 找不到相关内容。 ### 你也许对下面的内容感兴趣 * [哥本哈根气候大会召开情况](https://spaces.ac.cn/archives/300) * [细水长flow之f-VAEs：Glow与VAEs的联姻](https://spaces.ac.cn/archives/5977) * [互怼的艺术：从零直达WGAN-GP](https://spaces.ac.cn/archives/4439) * [百科翻译：臭氧的性质](https://spaces.ac.cn/archives/8) * [生成扩散模型漫谈（二十四）：少走捷径，更快到达](https://spaces.ac.cn/archives/10077) * [百科翻译：氢氧化钠（NaOH）的详细介绍](https://spaces.ac.cn/archives/6) * [2019年全年天象](https://spaces.ac.cn/archives/6257) * [生成扩散模型漫谈（五）：一般框架之SDE篇](https://spaces.ac.cn/archives/9209) * [函数图像旋转公式（“想当然”的教训）](https://spaces.ac.cn/archives/416) * [从马尔科夫过程到主方程（推导过程）](https://spaces.ac.cn/archives/4598) ### 关于站长 ![科学空间logo](../images/body-64d59c911904c60f6f14.png) **苏剑林|BoJone** ，科学空间博主，【数学、天文、理论物理、写作、阅读、计算机、中国象棋、厨房】爱好者（但不专业）......目前33岁，还在单调递增。希望能一直在此分享科学之美～ **你也许会关心：** * [科学空间|Scientific Spaces 介绍](https://spaces.ac.cn/me.html) * 科学空间QQ交流群：67729435 * 科学空间微信交流群：[spaces_ac_cn](https://spaces.ac.cn/archives/4096/) * 常见问题集：[《科学空间FAQ》](https://spaces.ac.cn/archives/6508/) ### 智能搜索 支持整句搜索！网站自动使用[结巴分词](https://github.com/fxsjy/jieba)进行分词，并结合ngrams排序算法给出合理的搜索结果。 ### 热门标签 [attention](https://spaces.ac.cn/tag/attention/) [生成模型](https://spaces.ac.cn/tag/%E7%94%9F%E6%88%90%E6%A8%A1%E5%9E%8B/) [优化](https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96/) [模型](https://spaces.ac.cn/tag/%E6%A8%A1%E5%9E%8B/) [语言模型](https://spaces.ac.cn/tag/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/) [梯度](https://spaces.ac.cn/tag/%E6%A2%AF%E5%BA%A6/) [优化器](https://spaces.ac.cn/tag/%E4%BC%98%E5%8C%96%E5%99%A8/) [矩阵](https://spaces.ac.cn/tag/%E7%9F%A9%E9%98%B5/) [概率](https://spaces.ac.cn/tag/%E6%A6%82%E7%8E%87/) [网站](https://spaces.ac.cn/tag/%E7%BD%91%E7%AB%99/) [转载](https://spaces.ac.cn/tag/%E8%BD%AC%E8%BD%BD/) [微分方程](https://spaces.ac.cn/tag/%E5%BE%AE%E5%88%86%E6%96%B9%E7%A8%8B/) [分析](https://spaces.ac.cn/tag/%E5%88%86%E6%9E%90/) [天象](https://spaces.ac.cn/tag/%E5%A4%A9%E8%B1%A1/) [深度学习](https://spaces.ac.cn/tag/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/) [积分](https://spaces.ac.cn/tag/%E7%A7%AF%E5%88%86/) [python](https://spaces.ac.cn/tag/python/) [几何](https://spaces.ac.cn/tag/%E5%87%A0%E4%BD%95/) [扩散](https://spaces.ac.cn/tag/%E6%89%A9%E6%95%A3/) [力学](https://spaces.ac.cn/tag/%E5%8A%9B%E5%AD%A6/) [无监督](https://spaces.ac.cn/tag/%E6%97%A0%E7%9B%91%E7%9D%A3/) [损失函数](https://spaces.ac.cn/tag/%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0/) [节日](https://spaces.ac.cn/tag/%E8%8A%82%E6%97%A5/) [生活](https://spaces.ac.cn/tag/%E7%94%9F%E6%B4%BB/) [不等式](https://spaces.ac.cn/tag/%E4%B8%8D%E7%AD%89%E5%BC%8F/) ### 随机文章 * [智能家居之手搓一套能接入米家的零冷水装置](https://spaces.ac.cn/archives/10869) * [线性注意力简史：从模仿、创新到反哺](https://spaces.ac.cn/archives/11033) * [高中数学联赛题目和答案](https://spaces.ac.cn/archives/1382) * [简单的迅雷VIP账号获取器（Python）](https://spaces.ac.cn/archives/3594) * [用时间换取效果：Keras梯度累积优化器](https://spaces.ac.cn/archives/6794) * [函数图像旋转公式（“想当然”的教训）](https://spaces.ac.cn/archives/416) * [基于Conv1D的光谱分类模型（一维序列分类）](https://spaces.ac.cn/archives/5505) * [以自然数幂为系数的幂级数](https://spaces.ac.cn/archives/986) * [从重参数的角度看离散概率分布的构建](https://spaces.ac.cn/archives/9085) * [随机分词浅探：从Viterbi Decoding到Viterbi Sampling](https://spaces.ac.cn/archives/9768) ### 最近评论 * [yicli](https://spaces.ac.cn/archives/11664/comment-page-3#comment-29805): 苏老师好，我有两个问题想再请教一下： 1. Full AttnRes 被放弃的主要原因是训练时... * [Lindsay](https://spaces.ac.cn/archives/11854/comment-page-1#comment-29804): 这是不是也是为什么diffusion text model质量不好的原因？因为本质上break... * [Honghao](https://spaces.ac.cn/archives/11494/comment-page-1#comment-29803): 一般结论那节中“q_t=E[L(\theta_t)] - L(\theta^*)”应该是“... * [田奕哲](https://spaces.ac.cn/archives/11750/comment-page-1#comment-29802): 似乎engram与其思路有点相似 都是用hash直接通过tokenid来查询 把学习转成查表 * [Kacent](https://spaces.ac.cn/archives/10757/comment-page-3#comment-29801): 苏神好,我想请教一下. 如果b只被LossFree更新, 而不被LM head更新, 那么... * [Dr.Ink](https://spaces.ac.cn/archives/11619/comment-page-1#comment-29799): 受教、感谢苏神～ 最近做实验建立更深的理解、也在尝试一些改进，后续再向你请教 * [Honghao](https://spaces.ac.cn/archives/11875/comment-page-1#comment-29798): 感谢苏神回复！ * [苏剑林](https://spaces.ac.cn/archives/11619/comment-page-1#comment-29797): 我们对ds方案和qb做了充分对比，结论是qb更均衡，并且效果（loss和下游bmk）基本无差异... * [苏剑林](https://spaces.ac.cn/archives/10352/comment-page-2#comment-29796): 不是愿不愿意更新的问题，主要是暂时对这个方向没有什么新理解 * [苏剑林](https://spaces.ac.cn/archives/9431/comment-page-2#comment-29795): 确实，更正了，感谢反馈 ### 友情链接 * [Cool Papers](https://papers.cool) * [数学研发](https://bbs.emath.ac.cn) * [Seatop](http://www.seatop.com.cn/) * [Xiaoxia](https://xiaoxia.org/) * [积分表-网络版](https://kexue.fm/sci/integral/index.html) * [丝路博傲](http://blog.dvxj.com/) * [数学之家](http://www.2math.cn/) * [有趣天文奇观](http://interesting-sky.china-vo.org/) * [TwistedW](http://www.twistedwg.com/) * [godweiyang](https://godweiyang.com/) * [AI柠檬](https://blog.ailemon.net/) * [王登科-DK博客](https://greatdk.com) * [ESON](https://blog.eson.org/) * [枫之羽](https://fzhiy.net/) * [coding-zuo](https://coding-zuo.github.io/) * [博科园](https://www.bokeyuan.net/) * [孔皮皮的博客](https://www.kppkkp.top/) * [运鹏的博客](https://yunpengtai.top/) * [jiming.site](https://jiming.site/) * [OmegaXYZ](https://www.omegaxyz.com/) * [EAI猩球](https://www.robotech.ink/) * [文举的博客](https://liwenju0.com/) * [汇尘轩](https://kirigaya.cn/) * [申请链接](https://kexue.fm/links.html) [![署名-非商业用途-保持一致](../images/body-b2904ced8e4508d61bed.gif)](http://creativecommons.org/licenses/by-nc-nd/2.5/cn/) 本站采用创作共用版权协议，要求署名、非商业用途和保持一致。转载本站内容必须也遵循“[署名-非商业用途-保持一致](http://creativecommons.org/licenses/by-nc-nd/2.5/cn/)”的创作共用协议。 © 2009-2026 Scientific Spaces. All rights reserved. Theme by [laogui](http://www.laogui.com). Powered by [Typecho](http://typecho.org). 备案号: [粤ICP备09093259号-1/2](https://beian.miit.gov.cn/ "粤ICP备09093259号")。