保留正文与补采附件。源页面当前未重新核验；具体限制见交付清单。

Processing math: 0%

SEARCH

MENU

• 打赏
• 公式
• 天象
• 链接
• 时光
• 博览
• 归档

CATEGORIES

• 千奇百怪
• 天文探索
• 数学研究
• 物理化学
• 信息时代
• 生物自然
• 图片摄影
• 问题百科
• 生活/情感
• 资源共享

NEWPOSTS

• 慢即是快：1. Shampoo的尽...
• 排序不等式及其推广
• 让炼丹更科学一些（十）：单调性假设...
• 让炼丹更科学一些（九）：经典自适应...
• 让炼丹更科学一些（八）：多阶段训练...
• 动量的新理解：逼近特征层面的梯度下降
• 流形上的最速下降：7. Stief...
• 除了交叉熵，LM Loss还有什么选择？
• 简单谈谈K3的MoE和Attention
• 解构Scaling Law：优化、...

COMMENTS

• yicli: 苏老师好，我有两个问题想再请教一下： 1. Full Attn...
• Lindsay: 这是不是也是为什么diffusion text model质量...
• Honghao: 一般结论那节中“$q_t=E[L(\theta_t)] - L...
• 田奕哲: 似乎engram与其思路有点相似 都是用hash直接通过tok...
• Kacent: 苏神好,我想请教一下. 如果b只被LossFree更新, ...
• Dr.Ink: 受教、感谢苏神～ 最近做实验建立更深的理解、也在尝试一些改进，...
• Honghao: 感谢苏神回复！
• 苏剑林: 我们对ds方案和qb做了充分对比，结论是qb更均衡，并且效果（...
• 苏剑林: 不是愿不愿意更新的问题，主要是暂时对这个方向没有什么新理解
• 苏剑林: 确实，更正了，感谢反馈

USERLOGIN

• 登录

科学空间|Scientific Spaces

• 登录
• 打赏
• 公式
• 天象
• 链接
• 时光
• 博览
• 归档

渴望成为一个小飞侠

• 
  欢迎订阅
• 
  个性邮箱
• 
  天象信息
• 
  观测ISS
• 
  LaTeX
• 
  关于博主

欢迎访问“科学空间”，这里将与您共同探讨自然科学，回味人生百态；也期待大家的分享～

• 千奇百怪 Everything

• 天文探索 Astronomy

• 数学研究 Mathematics

• 物理化学 Phy-chem

• 信息时代 Big-Data

• 生物自然 Biology

• 图片摄影 Photograph

• 问题百科 Questions

• 生活/情感 Life-Feeling

• 资源共享 Resources

• 千奇百怪

• 天文探索

• 数学研究

• 物理化学

• 信息时代

• 生物自然

• 图片摄影

• 问题百科

• 生活/情感

• 资源共享

找不到相关内容。

你也许对下面的内容感兴趣

• 从费马大定理谈起（十）：x^3+y^3=z^3+w^3
• Transformer升级之路：5、作为无限维的线性Attention
• 预训练一下，Transformer的长序列成绩还能涨不少！
• 科学空间：2010年5月重要天象
• [2011]一睹“食”的风采
• 对比学习可以使用梯度累积吗？
• 基于CNN的阅读理解式问答模型：DGCNN
• 【NASA每日一图】甘姆星云(Gum Nebula)
• 【NASA每日一图】牧羊卫星Prometheus
• 日食当天的天气出来了

关于站长

苏剑林|BoJone ，科学空间博主，【数学、天文、理论物理、写作、阅读、计算机、中国象棋、厨房】爱好者（但不专业）......目前33岁，还在单调递增。希望能一直在此分享科学之美～ 你也许会关心：

• 科学空间|Scientific Spaces 介绍
• 科学空间QQ交流群：67729435
• 科学空间微信交流群：spaces_ac_cn
• 常见问题集：《科学空间FAQ》

智能搜索

支持整句搜索！网站自动使用结巴分词进行分词，并结合ngrams排序算法给出合理的搜索结果。

热门标签

attention 生成模型 优化 模型 语言模型 梯度 优化器 矩阵 概率 网站 转载 微分方程 分析 天象 深度学习 积分 python 几何 扩散 力学 无监督 损失函数 节日 生活 不等式

随机文章

• 除夕试拍星空星轨～
• 输入梯度惩罚与参数梯度惩罚的一个不等式
• 修改Transformer结构，设计一个更快更好的MLM模型
• “Cool Papers + 站内搜索”的一些新尝试
• 今天你食了吗？（广东云浮观测日偏食之旅）
• 变分自编码器（七）：球面上的VAE（vMF-VAE）
• 能量视角下的GAN模型（一）：GAN＝“挖坑”＋“跳坑”
• BLOG评论故障修复，部分数据丢失
• 有限素域上的乘法群是循环群
• 计算夏至的精确时刻2——提高精确度

最近评论

• yicli: 苏老师好，我有两个问题想再请教一下： 1. Full AttnRes 被放弃的主要原因是训练时...
• Lindsay: 这是不是也是为什么diffusion text model质量不好的原因？因为本质上break...
• Honghao: 一般结论那节中“q_t=E[L(\theta_t)] - L(\theta^*)”应该是“...
• 田奕哲: 似乎engram与其思路有点相似 都是用hash直接通过tokenid来查询 把学习转成查表
• Kacent: 苏神好,我想请教一下. 如果b只被LossFree更新, 而不被LM head更新, 那么...
• Dr.Ink: 受教、感谢苏神～ 最近做实验建立更深的理解、也在尝试一些改进，后续再向你请教
• Honghao: 感谢苏神回复！
• 苏剑林: 我们对ds方案和qb做了充分对比，结论是qb更均衡，并且效果（loss和下游bmk）基本无差异...
• 苏剑林: 不是愿不愿意更新的问题，主要是暂时对这个方向没有什么新理解
• 苏剑林: 确实，更正了，感谢反馈

友情链接

• Cool Papers
• 数学研发
• Seatop
• Xiaoxia
• 积分表-网络版
• 丝路博傲
• 数学之家
• 有趣天文奇观
• TwistedW
• godweiyang
• AI柠檬
• 王登科-DK博客
• ESON
• 枫之羽
• coding-zuo
• 博科园
• 孔皮皮的博客
• 运鹏的博客
• jiming.site
• OmegaXYZ
• EAI猩球
• 文举的博客
• 汇尘轩
• 申请链接

本站采用创作共用版权协议，要求署名、非商业用途和保持一致。转载本站内容必须也遵循“署名-非商业用途-保持一致”的创作共用协议。
© 2009-2026 Scientific Spaces. All rights reserved. Theme by laogui. Powered by Typecho. 备案号: 粤ICP备09093259号-1/2。