{ "source_file": "0930", "source_platform": "知乎专栏", "author": "黄文灏", "title_listed": "零一万物大模型训练方法及 Yi-Large 实践", "keywords": "大模型,训练,Yi-Large,Scaling Law", "domain": "大模型算法", "content_type": "深度技术解析", "is_paid_flag": "否", "url": "https://zhuanlan.zhihu.com/p/709900395", "publish_date": "2024", "corpus_stage": "预训练", "notes": "模型训练方法论与 Yi-Large 实践分享", "id": "91a922990954", "collected_at": "2026-10-02T18:41:21", "title": "大模型训练方法论及Yi-Large的实践 - 知乎", "body_markdown": "[![](https://zhuanlan.zhihu.com/p/709900395)](javascript:void\\(0\\))\n![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n大模型训练方法论及Yi-Large的实践\n首发于[机器学习小王子](https://www.zhihu.com/column/jackstark)\n切换模式\n# 大模型训练方法论及Yi-Large的实践\n[![黄文灏](../images/026.jpg)](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\n[黄文灏](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\nAlways Day One\n[收录于 · 机器学习小王子](https://www.zhihu.com/column/jackstark)\n191 人赞同了该文章\n智源大会之后，一直想把当时的分享以文字的形式放到知乎上。但因为拖延症一直耽搁了（起初是去[CVPR](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=CVPR&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJDVlBSIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.AqiopjU2VUmeGgHkzGl98oDaisSs0F7AgZz7kyndFfw&zhida_source=entity)开会并且在[硅谷](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E7%A1%85%E8%B0%B7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLnoYXosLciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.9iI3woi2IjU2pif-JMShvrmqUWwkrmJjmxr0g2O2thU&zhida_source=entity)待了一段时间，后面就纯粹是拖延症了）。好不容易有时间，就把这个债先还上。整个talk主要在high-level层面讨论方法论，没有太多的技术细节，大家就当看个乐子吧。在[B站](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=B%E7%AB%99&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJC56uZIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.dByZGmSq7ON0YelKiD6_LFz2nwKdf33ODedfhhI7idU&zhida_source=entity)上看到一个录屏，不愿意看文字版的可以看视频哈\n[![](../images/body-d2251e914518a28b4823.jpg)2024智源大会 零一万物 黄文灏 模型训练方法论及Yi-Large的实践_哔哩哔哩_bilibiliwww.bilibili.com/video/BV1W1421C7Uy/?spm_id_from=333.337.search-card.all.click&vd_source=44fbce8502f83641aa4c79c7ab37bcf9](https://link.zhihu.com/?target=https%3A//www.bilibili.com/video/BV1W1421C7Uy/%3Fspm_id_from%3D333.337.search-card.all.click%26vd_source%3D44fbce8502f83641aa4c79c7ab37bcf9)\n## 夸夸Yi-Large\n第一个part肯定是要夸一夸自己的模型，这里用了[LMSYS](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=LMSYS&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJMTVNZUyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.qL1HrvSMVnMuhXNp6RLuqWL6H-9QD_-L3z90kVXFjV0&zhida_source=entity)的成绩。现在处于各个benchmark都被刷爆的状态，LMSYS似乎成为了相对客观的一个评价标准。它会更接近大多数用户的真实体感评测（可能有人会觉得它和自己的体感不一致，所以这里是大多数，肯定很难和每个人的体感是一致的）：\n * 1. 由用户自己提出问题，因此题目不是静态的，理论上想进行刷题刷分是不可能的；\n * 2. 由用户在两个匿名模型回答中选择更优的一个，尽可能保证了公平性；\n * 3. 用类似天梯的[Elo](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Elo&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJFbG8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.urJVaTR0qfJ-2xP5MDqFHoQx71V1swRcZ3onu1M_Otk&zhida_source=entity)评分机制，会考虑不同水平模型间的评价区分度\n\n\n下面贴几个Yi-Large的成绩（直接用了ppt里的图都是5.21的截图，最近掉到第9了，不过应该还是国内第一，国际上也仅次于openai，[anthropic](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=anthropic&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJhbnRocm9waWMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.GGiQETwfenHcNjXR_C2u1xB2oELX6U214OWyVJ9hGIc&zhida_source=entity)和google）\n![](../images/001.jpg)\n![](../images/002.jpg)\n最近也有很多人对LMSYS有一些疑问，这里也有一个我自己一直在思考的问题，大多数用户的偏好应不应该是[模型优化](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLmqKHlnovkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.onAZjI_FaWkIEaq-m4jhdKP6m9MSiuKfBhOgHtnh_d0&zhida_source=entity)的方向？LMSYS和我们自己在实际产品中做的A/B测试有很多的相似点，在两个答案质量相似的情况下，用户会偏向于选择答案长的那个。从我个人而言，是更喜欢简洁的答案的，但如果大多数用户都喜欢长的，模型是不是就应该回答长的？\n除了LMSYS以外，让我们对自己的模型更有信心的一个signal是我们在自己的产品中对Yi-Large和[GPT4](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=GPT4&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJHUFQ0IiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.MQk6Ex6YDs8Y67F5wOX5uf5ypCtH4O1CIMDRL8w4lyA&zhida_source=entity)做了A/B测试，用户指标（留存、付费）都没有下降，对Yi-Large和GPT3.5进行A/B测试，用户指标上升20%以上。后续针对应用对模型进行了优化，与GPT4做A/B测试，用户指标均有所上升。这也许就是应用公司有能力训练自己模型的价值吧。\n这里顺道回答一下关于Yi-Large常见的问题：\n 1. LMSYS里面的Yi-Large-Preview和Yi-Large有什么区别，怎么差了20多分？Yi-Large-Preview是模型的原始版，更能反映模型的真实能力；Yi-Large是API platform上的版本，为API serving做了一些优化，牺牲了一些模型性能。这里可以期待一下下一个版本，应该比Yi-Large-Preview还能有所提升\n 2. 为什么Yi-Large的体感比较一般？零一万物之前主要市场是global market，在预训练中没有配足够的中文数据，所以很多问题中文可能答不对，用英文问就能对了。这个在下一版本中也会有比较大的提升。\n\n\n然后就进入正题吧。\n## [Scaling](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Scaling&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJTY2FsaW5nIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.bc_adeOoZSSucpnXYpFOOD5hjbC2g82xSqxcM3zDzXI&zhida_source=entity) Law\n没有找到Scaling Law的官方定义，就让Yi-Large写了一个。\n“Scaling laws in the context of machine learning, particularly in the field of deep learning and [AI](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=AI&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJBSSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.ye1rJjCrQgXMbsEWKonBTnozr7G1Oi11H2SalYD5frg&zhida_source=entity), refer to empirical relationships that describe how certain performance metrics scale with various resources, such as the amount of data, the size of the model (number of parameters), or the amount of [computational power](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=computational+power&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJjb21wdXRhdGlvbmFsIHBvd2VyIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.QUWd66YavC5ml9W3x449wiVZluc26yGl5uayvLrtCpA&zhida_source=entity). These laws are often derived from experimental results and are used to predict and guide the design of large-scale AI systems. “\n简单来说，就是资源越多，模型能力越强。这个看起来是一个很显然的事情。当模型结构固定时，肯定是消耗[算力](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E7%AE%97%E5%8A%9B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLnrpflipsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Ih6bCSSJl0J5sS3Z7g95DVTkAjImu0DBRwYwsbJcALY&zhida_source=entity)多的模型能力更强。所以很多人质疑scaling law是没有道理的，质疑仅依靠scaling law就能通向agi是有可能的。\n在过去几年，我们已经看到了大量模型能力随算力上升的例子了，随便放两张图：\n![](../images/003.jpg)\n这里要安利一下这张图的来源，situational awareness这个blog。openai前super alignment团队员工Leoplod Aschenbrener的工作，非常值得一读。\n![](../images/004.jpg)\n回到论文里Scaling Law的定义，这里被最广泛引用的文章是[OpenAI](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=OpenAI&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJPcGVuQUkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.JMZY_LhGlGyx-Y38YzXz6pjxAA-u3OI2_c0eVvpDh_Q&zhida_source=entity)的Scaling Laws for Neural Language Models（其实有更早的Scaling Law的文章，来自[百度研究院](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E7%99%BE%E5%BA%A6%E7%A0%94%E7%A9%B6%E9%99%A2&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLnmb7luqbnoJTnqbbpmaIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.g88E14jBL6PK4SqpoiHfSmOgar-TJNOsZv9GnIbGQZs&zhida_source=entity)，但这篇的认可度更高）。\n“We study **empirical scaling laws** for language model performance on the cross-entropy loss. The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude. Other [architectural](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=architectural&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJhcmNoaXRlY3R1cmFsIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.1vPI-yheArdS-EzkKGUjEVsJ9JGL2Q42g_gdpiLAB_E&zhida_source=entity) details such as network width or depth have minimal effects within a wide range. **Simple equations** govern the dependence of overfitting on model/dataset size and the dependence of training speed on model size. These relationships allow us to determine the **optimal allocation of a fixed compute budget**. Larger models are significantly more sample efficient, such that optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.“\n![](../images/005.jpg)\n为了真正理解Scaling Law，最好把这篇文章反复阅读几遍，并阅读里面的大部分引用，特别是openai之前的工作，类似critical batch size这些关键定义的前置论文。\n为了简化理解，主要记住文章中的公式1-5就可以。\n![](../images/006.jpg)\n这个公式有N多用处，这里主要讲了三个：\n首先，这个公式在形式化上对广义scaling law进行了建模，这里这有两个变量N和D，其他都是需要拟合的参数，所以N越大，Loss越小（模型能力越强）；同理，D越大，模型能力越强。\n其次，在给定compute（算力）条件下，可以根据该公式选择最优的数据和模型参数分配。这里还要用到一个简单的compute估计公式C=6ND。当给定训练flops的时候，就可以根据这两个公式得到loss最小的组合。\n![](../images/007.jpg)\n![](../images/008.jpg)\n这里常常会有人argue说llama3用了远超过8B模型所能承载的数据，是不是说明scaling law不work了。首先，最优参数估计只是在给定计算条件下的loss最优，当参数量固定，数据量上升的时候，根据scaling law，loss肯定是会更小的，只是compute变更大了（不满足compute optimal中compute固定的假设）。其次，训练compute和推理compute是不一样的概念。训练中的compute optimal，举个简单的例子，如果有4倍算力，扩两倍的数据和两倍的模型参数效果比单纯扩4倍数据要好。但推理中的compute optimal则是模型越小越好。但训练是一次性消耗，推理是长期的消耗。因此，现在的模型越来越考虑推理效率，通过[数据量](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=2&q=%E6%95%B0%E6%8D%AE%E9%87%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLmlbDmja7ph48iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.Dpm6x9qtOUXj5_9xva1kiOvyUb-Z3coI05HbrflEtJs&zhida_source=entity)来弥补模型小带来的差距，花更多的compute在训练上，来保证推理时又有好的性能又有低的成本。\n最后，是这个公式在预训练中最大的作用，预测loss。因为除了N和D之外，其他都是需要拟合的参数，我们只需要在N和D都比较小的时候无限打点，用一点点算力就可以得到一个可以预测比较大模型loss的scaling 函数了。要注意这里的loss是收敛loss，不是所有数据训练完的loss。再分享两个小tricks，1. 实践中我们的做法会固定数据来进行拟合，这样loss可比性更强；2. [拟合](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=4&q=%E6%8B%9F%E5%90%88&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLmi5_lkIgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NCwiemRfdG9rZW4iOm51bGx9.r4uzKXuVrPe6nhs1D0N2iAoWHzmhnVSF3cu6BXuZhDw&zhida_source=entity)的时候通常会做到最后要训练的模型十分之一的size，不然用特别小的模型打点拟合出来的系数放大几千倍以后容易失真。\n基于scaling law 的可预测性又可以做很多模型结构探索，训练方法探索的比较。比如大家非常关注的Mamba，RWKV，[transformer](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=transformer&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJ0cmFuc2Zvcm1lciIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.lKULMqntyrgEG3-nl3O8nGnWO-nWc2rByh2yh4OcVck&zhida_source=entity)，只要比较拟合的时候哪个系数更大，模型loss就更小，效果就更好。再比如我们做结构变化的时候，不同的normalization，不同的optimization方法都可以用scaling law拟合来比较，就不用担心小模型的结论不能推广到大模型上了，因为scaling law比较的是趋势，很多在小模型上比较好的方法由于[斜率](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E6%96%9C%E7%8E%87&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLmlpznjociLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.3TWrYrDMyj5RsKqrkbKOREWfByIxPkTQF9dIfCB91XE&zhida_source=entity)低，当模型变大就不管用了。\n## The Bitter Lesson\n对The Bitter Lesson就不用多说了，建议反复阅读，全文背诵。用一句话总结就是能有效利用[计算能力](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E8%AE%A1%E7%AE%97%E8%83%BD%E5%8A%9B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLorqHnrpfog73lipsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.RBkeejk5EkPaMqO6c48WIsT0IchjVlpnWi2mrK-tVi0&zhida_source=entity)的方法通常会有好的效果。\n![](../images/009.jpg)\n在OpenAI研究员[Jason Wei](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Jason+Wei&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJKYXNvbiBXZWkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.-PfdcWDEzQfnVZsbLqvEyspN1C7QynO8PNqqxCPn0os&zhida_source=entity)的一天工作的时间表中两次出现了和bitter lesson相关的内容。和OpenAI的很多员工交流的时候也多次提到了要全文背诵bitter lesson。\n![](../images/010.jpg)\n![](../images/011.jpg)\n这里第二条还挺有意思的，每天只花5分钟思考[算法](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E7%AE%97%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLnrpfms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ySP02zFMSlwV9Pm2zzjLScy5joEBSBLYcSEc-SfjqsY&zhida_source=entity)的改动，然后觉得算法改动比较risky，就选择更安全的scale计算和数据的方案。\n顺道分享了一个和ex-MSRA研究员讨论的斜率理论。之前的研究大多是在小算力条件下开展的，所以对一个算法，我们会更加关心算法的起点，研究的核心目标是通过各种算法、模型结构改进来提高模型的性能。在同等算力条件下，改进后的模型通常会有比较好的效果，而且扩大一些算力规模效果也都还行。但大家通常忽略了为了提高模型的起点，这些改动通常相当于给模型加入了一些prior，这些prior往往会损失算法在scale up时的斜率。当算力扩大10倍，100倍的时候，起点该来的performance gain已经远远比不上斜率带来的performance损失了。这也是为什么在scaling law时代最简单的结构往往会有更好的效果。\n![](../images/012.jpg)\n讲到这儿就可以说一些去年沸沸扬扬的[Yi-34B](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Yi-34B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJZaS0zNEIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ENMvSdIyySeyaNUw7BD-Fxya6nI6W1q6hJdB8j1gw2I&zhida_source=entity)抄袭[llama](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=2&q=llama&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJsbGFtYSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoyLCJ6ZF90b2tlbiI6bnVsbH0.rimae2SXS9Cu9MWD3wYUFT7YQyuChX0M196jm94YCQM&zhida_source=entity)的事情了。首先，先区分一下套壳（直接用llama模型改个名字），[CPT](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=CPT&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJDUFQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ELPyhkYWzE7Kz44xNc10vigTsrxmZbrFkPdu0_oDDvM&zhida_source=entity)（基于llama模型做continue pretraining）和借鉴“llama [architecture](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=architecture&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJhcmNoaXRlY3R1cmUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bWXRIFjUEoM2hoG1nhKkC1TyvsSmiamhJH47g35veqY&zhida_source=entity)”（用和llama一样的架构，用自己的数据和训练方法训练模型）。两个变量名没有改回来导致大家都以为Yi模型抄袭了llama，还故意改了名字，其实只是实验需要（谁改名字改的这么简单粗暴？），但还是要为我们开源不规范道歉。所以，Yi-34B是用自己的数据和训练方法从头开始训练的模型（这边用过的人都知道，模型参数和回答风格和llama没有半毛钱关系）。解释完这些，可以展开讨论一些借鉴“llama architecture”的事情。我自己从来不认可“llama architecture”的说法，可以看llama的paper关于“llama architecture”的部分，follow transformer结构做了三个改动：pre-[normalization](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=2&q=normalization&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJub3JtYWxpemF0aW9uIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjIsInpkX3Rva2VuIjpudWxsfQ.j_0nWG4AKfNR2wv9mx-ebRE2bz6tg_-KLQrXoao4iMY&zhida_source=entity)（from GPT3），SwiGLU（from PaLM），RoPE（from GPTneo）。也都是其他之前模型改动的组合。\n![](../images/013.jpg)\n所以，我更认同Yi Tay的观点，与其说是“llama architecture”不如说是“[Noam architecture](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Noam+architecture&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJOb2FtIGFyY2hpdGVjdHVyZSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.e1JzzcHsHAvxPLwhP08bcslRYwu0q3rjfQOWAPnjo10&zhida_source=entity)”，因为大多数改进和Noam都有关系。\n![](../images/014.jpg)\n![](../images/015.jpg)\n从Yi-34B以后，大家开源模型的时候也都统一在配置文件里面用“llama architecture”来定义模型了，比如qwen、deepseek、[mistral](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=mistral&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJtaXN0cmFsIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.mKJhRIWVBpT_zXNVwq8VIQNR1wHO7LnwJQUKm3CEDJ4&zhida_source=entity)，发现这样开发者迁移成本低，模型适配简单，也算是那次争论的一个贡献吧。\n有个非常有意思的点，关于“llama architecture”的三个改进，是不是也在模型上增加了prior。首先，[pre-normalization](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=2&q=pre-normalization&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJwcmUtbm9ybWFsaXphdGlvbiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoyLCJ6ZF90b2tlbiI6bnVsbH0.7AdKXfNjaCDSUMy8ZpwmH-XkCJKcUltgH33dt8COvUQ&zhida_source=entity)在模型变大变深的时候是不如[post-normalization](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=post-normalization&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJwb3N0LW5vcm1hbGl6YXRpb24iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.PpPPQQqPd87p1HWTtBzZPtgEln-uj9LXt3E4iouNRBk&zhida_source=entity)的，我们在训练Yi-34B之前就得到了这个结论，只是在34B的size上pre-normalization还是更好一些。然后，SwiGLU是以牺牲计算效率为代价得到的训练效率的提升，在更大size的模型上是不是依然如此不是很确定（至少我们实验的size上SwiGLUE还是更优一些）。最后，RoPE其实在现在的训练中会使用5%-10%的额外算力，因此也不是free lunch，在更大size的模型上还是会慢慢变成bottleneck的。\n最后，可以用OpenAI的研究员jbetker的blog来总结一下这部分。不同的模型结构在同样的数据上训练足够长的时间，都会收敛到相同的位置，diffusion，convnet，autoregressive都会收敛在一个点，唯一的区别是计算效率。所以模型的能力本质上和模型结构、[超参数](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E8%B6%85%E5%8F%82%E6%95%B0&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLotoXlj4LmlbAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.oJrmQvLmSprmSNQ-ez1cn2zr6IbvSLyXgjxriXo8wMc&zhida_source=entity)、优化方法都没有关系，只和数据有关，所以“[ChatGPT](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=ChatGPT&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJDaGF0R1BUIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.d8c0hhZh-Mu2hvJwwXZrr47KhsfZZz827w4pxwjBOjY&zhida_source=entity)”，“[Bard](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Bard&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJCYXJkIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.QvZCjW2cdJJC3HxytMktAOyS9LUN7bPEW001IrbZtM4&zhida_source=entity)”，“[Claude](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Claude&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJDbGF1ZGUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.9Dn98ypCydiGqIy-Co1lv5iYGOfaMLgev9xMieqP7Qg&zhida_source=entity)”这些模型名字只和他们的训练数据相关。简单地说就是，数据决定了模型的智能，算法是在优化达到收敛的效率，**因为算力有限，优化目标是单位算力下能产生的最大智能水平** 。\n![](../images/016.jpg)\n## High quality data is all you need\n上面的分析其实引出了另一个重要的topic，优化数据质量。这里用了两张Yi的tech-report里描述的我们处理训练数据的流程。实际处理中，比图上看起来要复杂地多。说实话，这样的标准流程已经成为了各个大模型公司处理数据的标准流程。随着大家越来越重视数据，大家的数据质量和模型performance也都越来越高。这里面的差距更多在每一步处理的细节，每一步的细节都是魔鬼。像llama3这种用15T token才训练出这样水平的模型，肯定是忽视了很多细节。这里顺便吹个牛，给我训练llama3.1 403B四分之一的算力，就能训练出更强的模型。另外有一个小tip是一定要让训练模型的同学亲自看数据，很多大模型公司数据团队和模型团队是分开的，这个是非常不合理的。零一在初期没有启动模型训练，都是让所有算法同学亲自看数据，每个人至少看了上万条训练语料，算法同学和数据同学一起迭代了很多个版本的数据，不断提升数据质量。这应该是Yi-34B模型比其他模型效果要好的最重要的原因。\n![](../images/017.jpg)\n谈到数据很多人都关心数据会用尽的问题，其实这个似乎不是个问题。首先，由于llm出现，现在互联网上的数据比之前要多很多；其次，有大量的[合成数据](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E5%90%88%E6%88%90%E6%95%B0%E6%8D%AE&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLlkIjmiJDmlbDmja4iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bxuff8iJVtRrGCAOi5XD-Mp6b1TJcHYiwyQNw7RmdJc&zhida_source=entity)的方法；最后，多模态数据也可以提供更多的数据源。\n关于合成数据有一个很有意思的现象，在用不同年份的数据训练llm的时候，发现最近几年的效果明显要好，原因就是这两年的数据中有大量llm生成的数据（比如知乎回答）。这是不是说明模型学习到的知识已经比平均水平的人要强了？\n![](../images/018.jpg)\n多模态数据也会是有效的数据补充，“The Platonic Representation Hypothesis”提供了一个很有趣的视角，不同模态的数据会共享表示空间。我们在多模态模型的实验中证明了，多模态数据是可以增加智能水平的，但可能不如语言数据效率那么高。比如用2T language token训练模型A，2T language token + 500B image token训练模型B，2.5T language token训练模型C，最后的performance C>B>A。\n![](../images/019.jpg)\n## Talents\n最后，讨论一些人才的问题。很多人一直以来都有一个误区大模型的核心差距在人，国内的人不如硅谷的人。但如果论智力水平、研究能力，国内的人和硅谷的差距非常小，之前大家只是缺少在大规模集群上进行分布式机器学习的经验。但随着大模型公司的投入，这方面迅速补齐以后，国内的人才和硅谷的人才其实很接近。这里可以quote deepseek的一句话“前50名顶尖人才可能不在中国，但也许我们能自己打造这样的人”。之前，国内缺少的是算法、[infra](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=infra&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJpbmZyYSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.uKwe0iGhIoyZ_gO-lgsacJ19XEmm3HCAYZ-MGjMDIkw&zhida_source=entity)、工程三位一体的人才，现在大量的new graduate，刚毕业没多久的年轻人在[llm时代](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=llm%E6%97%B6%E4%BB%A3&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJsbG3ml7bku6MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.SR4hWjof4kcOfJmudEa8FM4k1YzKOON-Z1vgqlnV6G4&zhida_source=entity)，在各个公司实习的时候经过了算法、infra、工程三位一体的培养，综合能力越来越强，可以说这一代人是AI native or [LLM](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=LLM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJMTE0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.PUQQdemSJW2IpmeXyKg0HsYjpegHsqHxHBD0huTrWEg&zhida_source=entity) native的。还有一个很重要的点是要人均[GPU](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=GPU&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJHUFUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ZAHTv0_bFHuw4__fDVULmN-Fml2zh2pJgzVfdycMEZ4&zhida_source=entity)数量，零一一直没有扩大算法团队的规模，就是未来保证每个算法同学能有超过1000张卡的使用量，这样才能保证研究顺利开展。\n## 写在最后\n上面的分享更多是对上一阶段LLM工作的一个总结吧，在未来的工作中也不一定适用。随着技术的发展，很多模型上的low hanging fruits已经被摘的差不多了，比如数据数量、数据质量、合成数据。我自己最近有特别强的feeling已经到了要去take比较大的risk做fundamental算法研究的时候了。上一个阶段更多的是工程能力的红利，下一阶段可能比拼更多的是研究和工程结合的红利了吧。某种意义上说，现在已经是agi的雏形了，scaling law也必然能实现agi，但效率不一定特别高，fundamental research可能能探索出一条效率更高的实现AGI甚至是super intelligence的路径。\n发布于 2024-07-26 06:39・北京\n[LLM](https://www.zhihu.com/topic/20660508)\n[AGI](https://www.zhihu.com/topic/20650106)\n​赞同 191​​12 条评论​193 ​7 \n​分享\n​申请转载​\n​\n![](../images/body-7e064b35ba4350074989.jpeg)\n未登录用户\n \n\n12 条评论\n默认\n最新\n[![YinongLong](../images/020.jpg)](https://www.zhihu.com/people/944590142e8512bf96fc8db4d1a7af11)\n[YinongLong](https://www.zhihu.com/people/944590142e8512bf96fc8db4d1a7af11)\n“保证每个算法同学能有超过1000张卡的使用量”，只能说一句羡慕！\n2024-07-26 · 陕西\n​回复​11\n展开其他 2 条回复​\n[![233](../images/021.jpg)](https://www.zhihu.com/people/de55655c466549f343ad2f175e593b9d)\n[233](https://www.zhihu.com/people/de55655c466549f343ad2f175e593b9d)\n​![](../images/body-ddf414f04793a667b2c1.png)![](../images/body-7d2c94d1d2f7b6b0ac4b.jpg)\n早就被DeepSeek 0628超啦，给点力啊![\\[拜托\\]](https://pic2.zhimg.com/v2-3e36d546a9454c8964fbc218f0db1ff8.png)\n2024-07-26 · 北京\n​回复​4\n展开其他 1 条回复​\n[![须臾](../images/022.jpg)](https://www.zhihu.com/people/b07c254d63aac5b9dc602b3b0167252f)\n[须臾](https://www.zhihu.com/people/b07c254d63aac5b9dc602b3b0167252f)\n请教下文中关于scaling law的问题： \n1. \"在N和D都比较小的时候无限打点\"，这句话不是很理解，如何做到“无限打点”呢？按理说训练曲线中间的点是不能使用的，比如7B模型，两次实验总训练量分别设置为1T（记为实验A）和2T（记为实验B），那么我理解只能得到两个点（7B，1T，loss1）、（7B，2T，loss2）。实验B训练到1T的中间结果是不能用的。 \n2. “要注意这里的loss是收敛loss，不是所有数据训练完的loss”。根据scaling law，数据量越大loss越低，那么如何理解这里的“收敛loss”呢？\n2024-07-26 · 北京\n​回复​4\n展开其他 1 条回复​\n[![悟风](../images/023.jpg)](https://www.zhihu.com/people/6f360d8cdb838b397366323054cc2468)\n[悟风](https://www.zhihu.com/people/6f360d8cdb838b397366323054cc2468)\n虽然，但是，你不是去字节了么![\\[捂脸\\]](https://pic1.zhimg.com/v2-b62e608e405aeb33cd52830218f561ea.png)\n2024-08-25 · 北京\n​回复​3\n展开其他 2 条回复​\n[![职场红娘-邓小勋](../images/024.jpg)](https://www.zhihu.com/people/4a2e33d5fd858ef63627b708d55be2a6)\n[职场红娘-邓小勋](https://www.zhihu.com/people/4a2e33d5fd858ef63627b708d55be2a6)\n借楼，我是聚焦在互联网行业的猎头顾问，搜推广，大模型，有想聊聊行情或者看机会的朋友欢迎私聊![\\[大笑\\]](https://pic1.zhimg.com/v2-3ac403672728e5e91f5b2d3c095e415a.png)\n2024-10-21 · 辽宁\n​回复​喜欢\n[![刘东泽](../images/025.jpg)](https://www.zhihu.com/people/7001619c7df5c40579ddf72ebd30a902)\n[刘东泽](https://www.zhihu.com/people/7001619c7df5c40579ddf72ebd30a902)\ntake比较大的risk做fundamental算法 这块有什么具体的落地案例吗？\n2024-08-31 · 广东\n​回复​喜欢\n![](../images/body-7e064b35ba4350074989.jpeg)\n未登录用户\n \n\n关于作者\n[![黄文灏](../images/026.jpg)](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\n[黄文灏](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\nAlways Day One\n[ 回答 **31** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/answers)[ 文章 **14** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/posts)[ 关注者 **12,520** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)\n[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)\n### 推荐阅读\n[ ![Large Reasoning Model: 让语言模型学会推理](../images/028.jpg)Large Reasoning Model: 让语言模型学会推理 邓侃发表于云计算大数... ](https://zhuanlan.zhihu.com/p/1915555719203233900)# [解密大语言模型中的长链推理 论文标题：Demystifying Long Chain-of-Thought Reasoning in LLMs 论文链接： https://arxiv.org/pdf/2502.03373GitHub： https://github.com/eddycmu/demystify-long-cot概述在大规模语言… 大家好我是...发表于机器学习小... ](https://zhuanlan.zhihu.com/p/21753656725)[ ![Logic-RL：基于规则强化学习的大语言模型推理能力突破](../images/030.jpg)Logic-RL：基于规则强化学习的大语言模型推理能力突破 北方的郎发表于北方的郎 ](https://zhuanlan.zhihu.com/p/26480918542)# [NeurIPS 2024 (Oral) | 如何量化与提升思维链的推理能力边界？ AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作… 机器之心发表于机器之心 ](https://zhuanlan.zhihu.com/p/6049137838) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](../images/body-0f9788d006ab0f4da762.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n", "metadata": { "title": "大模型训练方法论及Yi-Large的实践 - 知乎", "description": "智源大会之后，一直想把当时的分享以文字的形式放到知乎上。但因为拖延症一直耽搁了（起初是去CVPR开会并且在硅谷待了一段时间，后面就纯粹是拖延症了）。好不容易有时间，就把这个债先还上。整个talk主要在high-l…", "keywords": "LLM,AGI", "author": null, "og:title": "大模型训练方法论及Yi-Large的实践", "og:url": "https://zhuanlan.zhihu.com/p/709900395", "og:description": "智源大会之后，一直想把当时的分享以文字的形式放到知乎上。但因为拖延症一直耽搁了（起初是去CVPR开会并且在硅谷待了一段时间，后面就纯粹是拖延症了）。好不容易有时间，就把这个债先还上。整个talk主要在high-l…", "og:type": "article", "og:site_name": "知乎专栏" }, "paywall": { "listed_paid": false, "detected": false, "marker": "", "public_only": false, "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙" }, "crawl": { "success": true, "status_code": 200, "error": "" }, "code_blocks": [], "images": [ { "status": "http_403", "url": "https://zhuanlan.zhihu.com/p/709900395", "src": "https://zhuanlan.zhihu.com/p/709900395", "alt": "", "downloaded": false, "discovery": "saved_markdown", "retried_at": "2026-10-20T17:42:15Z" } ], "audio": [], "videos": [ { "src": "https://link.zhihu.com/?target=https%3A//www.bilibili.com/video/BV1W1421C7Uy/%3Fspm_id_from%3D333.337.search-card.all.click%26vd_source%3D44fbce8502f83641aa4c79c7ab37bcf9", "quality": "unavailable", "local_path": "", "note": "无1080p且无720p，未交付更低清晰度", "url": "https://link.zhihu.com/?target=https%3A//www.bilibili.com/video/BV1W1421C7Uy/%3Fspm_id_from%3D333.337.search-card.all.click%26vd_source%3D44fbce8502f83641aa4c79c7ab37bcf9", "title": "", "status": "download_failed", "error": "WARNING: [generic] Falling back on generic information extractor\nERROR: Unsupported URL: https://link.zhihu.com/?target=https%3A//www.bilibili.com/video/BV1W1421C7Uy/%3Fspm_id_from%3D333.337.search-card.all.click%26vd_source%3D44fbce8502f83641aa4c79c7ab37bcf9\n", "retried_at": "2026-10-20T22:23:41Z" } ], "links": [ { "type": "internal", "href": "https://www.zhihu.com" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Ffollow" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2F" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fhot" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fcolumn-square" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fring-feeds" }, { "type": "internal", "href": "https://www.zhihu.com/project-square" }, { "type": "internal", "href": "https://www.zhihu.com/fiore/h5/vip-web" }, { "type": "internal", "href": "https://zhida.zhihu.com/" }, { "type": "internal", "href": "https://www.zhihu.com/column/jackstark" }, { "type": "internal", "href": "https://www.zhihu.com/people/huang-xian-sheng-84-62-45" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=CVPR&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJDVlBSIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.AqiopjU2VUmeGgHkzGl98oDaisSs0F7AgZz7kyndFfw&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E7%A1%85%E8%B0%B7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLnoYXosLciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.9iI3woi2IjU2pif-JMShvrmqUWwkrmJjmxr0g2O2thU&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=B%E7%AB%99&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJC56uZIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.dByZGmSq7ON0YelKiD6_LFz2nwKdf33ODedfhhI7idU&zhida_source=entity" }, { "type": "internal", "href": "https://link.zhihu.com/?target=https%3A%2F%2Fwww.bilibili.com%2Fvideo%2FBV1W1421C7Uy%2F%3Fspm_id_from%3D333.337.search-card.all.click%26vd_source%3D44fbce8502f83641aa4c79c7ab37bcf9" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=LMSYS&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJMTVNZUyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.qL1HrvSMVnMuhXNp6RLuqWL6H-9QD_-L3z90kVXFjV0&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Elo&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJFbG8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.urJVaTR0qfJ-2xP5MDqFHoQx71V1swRcZ3onu1M_Otk&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=anthropic&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJhbnRocm9waWMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.GGiQETwfenHcNjXR_C2u1xB2oELX6U214OWyVJ9hGIc&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLmqKHlnovkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.onAZjI_FaWkIEaq-m4jhdKP6m9MSiuKfBhOgHtnh_d0&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=GPT4&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJHUFQ0IiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.MQk6Ex6YDs8Y67F5wOX5uf5ypCtH4O1CIMDRL8w4lyA&zhida_source=entity" }, { "type": "external", "href": "javascript:void(0)" } ], "repair_version": 2, "repaired_at": "2026-10-20T17:25:29Z", "source_url": "https://zhuanlan.zhihu.com/p/709900395", "delivery_status": "unverified", "discovery_status": "http_403", "missing_reason": "源页面未重新核验:http_403；已按保留正文补采图片", "repair_error": "", "actual_video_files": [], "expected_saved_body_images": 1, "image_discovery": "saved_markdown", "source_body_markdown": "[![](https://zhuanlan.zhihu.com/p/709900395)](javascript:void\\(0\\))\n![ZhiHu logo](https://static.zhihu.com/heifetz/assets/wechat-share-logo.39ea9ecd.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n大模型训练方法论及Yi-Large的实践\n首发于[机器学习小王子](https://www.zhihu.com/column/jackstark)\n切换模式\n# 大模型训练方法论及Yi-Large的实践\n[![黄文灏](https://pic1.zhimg.com/v2-96b8a00963d54166fb9909e2b317f75b_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\n[黄文灏](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\nAlways Day One\n[收录于 · 机器学习小王子](https://www.zhihu.com/column/jackstark)\n191 人赞同了该文章\n智源大会之后，一直想把当时的分享以文字的形式放到知乎上。但因为拖延症一直耽搁了（起初是去[CVPR](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=CVPR&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJDVlBSIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.AqiopjU2VUmeGgHkzGl98oDaisSs0F7AgZz7kyndFfw&zhida_source=entity)开会并且在[硅谷](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E7%A1%85%E8%B0%B7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLnoYXosLciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.9iI3woi2IjU2pif-JMShvrmqUWwkrmJjmxr0g2O2thU&zhida_source=entity)待了一段时间，后面就纯粹是拖延症了）。好不容易有时间，就把这个债先还上。整个talk主要在high-level层面讨论方法论，没有太多的技术细节，大家就当看个乐子吧。在[B站](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=B%E7%AB%99&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJC56uZIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.dByZGmSq7ON0YelKiD6_LFz2nwKdf33ODedfhhI7idU&zhida_source=entity)上看到一个录屏，不愿意看文字版的可以看视频哈\n[![](https://pica.zhimg.com/v2-3807ab1a259df0c181f140c45e488eb8_ipico.jpg)2024智源大会 零一万物 黄文灏 模型训练方法论及Yi-Large的实践_哔哩哔哩_bilibiliwww.bilibili.com/video/BV1W1421C7Uy/?spm_id_from=333.337.search-card.all.click&vd_source=44fbce8502f83641aa4c79c7ab37bcf9](https://link.zhihu.com/?target=https%3A//www.bilibili.com/video/BV1W1421C7Uy/%3Fspm_id_from%3D333.337.search-card.all.click%26vd_source%3D44fbce8502f83641aa4c79c7ab37bcf9)\n## 夸夸Yi-Large\n第一个part肯定是要夸一夸自己的模型，这里用了[LMSYS](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=LMSYS&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJMTVNZUyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.qL1HrvSMVnMuhXNp6RLuqWL6H-9QD_-L3z90kVXFjV0&zhida_source=entity)的成绩。现在处于各个benchmark都被刷爆的状态，LMSYS似乎成为了相对客观的一个评价标准。它会更接近大多数用户的真实体感评测（可能有人会觉得它和自己的体感不一致，所以这里是大多数，肯定很难和每个人的体感是一致的）：\n * 1. 由用户自己提出问题，因此题目不是静态的，理论上想进行刷题刷分是不可能的；\n * 2. 由用户在两个匿名模型回答中选择更优的一个，尽可能保证了公平性；\n * 3. 用类似天梯的[Elo](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Elo&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJFbG8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.urJVaTR0qfJ-2xP5MDqFHoQx71V1swRcZ3onu1M_Otk&zhida_source=entity)评分机制，会考虑不同水平模型间的评价区分度\n\n\n下面贴几个Yi-Large的成绩（直接用了ppt里的图都是5.21的截图，最近掉到第9了，不过应该还是国内第一，国际上也仅次于openai，[anthropic](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=anthropic&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJhbnRocm9waWMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.GGiQETwfenHcNjXR_C2u1xB2oELX6U214OWyVJ9hGIc&zhida_source=entity)和google）\n![](https://pic4.zhimg.com/v2-198813ad577a2d42730921cc3a0166cb_1440w.jpg)\n![](https://pic2.zhimg.com/v2-22f9b306ca6e1371a5022196911238b1_1440w.jpg)\n最近也有很多人对LMSYS有一些疑问，这里也有一个我自己一直在思考的问题，大多数用户的偏好应不应该是[模型优化](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLmqKHlnovkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.onAZjI_FaWkIEaq-m4jhdKP6m9MSiuKfBhOgHtnh_d0&zhida_source=entity)的方向？LMSYS和我们自己在实际产品中做的A/B测试有很多的相似点，在两个答案质量相似的情况下，用户会偏向于选择答案长的那个。从我个人而言，是更喜欢简洁的答案的，但如果大多数用户都喜欢长的，模型是不是就应该回答长的？\n除了LMSYS以外，让我们对自己的模型更有信心的一个signal是我们在自己的产品中对Yi-Large和[GPT4](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=GPT4&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJHUFQ0IiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.MQk6Ex6YDs8Y67F5wOX5uf5ypCtH4O1CIMDRL8w4lyA&zhida_source=entity)做了A/B测试，用户指标（留存、付费）都没有下降，对Yi-Large和GPT3.5进行A/B测试，用户指标上升20%以上。后续针对应用对模型进行了优化，与GPT4做A/B测试，用户指标均有所上升。这也许就是应用公司有能力训练自己模型的价值吧。\n这里顺道回答一下关于Yi-Large常见的问题：\n 1. LMSYS里面的Yi-Large-Preview和Yi-Large有什么区别，怎么差了20多分？Yi-Large-Preview是模型的原始版，更能反映模型的真实能力；Yi-Large是API platform上的版本，为API serving做了一些优化，牺牲了一些模型性能。这里可以期待一下下一个版本，应该比Yi-Large-Preview还能有所提升\n 2. 为什么Yi-Large的体感比较一般？零一万物之前主要市场是global market，在预训练中没有配足够的中文数据，所以很多问题中文可能答不对，用英文问就能对了。这个在下一版本中也会有比较大的提升。\n\n\n然后就进入正题吧。\n## [Scaling](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Scaling&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJTY2FsaW5nIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.bc_adeOoZSSucpnXYpFOOD5hjbC2g82xSqxcM3zDzXI&zhida_source=entity) Law\n没有找到Scaling Law的官方定义，就让Yi-Large写了一个。\n“Scaling laws in the context of machine learning, particularly in the field of deep learning and [AI](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=AI&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJBSSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.ye1rJjCrQgXMbsEWKonBTnozr7G1Oi11H2SalYD5frg&zhida_source=entity), refer to empirical relationships that describe how certain performance metrics scale with various resources, such as the amount of data, the size of the model (number of parameters), or the amount of [computational power](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=computational+power&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJjb21wdXRhdGlvbmFsIHBvd2VyIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.QUWd66YavC5ml9W3x449wiVZluc26yGl5uayvLrtCpA&zhida_source=entity). These laws are often derived from experimental results and are used to predict and guide the design of large-scale AI systems. “\n简单来说，就是资源越多，模型能力越强。这个看起来是一个很显然的事情。当模型结构固定时，肯定是消耗[算力](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E7%AE%97%E5%8A%9B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLnrpflipsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Ih6bCSSJl0J5sS3Z7g95DVTkAjImu0DBRwYwsbJcALY&zhida_source=entity)多的模型能力更强。所以很多人质疑scaling law是没有道理的，质疑仅依靠scaling law就能通向agi是有可能的。\n在过去几年，我们已经看到了大量模型能力随算力上升的例子了，随便放两张图：\n![](https://pic4.zhimg.com/v2-689bae81c006f796aba258dcffc62691_1440w.jpg)\n这里要安利一下这张图的来源，situational awareness这个blog。openai前super alignment团队员工Leoplod Aschenbrener的工作，非常值得一读。\n![](https://pic4.zhimg.com/v2-18d7f84b4fdbc121b29dc9df66743a19_1440w.jpg)\n回到论文里Scaling Law的定义，这里被最广泛引用的文章是[OpenAI](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=OpenAI&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJPcGVuQUkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.JMZY_LhGlGyx-Y38YzXz6pjxAA-u3OI2_c0eVvpDh_Q&zhida_source=entity)的Scaling Laws for Neural Language Models（其实有更早的Scaling Law的文章，来自[百度研究院](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E7%99%BE%E5%BA%A6%E7%A0%94%E7%A9%B6%E9%99%A2&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLnmb7luqbnoJTnqbbpmaIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.g88E14jBL6PK4SqpoiHfSmOgar-TJNOsZv9GnIbGQZs&zhida_source=entity)，但这篇的认可度更高）。\n“We study **empirical scaling laws** for language model performance on the cross-entropy loss. The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude. Other [architectural](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=architectural&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJhcmNoaXRlY3R1cmFsIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.1vPI-yheArdS-EzkKGUjEVsJ9JGL2Q42g_gdpiLAB_E&zhida_source=entity) details such as network width or depth have minimal effects within a wide range. **Simple equations** govern the dependence of overfitting on model/dataset size and the dependence of training speed on model size. These relationships allow us to determine the **optimal allocation of a fixed compute budget**. Larger models are significantly more sample efficient, such that optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.“\n![](https://pic3.zhimg.com/v2-7334982b0dcc868f0698d8a26e2ed074_1440w.jpg)\n为了真正理解Scaling Law，最好把这篇文章反复阅读几遍，并阅读里面的大部分引用，特别是openai之前的工作，类似critical batch size这些关键定义的前置论文。\n为了简化理解，主要记住文章中的公式1-5就可以。\n![](https://pic1.zhimg.com/v2-1944b647fa1f47fa5d7fb8f1c00338dc_1440w.jpg)\n这个公式有N多用处，这里主要讲了三个：\n首先，这个公式在形式化上对广义scaling law进行了建模，这里这有两个变量N和D，其他都是需要拟合的参数，所以N越大，Loss越小（模型能力越强）；同理，D越大，模型能力越强。\n其次，在给定compute（算力）条件下，可以根据该公式选择最优的数据和模型参数分配。这里还要用到一个简单的compute估计公式C=6ND。当给定训练flops的时候，就可以根据这两个公式得到loss最小的组合。\n![](https://pica.zhimg.com/v2-89acdc7dd98256c681d03b3f7da3bd52_1440w.jpg)\n![](https://pic2.zhimg.com/v2-c15ec76a72d4211659455b1435a80bed_1440w.jpg)\n这里常常会有人argue说llama3用了远超过8B模型所能承载的数据，是不是说明scaling law不work了。首先，最优参数估计只是在给定计算条件下的loss最优，当参数量固定，数据量上升的时候，根据scaling law，loss肯定是会更小的，只是compute变更大了（不满足compute optimal中compute固定的假设）。其次，训练compute和推理compute是不一样的概念。训练中的compute optimal，举个简单的例子，如果有4倍算力，扩两倍的数据和两倍的模型参数效果比单纯扩4倍数据要好。但推理中的compute optimal则是模型越小越好。但训练是一次性消耗，推理是长期的消耗。因此，现在的模型越来越考虑推理效率，通过[数据量](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=2&q=%E6%95%B0%E6%8D%AE%E9%87%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLmlbDmja7ph48iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.Dpm6x9qtOUXj5_9xva1kiOvyUb-Z3coI05HbrflEtJs&zhida_source=entity)来弥补模型小带来的差距，花更多的compute在训练上，来保证推理时又有好的性能又有低的成本。\n最后，是这个公式在预训练中最大的作用，预测loss。因为除了N和D之外，其他都是需要拟合的参数，我们只需要在N和D都比较小的时候无限打点，用一点点算力就可以得到一个可以预测比较大模型loss的scaling 函数了。要注意这里的loss是收敛loss，不是所有数据训练完的loss。再分享两个小tricks，1. 实践中我们的做法会固定数据来进行拟合，这样loss可比性更强；2. [拟合](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=4&q=%E6%8B%9F%E5%90%88&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLmi5_lkIgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NCwiemRfdG9rZW4iOm51bGx9.r4uzKXuVrPe6nhs1D0N2iAoWHzmhnVSF3cu6BXuZhDw&zhida_source=entity)的时候通常会做到最后要训练的模型十分之一的size，不然用特别小的模型打点拟合出来的系数放大几千倍以后容易失真。\n基于scaling law 的可预测性又可以做很多模型结构探索，训练方法探索的比较。比如大家非常关注的Mamba，RWKV，[transformer](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=transformer&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJ0cmFuc2Zvcm1lciIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.lKULMqntyrgEG3-nl3O8nGnWO-nWc2rByh2yh4OcVck&zhida_source=entity)，只要比较拟合的时候哪个系数更大，模型loss就更小，效果就更好。再比如我们做结构变化的时候，不同的normalization，不同的optimization方法都可以用scaling law拟合来比较，就不用担心小模型的结论不能推广到大模型上了，因为scaling law比较的是趋势，很多在小模型上比较好的方法由于[斜率](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E6%96%9C%E7%8E%87&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLmlpznjociLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.3TWrYrDMyj5RsKqrkbKOREWfByIxPkTQF9dIfCB91XE&zhida_source=entity)低，当模型变大就不管用了。\n## The Bitter Lesson\n对The Bitter Lesson就不用多说了，建议反复阅读，全文背诵。用一句话总结就是能有效利用[计算能力](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E8%AE%A1%E7%AE%97%E8%83%BD%E5%8A%9B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLorqHnrpfog73lipsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.RBkeejk5EkPaMqO6c48WIsT0IchjVlpnWi2mrK-tVi0&zhida_source=entity)的方法通常会有好的效果。\n![](https://pic4.zhimg.com/v2-94aeee1788161f17f7fb0cfbbf318555_1440w.jpg)\n在OpenAI研究员[Jason Wei](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Jason+Wei&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJKYXNvbiBXZWkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.-PfdcWDEzQfnVZsbLqvEyspN1C7QynO8PNqqxCPn0os&zhida_source=entity)的一天工作的时间表中两次出现了和bitter lesson相关的内容。和OpenAI的很多员工交流的时候也多次提到了要全文背诵bitter lesson。\n![](https://pic2.zhimg.com/v2-603fdb8f22deab60a448b7895d1319e1_1440w.jpg)\n![](https://pic2.zhimg.com/v2-c0ff225dfbb132a6b2af8b25a43a9771_1440w.jpg)\n这里第二条还挺有意思的，每天只花5分钟思考[算法](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E7%AE%97%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLnrpfms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ySP02zFMSlwV9Pm2zzjLScy5joEBSBLYcSEc-SfjqsY&zhida_source=entity)的改动，然后觉得算法改动比较risky，就选择更安全的scale计算和数据的方案。\n顺道分享了一个和ex-MSRA研究员讨论的斜率理论。之前的研究大多是在小算力条件下开展的，所以对一个算法，我们会更加关心算法的起点，研究的核心目标是通过各种算法、模型结构改进来提高模型的性能。在同等算力条件下，改进后的模型通常会有比较好的效果，而且扩大一些算力规模效果也都还行。但大家通常忽略了为了提高模型的起点，这些改动通常相当于给模型加入了一些prior，这些prior往往会损失算法在scale up时的斜率。当算力扩大10倍，100倍的时候，起点该来的performance gain已经远远比不上斜率带来的performance损失了。这也是为什么在scaling law时代最简单的结构往往会有更好的效果。\n![](https://pic2.zhimg.com/v2-1ff540c35d754e6c5f68d6c5f15f05e9_1440w.jpg)\n讲到这儿就可以说一些去年沸沸扬扬的[Yi-34B](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Yi-34B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJZaS0zNEIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ENMvSdIyySeyaNUw7BD-Fxya6nI6W1q6hJdB8j1gw2I&zhida_source=entity)抄袭[llama](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=2&q=llama&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJsbGFtYSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoyLCJ6ZF90b2tlbiI6bnVsbH0.rimae2SXS9Cu9MWD3wYUFT7YQyuChX0M196jm94YCQM&zhida_source=entity)的事情了。首先，先区分一下套壳（直接用llama模型改个名字），[CPT](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=CPT&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJDUFQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ELPyhkYWzE7Kz44xNc10vigTsrxmZbrFkPdu0_oDDvM&zhida_source=entity)（基于llama模型做continue pretraining）和借鉴“llama [architecture](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=architecture&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJhcmNoaXRlY3R1cmUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bWXRIFjUEoM2hoG1nhKkC1TyvsSmiamhJH47g35veqY&zhida_source=entity)”（用和llama一样的架构，用自己的数据和训练方法训练模型）。两个变量名没有改回来导致大家都以为Yi模型抄袭了llama，还故意改了名字，其实只是实验需要（谁改名字改的这么简单粗暴？），但还是要为我们开源不规范道歉。所以，Yi-34B是用自己的数据和训练方法从头开始训练的模型（这边用过的人都知道，模型参数和回答风格和llama没有半毛钱关系）。解释完这些，可以展开讨论一些借鉴“llama architecture”的事情。我自己从来不认可“llama architecture”的说法，可以看llama的paper关于“llama architecture”的部分，follow transformer结构做了三个改动：pre-[normalization](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=2&q=normalization&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJub3JtYWxpemF0aW9uIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjIsInpkX3Rva2VuIjpudWxsfQ.j_0nWG4AKfNR2wv9mx-ebRE2bz6tg_-KLQrXoao4iMY&zhida_source=entity)（from GPT3），SwiGLU（from PaLM），RoPE（from GPTneo）。也都是其他之前模型改动的组合。\n![](https://pic3.zhimg.com/v2-8ea05495a704498368c018f146df1fd0_1440w.jpg)\n所以，我更认同Yi Tay的观点，与其说是“llama architecture”不如说是“[Noam architecture](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Noam+architecture&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJOb2FtIGFyY2hpdGVjdHVyZSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.e1JzzcHsHAvxPLwhP08bcslRYwu0q3rjfQOWAPnjo10&zhida_source=entity)”，因为大多数改进和Noam都有关系。\n![](https://picx.zhimg.com/v2-2ff5a5774c964240c7c958afea327587_1440w.jpg)\n![](https://pic3.zhimg.com/v2-4d7a937183fda4ebc54d2376c731d372_1440w.jpg)\n从Yi-34B以后，大家开源模型的时候也都统一在配置文件里面用“llama architecture”来定义模型了，比如qwen、deepseek、[mistral](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=mistral&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJtaXN0cmFsIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.mKJhRIWVBpT_zXNVwq8VIQNR1wHO7LnwJQUKm3CEDJ4&zhida_source=entity)，发现这样开发者迁移成本低，模型适配简单，也算是那次争论的一个贡献吧。\n有个非常有意思的点，关于“llama architecture”的三个改进，是不是也在模型上增加了prior。首先，[pre-normalization](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=2&q=pre-normalization&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJwcmUtbm9ybWFsaXphdGlvbiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoyLCJ6ZF90b2tlbiI6bnVsbH0.7AdKXfNjaCDSUMy8ZpwmH-XkCJKcUltgH33dt8COvUQ&zhida_source=entity)在模型变大变深的时候是不如[post-normalization](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=post-normalization&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJwb3N0LW5vcm1hbGl6YXRpb24iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.PpPPQQqPd87p1HWTtBzZPtgEln-uj9LXt3E4iouNRBk&zhida_source=entity)的，我们在训练Yi-34B之前就得到了这个结论，只是在34B的size上pre-normalization还是更好一些。然后，SwiGLU是以牺牲计算效率为代价得到的训练效率的提升，在更大size的模型上是不是依然如此不是很确定（至少我们实验的size上SwiGLUE还是更优一些）。最后，RoPE其实在现在的训练中会使用5%-10%的额外算力，因此也不是free lunch，在更大size的模型上还是会慢慢变成bottleneck的。\n最后，可以用OpenAI的研究员jbetker的blog来总结一下这部分。不同的模型结构在同样的数据上训练足够长的时间，都会收敛到相同的位置，diffusion，convnet，autoregressive都会收敛在一个点，唯一的区别是计算效率。所以模型的能力本质上和模型结构、[超参数](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E8%B6%85%E5%8F%82%E6%95%B0&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLotoXlj4LmlbAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.oJrmQvLmSprmSNQ-ez1cn2zr6IbvSLyXgjxriXo8wMc&zhida_source=entity)、优化方法都没有关系，只和数据有关，所以“[ChatGPT](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=ChatGPT&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJDaGF0R1BUIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.d8c0hhZh-Mu2hvJwwXZrr47KhsfZZz827w4pxwjBOjY&zhida_source=entity)”，“[Bard](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Bard&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJCYXJkIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjQ1ODg3Mjk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.QvZCjW2cdJJC3HxytMktAOyS9LUN7bPEW001IrbZtM4&zhida_source=entity)”，“[Claude](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=Claude&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJDbGF1ZGUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.9Dn98ypCydiGqIy-Co1lv5iYGOfaMLgev9xMieqP7Qg&zhida_source=entity)”这些模型名字只和他们的训练数据相关。简单地说就是，数据决定了模型的智能，算法是在优化达到收敛的效率，**因为算力有限，优化目标是单位算力下能产生的最大智能水平** 。\n![](https://pic4.zhimg.com/v2-19d500929ee0e318ec9ae6074d8b5785_1440w.jpg)\n## High quality data is all you need\n上面的分析其实引出了另一个重要的topic，优化数据质量。这里用了两张Yi的tech-report里描述的我们处理训练数据的流程。实际处理中，比图上看起来要复杂地多。说实话，这样的标准流程已经成为了各个大模型公司处理数据的标准流程。随着大家越来越重视数据，大家的数据质量和模型performance也都越来越高。这里面的差距更多在每一步处理的细节，每一步的细节都是魔鬼。像llama3这种用15T token才训练出这样水平的模型，肯定是忽视了很多细节。这里顺便吹个牛，给我训练llama3.1 403B四分之一的算力，就能训练出更强的模型。另外有一个小tip是一定要让训练模型的同学亲自看数据，很多大模型公司数据团队和模型团队是分开的，这个是非常不合理的。零一在初期没有启动模型训练，都是让所有算法同学亲自看数据，每个人至少看了上万条训练语料，算法同学和数据同学一起迭代了很多个版本的数据，不断提升数据质量。这应该是Yi-34B模型比其他模型效果要好的最重要的原因。\n![](https://pic1.zhimg.com/v2-e96433eb1dcd6e46eb007ad72501e93c_1440w.jpg)\n谈到数据很多人都关心数据会用尽的问题，其实这个似乎不是个问题。首先，由于llm出现，现在互联网上的数据比之前要多很多；其次，有大量的[合成数据](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=%E5%90%88%E6%88%90%E6%95%B0%E6%8D%AE&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiLlkIjmiJDmlbDmja4iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bxuff8iJVtRrGCAOi5XD-Mp6b1TJcHYiwyQNw7RmdJc&zhida_source=entity)的方法；最后，多模态数据也可以提供更多的数据源。\n关于合成数据有一个很有意思的现象，在用不同年份的数据训练llm的时候，发现最近几年的效果明显要好，原因就是这两年的数据中有大量llm生成的数据（比如知乎回答）。这是不是说明模型学习到的知识已经比平均水平的人要强了？\n![](https://picx.zhimg.com/v2-7593db359266146467468b95489c8ecd_1440w.jpg)\n多模态数据也会是有效的数据补充，“The Platonic Representation Hypothesis”提供了一个很有趣的视角，不同模态的数据会共享表示空间。我们在多模态模型的实验中证明了，多模态数据是可以增加智能水平的，但可能不如语言数据效率那么高。比如用2T language token训练模型A，2T language token + 500B image token训练模型B，2.5T language token训练模型C，最后的performance C>B>A。\n![](https://pica.zhimg.com/v2-5cae6763d7cb65e9923c150f6b400604_1440w.jpg)\n## Talents\n最后，讨论一些人才的问题。很多人一直以来都有一个误区大模型的核心差距在人，国内的人不如硅谷的人。但如果论智力水平、研究能力，国内的人和硅谷的差距非常小，之前大家只是缺少在大规模集群上进行分布式机器学习的经验。但随着大模型公司的投入，这方面迅速补齐以后，国内的人才和硅谷的人才其实很接近。这里可以quote deepseek的一句话“前50名顶尖人才可能不在中国，但也许我们能自己打造这样的人”。之前，国内缺少的是算法、[infra](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=infra&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJpbmZyYSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI0NTg4NzI5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.uKwe0iGhIoyZ_gO-lgsacJ19XEmm3HCAYZ-MGjMDIkw&zhida_source=entity)、工程三位一体的人才，现在大量的new graduate，刚毕业没多久的年轻人在[llm时代](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=llm%E6%97%B6%E4%BB%A3&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJsbG3ml7bku6MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.SR4hWjof4kcOfJmudEa8FM4k1YzKOON-Z1vgqlnV6G4&zhida_source=entity)，在各个公司实习的时候经过了算法、infra、工程三位一体的培养，综合能力越来越强，可以说这一代人是AI native or [LLM](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=LLM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJMTE0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.PUQQdemSJW2IpmeXyKg0HsYjpegHsqHxHBD0huTrWEg&zhida_source=entity) native的。还有一个很重要的点是要人均[GPU](https://zhida.zhihu.com/search?content_id=245887299&content_type=Article&match_order=1&q=GPU&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyODEsInEiOiJHUFUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNDU4ODcyOTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ZAHTv0_bFHuw4__fDVULmN-Fml2zh2pJgzVfdycMEZ4&zhida_source=entity)数量，零一一直没有扩大算法团队的规模，就是未来保证每个算法同学能有超过1000张卡的使用量，这样才能保证研究顺利开展。\n## 写在最后\n上面的分享更多是对上一阶段LLM工作的一个总结吧，在未来的工作中也不一定适用。随着技术的发展，很多模型上的low hanging fruits已经被摘的差不多了，比如数据数量、数据质量、合成数据。我自己最近有特别强的feeling已经到了要去take比较大的risk做fundamental算法研究的时候了。上一个阶段更多的是工程能力的红利，下一阶段可能比拼更多的是研究和工程结合的红利了吧。某种意义上说，现在已经是agi的雏形了，scaling law也必然能实现agi，但效率不一定特别高，fundamental research可能能探索出一条效率更高的实现AGI甚至是super intelligence的路径。\n发布于 2024-07-26 06:39・北京\n[LLM](https://www.zhihu.com/topic/20660508)\n[AGI](https://www.zhihu.com/topic/20650106)\n​赞同 191​​12 条评论​193 ​7 \n​分享\n​申请转载​\n​\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n \n\n12 条评论\n默认\n最新\n[![YinongLong](https://pica.zhimg.com/v2-3d8010e2ddcffc517f314775ff3f7a17_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/944590142e8512bf96fc8db4d1a7af11)\n[YinongLong](https://www.zhihu.com/people/944590142e8512bf96fc8db4d1a7af11)\n“保证每个算法同学能有超过1000张卡的使用量”，只能说一句羡慕！\n2024-07-26 · 陕西\n​回复​11\n展开其他 2 条回复​\n[![233](https://pic1.zhimg.com/v2-09e847e30210d52ee3b37f5177585eec_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/de55655c466549f343ad2f175e593b9d)\n[233](https://www.zhihu.com/people/de55655c466549f343ad2f175e593b9d)\n​![](https://picx.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)![](https://pica.zhimg.com/v2-4812630bc27d642f7cafcd6cdeca3d7a.jpg?source=88ceefae)\n早就被DeepSeek 0628超啦，给点力啊![\\[拜托\\]](https://pic2.zhimg.com/v2-3e36d546a9454c8964fbc218f0db1ff8.png)\n2024-07-26 · 北京\n​回复​4\n展开其他 1 条回复​\n[![须臾](https://picx.zhimg.com/v2-7efa2d702ce0bcd6cd381e004c50d92a_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/b07c254d63aac5b9dc602b3b0167252f)\n[须臾](https://www.zhihu.com/people/b07c254d63aac5b9dc602b3b0167252f)\n请教下文中关于scaling law的问题： \n1. \"在N和D都比较小的时候无限打点\"，这句话不是很理解，如何做到“无限打点”呢？按理说训练曲线中间的点是不能使用的，比如7B模型，两次实验总训练量分别设置为1T（记为实验A）和2T（记为实验B），那么我理解只能得到两个点（7B，1T，loss1）、（7B，2T，loss2）。实验B训练到1T的中间结果是不能用的。 \n2. “要注意这里的loss是收敛loss，不是所有数据训练完的loss”。根据scaling law，数据量越大loss越低，那么如何理解这里的“收敛loss”呢？\n2024-07-26 · 北京\n​回复​4\n展开其他 1 条回复​\n[![悟风](https://pica.zhimg.com/v2-1725a6a9b7358ed6756e78b35d649852_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/6f360d8cdb838b397366323054cc2468)\n[悟风](https://www.zhihu.com/people/6f360d8cdb838b397366323054cc2468)\n虽然，但是，你不是去字节了么![\\[捂脸\\]](https://pic1.zhimg.com/v2-b62e608e405aeb33cd52830218f561ea.png)\n2024-08-25 · 北京\n​回复​3\n展开其他 2 条回复​\n[![职场红娘-邓小勋](https://picx.zhimg.com/v2-9509afc9aecc92080bdefc82ca88824a_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/4a2e33d5fd858ef63627b708d55be2a6)\n[职场红娘-邓小勋](https://www.zhihu.com/people/4a2e33d5fd858ef63627b708d55be2a6)\n借楼，我是聚焦在互联网行业的猎头顾问，搜推广，大模型，有想聊聊行情或者看机会的朋友欢迎私聊![\\[大笑\\]](https://pic1.zhimg.com/v2-3ac403672728e5e91f5b2d3c095e415a.png)\n2024-10-21 · 辽宁\n​回复​喜欢\n[![刘东泽](https://picx.zhimg.com/v2-8b8b0afdbe1a7bdd0c5670a0dacb28eb_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/7001619c7df5c40579ddf72ebd30a902)\n[刘东泽](https://www.zhihu.com/people/7001619c7df5c40579ddf72ebd30a902)\ntake比较大的risk做fundamental算法 这块有什么具体的落地案例吗？\n2024-08-31 · 广东\n​回复​喜欢\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n \n\n关于作者\n[![黄文灏](https://pic1.zhimg.com/v2-96b8a00963d54166fb9909e2b317f75b_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\n[黄文灏](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\nAlways Day One\n[ 回答 **31** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/answers)[ 文章 **14** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/posts)[ 关注者 **12,520** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)\n[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=2dbdc483-cedd-408a-84a3-669957bb8735)\n### 推荐阅读\n[ ![Large Reasoning Model: 让语言模型学会推理](https://picx.zhimg.com/v2-08fc0e0d3c2b98333ce7bdeb7d171419_250x0.jpg?source=172ae18b)Large Reasoning Model: 让语言模型学会推理 邓侃发表于云计算大数... ](https://zhuanlan.zhihu.com/p/1915555719203233900)# [解密大语言模型中的长链推理 论文标题：Demystifying Long Chain-of-Thought Reasoning in LLMs 论文链接： https://arxiv.org/pdf/2502.03373GitHub： https://github.com/eddycmu/demystify-long-cot概述在大规模语言… 大家好我是...发表于机器学习小... ](https://zhuanlan.zhihu.com/p/21753656725)[ ![Logic-RL：基于规则强化学习的大语言模型推理能力突破](https://pica.zhimg.com/v2-17233d24894e2a6326a9b81675b7c3ac_250x0.jpg?source=172ae18b)Logic-RL：基于规则强化学习的大语言模型推理能力突破 北方的郎发表于北方的郎 ](https://zhuanlan.zhihu.com/p/26480918542)# [NeurIPS 2024 (Oral) | 如何量化与提升思维链的推理能力边界？ AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作… 机器之心发表于机器之心 ](https://zhuanlan.zhihu.com/p/6049137838) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](https://picx.zhimg.com/v2-9e41ea16bdfbe9cf4896617ecad5b4ca.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n", "body_base_path": "attachments/91a922990954/pages/", "body_markdown_path": "attachments/91a922990954/pages/archived-body.md", "local_html": "attachments/91a922990954/pages/archived-body.html", "body_source": "prior_capture" }