{
  "source_file": "0930",
  "source_platform": "知乎专栏",
  "author": "黄文灏",
  "title_listed": "多大的参数才算大模型——关于“大”模型的一些思考",
  "keywords": "Scaling Law,参数量,百模大战",
  "domain": "大模型算法",
  "content_type": "深度技术解析",
  "is_paid_flag": "否",
  "url": "https://zhuanlan.zhihu.com/p/650458297",
  "publish_date": "2023",
  "corpus_stage": "预训练",
  "notes": "模型规模、Chinchilla 定律与百模大战观察",
  "id": "ff4d116af3b6",
  "collected_at": "2026-10-02T18:38:09",
  "title": "【LLM系列】多大的参数才算大模型--关于“大”模型的一些思考 - 知乎",
  "body_markdown": "[![](https://zhuanlan.zhihu.com/p/650458297)](javascript:void\\(0\\))\n![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n【LLM系列】多大的参数才算大模型--关于“大”模型的一些思考\n切换模式\n# 【LLM系列】多大的参数才算大模型--关于“大”模型的一些思考\n[![黄文灏](../images/013.jpg)](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\n[黄文灏](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\nAlways Day One\n89 人赞同了该文章\n最近和很多人讨论开源大模型的问题，发现中文社区最近大多数开源的预训练模型（主要指从头开始训练的预训练模型）都是7B、13B的，而放眼全世界后chatgpt时代开源的超过50B的模型好像只有[LLaMA](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=LLaMA&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJMTGFNQSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMjY3NTk5NCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.SCQseKBhWprtphzau5UlUT_J72fZrPGqlj6sapEPr9Y&zhida_source=entity)和LLaMA 2（最近刚看到了[falcon180b](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=falcon180b&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJmYWxjb24xODBiIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.YiH8HhIYtbfc5-hVE3o0JJL-7CVGM0T6EZOweCG2zMo&zhida_source=entity)，但训练得着实不太行）。似乎[开源社区](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E5%BC%80%E6%BA%90%E7%A4%BE%E5%8C%BA&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLlvIDmupDnpL7ljLoiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.BErdTfC-UZqKlSxsXhpLhGg2Ho3pBLjD8uyehVsMHo0&zhida_source=entity)热衷于将模型做小（更多的是没有资源的无奈），同时闭源模型如OpenAI的[GPT4](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=GPT4&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJHUFQ0IiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.yw6uSvSMuUUZfKW-z4O44pF-4sP961T4WgqmIewgLE4&zhida_source=entity)已经达到了万亿参数量级，也有传言Google做了400B的dense model。不由想到一些问题，都是和模型做大有关，抛出来和大家讨论一下。\n## 多大的模型才算大模型？\n前几天看到一个工作说在[text2sql](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=text2sql&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJ0ZXh0MnNxbCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMjY3NTk5NCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.OpNTUofYeaUoPYWFwsJc4zvH10malXMuO60BTTyWZfw&zhida_source=entity)领域用小模型达到了和大模型接近的性能，仔细一个所谓的小模型是T5-base，想到几年前T5都是被称作大模型的，不禁感叹，随着时间的发展[大模型](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=5&q=%E5%A4%A7%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLlpKfmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NSwiemRfdG9rZW4iOm51bGx9.TzuwuzimxAIn-2ma6Oo5WAWU32xT-N5_3BBGeCK5atA&zhida_source=entity)**参数上的“大”的门槛正在越变越高** 。可以想象，一年以后，回过头看今天开源社区玩得热火朝天的7B和13B模型，也会被称作为小模型被未来更大的模型淹没的。所以，真正想做大模型的公司建议直接放弃7B和13B，千亿和万亿模型才是主战场。\n3月份的时候，Graham Neubig做过一个调查，看大家认为多大的模型才算大模型。有80%的人认为10B以上就算大模型了，的确大家通常也把LLaMA 7B称作为大模型。\n![](../images/body-260fb7f580fcdc8a3d05.jpg)\n业界对模型参数大小的要求要更高，比如Yi Tay就认为100B以上才是大模型。\n![](../images/002.jpg)\n如果这个调查今天再做一次，毫无疑问我觉得投100B以上的人会多很多。我自己在3月份的时候心里的答案是50B，当时读的很多paper都认为54B是模型涌现能力的一个门槛，而具有涌现能力的模型才是真正的通用模型。但随着时间的发展，对于大的标准也在逐渐变高。如果现在问我多大的参数能叫大模型，可能100B以上才算大模型吧。所以，国内那些集中精力（倾其所有）做7B、13B模型的公司，大概率都是打着大模型的旗号但连真正大模型的入门门槛还没有达到。\n当然，单纯的比较模型参数量的大小是不准确的。这里又个前提上大家学习的数据在相同的量级，或者是Chinchilla最优的。比如，GLM 130B只过了400B数据，它的训练计算量（flops）是不如过了1.4T数据的llama-65B和过了2T数据的llama 2 - 70B的。模型参数量只是给大家一个相对的概念，但当数据量有限或者固定的前提下，肯定是越大越好。\n## 大模型的大有极限吗？\n从训练计算量的角度看，training flops约等于6ND，N为参数量，D为数据量，它只和这两个参数量相关。所以，所有大模型公司的第一要务都是提高[数据量](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=3&q=%E6%95%B0%E6%8D%AE%E9%87%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmlbDmja7ph48iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MywiemRfdG9rZW4iOm51bGx9.SF3NLUsa4qpyOvrU_w6Z3lBFgj4Mxqj25G1Na2gjYEc&zhida_source=entity)，提升数据质量。但大家做到一定程度后会发现，数据就是那些数据，当大家把数据量最大的cc，github这些数据就处理完以后，会发现数据量很快会达到一个上限，之后数据量的增长会非常缓慢。前段时间大家广泛讨论的互联网文本数据快不够用了可能会是未来数据发展的瓶颈。这个时候，要提升智能的上界就只能扩大模型参数了。那模型的参数会有上界吗？从目前的趋势来看，**我觉得还没有看到方法上提高参数量的上限，但看到了效率（成本）上提高数据量的上限。**\n方法上来看，只要同等size的模型提高数据量效果还能提高，同等数据量的模型提高模型参数量效果还能提高，就可以认为扩大模型数据量和参数量的上界还没有到。Chinchilla Law的optimal计算也可以继续适用。从目前的所有研究来看，这两点都还是成立的，出现一些违背这个基本原则的结果大多也是数据没洗干净，模型没有训练好。比如falcon-180b比[llama2-70b](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=llama2-70b&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJsbGFtYTItNzBiIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.0J2tra7wbNUFI2AZuFqDGZJqcKYREstrRXZ7lJITshs&zhida_source=entity)的提升都很有限（下表对两者的性能做了个简单对比），很有可能是falcon太强调refined-web数据的重要性了，[数据多样性](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E5%A4%9A%E6%A0%B7%E6%80%A7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmlbDmja7lpJrmoLfmgKciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.hzuBNjdG9zIBt3EA-9-J-nhTF-eZYtkbowzENUWUX08&zhida_source=entity)不足。  \n| task  | falcon-180b  | llama-2-70b  |  \n| --- | --- | --- |  \n| mmlu (std, all)  | 0.703817  | 0.687224  |  \n| mmlu-[STEM](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=STEM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJTVEVNIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.KBDUSjQz3jkfOx6uVN-09R3357-xrFvAFyl-iSEhlD4&zhida_source=entity)  | 0.591558  | 0.579499  |  \n| mmlu-Humanities  | 0.668791  | 0.642023  |  \n| mmlu-Other  | 0.767621  | 0.749920  |  \n| mmlu-SocialScience  | 0.807930  | 0.803380  |  \n| mmlu (open-question, all)  | 0.576129  | 0.547073  |  \n| bigbench_hard (em)  | 0.54047  | 0.550299  |  \n效率（成本）上来看，抛开各种MoE类型刷参数量的方法不看，单看[dense model](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=2&q=dense+model&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJkZW5zZSBtb2RlbCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMjY3NTk5NCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoyLCJ6ZF90b2tlbiI6bnVsbH0.XvmlkHdR5fy4ufL7kekjNiwXUw-T85-klRfaRYoKCY8&zhida_source=entity)，现在业界做的最大的应该还是[Palm 540B](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=Palm+540B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJQYWxtIDU0MEIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9._o0kTfvJ-XTkcKwnepVcIYJzY-qigW42yRvgrMSGdVU&zhida_source=entity)，未来会不会有更大的还不确定（这里GPT4由于没有公布参数量，暂不考虑）。按照Chinchilla的training optimal，540B的模型大概需要过10T的数据。假设计算量是[线性增长](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E7%BA%BF%E6%80%A7%E5%A2%9E%E9%95%BF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLnur_mgKflop7plb8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.S02joU-6kCsLtP2wFLB3gT-vFb4JVaNuSVaYR_tU0fA&zhida_source=entity)的的，用10000张A卡训练540B模型大概需要250天以上。这里是纯线性假设，参数量，数据量，卡数和时间都可以用简单的线性关系换算。实际[infra](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=infra&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJpbmZyYSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMjY3NTk5NCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.uuD_3e_9JtCPgTK9XJcDunU9Uo4iPNdiOm6B2RGI6Jk&zhida_source=entity)在扩增后的损失会巨大。仅就这个理想情况来看，训练一次也要5亿人民币以上，会是一个成本极高，风险更高的尝试。单论成本，对大厂来说其实也还好，但实际面临的问题要多的多，比如国内不一定能10000卡互联，那带来的时间成本上升会让不确定性极具上升；比如卡数增加以后计算效率的急剧退化问题；比如模型参数增加以后收敛难以保证的问题。\n有一个很有意思的观点，**研究所做的所有工作包括[模型结构](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmqKHlnovnu5PmnoQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.wyPhL8PzXQdfNwovnvtSTWktynFqvFpGHmhaGTy1m10&zhida_source=entity)、优化器等等都是在资源有限情况下的妥协**。如果有无限的算力和可以线性增长的infra能力，单纯的把数据做大做好，把模型做大就可以了，Transformer还有很大的空间可以开拓。所以，随着时间推移，算力如果符合摩尔定律，只要有人能投入资源，模型智能的边界也会符合[摩尔定律](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=2&q=%E6%91%A9%E5%B0%94%E5%AE%9A%E5%BE%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmkanlsJTlrprlvosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.m0snGE0tnlZF47wQzCfki3UlFBw5PQchAEX_Ud2ikw4&zhida_source=entity)。这一规律什么时候出现拐点会是决定模型智能边界的核心问题。希望OpenAI、Google能利用资源不停地去探索智能的边界和拐点出现的时间。但大概率拐点出现之前，AI已经实现了对人类智能的降维打击。\n## 大模型为什么应该做大？\n很多人都在argue说模型做大并没有太大的意义，反而带来了成本的消耗，所以应该选择最适合场景的够用的模型。我自己是不太同意这样的观点的。\n首先，应该把探索智能的边界和基于大模型做应用这两个事情分开来看，正如前面说到的，在数据做大、模型做大的道路上还有很大的空间。对于想探索AGI的机构来说，做大是一条方向大体正确的路。当然通向AGI可能有其他路，但沿着做大这一路径从目前来看大概率是比其他路经更快（不一定是最优，但省去了大量探索的时间）和确定性更高的路径。\n其次，**用大[模型蒸馏](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E8%92%B8%E9%A6%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmqKHlnovokrjppo8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.1qWSoyfjH4y2RvlVUS9uzgtNbd5Js8kjNIMeM7R50Bc&zhida_source=entity)出来的小size模型会比从头开始训练的小size模型效果好很多**。3月份，[GPT3.5-turbo](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=GPT3.5-turbo&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJHUFQzLjUtdHVyYm8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.2JChNqJwaMCbzaKkztyhi3uQccnczpbGFXx3-cXwoes&zhida_source=entity)发布的时候大家都猜测这是一个小于50B的模型，但它的效果是可以吊打所有50B以下的模型的（包括LLaMA和LLaMA2）。对于它是怎么做到的有众多的猜测，这里面我自己比较believe的路径是GPT3.5-turbo是用GPT4蒸馏出来的小模型，或者说size变小的过程中用了大量GPT4的模型（知识）。然后顺着这个思路做了一些实验，发现用大模型蒸馏小模型比从头训练小模型效果是显著要优的。因此，在考虑端侧推理等十分在乎效率的场景下，最好的方式仍然是用一个更大的模型去蒸馏一个理想大小的模型，而不是从头训练小模型。\n再次，很多目前来看大模型的问题当模型参数变大后就能解决。像Hallucination幻觉问题，7B、13B可能非常严重，大家也花了很多精力去研究怎么解决。但当模型参数量超过100B、200B甚至400B以后，会发现大部分（超过80%）的hallucination问题就自然不见了。比较一下GPT4和GPT3.5会发现这个现象还是十分明显的。\n最后，要用动态的眼光看问题，随着算力、[算法](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E7%AE%97%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLnrpfms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.RIBzBjDrpYe_VuBVhSy4YnzCCIUSwwzmFuTrBpPJL6Q&zhida_source=entity)的发展，大模型推理的[边际成本](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E8%BE%B9%E9%99%85%E6%88%90%E6%9C%AC&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLovrnpmYXmiJDmnKwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Hbgo77nmjlKYBSDkr_kX6V9P-9IyjWmnPZUTdS9tpAA&zhida_source=entity)会迅速降低，而效果的边际效应并不会有太大变化。100B模型和7B模型的[推理成本](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E6%8E%A8%E7%90%86%E6%88%90%E6%9C%AC&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmjqjnkIbmiJDmnKwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.7K4Cz3nY8HC_G4yjZft3bh7Xt1iBUev2t5RxXOfvisE&zhida_source=entity)差距会很快到可接受的范围内，未来大家考虑更多的可能是性能而不是效率。\n## 从大的角度看一下国内的“[百模大战](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E7%99%BE%E6%A8%A1%E5%A4%A7%E6%88%98&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLnmb7mqKHlpKfmiJgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.CNaCquS--2jTFlR-vhi4SJFqFrDmpnkuezj5j4h2-c0&zhida_source=entity)”\n按照前面的讨论，其实国内所谓的“百模大战”并没有多少公司是在真正做大模型的。加上下面两个条件\n  * 模型是从头开始训练的，而不是continue pre-training，sft的\n  * 是在真正做100B以上参数的大模型的\n\n\n可能最后不会超过10家。第一条可能会淘汰掉70%以上的公司，第二条还会淘汰掉只有[算力](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=4&q=%E7%AE%97%E5%8A%9B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLnrpflipsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NCwiemRfdG9rZW4iOm51bGx9.tnyNfdNI6APKL45xrpwn_o5m-44GqI_YceUbDLPa__M&zhida_source=entity)和资源从头开始训练7B，13B模型的公司，这条甚至放宽到从头训练30B以上模型的公司都只会剩下10多家。所以，**真正大模型赛道上的竞争远没有媒体描述的“百模大战”那么激烈** 。反倒是有不少打着大模型的旗号，一直在7B、13B甚至更小的量级展开工作的“小模型”公司。\n最后，放一张GPT4出来之前，大家谣传GPT4有100万亿参数的图。100万亿可能不远了。\n![](../images/003.jpg)\n编辑于 2023-09-19 16:03・北京\n[LLM](https://www.zhihu.com/topic/20660508)\n[大模型](https://www.zhihu.com/topic/25402720)\n​赞同 89​​11 条评论​93 ​23 \n​分享\n​申请转载​\n​\n![](../images/004.jpeg)\n未登录用户\n  \n\n11 条评论\n默认\n最新\n[![百无一用谥书生](../images/005.jpg)](https://www.zhihu.com/people/3163105ba5669964085e1d11673aaa09)\n[百无一用谥书生](https://www.zhihu.com/people/3163105ba5669964085e1d11673aaa09)\n54b的门槛对于个人研究而言还是好难摸到![\\[捂脸\\]](https://pic1.zhimg.com/v2-b62e608e405aeb33cd52830218f561ea.png)今天看到书生浦语20b开源了，准备下下来试试表现能比常见的13b好多少\n2023-09-20 · 上海\n​回复​3\n[![奉系学长方安排](../images/007.jpg)](https://www.zhihu.com/people/27b159d69d24a185c0f46b9085237319)\n[奉系学长方安排](https://www.zhihu.com/people/27b159d69d24a185c0f46b9085237319)\n​![](../images/body-ce088339e12c259915b9.png)\n考古，现在已经有人管dsv4.1这个763B的模型叫小模型了……\n09-15 · 上海\n​回复​喜欢\n[![上邪](../images/008.jpg)](https://www.zhihu.com/people/3647da68e9b5195bdf4e457fda2dc21b)\n[上邪](https://www.zhihu.com/people/3647da68e9b5195bdf4e457fda2dc21b)\n现在来看呢？32B应该不算大了吧？\n2025-06-11 · 日本\n​回复​喜欢\n[![我懂个蛋](../images/009.jpg)](https://www.zhihu.com/people/3b0d1e8a6dc3bcd2a02c3dc3f6d92492)\n[我懂个蛋](https://www.zhihu.com/people/3b0d1e8a6dc3bcd2a02c3dc3f6d92492)\n专业小模型是未来的主流\n2024-07-22 · 江苏\n​回复​喜欢\n[![魏浩然](../images/010.jpg)](https://www.zhihu.com/people/b0dd45d994d71f1f0e55a9e7c3d66a7d)\n[魏浩然](https://www.zhihu.com/people/b0dd45d994d71f1f0e55a9e7c3d66a7d)\n想请教一下为啥说falcon 180b不太行呢？是基座还是chat模型![\\[好奇\\]](https://pic2.zhimg.com/v2-72b9696632f66e05faaca12f1f1e614b.png)\n2023-10-20 · 山东\n​回复​喜欢\n展开其他 2 条回复​\n[![孙培钦](../images/011.jpg)](https://www.zhihu.com/people/d08641c009f725f04bd6bbbaadc47e18)\n[孙培钦](https://www.zhihu.com/people/d08641c009f725f04bd6bbbaadc47e18)\n灏兄，从这个角度来看，蒸馏似乎是一个值得研究但却容易被低估的小方向？\n2023-09-20 · 北京\n​回复​喜欢\n[![黄文灏](../images/012.jpg)](https://www.zhihu.com/people/31799cf071791b566ae137565d6b03cf)\n[黄文灏](https://www.zhihu.com/people/31799cf071791b566ae137565d6b03cf)\n作者\n是啊，但也要有好的大模型给大家蒸馏用，如果参数未知，蒸馏也挺难的\n2023-09-21 · 北京\n​回复​喜欢\n展开其他 2 条回复​\n关于作者\n[![黄文灏](../images/013.jpg)](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\n[黄文灏](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\nAlways Day One\n[ 回答 **31** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/answers)[ 文章 **14** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/posts)[ 关注者 **12,520** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定706 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[中国男足 0-5 巴勒斯坦564 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[原央视主持人阿丘回应被通报422 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[华为与赛力斯达成新五年合作411 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[迪拜航空确认航班发生事故400 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[东航回应网传空姐跪地道歉327 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)\n[孕妇骑车别车被司机踹翻258 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)\n### 推荐阅读\n[ ![Embedding模型在推荐系统的应用](../images/015.jpg)Embedding模型在推荐系统的应用 搜狐技术产品 ](https://zhuanlan.zhihu.com/p/58542599)[ ![最前沿——基础模型与多模态交互（11）：多模态基础模型的训练系统优化](../images/017.jpg)最前沿——基础模型与多模态交互（11）：多模态基础模型的训练系统优化 DILab...发表于基础模型和... ](https://zhuanlan.zhihu.com/p/1890421244718977998)# [谷歌更新了Gemma4模型，输出速度提升3倍 谷歌官方刚推出了Gemma4开源模型的新版本，输出速度最高提升 3 倍，且不损失任何输出质量，这对本地模型是大利好。因为本地模型，一个大痛点就是输出速度慢，坐等Qwen3.6也用类似的技术优化… 黑虾 ](https://zhuanlan.zhihu.com/p/2035494078549323786)[ ![推荐系统排序模型实现](../images/019.jpg)推荐系统排序模型实现 山石 ](https://zhuanlan.zhihu.com/p/332622658) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](../images/body-0f9788d006ab0f4da762.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n",
  "metadata": {
    "title": "【LLM系列】多大的参数才算大模型--关于“大”模型的一些思考 - 知乎",
    "description": "最近和很多人讨论开源大模型的问题，发现中文社区最近大多数开源的预训练模型（主要指从头开始训练的预训练模型）都是7B、13B的，而放眼全世界后chatgpt时代开源的超过50B的模型好像只有LLaMA和LLaMA 2（最近刚看…",
    "keywords": "LLM,大模型",
    "author": null,
    "og:title": "【LLM系列】多大的参数才算大模型--关于“大”模型的一些思考",
    "og:url": "https://zhuanlan.zhihu.com/p/650458297",
    "og:description": "最近和很多人讨论开源大模型的问题，发现中文社区最近大多数开源的预训练模型（主要指从头开始训练的预训练模型）都是7B、13B的，而放眼全世界后chatgpt时代开源的超过50B的模型好像只有LLaMA和LLaMA 2（最近刚看…",
    "og:type": "article",
    "og:site_name": "知乎专栏"
  },
  "paywall": {
    "listed_paid": false,
    "detected": false,
    "marker": "",
    "public_only": false,
    "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙"
  },
  "crawl": {
    "success": true,
    "status_code": 200,
    "error": ""
  },
  "code_blocks": [],
  "images": [
    {
      "status": "http_403",
      "url": "https://zhuanlan.zhihu.com/p/650458297",
      "src": "https://zhuanlan.zhihu.com/p/650458297",
      "alt": "",
      "downloaded": false,
      "discovery": "saved_markdown",
      "retried_at": "2026-10-20T17:37:58Z"
    }
  ],
  "audio": [],
  "videos": [],
  "links": [
    {
      "type": "internal",
      "href": "https://www.zhihu.com"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Ffollow"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2F"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Fhot"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Fcolumn-square"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Fring-feeds"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/project-square"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/fiore/h5/vip-web"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/people/huang-xian-sheng-84-62-45"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=LLaMA&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJMTGFNQSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMjY3NTk5NCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.SCQseKBhWprtphzau5UlUT_J72fZrPGqlj6sapEPr9Y&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=falcon180b&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJmYWxjb24xODBiIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.YiH8HhIYtbfc5-hVE3o0JJL-7CVGM0T6EZOweCG2zMo&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E5%BC%80%E6%BA%90%E7%A4%BE%E5%8C%BA&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLlvIDmupDnpL7ljLoiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.BErdTfC-UZqKlSxsXhpLhGg2Ho3pBLjD8uyehVsMHo0&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=GPT4&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJHUFQ0IiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.yw6uSvSMuUUZfKW-z4O44pF-4sP961T4WgqmIewgLE4&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=text2sql&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJ0ZXh0MnNxbCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMjY3NTk5NCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.OpNTUofYeaUoPYWFwsJc4zvH10malXMuO60BTTyWZfw&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=5&q=%E5%A4%A7%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLlpKfmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NSwiemRfdG9rZW4iOm51bGx9.TzuwuzimxAIn-2ma6Oo5WAWU32xT-N5_3BBGeCK5atA&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=3&q=%E6%95%B0%E6%8D%AE%E9%87%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmlbDmja7ph48iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MywiemRfdG9rZW4iOm51bGx9.SF3NLUsa4qpyOvrU_w6Z3lBFgj4Mxqj25G1Na2gjYEc&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=llama2-70b&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJsbGFtYTItNzBiIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.0J2tra7wbNUFI2AZuFqDGZJqcKYREstrRXZ7lJITshs&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E5%A4%9A%E6%A0%B7%E6%80%A7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmlbDmja7lpJrmoLfmgKciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.hzuBNjdG9zIBt3EA-9-J-nhTF-eZYtkbowzENUWUX08&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=STEM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJTVEVNIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.KBDUSjQz3jkfOx6uVN-09R3357-xrFvAFyl-iSEhlD4&zhida_source=entity"
    },
    {
      "type": "external",
      "href": "javascript:void(0)"
    }
  ],
  "repair_version": 2,
  "repaired_at": "2026-10-20T17:24:00Z",
  "source_url": "https://zhuanlan.zhihu.com/p/650458297",
  "delivery_status": "unverified",
  "discovery_status": "http_403",
  "missing_reason": "源页面未重新核验:http_403；已按保留正文补采图片",
  "repair_error": "",
  "actual_video_files": [],
  "expected_saved_body_images": 1,
  "image_discovery": "saved_markdown",
  "source_body_markdown": "[![](https://zhuanlan.zhihu.com/p/650458297)](javascript:void\\(0\\))\n![ZhiHu logo](https://static.zhihu.com/heifetz/assets/wechat-share-logo.39ea9ecd.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n【LLM系列】多大的参数才算大模型--关于“大”模型的一些思考\n切换模式\n# 【LLM系列】多大的参数才算大模型--关于“大”模型的一些思考\n[![黄文灏](https://pic1.zhimg.com/v2-96b8a00963d54166fb9909e2b317f75b_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\n[黄文灏](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\nAlways Day One\n89 人赞同了该文章\n最近和很多人讨论开源大模型的问题，发现中文社区最近大多数开源的预训练模型（主要指从头开始训练的预训练模型）都是7B、13B的，而放眼全世界后chatgpt时代开源的超过50B的模型好像只有[LLaMA](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=LLaMA&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJMTGFNQSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMjY3NTk5NCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.SCQseKBhWprtphzau5UlUT_J72fZrPGqlj6sapEPr9Y&zhida_source=entity)和LLaMA 2（最近刚看到了[falcon180b](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=falcon180b&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJmYWxjb24xODBiIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.YiH8HhIYtbfc5-hVE3o0JJL-7CVGM0T6EZOweCG2zMo&zhida_source=entity)，但训练得着实不太行）。似乎[开源社区](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E5%BC%80%E6%BA%90%E7%A4%BE%E5%8C%BA&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLlvIDmupDnpL7ljLoiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.BErdTfC-UZqKlSxsXhpLhGg2Ho3pBLjD8uyehVsMHo0&zhida_source=entity)热衷于将模型做小（更多的是没有资源的无奈），同时闭源模型如OpenAI的[GPT4](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=GPT4&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJHUFQ0IiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.yw6uSvSMuUUZfKW-z4O44pF-4sP961T4WgqmIewgLE4&zhida_source=entity)已经达到了万亿参数量级，也有传言Google做了400B的dense model。不由想到一些问题，都是和模型做大有关，抛出来和大家讨论一下。\n## 多大的模型才算大模型？\n前几天看到一个工作说在[text2sql](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=text2sql&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJ0ZXh0MnNxbCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMjY3NTk5NCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.OpNTUofYeaUoPYWFwsJc4zvH10malXMuO60BTTyWZfw&zhida_source=entity)领域用小模型达到了和大模型接近的性能，仔细一个所谓的小模型是T5-base，想到几年前T5都是被称作大模型的，不禁感叹，随着时间的发展[大模型](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=5&q=%E5%A4%A7%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLlpKfmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NSwiemRfdG9rZW4iOm51bGx9.TzuwuzimxAIn-2ma6Oo5WAWU32xT-N5_3BBGeCK5atA&zhida_source=entity)**参数上的“大”的门槛正在越变越高** 。可以想象，一年以后，回过头看今天开源社区玩得热火朝天的7B和13B模型，也会被称作为小模型被未来更大的模型淹没的。所以，真正想做大模型的公司建议直接放弃7B和13B，千亿和万亿模型才是主战场。\n3月份的时候，Graham Neubig做过一个调查，看大家认为多大的模型才算大模型。有80%的人认为10B以上就算大模型了，的确大家通常也把LLaMA 7B称作为大模型。\n![](https://pic3.zhimg.com/v2-db8df976f1dfe47b1b966e22813962f6_1440w.jpg)\n业界对模型参数大小的要求要更高，比如Yi Tay就认为100B以上才是大模型。\n![](https://picx.zhimg.com/v2-af92a6502a154b905d85a68d14b40ad5_1440w.jpg)\n如果这个调查今天再做一次，毫无疑问我觉得投100B以上的人会多很多。我自己在3月份的时候心里的答案是50B，当时读的很多paper都认为54B是模型涌现能力的一个门槛，而具有涌现能力的模型才是真正的通用模型。但随着时间的发展，对于大的标准也在逐渐变高。如果现在问我多大的参数能叫大模型，可能100B以上才算大模型吧。所以，国内那些集中精力（倾其所有）做7B、13B模型的公司，大概率都是打着大模型的旗号但连真正大模型的入门门槛还没有达到。\n当然，单纯的比较模型参数量的大小是不准确的。这里又个前提上大家学习的数据在相同的量级，或者是Chinchilla最优的。比如，GLM 130B只过了400B数据，它的训练计算量（flops）是不如过了1.4T数据的llama-65B和过了2T数据的llama 2 - 70B的。模型参数量只是给大家一个相对的概念，但当数据量有限或者固定的前提下，肯定是越大越好。\n## 大模型的大有极限吗？\n从训练计算量的角度看，training flops约等于6ND，N为参数量，D为数据量，它只和这两个参数量相关。所以，所有大模型公司的第一要务都是提高[数据量](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=3&q=%E6%95%B0%E6%8D%AE%E9%87%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmlbDmja7ph48iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MywiemRfdG9rZW4iOm51bGx9.SF3NLUsa4qpyOvrU_w6Z3lBFgj4Mxqj25G1Na2gjYEc&zhida_source=entity)，提升数据质量。但大家做到一定程度后会发现，数据就是那些数据，当大家把数据量最大的cc，github这些数据就处理完以后，会发现数据量很快会达到一个上限，之后数据量的增长会非常缓慢。前段时间大家广泛讨论的互联网文本数据快不够用了可能会是未来数据发展的瓶颈。这个时候，要提升智能的上界就只能扩大模型参数了。那模型的参数会有上界吗？从目前的趋势来看，**我觉得还没有看到方法上提高参数量的上限，但看到了效率（成本）上提高数据量的上限。**\n方法上来看，只要同等size的模型提高数据量效果还能提高，同等数据量的模型提高模型参数量效果还能提高，就可以认为扩大模型数据量和参数量的上界还没有到。Chinchilla Law的optimal计算也可以继续适用。从目前的所有研究来看，这两点都还是成立的，出现一些违背这个基本原则的结果大多也是数据没洗干净，模型没有训练好。比如falcon-180b比[llama2-70b](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=llama2-70b&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJsbGFtYTItNzBiIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.0J2tra7wbNUFI2AZuFqDGZJqcKYREstrRXZ7lJITshs&zhida_source=entity)的提升都很有限（下表对两者的性能做了个简单对比），很有可能是falcon太强调refined-web数据的重要性了，[数据多样性](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E5%A4%9A%E6%A0%B7%E6%80%A7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmlbDmja7lpJrmoLfmgKciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.hzuBNjdG9zIBt3EA-9-J-nhTF-eZYtkbowzENUWUX08&zhida_source=entity)不足。  \n| task  | falcon-180b  | llama-2-70b  |  \n| --- | --- | --- |  \n| mmlu (std, all)  | 0.703817  | 0.687224  |  \n| mmlu-[STEM](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=STEM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJTVEVNIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMyNjc1OTk0LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.KBDUSjQz3jkfOx6uVN-09R3357-xrFvAFyl-iSEhlD4&zhida_source=entity)  | 0.591558  | 0.579499  |  \n| mmlu-Humanities  | 0.668791  | 0.642023  |  \n| mmlu-Other  | 0.767621  | 0.749920  |  \n| mmlu-SocialScience  | 0.807930  | 0.803380  |  \n| mmlu (open-question, all)  | 0.576129  | 0.547073  |  \n| bigbench_hard (em)  | 0.54047  | 0.550299  |  \n效率（成本）上来看，抛开各种MoE类型刷参数量的方法不看，单看[dense model](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=2&q=dense+model&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJkZW5zZSBtb2RlbCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMjY3NTk5NCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoyLCJ6ZF90b2tlbiI6bnVsbH0.XvmlkHdR5fy4ufL7kekjNiwXUw-T85-klRfaRYoKCY8&zhida_source=entity)，现在业界做的最大的应该还是[Palm 540B](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=Palm+540B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJQYWxtIDU0MEIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9._o0kTfvJ-XTkcKwnepVcIYJzY-qigW42yRvgrMSGdVU&zhida_source=entity)，未来会不会有更大的还不确定（这里GPT4由于没有公布参数量，暂不考虑）。按照Chinchilla的training optimal，540B的模型大概需要过10T的数据。假设计算量是[线性增长](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E7%BA%BF%E6%80%A7%E5%A2%9E%E9%95%BF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLnur_mgKflop7plb8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.S02joU-6kCsLtP2wFLB3gT-vFb4JVaNuSVaYR_tU0fA&zhida_source=entity)的的，用10000张A卡训练540B模型大概需要250天以上。这里是纯线性假设，参数量，数据量，卡数和时间都可以用简单的线性关系换算。实际[infra](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=infra&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJpbmZyYSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMjY3NTk5NCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.uuD_3e_9JtCPgTK9XJcDunU9Uo4iPNdiOm6B2RGI6Jk&zhida_source=entity)在扩增后的损失会巨大。仅就这个理想情况来看，训练一次也要5亿人民币以上，会是一个成本极高，风险更高的尝试。单论成本，对大厂来说其实也还好，但实际面临的问题要多的多，比如国内不一定能10000卡互联，那带来的时间成本上升会让不确定性极具上升；比如卡数增加以后计算效率的急剧退化问题；比如模型参数增加以后收敛难以保证的问题。\n有一个很有意思的观点，**研究所做的所有工作包括[模型结构](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmqKHlnovnu5PmnoQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.wyPhL8PzXQdfNwovnvtSTWktynFqvFpGHmhaGTy1m10&zhida_source=entity)、优化器等等都是在资源有限情况下的妥协**。如果有无限的算力和可以线性增长的infra能力，单纯的把数据做大做好，把模型做大就可以了，Transformer还有很大的空间可以开拓。所以，随着时间推移，算力如果符合摩尔定律，只要有人能投入资源，模型智能的边界也会符合[摩尔定律](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=2&q=%E6%91%A9%E5%B0%94%E5%AE%9A%E5%BE%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmkanlsJTlrprlvosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.m0snGE0tnlZF47wQzCfki3UlFBw5PQchAEX_Ud2ikw4&zhida_source=entity)。这一规律什么时候出现拐点会是决定模型智能边界的核心问题。希望OpenAI、Google能利用资源不停地去探索智能的边界和拐点出现的时间。但大概率拐点出现之前，AI已经实现了对人类智能的降维打击。\n## 大模型为什么应该做大？\n很多人都在argue说模型做大并没有太大的意义，反而带来了成本的消耗，所以应该选择最适合场景的够用的模型。我自己是不太同意这样的观点的。\n首先，应该把探索智能的边界和基于大模型做应用这两个事情分开来看，正如前面说到的，在数据做大、模型做大的道路上还有很大的空间。对于想探索AGI的机构来说，做大是一条方向大体正确的路。当然通向AGI可能有其他路，但沿着做大这一路径从目前来看大概率是比其他路经更快（不一定是最优，但省去了大量探索的时间）和确定性更高的路径。\n其次，**用大[模型蒸馏](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E8%92%B8%E9%A6%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmqKHlnovokrjppo8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.1qWSoyfjH4y2RvlVUS9uzgtNbd5Js8kjNIMeM7R50Bc&zhida_source=entity)出来的小size模型会比从头开始训练的小size模型效果好很多**。3月份，[GPT3.5-turbo](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=GPT3.5-turbo&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiJHUFQzLjUtdHVyYm8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.2JChNqJwaMCbzaKkztyhi3uQccnczpbGFXx3-cXwoes&zhida_source=entity)发布的时候大家都猜测这是一个小于50B的模型，但它的效果是可以吊打所有50B以下的模型的（包括LLaMA和LLaMA2）。对于它是怎么做到的有众多的猜测，这里面我自己比较believe的路径是GPT3.5-turbo是用GPT4蒸馏出来的小模型，或者说size变小的过程中用了大量GPT4的模型（知识）。然后顺着这个思路做了一些实验，发现用大模型蒸馏小模型比从头训练小模型效果是显著要优的。因此，在考虑端侧推理等十分在乎效率的场景下，最好的方式仍然是用一个更大的模型去蒸馏一个理想大小的模型，而不是从头训练小模型。\n再次，很多目前来看大模型的问题当模型参数变大后就能解决。像Hallucination幻觉问题，7B、13B可能非常严重，大家也花了很多精力去研究怎么解决。但当模型参数量超过100B、200B甚至400B以后，会发现大部分（超过80%）的hallucination问题就自然不见了。比较一下GPT4和GPT3.5会发现这个现象还是十分明显的。\n最后，要用动态的眼光看问题，随着算力、[算法](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E7%AE%97%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLnrpfms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.RIBzBjDrpYe_VuBVhSy4YnzCCIUSwwzmFuTrBpPJL6Q&zhida_source=entity)的发展，大模型推理的[边际成本](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E8%BE%B9%E9%99%85%E6%88%90%E6%9C%AC&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLovrnpmYXmiJDmnKwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Hbgo77nmjlKYBSDkr_kX6V9P-9IyjWmnPZUTdS9tpAA&zhida_source=entity)会迅速降低，而效果的边际效应并不会有太大变化。100B模型和7B模型的[推理成本](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E6%8E%A8%E7%90%86%E6%88%90%E6%9C%AC&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLmjqjnkIbmiJDmnKwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.7K4Cz3nY8HC_G4yjZft3bh7Xt1iBUev2t5RxXOfvisE&zhida_source=entity)差距会很快到可接受的范围内，未来大家考虑更多的可能是性能而不是效率。\n## 从大的角度看一下国内的“[百模大战](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=1&q=%E7%99%BE%E6%A8%A1%E5%A4%A7%E6%88%98&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLnmb7mqKHlpKfmiJgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.CNaCquS--2jTFlR-vhi4SJFqFrDmpnkuezj5j4h2-c0&zhida_source=entity)”\n按照前面的讨论，其实国内所谓的“百模大战”并没有多少公司是在真正做大模型的。加上下面两个条件\n  * 模型是从头开始训练的，而不是continue pre-training，sft的\n  * 是在真正做100B以上参数的大模型的\n\n\n可能最后不会超过10家。第一条可能会淘汰掉70%以上的公司，第二条还会淘汰掉只有[算力](https://zhida.zhihu.com/search?content_id=232675994&content_type=Article&match_order=4&q=%E7%AE%97%E5%8A%9B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxMDAsInEiOiLnrpflipsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzI2NzU5OTQsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NCwiemRfdG9rZW4iOm51bGx9.tnyNfdNI6APKL45xrpwn_o5m-44GqI_YceUbDLPa__M&zhida_source=entity)和资源从头开始训练7B，13B模型的公司，这条甚至放宽到从头训练30B以上模型的公司都只会剩下10多家。所以，**真正大模型赛道上的竞争远没有媒体描述的“百模大战”那么激烈** 。反倒是有不少打着大模型的旗号，一直在7B、13B甚至更小的量级展开工作的“小模型”公司。\n最后，放一张GPT4出来之前，大家谣传GPT4有100万亿参数的图。100万亿可能不远了。\n![](https://picx.zhimg.com/v2-1e2bd11f7c92ee3448f7087f7890579b_1440w.jpg)\n编辑于 2023-09-19 16:03・北京\n[LLM](https://www.zhihu.com/topic/20660508)\n[大模型](https://www.zhihu.com/topic/25402720)\n​赞同 89​​11 条评论​93 ​23 \n​分享\n​申请转载​\n​\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n  \n\n11 条评论\n默认\n最新\n[![百无一用谥书生](https://pic1.zhimg.com/v2-95e8ab48671d3499283f2913fae76023_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/3163105ba5669964085e1d11673aaa09)\n[百无一用谥书生](https://www.zhihu.com/people/3163105ba5669964085e1d11673aaa09)\n54b的门槛对于个人研究而言还是好难摸到![\\[捂脸\\]](https://pic1.zhimg.com/v2-b62e608e405aeb33cd52830218f561ea.png)今天看到书生浦语20b开源了，准备下下来试试表现能比常见的13b好多少\n2023-09-20 · 上海\n​回复​3\n[![奉系学长方安排](https://pic1.zhimg.com/v2-ea37de53e54e42e63bd86abb19cad147_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/27b159d69d24a185c0f46b9085237319)\n[奉系学长方安排](https://www.zhihu.com/people/27b159d69d24a185c0f46b9085237319)\n​![](https://pic1.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\n考古，现在已经有人管dsv4.1这个763B的模型叫小模型了……\n09-15 · 上海\n​回复​喜欢\n[![上邪](https://picx.zhimg.com/v2-abed1a8c04700ba7d72b45195223e0ff_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/3647da68e9b5195bdf4e457fda2dc21b)\n[上邪](https://www.zhihu.com/people/3647da68e9b5195bdf4e457fda2dc21b)\n现在来看呢？32B应该不算大了吧？\n2025-06-11 · 日本\n​回复​喜欢\n[![我懂个蛋](https://picx.zhimg.com/v2-b7f21fc1a0dae5b0df0d7a290bae6dbc_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/3b0d1e8a6dc3bcd2a02c3dc3f6d92492)\n[我懂个蛋](https://www.zhihu.com/people/3b0d1e8a6dc3bcd2a02c3dc3f6d92492)\n专业小模型是未来的主流\n2024-07-22 · 江苏\n​回复​喜欢\n[![魏浩然](https://picx.zhimg.com/v2-260aca4d197dc92d1f0e9f8c3b237777_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/b0dd45d994d71f1f0e55a9e7c3d66a7d)\n[魏浩然](https://www.zhihu.com/people/b0dd45d994d71f1f0e55a9e7c3d66a7d)\n想请教一下为啥说falcon 180b不太行呢？是基座还是chat模型![\\[好奇\\]](https://pic2.zhimg.com/v2-72b9696632f66e05faaca12f1f1e614b.png)\n2023-10-20 · 山东\n​回复​喜欢\n展开其他 2 条回复​\n[![孙培钦](https://pica.zhimg.com/v2-abed1a8c04700ba7d72b45195223e0ff_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/d08641c009f725f04bd6bbbaadc47e18)\n[孙培钦](https://www.zhihu.com/people/d08641c009f725f04bd6bbbaadc47e18)\n灏兄，从这个角度来看，蒸馏似乎是一个值得研究但却容易被低估的小方向？\n2023-09-20 · 北京\n​回复​喜欢\n[![黄文灏](https://pica.zhimg.com/v2-96b8a00963d54166fb9909e2b317f75b_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/31799cf071791b566ae137565d6b03cf)\n[黄文灏](https://www.zhihu.com/people/31799cf071791b566ae137565d6b03cf)\n作者\n是啊，但也要有好的大模型给大家蒸馏用，如果参数未知，蒸馏也挺难的\n2023-09-21 · 北京\n​回复​喜欢\n展开其他 2 条回复​\n关于作者\n[![黄文灏](https://pic1.zhimg.com/v2-96b8a00963d54166fb9909e2b317f75b_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\n[黄文灏](https://www.zhihu.com/people/huang-xian-sheng-84-62-45)\nAlways Day One\n[ 回答 **31** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/answers)[ 文章 **14** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/posts)[ 关注者 **12,520** ](https://www.zhihu.com/people/huang-xian-sheng-84-62-45/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定706 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[中国男足 0-5 巴勒斯坦564 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[原央视主持人阿丘回应被通报422 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[华为与赛力斯达成新五年合作411 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[迪拜航空确认航班发生事故400 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[东航回应网传空姐跪地道歉327 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)\n[孕妇骑车别车被司机踹翻258 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=df3cea7d-625c-4182-83be-a85a8671f4b8)\n### 推荐阅读\n[ ![Embedding模型在推荐系统的应用](https://picx.zhimg.com/v2-fd3297d38e2b99289ba8facda7066ab1_250x0.jpg?source=172ae18b)Embedding模型在推荐系统的应用 搜狐技术产品 ](https://zhuanlan.zhihu.com/p/58542599)[ ![最前沿——基础模型与多模态交互（11）：多模态基础模型的训练系统优化](https://picx.zhimg.com/v2-b0d47a4449341f113f5f2572f8597edf_250x0.jpg?source=172ae18b)最前沿——基础模型与多模态交互（11）：多模态基础模型的训练系统优化 DILab...发表于基础模型和... ](https://zhuanlan.zhihu.com/p/1890421244718977998)# [谷歌更新了Gemma4模型，输出速度提升3倍 谷歌官方刚推出了Gemma4开源模型的新版本，输出速度最高提升 3 倍，且不损失任何输出质量，这对本地模型是大利好。因为本地模型，一个大痛点就是输出速度慢，坐等Qwen3.6也用类似的技术优化… 黑虾 ](https://zhuanlan.zhihu.com/p/2035494078549323786)[ ![推荐系统排序模型实现](https://picx.zhimg.com/v2-c7759bf8d06cd39e080bbf73157ee2f4_250x0.jpg?source=172ae18b)推荐系统排序模型实现 山石 ](https://zhuanlan.zhihu.com/p/332622658) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](https://picx.zhimg.com/v2-9e41ea16bdfbe9cf4896617ecad5b4ca.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n",
  "body_base_path": "attachments/ff4d116af3b6/pages/",
  "body_markdown_path": "attachments/ff4d116af3b6/pages/archived-body.md",
  "local_html": "attachments/ff4d116af3b6/pages/archived-body.html",
  "body_source": "prior_capture"
}