{
  "source_file": "0930",
  "source_platform": "知乎专栏",
  "author": "李博杰",
  "title_listed": "采集大模型训练语料",
  "keywords": "语料,数据工程,爬虫",
  "domain": "数据处理",
  "content_type": "工程实践",
  "is_paid_flag": "否",
  "url": "https://zhuanlan.zhihu.com/p/654662868",
  "publish_date": "2023",
  "corpus_stage": "预训练",
  "notes": "大模型训练语料采集方案",
  "id": "30afb33e3548",
  "collected_at": "2026-10-02T18:39:53",
  "title": "采集大模型训练语料的故事 - 知乎",
  "body_markdown": "[![](https://zhuanlan.zhihu.com/p/654662868)](javascript:void\\(0\\))\n![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n采集大模型训练语料的故事\n首发于[大模型操作系统之路](https://www.zhihu.com/column/c_1670745607722639360)\n切换模式\n# 采集大模型训练语料的故事\n[![李博杰](../images/018.jpg)](https://www.zhihu.com/people/li-bo-jie)\n[李博杰](https://www.zhihu.com/people/li-bo-jie)\n[​![](../images/body-1eca6c24dcaf4ffe4cbc.png)](https://www.zhihu.com/question/510340037)​![](../images/body-a7060a32222ae0d7312a.jpg)\n新知答主\n[收录于 · 大模型操作系统之路](https://www.zhihu.com/column/c_1670745607722639360)\n1070 人赞同了该文章\n从 7 月开始，我一个人用了一个月时间，采集了超过 200 TB [大模型训练语料](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E8%AF%AD%E6%96%99&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLlpKfmqKHlnovorq3nu4Por63mlpkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.letdsczw_241Su42mL7rktRode0paOogk5vF56xm8NU&zhida_source=entity)，花了 20 万人民币的流量费和[云存储](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E4%BA%91%E5%AD%98%E5%82%A8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLkupHlrZjlgqgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Jfhp85yfk7cGoN54WUbgZtSbnaO10qhYTOvI17Vqkts&zhida_source=entity)费用。就像最近发布的 Mate60 Pro 一样，真可谓是两岸猿声啼不住，轻舟已过万重山。\n### **200 TB 语料里都有什么**\n  * Z-library 图书馆电子书 2243 万册，共计 31 TB\n  * [Libgen 图书馆](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=Libgen+%E5%9B%BE%E4%B9%A6%E9%A6%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJMaWJnZW4g5Zu-5Lmm6aaGIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.lhuyaemVWicoienxCJ2ln8LrbbzvR8JA-UBR6oske1c&zhida_source=entity)电子书 378 万册，共计 33 TB\n  * Scimag 学术论文和期刊 8760 万册，共计 77 TB\n  * 各类中文语料，共 4 TB，包括：\n    * 小学、初中、高中全套课本，35 GB\n    * 大学教材和专业书 1 万余册，142 GB\n    * 《人民日报》《参考消息》《三联生活周刊》[《环球科学》](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E3%80%8A%E7%8E%AF%E7%90%83%E7%A7%91%E5%AD%A6%E3%80%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLjgIrnjq_nkIPnp5HlrabjgIsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.TzOg9JdtV0EMo1NiiH-r0PP7pcankQqHDfUjk6y3B80&zhida_source=entity)《读者》[《中国国家地理》](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E3%80%8A%E4%B8%AD%E5%9B%BD%E5%9B%BD%E5%AE%B6%E5%9C%B0%E7%90%86%E3%80%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLjgIrkuK3lm73lm73lrrblnLDnkIbjgIsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.rOy211AZQQjTE0uIeVbkrAhxCLXnmutJx72EFHDggcQ&zhida_source=entity)等数十种经典报刊杂志历年合集，共 1 TB\n    * 百度百科 1200 万词条，20 GB\n    * 古籍、各地县志 1.6 TB\n    * 各类推荐书单、英汉双语世界名著、中国历代名著译本等图书 2 万余册，约 300 GB\n    * 各类词典 100 GB\n    * 各类中文小说约 100 GB\n\n\n  \n\n  * 各类[数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLmlbDmja7pm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ip-0MHy6sMWGzDIMln5I5f0jVmHTJ2mDodTwQKbGRF4&zhida_source=entity)：\n    * [RedPajama 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=RedPajama+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJSZWRQYWphbWEg5pWw5o2u6ZuGIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.fE1xJNlUckk2oeHUn4t1nKorIcO-1BDbakV_D-r8AYQ&zhida_source=entity)，是 LLaMA 数据集的开源复刻版，2.8 TB\n    * MNBVC 数据集，1 TB\n    * CommonCrawl 2023 5-6 月版本的 WET 纯文字版数据，压缩后 8.6 TB\n    * 全世界几乎所有域名的 Whois 数据历史（30 亿条），2.5 TB\n    * [TheStack 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=TheStack+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJUaGVTdGFjayDmlbDmja7pm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.rczqUw1qWYdII930WbQb0XATvw379qA_FONr6w_YTRQ&zhida_source=entity)，GitHub 知名开源项目的源代码，3 TB\n    * [The-Eye 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=The-Eye+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJUaGUtRXllIOaVsOaNrumbhiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.XSFT01NzesnG8-pJ4mbzIIDbNYKsicU__XIPZSYqkpA&zhida_source=entity)，10 TB\n    * [AmazonReviews 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=AmazonReviews+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJBbWF6b25SZXZpZXdzIOaVsOaNrumbhiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.PHExgULK5VX0NxtDO-fh6QNt2hBsZwtb1t4ZVWOxYJg&zhida_source=entity)，55 GB\n\n\n  \n\n为什么我收集了这么多书？这些书中很多还是图片组成的 PDF，需要 [OCR](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=OCR&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJPQ1IiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.jDy2Ok5zTDnb3sO1YP4uC0wZckwZCw21uIqtFAVpzCw&zhida_source=entity) 才能当文本模型的训练语料使用。我有两点考虑：\n  1. 语料的质量比数量重要，百度贴吧上的贴子数量可能比书的数量多，但是贴吧贴子只能把大模型训练成一个段子手，没法让它干正事；要掌握知识，还是得从书籍和文献中系统地学习。\n  2. 未来[多模态大模型](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLlpJrmqKHmgIHlpKfmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.kK_WXj33oaR_VD8thrYcfs2ZlRximqDzw3eMI-XFtkE&zhida_source=entity)会成为主流，视觉中包含了人类世界的很多重要信息，现在的文本大模型只用文本做训练其实是丢失了很多信息，未来的多模态大模型可以从 PDF 书籍中直接学习包含图片和文本的多模态知识。\n\n\n### **Whois[域名注册](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%9F%9F%E5%90%8D%E6%B3%A8%E5%86%8C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLln5_lkI3ms6jlhowiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.osLMzCbaQVGq39ir6w1kMaO7smQuAIFRHGq_5nWicnU&zhida_source=entity)历史数据集**\n今天我用其中一个比较有意思的数据集，利用 GPT-4 帮我写代码，花了 3 个小时做了一个查询网站：[全世界域名 30 亿条 Whois 历史查询：whois.os.ai](https://link.zhihu.com/?target=https%3A//whois.os.ai/)。\n比如搜索 microsoft，可以看到 microsoft.* 的域名其实有非常多，需要加载一会儿才能全部加载完。也可以搜索你自己的域名，历史上大部分存在过的域名这个数据库里都有，而且大部分新注册的域名第二天就能在这个系统里查询到。\n这个数据集起源于 2013~2014 年我在 [MSRA 高级软件工程](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=MSRA+%E9%AB%98%E7%BA%A7%E8%BD%AF%E4%BB%B6%E5%B7%A5%E7%A8%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJNU1JBIOmrmOe6p-i9r-S7tuW3peeoiyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0._XGRbuBaNSF6znSZr0iYzB5W1rn21xfeT_sTWGbnKLc&zhida_source=entity)课程的课程作业。当时我做了一个网站 [http://soip.net](https://link.zhihu.com/?target=http%3A//soip.net)（在 [whois.os.ai](https://link.zhihu.com/?target=https%3A//whois.os.ai/) 上还可以查到当年域名注册的历史遗迹），从 Verisign 拿到了 .com 和 .net 的 DNS Zone File（目前这些 [gTLD](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=gTLD&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJnVExEIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.zaBaMT5ku8hP7lFU2y2VwAvL9PcfI-cvY84yaI-Z-bo&zhida_source=entity) 的 Zone File 可以[通过 ICANN 拿到](https://link.zhihu.com/?target=https%3A//czds.icann.org/home)），然后就慢慢把这几千万个域名（目前 .com 域名数量已经过亿）的 Whois 数据都爬下来，然后把每个[域名解析](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%9F%9F%E5%90%8D%E8%A7%A3%E6%9E%90&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLln5_lkI3op6PmnpAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.MsUxy4_mLPgtlvyjH1xBdGo26TWFyaBm2eqVZUpSTZk&zhida_source=entity)出的 [IP](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=IP&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJJUCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.R23tLH6kWEL4rnj6FyfvIywOU4mDEhBzJ0J9JsPeirw&zhida_source=entity) 地址也爬下来。\n这样就形成了域名、IP、[Whois 域名注册信息](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=Whois+%E5%9F%9F%E5%90%8D%E6%B3%A8%E5%86%8C%E4%BF%A1%E6%81%AF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJXaG9pcyDln5_lkI3ms6jlhozkv6Hmga8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.z2gj1iv8EPfaLKBAiNsJlWOMF7wRXQTPxCtv0OzoYGk&zhida_source=entity)的关联数据，可以根据 IP 反查某个主机上挂了哪些域名，也可以根据注册信息反查某个人注册了哪些域名。当时域名注册信息保护还不流行，域名注册者的实名地址、邮箱和电话号码都可以通过 Whois 公开查到。其实当时已经有公司在提供此类服务了，因此我做这个网站也只是为了课程作业，并没有持续运营下去。\n但是我觉得 Whois 域名注册信息的历史应该有很高价值，它就像 [Internet Archive WayBackMachine](https://link.zhihu.com/?target=https%3A//archive.org/web/) 一样记录了互联网历史的一个侧面。因此就一直维护了下去，后来还添加了更多 gTLD 和 [ccTLD](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=ccTLD&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJjY1RMRCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.qVchmyexQQjb-0XQHthQqsvW_22dZZdrR6T_BEz6djo&zhida_source=entity) 的数据源。当然我凭兴趣搞的项目做不到 100% 覆盖，不像 [WhoisXMLAPI](https://link.zhihu.com/?target=https%3A//www.whoisxmlapi.com/) 这样专业提供 Whois 数据历史的公司那么厉害。\n10 年过去，Whois 数据集中已经有超过 7 亿个域名，接近 30 亿条 Whois 历史记录，其中目前活跃的只有 2 亿多个域名，4 亿多个域名已经消失在历史的尘埃中。其中大多数域名都是 “米农” 买来投资或者收藏的，并没有真正用来建站。有些不太懂技术的认为，注册了域名只要不告诉别人，就没有人知道，其实不是这样的。对于大多数[顶级域](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E9%A1%B6%E7%BA%A7%E5%9F%9F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLpobbnuqfln58iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.8NpkIFdrbG5jFg-dQgvY2dE8N30qzGQwx_Xyr8T9sew&zhida_source=entity)，域名注册信息和 DNS 信息每天的增量都是公开的，只要有合作关系都能拿到。有了域名数据集，就可以爬到很多搜索引擎没有收录的网站。\n要是自己从头写这个查询网站，起码要花 2 天时间。用 GPT-4，只花了 3 个小时，而且前端比我做得还更漂亮。[整个网站的源代码](https://link.zhihu.com/?target=https%3A//github.com/bojieli/whois) 基本都是 GPT-4 写的，包括前端、[Flask](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=Flask&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJGbGFzayIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.nVZsSyyBIz0KD7pmbAv-bmsJzNFFaiXMM7tXOd-5V1g&zhida_source=entity) 后端和 CSV 数据导入 [MongoDB](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=MongoDB&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJNb25nb0RCIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.hX9FBrL-UkcBJT_rLoMwvTAHrcTCvaAV-g8sB97_P9c&zhida_source=entity) 的脚本（当然，导入数据花了一两天）。整个前端只有一个文件，整个后端也只有一个文件，一共 500 多行代码。写出来发现什么问题，再让 GPT-4 去修改，我就是个提需求的产品经理，一行代码都没有手写。\n### **采数据与买数据**\n我也接触过一些卖数据的公司，清洗过的数据其实是挺贵的，远高于自己采集数据的成本。但是有些数据自己爬又很难爬到，比如天涯论坛今天已经不存在了，微信公众号也难以遍历所有文章，还有一些非公开的行业数据。\n但是像知乎这种网站，就没有必要买数据了，知乎现在有上亿个问题、上十亿个回答，如果按照数据公司的定价去买数据，这不知道要多少钱。因此，自己爬取数据的能力是非常重要的。\n[数据清洗](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E6%B8%85%E6%B4%97&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLmlbDmja7muIXmtJciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ET465vO1F8KCIfe61Mkhzt4hbS_XDDQtJZBQ8RBzMjk&zhida_source=entity)也非常关键，我曾经见过有的[大语言模型](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLlpKfor63oqIDmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.t9ZQAfB1QCT7ovns8AoLrhA29V2_cWnjtNjzT4XwDoU&zhida_source=entity)，回答里面还有 “展开全部” “上一页” “下一页” 这些东西，这说明数据一定没有好好清洗过。\n我只是利用业余时间做了一些初步的数据采集和清洗，以后有新的进展会跟大家分享。\n发布于 2023-09-06 07:50・美国\n[大模型](https://www.zhihu.com/topic/25402720)\n[Whois](https://www.zhihu.com/topic/19720193)\n[数据集](https://www.zhihu.com/topic/19612270)\n​赞同 1070​​101 条评论​1165 ​140 \n​分享\n​申请转载​\n​\n![](../images/001.jpeg)\n未登录用户\n  \n\n101 条评论\n默认\n最新\n[![OpenDataLab](../images/002.jpg)](https://www.zhihu.com/people/ff91d309b80e8e67a7cdb5e5fb523025)\n[OpenDataLab](https://www.zhihu.com/people/ff91d309b80e8e67a7cdb5e5fb523025)\n高质量中文语料的稀缺已经是共识了，楼主说的这个过程也是我们感同身受的，特别是这个花费（相当肉痛）。浅说一下我们团队的项目，就在致力改变这个现状，目前联合权威机构成立大模型语料联盟，免费开源可信的高质量中文语料，就包括百科、新闻报道、教材等，第一个推出的万卷多模态中文数据集，已经做过清洗和格式统一，拿来就能训练，从源头帮大家节省获取、清洗的成本，提高模型国产大模型训练效率。避免重复造轮子。看我的回答，后续还有一系列高质量中文数据集开源，团队正在马不停蹄搬砖中，欢迎关注[OpenDataLab：多模态语料库 “书生·万卷” 1.0 详细解读 | 附下载地址](https://zhuanlan.zhihu.com/p/651917557)\n2023-09-06 · 上海\n​回复​73\n[![李博杰](../images/012.jpg)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n[李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n作者​![](../images/body-cb7de7e4968f68b1c4e7.png)![](../images/body-4891d6a1477d0a5ff6ee.jpg)\n你们做的很好，之前我们就关注了，希望能够一直做下去\n2023-10-23 · 美国\n​回复​3\n展开其他 4 条回复​\n[![lynxliu](../images/004.jpg)](https://www.zhihu.com/people/dec63f78513cf7bb031c68f0a635cafd)\n[lynxliu](https://www.zhihu.com/people/dec63f78513cf7bb031c68f0a635cafd)\n我个人觉得必要性不大，除非你想做数据生意。因为llama2这样的大模型已经把绝大多数语料数据用了。  \n只收集领域深度数据，在开源模型基础上微调就好，本来也不存在万能模型\n2023-09-06 · 北京\n​回复​16\n[![李博杰](../images/012.jpg)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n[李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n作者​![](../images/body-cb7de7e4968f68b1c4e7.png)![](../images/body-4891d6a1477d0a5ff6ee.jpg)\nllama基本上没有中文能力，而且也远远没有穷尽语料数据\n2023-10-23 · 美国\n​回复​喜欢\n查看全部 6 条回复​\n[![北城](../images/006.jpg)](https://www.zhihu.com/people/523ccdf808cb65629d938ca399f0584f)\n[北城](https://www.zhihu.com/people/523ccdf808cb65629d938ca399f0584f)\n差点以为下面几行你就要开爬虫课了![\\[滑稽\\]](https://pic4.zhimg.com/v2-8a8f1403a93ddd0a458bed730bebe19b.png)\n2023-09-13 · 上海\n​回复​10\n[![l abbott](../images/008.jpg)](https://www.zhihu.com/people/6437b4ee49fde7c8f06aa58433f4e6aa)\n[l abbott](https://www.zhihu.com/people/6437b4ee49fde7c8f06aa58433f4e6aa)\n关注。中文高质量语料还是太少了（MNBVC瑞斯拜），尤其是学术论文只能通过OCR转，而OCR的话专业名词和复杂排版目前我试下来只有超级公式和mathpix结果不错。关于电子书，我从淘宝上找了电子书贩子买了那种合集，400TB的。。。百度云没法转存，一个个手工从列表里弄出来实在是没那么多精力，做了两个礼拜就放弃了，但是我觉得这个方法论是对的，尤其是.mobi直接转出来应该简单，快速，质量高。\n2023-09-06 · 上海\n​回复​10\n[![李博杰](../images/012.jpg)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n[李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n作者​![](../images/body-cb7de7e4968f68b1c4e7.png)![](../images/body-4891d6a1477d0a5ff6ee.jpg)\n公式、图片多的学术论文还是直接拿图片用来训练多模态模型比较好\n2023-10-23 · 美国\n​回复​1\n[![李博杰](../images/012.jpg)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n[李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n作者​![](../images/body-cb7de7e4968f68b1c4e7.png)![](../images/body-4891d6a1477d0a5ff6ee.jpg)\n如果是.mobi这种本来里面就有文本的，比较好弄\n2023-10-23 · 美国\n​回复​1\n查看全部 7 条回复​\n[![Eric Huang](../images/011.jpg)](https://www.zhihu.com/people/ae6d842721fc8a36ebe71f236a4b6776)\n[Eric Huang](https://www.zhihu.com/people/ae6d842721fc8a36ebe71f236a4b6776)\n中文语料确实很难，尤其是网上数据，质量高的少，清洗过滤能过滤掉90%以上，还有互相抄袭要去重的。作者提到的“上一页”“下一页”这种情况，从清洗角度其实不太好采用通用的处理办法，得针对不同数据源区分处理，清洗之后语义会不会有影响需要人工检查。说到底是个投入产出比的问题\n2023-09-07 · 北京\n​回复​7\n[![李博杰](../images/012.jpg)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n[李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n作者​![](../images/body-cb7de7e4968f68b1c4e7.png)![](../images/body-4891d6a1477d0a5ff6ee.jpg)\n是的，确实不太好处理\n2023-10-23 · 美国\n​回复​1\n展开其他 2 条回复​\n[![Frank](../images/013.jpg)](https://www.zhihu.com/people/297b712b35a0a7c2a376060ca0cf0799)\n[Frank](https://www.zhihu.com/people/297b712b35a0a7c2a376060ca0cf0799)\n​![](../images/body-ddf414f04793a667b2c1.png)\n犯罪了已经\n2023-09-07 · 美国\n​回复​4\n展开其他 1 条回复​\n[![light沙](../images/014.jpg)](https://www.zhihu.com/people/b90a83f4f3da3a2af7dd1ee2047e9f8c)\n[light沙](https://www.zhihu.com/people/b90a83f4f3da3a2af7dd1ee2047e9f8c)\n请教下，pdf怎么喂？能直接喂？\n2023-09-06 · 重庆\n​回复​2\n展开其他 3 条回复​\n[![往事如风触动心空](../images/015.jpg)](https://www.zhihu.com/people/2dc8ba81e6731e98056f269032b8ba59)\n[往事如风触动心空](https://www.zhihu.com/people/2dc8ba81e6731e98056f269032b8ba59)\ngpt3.5写程序要我帮它改半天![\\[捂脸\\]](https://pic1.zhimg.com/v2-b62e608e405aeb33cd52830218f561ea.png)gpt4会好很多吗\n2023-09-06 · 江西\n​回复​2\n展开其他 3 条回复​\n[![木三拍](../images/016.jpg)](https://www.zhihu.com/people/38445efe904527035b03b9149e0e0f4d)\n[木三拍](https://www.zhihu.com/people/38445efe904527035b03b9149e0e0f4d)\n建议放弃。![\\[害羞\\]](https://pic4.zhimg.com/v2-52f8c87376792e927b6cf0896b726f06.png)\n2024-03-25 · 上海\n​回复​1\n[![Crab Chowder](../images/017.jpg)](https://www.zhihu.com/people/600b7c2ef185c795e7120b32a85f5df9)\n[Crab Chowder](https://www.zhihu.com/people/600b7c2ef185c795e7120b32a85f5df9)\n数据还是花钱啊。。。\n2023-09-06 · 广东\n​回复​2\n展开其他 1 条回复​\n点击查看全部评论\n![](../images/001.jpeg)\n未登录用户\n  \n\n关于作者\n[![李博杰](../images/018.jpg)](https://www.zhihu.com/people/li-bo-jie)\n[李博杰](https://www.zhihu.com/people/li-bo-jie)​![](../images/body-a7060a32222ae0d7312a.jpg)\n中科大与MSRA联培计算机博士\n[​](https://zhuanlan.zhihu.com/p/96956163)\n中国科学技术大学 计算机软件与理论博士\n[ 回答 **139** ](https://www.zhihu.com/people/li-bo-jie/answers)[ 文章 **53** ](https://www.zhihu.com/people/li-bo-jie/posts)[ 关注者 **61,208** ](https://www.zhihu.com/people/li-bo-jie/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定706 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[中国男足 0-5 巴勒斯坦564 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[原央视主持人阿丘回应被通报422 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[华为与赛力斯达成新五年合作411 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[迪拜航空确认航班发生事故400 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[东航回应网传空姐跪地道歉327 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)\n[孕妇骑车别车被司机踹翻258 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)\n### 推荐阅读\n[ ![老外学中文语法篇 “把”字句全面解析](../images/020.jpg)老外学中文语法篇 “把”字句全面解析 TONY ...发表于对外汉语 ](https://zhuanlan.zhihu.com/p/58351836)# [中文语料问题的最终解决方案 中文高质量语料的匮乏由来已久。此处不谈原因，只谈现状，懂的都懂。 中文高质量语料本来就不多，大模型训练需要的语料却在指数级增长。 我思考了很久，终于得出一个结论：任何常规的方法，… 神们自己发表于万卷计划 ](https://zhuanlan.zhihu.com/p/673536630)# [语言表达系列（八）——词到句子的飞跃 2岁3个月，路易会说最简单的句子了，包括主谓结构和主谓宾结构，还会说形容词、副词、介词、代词。要知道，五个月前，他才开始说除了“爸爸”、“妈妈”之外的词，两个月前才开始在生活中用… 猪猪-路易...发表于路易宝宝的... ](https://zhuanlan.zhihu.com/p/20066652)[ ![汉语培训 “把”字句最新讲解法](../images/022.jpg)汉语培训 “把”字句最新讲解法 TONY ...发表于对外汉语 ](https://zhuanlan.zhihu.com/p/160904076) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](../images/body-0f9788d006ab0f4da762.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n",
  "metadata": {
    "title": "采集大模型训练语料的故事 - 知乎",
    "description": "从 7 月开始，我一个人用了一个月时间，采集了超过 200 TB 大模型训练语料，花了 20 万人民币的流量费和云存储费用。就像最近发布的 Mate60 Pro 一样，真可谓是两岸猿声啼不住，轻舟已过万重山。 200 TB 语料里都…",
    "keywords": "大模型,Whois,数据集",
    "author": null,
    "og:title": "采集大模型训练语料的故事",
    "og:url": "https://zhuanlan.zhihu.com/p/654662868",
    "og:description": "从 7 月开始，我一个人用了一个月时间，采集了超过 200 TB 大模型训练语料，花了 20 万人民币的流量费和云存储费用。就像最近发布的 Mate60 Pro 一样，真可谓是两岸猿声啼不住，轻舟已过万重山。 200 TB 语料里都…",
    "og:type": "article",
    "og:site_name": "知乎专栏"
  },
  "paywall": {
    "listed_paid": false,
    "detected": false,
    "marker": "",
    "public_only": false,
    "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙"
  },
  "crawl": {
    "success": true,
    "status_code": 200,
    "error": ""
  },
  "code_blocks": [],
  "images": [
    {
      "status": "http_403",
      "url": "https://zhuanlan.zhihu.com/p/654662868",
      "src": "https://zhuanlan.zhihu.com/p/654662868",
      "alt": "",
      "downloaded": false,
      "discovery": "saved_markdown",
      "retried_at": "2026-10-20T17:37:58Z"
    }
  ],
  "audio": [],
  "videos": [],
  "links": [
    {
      "type": "internal",
      "href": "https://www.zhihu.com"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Ffollow"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2F"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Fhot"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Fcolumn-square"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Fring-feeds"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/project-square"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/fiore/h5/vip-web"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/column/c_1670745607722639360"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/people/li-bo-jie"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/question/510340037"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E8%AF%AD%E6%96%99&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLlpKfmqKHlnovorq3nu4Por63mlpkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.letdsczw_241Su42mL7rktRode0paOogk5vF56xm8NU&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E4%BA%91%E5%AD%98%E5%82%A8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLkupHlrZjlgqgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Jfhp85yfk7cGoN54WUbgZtSbnaO10qhYTOvI17Vqkts&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=Libgen+%E5%9B%BE%E4%B9%A6%E9%A6%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJMaWJnZW4g5Zu-5Lmm6aaGIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.lhuyaemVWicoienxCJ2ln8LrbbzvR8JA-UBR6oske1c&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E3%80%8A%E7%8E%AF%E7%90%83%E7%A7%91%E5%AD%A6%E3%80%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLjgIrnjq_nkIPnp5HlrabjgIsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.TzOg9JdtV0EMo1NiiH-r0PP7pcankQqHDfUjk6y3B80&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E3%80%8A%E4%B8%AD%E5%9B%BD%E5%9B%BD%E5%AE%B6%E5%9C%B0%E7%90%86%E3%80%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLjgIrkuK3lm73lm73lrrblnLDnkIbjgIsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.rOy211AZQQjTE0uIeVbkrAhxCLXnmutJx72EFHDggcQ&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLmlbDmja7pm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ip-0MHy6sMWGzDIMln5I5f0jVmHTJ2mDodTwQKbGRF4&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=RedPajama+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJSZWRQYWphbWEg5pWw5o2u6ZuGIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.fE1xJNlUckk2oeHUn4t1nKorIcO-1BDbakV_D-r8AYQ&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=TheStack+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJUaGVTdGFjayDmlbDmja7pm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.rczqUw1qWYdII930WbQb0XATvw379qA_FONr6w_YTRQ&zhida_source=entity"
    },
    {
      "type": "external",
      "href": "javascript:void(0)"
    }
  ],
  "repair_version": 2,
  "repaired_at": "2026-10-20T17:24:00Z",
  "source_url": "https://zhuanlan.zhihu.com/p/654662868",
  "delivery_status": "unverified",
  "discovery_status": "http_403",
  "missing_reason": "源页面未重新核验:http_403；已按保留正文补采图片",
  "repair_error": "",
  "actual_video_files": [],
  "expected_saved_body_images": 1,
  "image_discovery": "saved_markdown",
  "source_body_markdown": "[![](https://zhuanlan.zhihu.com/p/654662868)](javascript:void\\(0\\))\n![ZhiHu logo](https://static.zhihu.com/heifetz/assets/wechat-share-logo.39ea9ecd.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n采集大模型训练语料的故事\n首发于[大模型操作系统之路](https://www.zhihu.com/column/c_1670745607722639360)\n切换模式\n# 采集大模型训练语料的故事\n[![李博杰](https://picx.zhimg.com/0308d1c0d4faf17553045ce43f445899_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/li-bo-jie)\n[李博杰](https://www.zhihu.com/people/li-bo-jie)\n[​![](https://pic1.zhimg.com/v2-27bfcba90e66db79ce8768ab807e017e_l.png?source=32738c0c)](https://www.zhihu.com/question/510340037)​![](https://pic1.zhimg.com/v2-4812630bc27d642f7cafcd6cdeca3d7a.jpg?source=88ceefae)\n新知答主\n[收录于 · 大模型操作系统之路](https://www.zhihu.com/column/c_1670745607722639360)\n1070 人赞同了该文章\n从 7 月开始，我一个人用了一个月时间，采集了超过 200 TB [大模型训练语料](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E8%AF%AD%E6%96%99&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLlpKfmqKHlnovorq3nu4Por63mlpkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.letdsczw_241Su42mL7rktRode0paOogk5vF56xm8NU&zhida_source=entity)，花了 20 万人民币的流量费和[云存储](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E4%BA%91%E5%AD%98%E5%82%A8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLkupHlrZjlgqgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Jfhp85yfk7cGoN54WUbgZtSbnaO10qhYTOvI17Vqkts&zhida_source=entity)费用。就像最近发布的 Mate60 Pro 一样，真可谓是两岸猿声啼不住，轻舟已过万重山。\n### **200 TB 语料里都有什么**\n  * Z-library 图书馆电子书 2243 万册，共计 31 TB\n  * [Libgen 图书馆](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=Libgen+%E5%9B%BE%E4%B9%A6%E9%A6%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJMaWJnZW4g5Zu-5Lmm6aaGIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.lhuyaemVWicoienxCJ2ln8LrbbzvR8JA-UBR6oske1c&zhida_source=entity)电子书 378 万册，共计 33 TB\n  * Scimag 学术论文和期刊 8760 万册，共计 77 TB\n  * 各类中文语料，共 4 TB，包括：\n    * 小学、初中、高中全套课本，35 GB\n    * 大学教材和专业书 1 万余册，142 GB\n    * 《人民日报》《参考消息》《三联生活周刊》[《环球科学》](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E3%80%8A%E7%8E%AF%E7%90%83%E7%A7%91%E5%AD%A6%E3%80%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLjgIrnjq_nkIPnp5HlrabjgIsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.TzOg9JdtV0EMo1NiiH-r0PP7pcankQqHDfUjk6y3B80&zhida_source=entity)《读者》[《中国国家地理》](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E3%80%8A%E4%B8%AD%E5%9B%BD%E5%9B%BD%E5%AE%B6%E5%9C%B0%E7%90%86%E3%80%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLjgIrkuK3lm73lm73lrrblnLDnkIbjgIsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.rOy211AZQQjTE0uIeVbkrAhxCLXnmutJx72EFHDggcQ&zhida_source=entity)等数十种经典报刊杂志历年合集，共 1 TB\n    * 百度百科 1200 万词条，20 GB\n    * 古籍、各地县志 1.6 TB\n    * 各类推荐书单、英汉双语世界名著、中国历代名著译本等图书 2 万余册，约 300 GB\n    * 各类词典 100 GB\n    * 各类中文小说约 100 GB\n\n\n  \n\n  * 各类[数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLmlbDmja7pm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ip-0MHy6sMWGzDIMln5I5f0jVmHTJ2mDodTwQKbGRF4&zhida_source=entity)：\n    * [RedPajama 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=RedPajama+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJSZWRQYWphbWEg5pWw5o2u6ZuGIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.fE1xJNlUckk2oeHUn4t1nKorIcO-1BDbakV_D-r8AYQ&zhida_source=entity)，是 LLaMA 数据集的开源复刻版，2.8 TB\n    * MNBVC 数据集，1 TB\n    * CommonCrawl 2023 5-6 月版本的 WET 纯文字版数据，压缩后 8.6 TB\n    * 全世界几乎所有域名的 Whois 数据历史（30 亿条），2.5 TB\n    * [TheStack 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=TheStack+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJUaGVTdGFjayDmlbDmja7pm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.rczqUw1qWYdII930WbQb0XATvw379qA_FONr6w_YTRQ&zhida_source=entity)，GitHub 知名开源项目的源代码，3 TB\n    * [The-Eye 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=The-Eye+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJUaGUtRXllIOaVsOaNrumbhiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.XSFT01NzesnG8-pJ4mbzIIDbNYKsicU__XIPZSYqkpA&zhida_source=entity)，10 TB\n    * [AmazonReviews 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=AmazonReviews+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJBbWF6b25SZXZpZXdzIOaVsOaNrumbhiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.PHExgULK5VX0NxtDO-fh6QNt2hBsZwtb1t4ZVWOxYJg&zhida_source=entity)，55 GB\n\n\n  \n\n为什么我收集了这么多书？这些书中很多还是图片组成的 PDF，需要 [OCR](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=OCR&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJPQ1IiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.jDy2Ok5zTDnb3sO1YP4uC0wZckwZCw21uIqtFAVpzCw&zhida_source=entity) 才能当文本模型的训练语料使用。我有两点考虑：\n  1. 语料的质量比数量重要，百度贴吧上的贴子数量可能比书的数量多，但是贴吧贴子只能把大模型训练成一个段子手，没法让它干正事；要掌握知识，还是得从书籍和文献中系统地学习。\n  2. 未来[多模态大模型](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLlpJrmqKHmgIHlpKfmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.kK_WXj33oaR_VD8thrYcfs2ZlRximqDzw3eMI-XFtkE&zhida_source=entity)会成为主流，视觉中包含了人类世界的很多重要信息，现在的文本大模型只用文本做训练其实是丢失了很多信息，未来的多模态大模型可以从 PDF 书籍中直接学习包含图片和文本的多模态知识。\n\n\n### **Whois[域名注册](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%9F%9F%E5%90%8D%E6%B3%A8%E5%86%8C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLln5_lkI3ms6jlhowiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.osLMzCbaQVGq39ir6w1kMaO7smQuAIFRHGq_5nWicnU&zhida_source=entity)历史数据集**\n今天我用其中一个比较有意思的数据集，利用 GPT-4 帮我写代码，花了 3 个小时做了一个查询网站：[全世界域名 30 亿条 Whois 历史查询：whois.os.ai](https://link.zhihu.com/?target=https%3A//whois.os.ai/)。\n比如搜索 microsoft，可以看到 microsoft.* 的域名其实有非常多，需要加载一会儿才能全部加载完。也可以搜索你自己的域名，历史上大部分存在过的域名这个数据库里都有，而且大部分新注册的域名第二天就能在这个系统里查询到。\n这个数据集起源于 2013~2014 年我在 [MSRA 高级软件工程](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=MSRA+%E9%AB%98%E7%BA%A7%E8%BD%AF%E4%BB%B6%E5%B7%A5%E7%A8%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJNU1JBIOmrmOe6p-i9r-S7tuW3peeoiyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0._XGRbuBaNSF6znSZr0iYzB5W1rn21xfeT_sTWGbnKLc&zhida_source=entity)课程的课程作业。当时我做了一个网站 [http://soip.net](https://link.zhihu.com/?target=http%3A//soip.net)（在 [whois.os.ai](https://link.zhihu.com/?target=https%3A//whois.os.ai/) 上还可以查到当年域名注册的历史遗迹），从 Verisign 拿到了 .com 和 .net 的 DNS Zone File（目前这些 [gTLD](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=gTLD&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJnVExEIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.zaBaMT5ku8hP7lFU2y2VwAvL9PcfI-cvY84yaI-Z-bo&zhida_source=entity) 的 Zone File 可以[通过 ICANN 拿到](https://link.zhihu.com/?target=https%3A//czds.icann.org/home)），然后就慢慢把这几千万个域名（目前 .com 域名数量已经过亿）的 Whois 数据都爬下来，然后把每个[域名解析](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%9F%9F%E5%90%8D%E8%A7%A3%E6%9E%90&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLln5_lkI3op6PmnpAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.MsUxy4_mLPgtlvyjH1xBdGo26TWFyaBm2eqVZUpSTZk&zhida_source=entity)出的 [IP](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=IP&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJJUCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.R23tLH6kWEL4rnj6FyfvIywOU4mDEhBzJ0J9JsPeirw&zhida_source=entity) 地址也爬下来。\n这样就形成了域名、IP、[Whois 域名注册信息](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=Whois+%E5%9F%9F%E5%90%8D%E6%B3%A8%E5%86%8C%E4%BF%A1%E6%81%AF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJXaG9pcyDln5_lkI3ms6jlhozkv6Hmga8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.z2gj1iv8EPfaLKBAiNsJlWOMF7wRXQTPxCtv0OzoYGk&zhida_source=entity)的关联数据，可以根据 IP 反查某个主机上挂了哪些域名，也可以根据注册信息反查某个人注册了哪些域名。当时域名注册信息保护还不流行，域名注册者的实名地址、邮箱和电话号码都可以通过 Whois 公开查到。其实当时已经有公司在提供此类服务了，因此我做这个网站也只是为了课程作业，并没有持续运营下去。\n但是我觉得 Whois 域名注册信息的历史应该有很高价值，它就像 [Internet Archive WayBackMachine](https://link.zhihu.com/?target=https%3A//archive.org/web/) 一样记录了互联网历史的一个侧面。因此就一直维护了下去，后来还添加了更多 gTLD 和 [ccTLD](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=ccTLD&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJjY1RMRCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.qVchmyexQQjb-0XQHthQqsvW_22dZZdrR6T_BEz6djo&zhida_source=entity) 的数据源。当然我凭兴趣搞的项目做不到 100% 覆盖，不像 [WhoisXMLAPI](https://link.zhihu.com/?target=https%3A//www.whoisxmlapi.com/) 这样专业提供 Whois 数据历史的公司那么厉害。\n10 年过去，Whois 数据集中已经有超过 7 亿个域名，接近 30 亿条 Whois 历史记录，其中目前活跃的只有 2 亿多个域名，4 亿多个域名已经消失在历史的尘埃中。其中大多数域名都是 “米农” 买来投资或者收藏的，并没有真正用来建站。有些不太懂技术的认为，注册了域名只要不告诉别人，就没有人知道，其实不是这样的。对于大多数[顶级域](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E9%A1%B6%E7%BA%A7%E5%9F%9F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLpobbnuqfln58iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.8NpkIFdrbG5jFg-dQgvY2dE8N30qzGQwx_Xyr8T9sew&zhida_source=entity)，域名注册信息和 DNS 信息每天的增量都是公开的，只要有合作关系都能拿到。有了域名数据集，就可以爬到很多搜索引擎没有收录的网站。\n要是自己从头写这个查询网站，起码要花 2 天时间。用 GPT-4，只花了 3 个小时，而且前端比我做得还更漂亮。[整个网站的源代码](https://link.zhihu.com/?target=https%3A//github.com/bojieli/whois) 基本都是 GPT-4 写的，包括前端、[Flask](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=Flask&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJGbGFzayIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.nVZsSyyBIz0KD7pmbAv-bmsJzNFFaiXMM7tXOd-5V1g&zhida_source=entity) 后端和 CSV 数据导入 [MongoDB](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=MongoDB&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJNb25nb0RCIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.hX9FBrL-UkcBJT_rLoMwvTAHrcTCvaAV-g8sB97_P9c&zhida_source=entity) 的脚本（当然，导入数据花了一两天）。整个前端只有一个文件，整个后端也只有一个文件，一共 500 多行代码。写出来发现什么问题，再让 GPT-4 去修改，我就是个提需求的产品经理，一行代码都没有手写。\n### **采数据与买数据**\n我也接触过一些卖数据的公司，清洗过的数据其实是挺贵的，远高于自己采集数据的成本。但是有些数据自己爬又很难爬到，比如天涯论坛今天已经不存在了，微信公众号也难以遍历所有文章，还有一些非公开的行业数据。\n但是像知乎这种网站，就没有必要买数据了，知乎现在有上亿个问题、上十亿个回答，如果按照数据公司的定价去买数据，这不知道要多少钱。因此，自己爬取数据的能力是非常重要的。\n[数据清洗](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E6%B8%85%E6%B4%97&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLmlbDmja7muIXmtJciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ET465vO1F8KCIfe61Mkhzt4hbS_XDDQtJZBQ8RBzMjk&zhida_source=entity)也非常关键，我曾经见过有的[大语言模型](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLlpKfor63oqIDmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.t9ZQAfB1QCT7ovns8AoLrhA29V2_cWnjtNjzT4XwDoU&zhida_source=entity)，回答里面还有 “展开全部” “上一页” “下一页” 这些东西，这说明数据一定没有好好清洗过。\n我只是利用业余时间做了一些初步的数据采集和清洗，以后有新的进展会跟大家分享。\n发布于 2023-09-06 07:50・美国\n[大模型](https://www.zhihu.com/topic/25402720)\n[Whois](https://www.zhihu.com/topic/19720193)\n[数据集](https://www.zhihu.com/topic/19612270)\n​赞同 1070​​101 条评论​1165 ​140 \n​分享\n​申请转载​\n​\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n  \n\n101 条评论\n默认\n最新\n[![OpenDataLab](https://pic1.zhimg.com/v2-a45e7917514e24f7a8485eeea8e9215f_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/ff91d309b80e8e67a7cdb5e5fb523025)\n[OpenDataLab](https://www.zhihu.com/people/ff91d309b80e8e67a7cdb5e5fb523025)\n高质量中文语料的稀缺已经是共识了，楼主说的这个过程也是我们感同身受的，特别是这个花费（相当肉痛）。浅说一下我们团队的项目，就在致力改变这个现状，目前联合权威机构成立大模型语料联盟，免费开源可信的高质量中文语料，就包括百科、新闻报道、教材等，第一个推出的万卷多模态中文数据集，已经做过清洗和格式统一，拿来就能训练，从源头帮大家节省获取、清洗的成本，提高模型国产大模型训练效率。避免重复造轮子。看我的回答，后续还有一系列高质量中文数据集开源，团队正在马不停蹄搬砖中，欢迎关注[OpenDataLab：多模态语料库 “书生·万卷” 1.0 详细解读 | 附下载地址](https://zhuanlan.zhihu.com/p/651917557)\n2023-09-06 · 上海\n​回复​73\n[![李博杰](https://picx.zhimg.com/0308d1c0d4faf17553045ce43f445899_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n[李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n作者​![](https://pic4.zhimg.com/v2-27bfcba90e66db79ce8768ab807e017e_l.png?source=32738c0c)![](https://picx.zhimg.com/v2-4812630bc27d642f7cafcd6cdeca3d7a.jpg?source=88ceefae)\n你们做的很好，之前我们就关注了，希望能够一直做下去\n2023-10-23 · 美国\n​回复​3\n展开其他 4 条回复​\n[![lynxliu](https://picx.zhimg.com/v2-88b247d79225cf35fab3d41edddf32da_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/dec63f78513cf7bb031c68f0a635cafd)\n[lynxliu](https://www.zhihu.com/people/dec63f78513cf7bb031c68f0a635cafd)\n我个人觉得必要性不大，除非你想做数据生意。因为llama2这样的大模型已经把绝大多数语料数据用了。  \n只收集领域深度数据，在开源模型基础上微调就好，本来也不存在万能模型\n2023-09-06 · 北京\n​回复​16\n[![李博杰](https://picx.zhimg.com/0308d1c0d4faf17553045ce43f445899_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n[李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n作者​![](https://pic4.zhimg.com/v2-27bfcba90e66db79ce8768ab807e017e_l.png?source=32738c0c)![](https://picx.zhimg.com/v2-4812630bc27d642f7cafcd6cdeca3d7a.jpg?source=88ceefae)\nllama基本上没有中文能力，而且也远远没有穷尽语料数据\n2023-10-23 · 美国\n​回复​喜欢\n查看全部 6 条回复​\n[![北城](https://pica.zhimg.com/v2-5d455d14168324c709308fe34c97cb7e_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/523ccdf808cb65629d938ca399f0584f)\n[北城](https://www.zhihu.com/people/523ccdf808cb65629d938ca399f0584f)\n差点以为下面几行你就要开爬虫课了![\\[滑稽\\]](https://pic4.zhimg.com/v2-8a8f1403a93ddd0a458bed730bebe19b.png)\n2023-09-13 · 上海\n​回复​10\n[![l abbott](https://picx.zhimg.com/v2-26bb617fb5c67bb20edeb10505339353_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/6437b4ee49fde7c8f06aa58433f4e6aa)\n[l abbott](https://www.zhihu.com/people/6437b4ee49fde7c8f06aa58433f4e6aa)\n关注。中文高质量语料还是太少了（MNBVC瑞斯拜），尤其是学术论文只能通过OCR转，而OCR的话专业名词和复杂排版目前我试下来只有超级公式和mathpix结果不错。关于电子书，我从淘宝上找了电子书贩子买了那种合集，400TB的。。。百度云没法转存，一个个手工从列表里弄出来实在是没那么多精力，做了两个礼拜就放弃了，但是我觉得这个方法论是对的，尤其是.mobi直接转出来应该简单，快速，质量高。\n2023-09-06 · 上海\n​回复​10\n[![李博杰](https://picx.zhimg.com/0308d1c0d4faf17553045ce43f445899_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n[李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n作者​![](https://pic4.zhimg.com/v2-27bfcba90e66db79ce8768ab807e017e_l.png?source=32738c0c)![](https://picx.zhimg.com/v2-4812630bc27d642f7cafcd6cdeca3d7a.jpg?source=88ceefae)\n公式、图片多的学术论文还是直接拿图片用来训练多模态模型比较好\n2023-10-23 · 美国\n​回复​1\n[![李博杰](https://picx.zhimg.com/0308d1c0d4faf17553045ce43f445899_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n[李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n作者​![](https://pic4.zhimg.com/v2-27bfcba90e66db79ce8768ab807e017e_l.png?source=32738c0c)![](https://picx.zhimg.com/v2-4812630bc27d642f7cafcd6cdeca3d7a.jpg?source=88ceefae)\n如果是.mobi这种本来里面就有文本的，比较好弄\n2023-10-23 · 美国\n​回复​1\n查看全部 7 条回复​\n[![Eric Huang](https://pica.zhimg.com/v2-abed1a8c04700ba7d72b45195223e0ff_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/ae6d842721fc8a36ebe71f236a4b6776)\n[Eric Huang](https://www.zhihu.com/people/ae6d842721fc8a36ebe71f236a4b6776)\n中文语料确实很难，尤其是网上数据，质量高的少，清洗过滤能过滤掉90%以上，还有互相抄袭要去重的。作者提到的“上一页”“下一页”这种情况，从清洗角度其实不太好采用通用的处理办法，得针对不同数据源区分处理，清洗之后语义会不会有影响需要人工检查。说到底是个投入产出比的问题\n2023-09-07 · 北京\n​回复​7\n[![李博杰](https://picx.zhimg.com/0308d1c0d4faf17553045ce43f445899_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n[李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d)\n作者​![](https://pic4.zhimg.com/v2-27bfcba90e66db79ce8768ab807e017e_l.png?source=32738c0c)![](https://picx.zhimg.com/v2-4812630bc27d642f7cafcd6cdeca3d7a.jpg?source=88ceefae)\n是的，确实不太好处理\n2023-10-23 · 美国\n​回复​1\n展开其他 2 条回复​\n[![Frank](https://picx.zhimg.com/v2-f86d62b5df76c49d036d57def7e9cd45_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/297b712b35a0a7c2a376060ca0cf0799)\n[Frank](https://www.zhihu.com/people/297b712b35a0a7c2a376060ca0cf0799)\n​![](https://picx.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\n犯罪了已经\n2023-09-07 · 美国\n​回复​4\n展开其他 1 条回复​\n[![light沙](https://picx.zhimg.com/v2-abed1a8c04700ba7d72b45195223e0ff_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/b90a83f4f3da3a2af7dd1ee2047e9f8c)\n[light沙](https://www.zhihu.com/people/b90a83f4f3da3a2af7dd1ee2047e9f8c)\n请教下，pdf怎么喂？能直接喂？\n2023-09-06 · 重庆\n​回复​2\n展开其他 3 条回复​\n[![往事如风触动心空](https://pica.zhimg.com/v2-540ae918e90fdf4ced08efe23dee5c45_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/2dc8ba81e6731e98056f269032b8ba59)\n[往事如风触动心空](https://www.zhihu.com/people/2dc8ba81e6731e98056f269032b8ba59)\ngpt3.5写程序要我帮它改半天![\\[捂脸\\]](https://pic1.zhimg.com/v2-b62e608e405aeb33cd52830218f561ea.png)gpt4会好很多吗\n2023-09-06 · 江西\n​回复​2\n展开其他 3 条回复​\n[![木三拍](https://picx.zhimg.com/v2-9d3bf7c2d6144d104651697c9d271e84_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/38445efe904527035b03b9149e0e0f4d)\n[木三拍](https://www.zhihu.com/people/38445efe904527035b03b9149e0e0f4d)\n建议放弃。![\\[害羞\\]](https://pic4.zhimg.com/v2-52f8c87376792e927b6cf0896b726f06.png)\n2024-03-25 · 上海\n​回复​1\n[![Crab Chowder](https://pic1.zhimg.com/v2-b4ff633384a388a6cdce2e19d69d4265_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/600b7c2ef185c795e7120b32a85f5df9)\n[Crab Chowder](https://www.zhihu.com/people/600b7c2ef185c795e7120b32a85f5df9)\n数据还是花钱啊。。。\n2023-09-06 · 广东\n​回复​2\n展开其他 1 条回复​\n点击查看全部评论\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n  \n\n关于作者\n[![李博杰](https://picx.zhimg.com/0308d1c0d4faf17553045ce43f445899_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/li-bo-jie)\n[李博杰](https://www.zhihu.com/people/li-bo-jie)​![](https://pic1.zhimg.com/v2-4812630bc27d642f7cafcd6cdeca3d7a.jpg?source=88ceefae)\n中科大与MSRA联培计算机博士\n[​](https://zhuanlan.zhihu.com/p/96956163)\n中国科学技术大学 计算机软件与理论博士\n[ 回答 **139** ](https://www.zhihu.com/people/li-bo-jie/answers)[ 文章 **53** ](https://www.zhihu.com/people/li-bo-jie/posts)[ 关注者 **61,208** ](https://www.zhihu.com/people/li-bo-jie/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定706 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[中国男足 0-5 巴勒斯坦564 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[原央视主持人阿丘回应被通报422 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[华为与赛力斯达成新五年合作411 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[迪拜航空确认航班发生事故400 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[东航回应网传空姐跪地道歉327 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)\n[孕妇骑车别车被司机踹翻258 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)\n### 推荐阅读\n[ ![老外学中文语法篇 “把”字句全面解析](https://picx.zhimg.com/v2-5671fffe396c2714190c7b42a70a37c0_250x0.jpg?source=172ae18b)老外学中文语法篇 “把”字句全面解析 TONY ...发表于对外汉语 ](https://zhuanlan.zhihu.com/p/58351836)# [中文语料问题的最终解决方案 中文高质量语料的匮乏由来已久。此处不谈原因，只谈现状，懂的都懂。 中文高质量语料本来就不多，大模型训练需要的语料却在指数级增长。 我思考了很久，终于得出一个结论：任何常规的方法，… 神们自己发表于万卷计划 ](https://zhuanlan.zhihu.com/p/673536630)# [语言表达系列（八）——词到句子的飞跃 2岁3个月，路易会说最简单的句子了，包括主谓结构和主谓宾结构，还会说形容词、副词、介词、代词。要知道，五个月前，他才开始说除了“爸爸”、“妈妈”之外的词，两个月前才开始在生活中用… 猪猪-路易...发表于路易宝宝的... ](https://zhuanlan.zhihu.com/p/20066652)[ ![汉语培训 “把”字句最新讲解法](https://pic1.zhimg.com/v2-41f4674b6158b5bf678bf8319b22b117_250x0.jpg?source=172ae18b)汉语培训 “把”字句最新讲解法 TONY ...发表于对外汉语 ](https://zhuanlan.zhihu.com/p/160904076) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](https://picx.zhimg.com/v2-9e41ea16bdfbe9cf4896617ecad5b4ca.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n",
  "body_base_path": "attachments/30afb33e3548/pages/",
  "body_markdown_path": "attachments/30afb33e3548/pages/archived-body.md",
  "local_html": "attachments/30afb33e3548/pages/archived-body.html",
  "body_source": "prior_capture"
}