[![](https://zhuanlan.zhihu.com/p/654662868)](javascript:void\(0\)) ![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png) [](https://www.zhihu.com) [关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web) ​ [直答](https://zhida.zhihu.com/) 切换模式 登录/注册 采集大模型训练语料的故事 首发于[大模型操作系统之路](https://www.zhihu.com/column/c_1670745607722639360) 切换模式 # 采集大模型训练语料的故事 [![李博杰](../images/018.jpg)](https://www.zhihu.com/people/li-bo-jie) [李博杰](https://www.zhihu.com/people/li-bo-jie) [​![](../images/body-1eca6c24dcaf4ffe4cbc.png)](https://www.zhihu.com/question/510340037)​![](../images/body-a7060a32222ae0d7312a.jpg) 新知答主 [收录于 · 大模型操作系统之路](https://www.zhihu.com/column/c_1670745607722639360) 1070 人赞同了该文章 从 7 月开始，我一个人用了一个月时间，采集了超过 200 TB [大模型训练语料](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E8%AF%AD%E6%96%99&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLlpKfmqKHlnovorq3nu4Por63mlpkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.letdsczw_241Su42mL7rktRode0paOogk5vF56xm8NU&zhida_source=entity)，花了 20 万人民币的流量费和[云存储](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E4%BA%91%E5%AD%98%E5%82%A8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLkupHlrZjlgqgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Jfhp85yfk7cGoN54WUbgZtSbnaO10qhYTOvI17Vqkts&zhida_source=entity)费用。就像最近发布的 Mate60 Pro 一样，真可谓是两岸猿声啼不住，轻舟已过万重山。 ### **200 TB 语料里都有什么** * Z-library 图书馆电子书 2243 万册，共计 31 TB * [Libgen 图书馆](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=Libgen+%E5%9B%BE%E4%B9%A6%E9%A6%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJMaWJnZW4g5Zu-5Lmm6aaGIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.lhuyaemVWicoienxCJ2ln8LrbbzvR8JA-UBR6oske1c&zhida_source=entity)电子书 378 万册，共计 33 TB * Scimag 学术论文和期刊 8760 万册，共计 77 TB * 各类中文语料，共 4 TB，包括： * 小学、初中、高中全套课本，35 GB * 大学教材和专业书 1 万余册，142 GB * 《人民日报》《参考消息》《三联生活周刊》[《环球科学》](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E3%80%8A%E7%8E%AF%E7%90%83%E7%A7%91%E5%AD%A6%E3%80%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLjgIrnjq_nkIPnp5HlrabjgIsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.TzOg9JdtV0EMo1NiiH-r0PP7pcankQqHDfUjk6y3B80&zhida_source=entity)《读者》[《中国国家地理》](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E3%80%8A%E4%B8%AD%E5%9B%BD%E5%9B%BD%E5%AE%B6%E5%9C%B0%E7%90%86%E3%80%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLjgIrkuK3lm73lm73lrrblnLDnkIbjgIsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.rOy211AZQQjTE0uIeVbkrAhxCLXnmutJx72EFHDggcQ&zhida_source=entity)等数十种经典报刊杂志历年合集，共 1 TB * 百度百科 1200 万词条，20 GB * 古籍、各地县志 1.6 TB * 各类推荐书单、英汉双语世界名著、中国历代名著译本等图书 2 万余册，约 300 GB * 各类词典 100 GB * 各类中文小说约 100 GB * 各类[数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLmlbDmja7pm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ip-0MHy6sMWGzDIMln5I5f0jVmHTJ2mDodTwQKbGRF4&zhida_source=entity)： * [RedPajama 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=RedPajama+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJSZWRQYWphbWEg5pWw5o2u6ZuGIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.fE1xJNlUckk2oeHUn4t1nKorIcO-1BDbakV_D-r8AYQ&zhida_source=entity)，是 LLaMA 数据集的开源复刻版，2.8 TB * MNBVC 数据集，1 TB * CommonCrawl 2023 5-6 月版本的 WET 纯文字版数据，压缩后 8.6 TB * 全世界几乎所有域名的 Whois 数据历史（30 亿条），2.5 TB * [TheStack 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=TheStack+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJUaGVTdGFjayDmlbDmja7pm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.rczqUw1qWYdII930WbQb0XATvw379qA_FONr6w_YTRQ&zhida_source=entity)，GitHub 知名开源项目的源代码，3 TB * [The-Eye 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=The-Eye+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJUaGUtRXllIOaVsOaNrumbhiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.XSFT01NzesnG8-pJ4mbzIIDbNYKsicU__XIPZSYqkpA&zhida_source=entity)，10 TB * [AmazonReviews 数据集](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=AmazonReviews+%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJBbWF6b25SZXZpZXdzIOaVsOaNrumbhiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.PHExgULK5VX0NxtDO-fh6QNt2hBsZwtb1t4ZVWOxYJg&zhida_source=entity)，55 GB 为什么我收集了这么多书？这些书中很多还是图片组成的 PDF，需要 [OCR](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=OCR&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJPQ1IiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.jDy2Ok5zTDnb3sO1YP4uC0wZckwZCw21uIqtFAVpzCw&zhida_source=entity) 才能当文本模型的训练语料使用。我有两点考虑： 1. 语料的质量比数量重要，百度贴吧上的贴子数量可能比书的数量多，但是贴吧贴子只能把大模型训练成一个段子手，没法让它干正事；要掌握知识，还是得从书籍和文献中系统地学习。 2. 未来[多模态大模型](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLlpJrmqKHmgIHlpKfmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.kK_WXj33oaR_VD8thrYcfs2ZlRximqDzw3eMI-XFtkE&zhida_source=entity)会成为主流，视觉中包含了人类世界的很多重要信息，现在的文本大模型只用文本做训练其实是丢失了很多信息，未来的多模态大模型可以从 PDF 书籍中直接学习包含图片和文本的多模态知识。 ### **Whois[域名注册](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%9F%9F%E5%90%8D%E6%B3%A8%E5%86%8C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLln5_lkI3ms6jlhowiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.osLMzCbaQVGq39ir6w1kMaO7smQuAIFRHGq_5nWicnU&zhida_source=entity)历史数据集** 今天我用其中一个比较有意思的数据集，利用 GPT-4 帮我写代码，花了 3 个小时做了一个查询网站：[全世界域名 30 亿条 Whois 历史查询：whois.os.ai](https://link.zhihu.com/?target=https%3A//whois.os.ai/)。 比如搜索 microsoft，可以看到 microsoft.* 的域名其实有非常多，需要加载一会儿才能全部加载完。也可以搜索你自己的域名，历史上大部分存在过的域名这个数据库里都有，而且大部分新注册的域名第二天就能在这个系统里查询到。 这个数据集起源于 2013~2014 年我在 [MSRA 高级软件工程](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=MSRA+%E9%AB%98%E7%BA%A7%E8%BD%AF%E4%BB%B6%E5%B7%A5%E7%A8%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJNU1JBIOmrmOe6p-i9r-S7tuW3peeoiyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0._XGRbuBaNSF6znSZr0iYzB5W1rn21xfeT_sTWGbnKLc&zhida_source=entity)课程的课程作业。当时我做了一个网站 [http://soip.net](https://link.zhihu.com/?target=http%3A//soip.net)（在 [whois.os.ai](https://link.zhihu.com/?target=https%3A//whois.os.ai/) 上还可以查到当年域名注册的历史遗迹），从 Verisign 拿到了 .com 和 .net 的 DNS Zone File（目前这些 [gTLD](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=gTLD&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJnVExEIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.zaBaMT5ku8hP7lFU2y2VwAvL9PcfI-cvY84yaI-Z-bo&zhida_source=entity) 的 Zone File 可以[通过 ICANN 拿到](https://link.zhihu.com/?target=https%3A//czds.icann.org/home)），然后就慢慢把这几千万个域名（目前 .com 域名数量已经过亿）的 Whois 数据都爬下来，然后把每个[域名解析](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%9F%9F%E5%90%8D%E8%A7%A3%E6%9E%90&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLln5_lkI3op6PmnpAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.MsUxy4_mLPgtlvyjH1xBdGo26TWFyaBm2eqVZUpSTZk&zhida_source=entity)出的 [IP](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=IP&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJJUCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.R23tLH6kWEL4rnj6FyfvIywOU4mDEhBzJ0J9JsPeirw&zhida_source=entity) 地址也爬下来。 这样就形成了域名、IP、[Whois 域名注册信息](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=Whois+%E5%9F%9F%E5%90%8D%E6%B3%A8%E5%86%8C%E4%BF%A1%E6%81%AF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJXaG9pcyDln5_lkI3ms6jlhozkv6Hmga8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.z2gj1iv8EPfaLKBAiNsJlWOMF7wRXQTPxCtv0OzoYGk&zhida_source=entity)的关联数据，可以根据 IP 反查某个主机上挂了哪些域名，也可以根据注册信息反查某个人注册了哪些域名。当时域名注册信息保护还不流行，域名注册者的实名地址、邮箱和电话号码都可以通过 Whois 公开查到。其实当时已经有公司在提供此类服务了，因此我做这个网站也只是为了课程作业，并没有持续运营下去。 但是我觉得 Whois 域名注册信息的历史应该有很高价值，它就像 [Internet Archive WayBackMachine](https://link.zhihu.com/?target=https%3A//archive.org/web/) 一样记录了互联网历史的一个侧面。因此就一直维护了下去，后来还添加了更多 gTLD 和 [ccTLD](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=ccTLD&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJjY1RMRCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.qVchmyexQQjb-0XQHthQqsvW_22dZZdrR6T_BEz6djo&zhida_source=entity) 的数据源。当然我凭兴趣搞的项目做不到 100% 覆盖，不像 [WhoisXMLAPI](https://link.zhihu.com/?target=https%3A//www.whoisxmlapi.com/) 这样专业提供 Whois 数据历史的公司那么厉害。 10 年过去，Whois 数据集中已经有超过 7 亿个域名，接近 30 亿条 Whois 历史记录，其中目前活跃的只有 2 亿多个域名，4 亿多个域名已经消失在历史的尘埃中。其中大多数域名都是 “米农” 买来投资或者收藏的，并没有真正用来建站。有些不太懂技术的认为，注册了域名只要不告诉别人，就没有人知道，其实不是这样的。对于大多数[顶级域](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E9%A1%B6%E7%BA%A7%E5%9F%9F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLpobbnuqfln58iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.8NpkIFdrbG5jFg-dQgvY2dE8N30qzGQwx_Xyr8T9sew&zhida_source=entity)，域名注册信息和 DNS 信息每天的增量都是公开的，只要有合作关系都能拿到。有了域名数据集，就可以爬到很多搜索引擎没有收录的网站。 要是自己从头写这个查询网站，起码要花 2 天时间。用 GPT-4，只花了 3 个小时，而且前端比我做得还更漂亮。[整个网站的源代码](https://link.zhihu.com/?target=https%3A//github.com/bojieli/whois) 基本都是 GPT-4 写的，包括前端、[Flask](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=Flask&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJGbGFzayIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMzYwOTMwOCwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.nVZsSyyBIz0KD7pmbAv-bmsJzNFFaiXMM7tXOd-5V1g&zhida_source=entity) 后端和 CSV 数据导入 [MongoDB](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=MongoDB&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiJNb25nb0RCIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMzNjA5MzA4LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.hX9FBrL-UkcBJT_rLoMwvTAHrcTCvaAV-g8sB97_P9c&zhida_source=entity) 的脚本（当然，导入数据花了一两天）。整个前端只有一个文件，整个后端也只有一个文件，一共 500 多行代码。写出来发现什么问题，再让 GPT-4 去修改，我就是个提需求的产品经理，一行代码都没有手写。 ### **采数据与买数据** 我也接触过一些卖数据的公司，清洗过的数据其实是挺贵的，远高于自己采集数据的成本。但是有些数据自己爬又很难爬到，比如天涯论坛今天已经不存在了，微信公众号也难以遍历所有文章，还有一些非公开的行业数据。 但是像知乎这种网站，就没有必要买数据了，知乎现在有上亿个问题、上十亿个回答，如果按照数据公司的定价去买数据，这不知道要多少钱。因此，自己爬取数据的能力是非常重要的。 [数据清洗](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E6%B8%85%E6%B4%97&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLmlbDmja7muIXmtJciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ET465vO1F8KCIfe61Mkhzt4hbS_XDDQtJZBQ8RBzMjk&zhida_source=entity)也非常关键，我曾经见过有的[大语言模型](https://zhida.zhihu.com/search?content_id=233609308&content_type=Article&match_order=1&q=%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxOTQsInEiOiLlpKfor63oqIDmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzM2MDkzMDgsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.t9ZQAfB1QCT7ovns8AoLrhA29V2_cWnjtNjzT4XwDoU&zhida_source=entity)，回答里面还有 “展开全部” “上一页” “下一页” 这些东西，这说明数据一定没有好好清洗过。 我只是利用业余时间做了一些初步的数据采集和清洗，以后有新的进展会跟大家分享。 发布于 2023-09-06 07:50・美国 [大模型](https://www.zhihu.com/topic/25402720) [Whois](https://www.zhihu.com/topic/19720193) [数据集](https://www.zhihu.com/topic/19612270) ​赞同 1070​​101 条评论​1165 ​140 ​分享 ​申请转载​ ​ ![](../images/001.jpeg) 未登录用户 101 条评论 默认 最新 [![OpenDataLab](../images/002.jpg)](https://www.zhihu.com/people/ff91d309b80e8e67a7cdb5e5fb523025) [OpenDataLab](https://www.zhihu.com/people/ff91d309b80e8e67a7cdb5e5fb523025) 高质量中文语料的稀缺已经是共识了，楼主说的这个过程也是我们感同身受的，特别是这个花费（相当肉痛）。浅说一下我们团队的项目，就在致力改变这个现状，目前联合权威机构成立大模型语料联盟，免费开源可信的高质量中文语料，就包括百科、新闻报道、教材等，第一个推出的万卷多模态中文数据集，已经做过清洗和格式统一，拿来就能训练，从源头帮大家节省获取、清洗的成本，提高模型国产大模型训练效率。避免重复造轮子。看我的回答，后续还有一系列高质量中文数据集开源，团队正在马不停蹄搬砖中，欢迎关注[OpenDataLab：多模态语料库 “书生·万卷” 1.0 详细解读 | 附下载地址](https://zhuanlan.zhihu.com/p/651917557) 2023-09-06 · 上海 ​回复​73 [![李博杰](../images/012.jpg)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d) [李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d) 作者​![](../images/body-cb7de7e4968f68b1c4e7.png)![](../images/body-4891d6a1477d0a5ff6ee.jpg) 你们做的很好，之前我们就关注了，希望能够一直做下去 2023-10-23 · 美国 ​回复​3 展开其他 4 条回复​ [![lynxliu](../images/004.jpg)](https://www.zhihu.com/people/dec63f78513cf7bb031c68f0a635cafd) [lynxliu](https://www.zhihu.com/people/dec63f78513cf7bb031c68f0a635cafd) 我个人觉得必要性不大，除非你想做数据生意。因为llama2这样的大模型已经把绝大多数语料数据用了。 只收集领域深度数据，在开源模型基础上微调就好，本来也不存在万能模型 2023-09-06 · 北京 ​回复​16 [![李博杰](../images/012.jpg)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d) [李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d) 作者​![](../images/body-cb7de7e4968f68b1c4e7.png)![](../images/body-4891d6a1477d0a5ff6ee.jpg) llama基本上没有中文能力，而且也远远没有穷尽语料数据 2023-10-23 · 美国 ​回复​喜欢 查看全部 6 条回复​ [![北城](../images/006.jpg)](https://www.zhihu.com/people/523ccdf808cb65629d938ca399f0584f) [北城](https://www.zhihu.com/people/523ccdf808cb65629d938ca399f0584f) 差点以为下面几行你就要开爬虫课了![\[滑稽\]](https://pic4.zhimg.com/v2-8a8f1403a93ddd0a458bed730bebe19b.png) 2023-09-13 · 上海 ​回复​10 [![l abbott](../images/008.jpg)](https://www.zhihu.com/people/6437b4ee49fde7c8f06aa58433f4e6aa) [l abbott](https://www.zhihu.com/people/6437b4ee49fde7c8f06aa58433f4e6aa) 关注。中文高质量语料还是太少了（MNBVC瑞斯拜），尤其是学术论文只能通过OCR转，而OCR的话专业名词和复杂排版目前我试下来只有超级公式和mathpix结果不错。关于电子书，我从淘宝上找了电子书贩子买了那种合集，400TB的。。。百度云没法转存，一个个手工从列表里弄出来实在是没那么多精力，做了两个礼拜就放弃了，但是我觉得这个方法论是对的，尤其是.mobi直接转出来应该简单，快速，质量高。 2023-09-06 · 上海 ​回复​10 [![李博杰](../images/012.jpg)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d) [李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d) 作者​![](../images/body-cb7de7e4968f68b1c4e7.png)![](../images/body-4891d6a1477d0a5ff6ee.jpg) 公式、图片多的学术论文还是直接拿图片用来训练多模态模型比较好 2023-10-23 · 美国 ​回复​1 [![李博杰](../images/012.jpg)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d) [李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d) 作者​![](../images/body-cb7de7e4968f68b1c4e7.png)![](../images/body-4891d6a1477d0a5ff6ee.jpg) 如果是.mobi这种本来里面就有文本的，比较好弄 2023-10-23 · 美国 ​回复​1 查看全部 7 条回复​ [![Eric Huang](../images/011.jpg)](https://www.zhihu.com/people/ae6d842721fc8a36ebe71f236a4b6776) [Eric Huang](https://www.zhihu.com/people/ae6d842721fc8a36ebe71f236a4b6776) 中文语料确实很难，尤其是网上数据，质量高的少，清洗过滤能过滤掉90%以上，还有互相抄袭要去重的。作者提到的“上一页”“下一页”这种情况，从清洗角度其实不太好采用通用的处理办法，得针对不同数据源区分处理，清洗之后语义会不会有影响需要人工检查。说到底是个投入产出比的问题 2023-09-07 · 北京 ​回复​7 [![李博杰](../images/012.jpg)](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d) [李博杰](https://www.zhihu.com/people/02877c4fde3b2e9dbd938f1a8eef598d) 作者​![](../images/body-cb7de7e4968f68b1c4e7.png)![](../images/body-4891d6a1477d0a5ff6ee.jpg) 是的，确实不太好处理 2023-10-23 · 美国 ​回复​1 展开其他 2 条回复​ [![Frank](../images/013.jpg)](https://www.zhihu.com/people/297b712b35a0a7c2a376060ca0cf0799) [Frank](https://www.zhihu.com/people/297b712b35a0a7c2a376060ca0cf0799) ​![](../images/body-ddf414f04793a667b2c1.png) 犯罪了已经 2023-09-07 · 美国 ​回复​4 展开其他 1 条回复​ [![light沙](../images/014.jpg)](https://www.zhihu.com/people/b90a83f4f3da3a2af7dd1ee2047e9f8c) [light沙](https://www.zhihu.com/people/b90a83f4f3da3a2af7dd1ee2047e9f8c) 请教下，pdf怎么喂？能直接喂？ 2023-09-06 · 重庆 ​回复​2 展开其他 3 条回复​ [![往事如风触动心空](../images/015.jpg)](https://www.zhihu.com/people/2dc8ba81e6731e98056f269032b8ba59) [往事如风触动心空](https://www.zhihu.com/people/2dc8ba81e6731e98056f269032b8ba59) gpt3.5写程序要我帮它改半天![\[捂脸\]](https://pic1.zhimg.com/v2-b62e608e405aeb33cd52830218f561ea.png)gpt4会好很多吗 2023-09-06 · 江西 ​回复​2 展开其他 3 条回复​ [![木三拍](../images/016.jpg)](https://www.zhihu.com/people/38445efe904527035b03b9149e0e0f4d) [木三拍](https://www.zhihu.com/people/38445efe904527035b03b9149e0e0f4d) 建议放弃。![\[害羞\]](https://pic4.zhimg.com/v2-52f8c87376792e927b6cf0896b726f06.png) 2024-03-25 · 上海 ​回复​1 [![Crab Chowder](../images/017.jpg)](https://www.zhihu.com/people/600b7c2ef185c795e7120b32a85f5df9) [Crab Chowder](https://www.zhihu.com/people/600b7c2ef185c795e7120b32a85f5df9) 数据还是花钱啊。。。 2023-09-06 · 广东 ​回复​2 展开其他 1 条回复​ 点击查看全部评论 ![](../images/001.jpeg) 未登录用户 关于作者 [![李博杰](../images/018.jpg)](https://www.zhihu.com/people/li-bo-jie) [李博杰](https://www.zhihu.com/people/li-bo-jie)​![](../images/body-a7060a32222ae0d7312a.jpg) 中科大与MSRA联培计算机博士 [​](https://zhuanlan.zhihu.com/p/96956163) 中国科学技术大学 计算机软件与理论博士 [ 回答 **139** ](https://www.zhihu.com/people/li-bo-jie/answers)[ 文章 **53** ](https://www.zhihu.com/people/li-bo-jie/posts)[ 关注者 **61,208** ](https://www.zhihu.com/people/li-bo-jie/followers) ​关注他​发私信 大家都在搜 换一换 [江歌妈妈发长文尘埃终将落定706 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热 [中国男足 0-5 巴勒斯坦564 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热 [原央视主持人阿丘回应被通报422 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热 [华为与赛力斯达成新五年合作411 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热 [迪拜航空确认航班发生事故400 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热 [东航回应网传空姐跪地道歉327 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4) [王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4)热 [江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4) [女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4) [孕妇骑车别车被司机踹翻258 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=0577b07d-49a7-4486-87f8-dbda6854b9a4) ### 推荐阅读 [ ![老外学中文语法篇 “把”字句全面解析](../images/020.jpg)老外学中文语法篇 “把”字句全面解析 TONY ...发表于对外汉语 ](https://zhuanlan.zhihu.com/p/58351836)# [中文语料问题的最终解决方案 中文高质量语料的匮乏由来已久。此处不谈原因，只谈现状，懂的都懂。 中文高质量语料本来就不多，大模型训练需要的语料却在指数级增长。 我思考了很久，终于得出一个结论：任何常规的方法，… 神们自己发表于万卷计划 ](https://zhuanlan.zhihu.com/p/673536630)# [语言表达系列（八）——词到句子的飞跃 2岁3个月，路易会说最简单的句子了，包括主谓结构和主谓宾结构，还会说形容词、副词、介词、代词。要知道，五个月前，他才开始说除了“爸爸”、“妈妈”之外的词，两个月前才开始在生活中用… 猪猪-路易...发表于路易宝宝的... ](https://zhuanlan.zhihu.com/p/20066652)[ ![汉语培训 “把”字句最新讲解法](../images/022.jpg)汉语培训 “把”字句最新讲解法 TONY ...发表于对外汉语 ](https://zhuanlan.zhihu.com/p/160904076) _想来知乎工作？请发送邮件到 jobs@zhihu.com_ 打开知乎App 在「我的页」右上角打开扫一扫 ![](../images/body-0f9788d006ab0f4da762.png) 其他扫码方式：微信 下载知乎App 无障碍模式 验证码登录 密码登录 [开通机构号](https://zhuanlan.zhihu.com/org/signup) 中国 +86 获取短信验证码 忘记密码 登录/注册 其他方式登录 未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy) 扫码下载知乎 App 关闭二维码