[![](https://zhuanlan.zhihu.com/p/668021844)](javascript:void\(0\))
![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png)
[](https://www.zhihu.com)
[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)
​
[直答](https://zhida.zhihu.com/)
切换模式
登录/注册
开源的大模型预训练语料
切换模式
![开源的大模型预训练语料](../images/000.img)
# 开源的大模型预训练语料
[![nghuyong](../images/010.jpg)](https://www.zhihu.com/people/hu-yong-64)
[nghuyong](https://www.zhihu.com/people/hu-yong-64)
略懂些NLP｜非典型程序员
39 人赞同了该文章
本文汇总了当前中英文开源的预训练数据集。目前的核心观点是: **大规模高质量的网络数据 is All you Need** ，无需手工调配各种数据源，例如百科，书籍，代码等。
![](../images/004.jpg)
## **[Pile](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=Pile&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiJQaWxlIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjM2NTc5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.fQDBJhEJwS-x2b0pIRU1O9z06r96R0Cjis_Bi6tTHAY&zhida_source=entity)**
Pile是[EleutherAI](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=EleutherAI&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiJFbGV1dGhlckFJIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjM2NTc5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.saMk_VPPaUrt8-NGLB08IDzci-68Bc5STBoyc2THLS8&zhida_source=entity)发布的一个英文的预训练语料。涵盖22个不同的数据来源，包括作者新构建的ArXiv, GitHub等，还包括已有的Books3，English Wikipedia等[数据集](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=2&q=%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiLmlbDmja7pm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzY1NzkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.UXGOMREQg4QhEvUWckgvrsNgIMX7ZGfVH_iTFLWKrb8&zhida_source=entity)。
![](../images/005.jpg)
实验表明:
  * Pile是一个好的训练语料，因为融合了多种数据来源，相比当时其他训练的数据集（例如C4），基于Pile训练的模型性能更好。
  * Pile是一个好的评估语料，可以评估模型在不同领域的性能，例如代码，学术等，相比其他评估数据，更加鲁棒，能更全面地反映模型的世界知识和推理能力。


## **[RefinedWeb](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=RefinedWeb&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiJSZWZpbmVkV2ViIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjM2NTc5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.M8-A69RHbcoTOXuCEOrkNJo5_aWvHi6j1Dl4xowLdIM&zhida_source=entity)**
RefinedWeb是[Falcon](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=Falcon&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiJGYWxjb24iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzY1NzkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.dgvswxf4V7LbyB8S9JtCrQdjpkBO-th3k29HcTuBYbI&zhida_source=entity)发布的一个英文的预训练语料，**仅包含** 网络数据，共5T，开源了其中的600B数据。
![](../images/006.jpg)
作者核心观点是：**不需要精心手工构造数据源（例如百科，书籍等），直接采用大规模高质量的网络数据即可** 。实验表明，仅通过高质量的网络数据训练出的模型能比手工调配出的数据集效果更好。
Pile之所以能比纯网络数据C4效果好，不是网络数据的问题，而是C4的数据规模太小，清洗规则有偏。同样的网络数据RefinedWeb就比Pile更好。
![](../images/007.jpg)
这个工作的核心如何对网络数据进行清洗，进而**无偏** 地提取出高质量的网络数据。作者提出了一个[pipeline](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=pipeline&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiJwaXBlbGluZSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNjU3OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.CopKhP_9mpQNCryMH5wU3SJ9UeqDxrAkAq42MurqPNI&zhida_source=entity)包括:
  * URL过滤，这里不仅过滤了低质有害的URL，还过滤了传统高质量的URL，包括维基百科，arxiv，[Github](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=Github&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiJHaXRodWIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzY1NzkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.4mBNERKgAdiVDBrwGUiRrxiU86Yo8YwN46aMKrKTBtA&zhida_source=entity)等。
  * 文本内容提取
  * 语言识别
  * 低质过滤，文档级别+行级别
  * 去重，模糊+精准


![](../images/008.jpg)
结果显示，仅使用[web数据](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=web%E6%95%B0%E6%8D%AE&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiJ3ZWLmlbDmja4iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzY1NzkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bFhCNv-Di7ejdt4FnFr5c1dWV1LmNxjNvLvOpq0Ktpg&zhida_source=entity)，并且排除了高质量的传统数据源（百科，code等），效果依然比手工精心构建的不同数据源的训练数据要好。
## **[ChineseWebText](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=ChineseWebText&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiJDaGluZXNlV2ViVGV4dCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNjU3OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.p4RGeNi6xrZBzxfGKqP3tfyFVBKaY806MGBKHu-P5vY&zhida_source=entity)**
ChineseWebText是按照RefinedWeb的思路做的中文版本，由[中科院自动化所](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=%E4%B8%AD%E7%A7%91%E9%99%A2%E8%87%AA%E5%8A%A8%E5%8C%96%E6%89%80&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiLkuK3np5HpmaLoh6rliqjljJbmiYAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzY1NzkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.EeR74adU26cQ8SWimGoctX78qzwqyaFv54LQp42CPYM&zhida_source=entity)发布，**仅包含** 网络数据，共1.42TB，并且每条数据都有一个打分，其中分数较高的高质量数据有600GB。
![](../images/009.jpg)
作者提出了一个新的数据处理pipeline，EvalWeb，包括下面几个步骤:
  * 数据收集：基于CommonCrawl收集最新的9个快照，2021-43->2023-23
  * 数据准备：去重复，并过滤出中文内容
  * [数据预处理](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E9%A2%84%E5%A4%84%E7%90%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiLmlbDmja7pooTlpITnkIYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzY1NzkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.YyxEFZHoxPxHFgEqEesCnItWXjsgMhrPCFzWZsJ32lE&zhida_source=entity)：文本内容提取，短文本过滤，繁体中文过滤，中文占比较低的文本过滤，含敏感词的文本过滤，篇内重复文本过滤
  * 质量评估：包括基于BERT和[FastText](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=FastText&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiJGYXN0VGV4dCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNjU3OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.X3cZhPXQPYG0y6rSPUyMFglGva_Vybo9wxT8vA8lJpg&zhida_source=entity)的打分方案


对每个文本都基于BERT进行打分，卡阈值为0.4过滤出高质量文本600GB。基于这个阈值过滤的文本，人工评估显示90%均为高质量文本。
不过相比RefinedWeb，本文没有给出训练出的模型的对比，所以基于该数据集训练的模型实际效果还有待验证。
## **参考**
  * [1] [The Pile](https://zhida.zhihu.com/search?content_id=236579336&content_type=Article&match_order=1&q=The+Pile&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk2OTIsInEiOiJUaGUgUGlsZSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNjU3OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.L1uvQcPPk8heS9Mw_N3rNozXhcfJ17vV2h1DT4czSns&zhida_source=entity): An 800GB Dataset of Diverse Text for Language Modeling
  * [2] The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only
  * [3] ChineseWebText: LARGE-SCALE HIGH-QUALITY CHINESE WEBTEXT EXTRACTED WITH EFFECTIVE EVALUATION MODEL


编辑于 2023-11-21 09:21・北京
[大模型](https://www.zhihu.com/topic/25402720)
[预训练](https://www.zhihu.com/topic/25453855)
[语料](https://www.zhihu.com/topic/26204260)
​赞同 39​​添加评论​131 ​10 
​分享
​申请转载​
​
![](../images/body-7e064b35ba4350074989.jpeg)
未登录用户
  

还没有评论，发表第一个评论吧
关于作者
[![nghuyong](../images/010.jpg)](https://www.zhihu.com/people/hu-yong-64)
[nghuyong](https://www.zhihu.com/people/hu-yong-64)
略懂些NLP｜非典型程序员
[ 回答 **68** ](https://www.zhihu.com/people/hu-yong-64/answers)[ 文章 **31** ](https://www.zhihu.com/people/hu-yong-64/posts)[ 关注者 **11,469** ](https://www.zhihu.com/people/hu-yong-64/followers)
​关注他​发私信
大家都在搜
换一换
[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=742f8e36-4a10-4e57-b613-b36259ea029e)热
[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=742f8e36-4a10-4e57-b613-b36259ea029e)热
[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=742f8e36-4a10-4e57-b613-b36259ea029e)热
[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=742f8e36-4a10-4e57-b613-b36259ea029e)热
[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=742f8e36-4a10-4e57-b613-b36259ea029e)热
[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=742f8e36-4a10-4e57-b613-b36259ea029e)
[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=742f8e36-4a10-4e57-b613-b36259ea029e)热
[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=742f8e36-4a10-4e57-b613-b36259ea029e)
[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=742f8e36-4a10-4e57-b613-b36259ea029e)
[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=742f8e36-4a10-4e57-b613-b36259ea029e)
### 推荐阅读
# [记录一次失败的微创新，在ASR任务上训练一个扩散语言模型 事情的背景是最近正好学到了Diffusion-LM，主要是LLaDa这几个模型。加之手上正好有一个ASR任务要训练，突发奇想是不是可以在ASR任务上训练个这种模型。 目前主流的ASR模型大概有两种，一种… Mr.药 ](https://zhuanlan.zhihu.com/p/1928398328598607243)[ ![中文预训练语言模型--ZEN](../images/012.jpg)中文预训练语言模型--ZEN sergio ](https://zhuanlan.zhihu.com/p/103218627)[ ![一大批中文（BERT等）预训练模型等你认领！](../images/014.jpg)一大批中文（BERT等）预训练模型等你认领！ Paper...发表于Paper... ](https://zhuanlan.zhihu.com/p/71855192)# [语法分析器bison 懒人在思考？WAF研究中... bison和flex配合使用，可以将用户提供的语法规则转化为一个语法分析器。 bison的作用：通过产生式多次构造，最终得到一个动作表，然后利用这个动作表去解析句子。… ailx10 ](https://zhuanlan.zhihu.com/p/52326306) 

_想来知乎工作？请发送邮件到 jobs@zhihu.com_
打开知乎App
在「我的页」右上角打开扫一扫
![](../images/body-0f9788d006ab0f4da762.png)
其他扫码方式：微信
下载知乎App
无障碍模式
验证码登录
密码登录
[开通机构号](https://zhuanlan.zhihu.com/org/signup)
中国 +86
获取短信验证码
忘记密码
登录/注册
其他方式登录
未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)
扫码下载知乎 App
关闭二维码