{ "source_file": "0930", "source_platform": "知乎专栏", "author": "王树义", "title_listed": "如何正确使用机器学习中的训练集、验证集和测试集", "keywords": "训练集,验证集,测试集", "domain": "机器学习", "content_type": "技术教程", "is_paid_flag": "否", "url": "https://zhuanlan.zhihu.com/p/71961236", "publish_date": "2019", "corpus_stage": "应用", "notes": "数据集合划分方法与常见误区", "id": "73f6923f4878", "collected_at": "2026-10-02T18:44:55", "title": "如何正确使用机器学习中的训练集、验证集和测试集？ - 知乎", "body_markdown": "[![](https://zhuanlan.zhihu.com/p/71961236)](javascript:void\\(0\\))\n![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n如何正确使用机器学习中的训练集、验证集和测试集？\n首发于[玉树芝兰](https://www.zhihu.com/column/yushuzhilan)\n切换模式\n![如何正确使用机器学习中的训练集、验证集和测试集？](../images/000.img)\n# 如何正确使用机器学习中的训练集、验证集和测试集？\n[![王树义](../images/022.jpg)](https://www.zhihu.com/people/wang-shu-yi-11)\n[王树义](https://www.zhihu.com/people/wang-shu-yi-11)\n[​![](../images/body-613b2e271fc60f74249e.png)](https://www.zhihu.com/question/48510028)\n南开大学 情报学博士\n[收录于 · 玉树芝兰](https://www.zhihu.com/column/yushuzhilan)\n232 人赞同了该文章\n![](../images/004.jpg)\n训练集、验证集和测试集，林林总总的[数据集合](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E9%9B%86%E5%90%88&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmlbDmja7pm4blkIgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.IpwwdUSBYEyIvGykePNcuqLlaXwal9rb19qtba4BX5M&zhida_source=entity)类型，到底该怎么选、怎么用？看过这篇教程后，你就能游刃有余地处理它们了。\n## **问题**\n审稿的时候，不止一次，我遇到作者**错误使用** 数据集合跑模型准确率，并和他人成果比较的情况。\n他们的研究创意有的很新颖，应用价值较高，工作可能也做了着实不少。\n但因对比方法错误，得出来的结果，不具备说服力。几乎全部都需要**返工** 。\n这里，我帮你梳理一下，该怎么使用不同的数据集合：\n * 训练集（training set）\n * 验证集（[validation](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=validation&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJ2YWxpZGF0aW9uIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTA0MTIwNzY3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.aS9fxHlf7BefisXSNolscsoBPcym4C6gTnjgJ32aRYY&zhida_source=entity) set）\n * 测试集（test set）\n\n\n目的只有一个——避免你**踩同样的坑** 。\n其实这个问题，咱们之前的教程文章，已有涉及。\n《[如何用 Python 和深度迁移学习做文本分类？](https://zhuanlan.zhihu.com/p/48182945)》一文中，我曾经给你布置了一个类似的问题。\n在文章的末尾，我们对比了当时近期研究中， [Yelp 情感分类](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Yelp+%E6%83%85%E6%84%9F%E5%88%86%E7%B1%BB&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJZZWxwIOaDheaEn-WIhuexuyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.cLP2rlJHSdXr6U8cz-faqSKZIprsZoq_bgyqAIqOdUk&zhida_source=entity)的最佳结果。\n下表来自于：Shen, D., Wang, G., Wang, W., Min, M. R., Su, Q., Zhang, Y., … & Carin, L. (2018). Baseline needs more love: On simple word-embedding-based models and associated pooling mechanisms. arXiv preprint arXiv:1805.09843.\n![](../images/005.jpg)\n注意这里最高的准确率（[Accuracy](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Accuracy&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJBY2N1cmFjeSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.clAefA6kHvQ2Yvgg9wLvMmKsQ4jYAeNJ4f2U2dyC5wM&zhida_source=entity)）数值，是 95.81 。\n我们当时的模型，在验证集上，可以获得的准确率，是这个样子的：\n![](../images/006.jpg)\n97.28%，着实不低啊！\n于是我问你：\n> 咱们这种对比，是否科学？ \n> \n你**当时的** 答案是什么？\n这么久过去了，又看了那么多新的教程和论文，你的答案发生变化了吗？\n现在咱们公布一下答案吧。\n**不科学** 。\n为什么？\n因为**[对比方法](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=2&q=%E5%AF%B9%E6%AF%94%E6%96%B9%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLlr7nmr5Tmlrnms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.xOe1pVYytXA1Pa9_39jK-kG9xaT_DdKo1xFc9pK3ZlI&zhida_source=entity)** 有问题。\n## **方法**\n原文中有这样一句：\n> 这里数据集只提供了训练集和“测试集”，因此我们把这个“测试集”当做验证集来使用。 \n> \n作为演示，数据集咱们想怎么用，就可以怎么用。\n甚至你把测试集拿来做训练，然后在训练集上跑测试，都没有人管。\n但是写学术论文，声称你的模型优于已有研究，却绝不能这么草率。\n注意，比较模型效能数值结果时，你只能拿不同的模型，在**同样的测试集** 上面比。\n测试集不同，当然不可以。\n但模型A用测试集，模型B用验证集（与A的测试集数据完全一致）比，可以吗？\n很多人就会混淆了，觉得没问题啊。既然数据都一样，管它叫做什么名称呢？\n可是请你注意，哪怕A模型用的测试集，就是B模型用的[验证集](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=6&q=%E9%AA%8C%E8%AF%81%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLpqozor4Hpm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NiwiemRfdG9rZW4iOm51bGx9.-NBY_AFxapvdJu0DyfqUJ0_cMnTI28JnzfQ--9mU0l8&zhida_source=entity)，你也**不能** 把这两个集合跑出来的结果放在一起比较。\n因为这是**作弊** 。\n你可能觉得我这样说，颇有些吹毛求疵的意味。\n咱们下面就来重新梳理一下，不同数据集合的作用。\n希望你因此能看清楚，这种似乎过于严苛的要求，其实是很有道理的。\n咱们从测试集开始谈，继而是验证集，最后是训练集。\n这样“倒过来说”的好处，是会让你理解起来，更加透彻。\n先说**测试集** 吧。\n## **测试**\n只有在**同样的测试集** 上，两个（或以上）模型的对比才有效。\n这就如同参加高考，两个人考同样一张卷子，分数才能对比。\n甲拿A地区的卷子，考了600分，乙拿B地区的卷子，考了580分。你能不能说，甲比乙成绩高？\n不行吧。\n为了让大家更易于比较自己的模型效果，许多不同领域的数据集，都已开放了。而且开放的时候，都会给你指明，哪些数据用于训练，哪些用于测试。\n以 Yelp 数据为例。\n![](../images/008.jpg)\n在 AWS 上存储的 [fast.ai 公开数据集](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=fast.ai+%E5%85%AC%E5%BC%80%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJmYXN0LmFpIOWFrOW8gOaVsOaNrumbhiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.oiPmAhKuqniEVyxi2H7kBBUPpJB4yQxxNqbAARHspQk&zhida_source=entity)中，训练集和测试集都已为你准备好。\n你不需要自己进行划分。\n大家达成共识，做研究、写论文，都用这个测试集来比拼，就可以。\n所以，如果你的研究，是靠着比别人的模型效果来说事儿，那就一定先要弄明白**对方的测试集** 是什么。\n但是，这个听起来很容易达成的目标，实践中却很容易遇到困难。\n因为有的人写论文，喜欢把数据和代码藏着掖着，生怕别人用了去。\n他们一般只提一下，是在某个公开数据集上切了一部分出来，作为测试集。\n测试数据集不发布，切分方法（包括工具）和随机种子选取办法也不公开。\n这是非常不靠谱的行为，纯属自娱自乐。\n作为严肃的审稿人，根本就**不应该允许** 这样的研究发表。\n因为机器学习研究的数据集不开放，便基本上没有**可重复性** （Reproducibility）。\n如果你没有办法精确重复他的模型训练和测试过程，那么他想汇报多高的准确率，就纯凭个人爱好了。\n当然，我们不是活在理想世界的。\n你在某一个领域，用机器学习做应用研究的时候，面对这种无法重复已发表论文的情境，该怎么办？\n直接用他声称的结果与你的实际运行结果比较，你可能是在追逐海市蜃楼。累到气喘吁吁，甚至怀疑自我的程度，也徒劳无功。\n忽视它？\n也不行。\n审稿人那关你过不去。\n人家会说，某某研究跟你用的是一样的数据，准确率已经达到98%，你的才96%，有什么发表的意义呢？\n看，左右为难不是？\n其实解决办法很简单。\n不要考虑对方声称达到了多高准确率。把他提供给你的[数据全集](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E5%85%A8%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmlbDmja7lhajpm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.mc0_dw8h45LBd5dGjGJJMjytSQJwI-GxNPE1QF9s_Ts&zhida_source=entity)，自行切分。之后**复现对方的模型** ，重新跑。\n[模型架构](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E6%9E%B6%E6%9E%84&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmqKHlnovmnrbmnoQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.zYJQt8jSlOI4PhqD6zrPIUsogVinhPHEp9ZQ1zQIE1E&zhida_source=entity)，一般都是要求汇报的，所以这几乎不是问题。\n至于这种复现，越是复杂的模型，我越推荐你用 [PyTorch](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=PyTorch&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJQeVRvcmNoIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTA0MTIwNzY3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.mgC4TZzttM06vHwipP9EHQYFiVHT4JiDa2Nx9UVnrx8&zhida_source=entity) 。\n之后把你的模型，和复现的对方模型在同样的测试集上做对比，就可以了。\n当然，论文里要写上一句：\n> 由于某篇文章未提供代码与具体数据切分说明，带来可重复性问题，我们不得不独立复现了其模型，并在测试集完全一致的情况下，进行了比对。 \n> \n这里多说一句，一定要保证你自己的研究，是**可重复** 的。\n不要怕公布你的代码和数据。它们不是你的独门暗器，而是**支撑你研究的凭据** 。\n回看我们前面提到的 Yelp 公开数据的例子。\n![](../images/008.jpg)\n这时候你会发现一个奇怪的问题——为什么它只有训练集和测试集？\n我们一直反复提到的**验证集** 哪里去了？\n## **验证**\n验证集，就如同高考的模拟考试。\n不同于高考，模拟考只是你调整自己状态的指示器而已。\n状态不够满意，你可以继续调整。\n当然，参加过高考的同学都有经验——这种调整的结果（从模拟考到高考），有可能更好，也有可能更糟糕。\n回到机器学习上，那就是测试集上检验的，是你**最终模型** 的性能。\n什么叫“最终模型”？\n就是你参加高考时候的状态。包括你当时的知识储备、情绪心态，以及当天的外部环境（温度、湿度、东西是否带齐）等。\n最终模型，只有**一个** 。\n就如同每年的高考，你**只能参加一回** 。\n考成什么样儿，就是什么样。\n而验证集上跑的，实际上却是一个模型**集合** ，集合的大小，你可能数都数不过来。\n因为这里存在着超参数（[hyper-parameter](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=hyper-parameter&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJoeXBlci1wYXJhbWV0ZXIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.JVYGoLJMDhav6yoahqXhqjw0n30F5HWsyqZOyyNH59c&zhida_source=entity)）设置的问题。不同[超参数组合](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E8%B6%85%E5%8F%82%E6%95%B0%E7%BB%84%E5%90%88&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLotoXlj4LmlbDnu4TlkIgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.mlG3hRAdLVlObjMS0lfPkDjhMsdnQKOylqOWphzkIiQ&zhida_source=entity)，就对应着不同的潜在模型。\n验证集的存在，是为了从这**一堆可能的模型** 中，帮你表现最好的那个。\n注意这里的表现，是指在**验证集** 上的表现。\n好比说，有个超参数叫做训练轮数（[epochs](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=epochs&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJlcG9jaHMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.X2CxGi_OcJ7Eb9BKRbf_ZTNdfmsAOHeM18Vq_zzO8LI&zhida_source=entity)）。\n在同样的训练集上，训练3轮和训练10轮，结果可能是不一样的模型。它们的参数并不相同。\n那么到底是训练3轮好，还是10轮好？\n或者二者都不好，应该训练6轮？\n这种决策，就需要在训练后，在验证集上“是骡子是马牵出来溜溜”。\n如果发现训练3轮效果更好，那么就应该丢弃掉训练6轮、10轮的潜在模型，只用训练3轮的结果。\n这对应着一种机器学习正则化（Regularization）方式——提早停止训练（early stopping）。\n其他的超参数选取，你也可以举一反三。总之就是按照验证集的效果，来选超参数，从而决定最终模型。\n下一步，自然就是把它交给测试集，去检验。这个我们前面已经详细讲解过了。\n至于这个最终选择模型，在[新数据集](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%96%B0%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmlrDmlbDmja7pm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.VBtqHR8XXZE-WsjLX82TPLljI_lkR0XXWhiFXGgGzsM&zhida_source=entity)（测试集）上表现如何，没人能打包票。\n所以，回到咱们之前的问题。在《[如何用 Python 和深度迁移学习做文本分类？](https://zhuanlan.zhihu.com/p/48182945)》一文中，我故意用**验证集** 上筛选出的最好模型，在**验证集** 上跑出来分数，当成是**测试** 成绩，这显然是不妥当的。\n你不能把同样的题做他个三五遍，然后从中找最高分去跟别人比。\n即便你的模拟考，用的是别人的高考真题。两张卷子完全一样，也**没有** 说服力。\n所以你看，验证集的目的，不是比拼最终模型效果的。\n因此，怎么设定验证集，划分多少数据做验证，其实是每个研究者需要独立作出的决策，不应该强行设定为一致。\n这就如同我们不会在高考前去检查每个考生，是否做过一样多的模拟试卷，且试卷内容也要一致。\n极端点儿说，即便一个考生没参加过模拟考，可高考成绩突出，你也不能不算他的成绩，对吧？\n不过，讲到这里，我们就得要把训练集拿进来，一起说说了。\n## **训练**\n如果测试集是高考试卷，验证集是模拟考试卷，那么训练集呢？\n大概包括很多东西，例如作业题、练习题。\n另外，我们上高三那时候（[噫吁嚱](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E5%99%AB%E5%90%81%E5%9A%B1&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLlmavlkIHlmrEiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.0dlcv7dcR4L2HB91ajwzMde4DAcKfIDAPvq8xPXdICQ&zhida_source=entity)，已经上个世纪的事儿了），每周有“统练”，每月有“月考”。也都可以划定在训练集的范畴。\n减负这么多年以后，现在的高中生应该没有那么辛苦了吧？真羡慕他们。\n这样一对比，你大概能了解这几个集合之间本应有的关系。\n学生平时练题，最希望的，就是考试能碰到**原题** ，这样就可以保证不必动脑，却做出正确答案。\n所以，出模拟考卷时，老师尽量要保证不要出现学生平时练过的题目，否则无法正确估量学生目前的复习备考状态，噪声过高容易误事儿。\n验证集和训练集，应该是**不交叠** 的。这样选择模型的时候，才可以避免被数据交叠的因素干扰。\n每个学校的模拟考，却都恨不得能押中高考的题。这样可以保证本校学生在高考中，可以“见多识广”，取得更高分数。\n高考出卷子的老师，就必须尽力保证题目是全新的，以筛选出有能力的学生，而不是为高校选拔一批“见过题目，并且记住了标准答案”的学生。\n因此，测试集应该既不同于训练集，又不同于验证集。\n换句话说，三个数据集合，最好都没有重叠。\n学生应该学会举一反三，学会的是知识和规律。\n用知识和规律，去处理新的问题。\n我们对[机器模型](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%9C%BA%E5%99%A8%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmnLrlmajmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.e8Rz2b-I2-hO73uvz7NLF-UyckiS5eUZ0JILy7nmwJ0&zhida_source=entity)的期许，其实也一样。\n在学术论文中，你见到的大部分用于机器学习模型对比的公开数据集（例如 fast.ai 公开数据集中的 Yelp, IMDB, ImageNet 等），都符合这一要求。\n然而，例外肯定是有的。\n例如我在 INFO 5731 课程里面给学生布置的某期末项目备选项，来源于某[学术类](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E5%AD%A6%E6%9C%AF%E7%B1%BB&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLlrabmnK_nsbsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.b_vZK4wKFAVbsaCyDjiJHLgkwTf8_QgZ0XfiiwE2CtA&zhida_source=entity)数据科学竞赛，目标是社交媒体医学名词归一化。\n其中就有数据，既出现在了训练集，又出现在了验证集，甚至测试集里也会有。\n面对这种问题，你该怎么办？\n你怎么判断自己的模型，究竟是强行记住了答案，还是掌握了文本中的规律？\n这个问题，作为思考题留给你。\n我希望在[知识星球](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E7%9F%A5%E8%AF%86%E6%98%9F%E7%90%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLnn6Xor4bmmJ_nkIMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.BzxyodYImHlnLhY3NhWJzTaDyo6l3ug1uhblj3DDLTY&zhida_source=entity)中和热爱学习的你，做进一步讨论。\n另外的一个问题，是训练集要不要和别人的**完全一致** ？\n一般来说，如果你要强调自己的模型优于其他人，那么就要保证是在**同样的** 训练集上训练出来。\n回顾深度学习的三大要素：\n * 数据（Data）\n * 架构（Architecture）\n * 损失（Loss）\n\n\n如果你的训练数据，比别人多得多，那么模型自然见多识广。\n对于深度学习而言，如果训练数据丰富，就可以显著避免过拟合（Overfitting）的发生。\n[GPT-2 模型](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=GPT-2+%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJHUFQtMiDmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Elu_cpNMsg4C67CC1wngA4S123H7PeLVnFizVQfmEx8&zhida_source=entity)，就是因为具备了海量 [Reddit](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Reddit&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJSZWRkaXQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.uUCBAJDLTJNtCC9_9kFueitSDsD-XzvVBxTVg-Aajbc&zhida_source=entity) 数据做训练，才能傲视其他语言模型（Language Model），甚至以安全为理由，拒绝开放模型。\n但是这时候，你跟别人横向比较，似乎就不大公平了。\n你的架构设计，未必更好。假使对方用同样多的[数据训练](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E8%AE%AD%E7%BB%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmlbDmja7orq3nu4MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.gzYr-ItP4-Dzex0VZABdYpVvOdhNGno3CZACX_YEJgA&zhida_source=entity)，结果可能不必你差，甚至会更优。\n这就如同一个复读了5年的学生甲，充分利用每一分每一秒，做了比应届生乙多5倍的卷子。结果在高考的时候，甲比乙多考了1分（同一张卷子）。\n你能说甲比乙更有学习能力，学习效果更好吗？\n## **小结**\n这篇教程里，我为你梳理了机器学习中常见的三种不同数据集类别，即：\n * 训练集\n * 验证集\n * 测试集\n\n\n咱们一一分析了其作用，并且用“考试”这个大多数人都参加过，且容易理解的例子做了诠释。\n希望读过本文之后，你的概念架构更为清晰，不再会误用它们，避免给自己的研究挖坑。\n祝深度学习愉快，论文发表顺利哦！\n## **作业**\n这里给你留一道思考题：\n有的时候，你看到有人把训练集切分固定的一部分，作为验证集。但是另一些时候，你会看到有人采用“交叉验证”的方式，即每一轮训练，都动态轮转着，把一部分的数据，作为验证集。对吧？\n那么问题来了，什么样的情况下，你应该采用第一种方式，即固定分配验证集？什么样的情况下，你应该采用“[交叉验证](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=2&q=%E4%BA%A4%E5%8F%89%E9%AA%8C%E8%AF%81&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLkuqTlj4npqozor4EiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.EtZj-JIADJ-bsVhhzJT0bjpMV_iOmX_fjG2RqZwTIqE&zhida_source=entity)”方式呢？后者的优势和缺点，又各是什么呢？\n欢迎你留言回复，写下自己的判断标准与原因阐述。咱们一起交流讨论。\n## **征稿**\nOne more thing ……\n这里还有个**征稿启事** 。\n国际学术期刊 Information Discovery and Delivery 要做一期关于 “Information Discovery with Machine Intelligence for Language” 的特刊（Special Issue）。\n![](../images/009.jpg)\n本人是客座编辑（guest editor）之一。另外两位分别是：\n * 我在[北得克萨斯大学](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E5%8C%97%E5%BE%97%E5%85%8B%E8%90%A8%E6%96%AF%E5%A4%A7%E5%AD%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLljJflvpflhYvokKjmlq_lpKflraYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.58C0s079lBr2ezVrgaydT0maHPNSOh3v4kqfvUKy050&zhida_source=entity)（University of North Texas）的同事 [Dr. Alexis Palmer 教授](https://link.zhihu.com/?target=https%3A//linguistics.unt.edu/alexis-palmer)\n * [南京理工大学](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E5%8D%97%E4%BA%AC%E7%90%86%E5%B7%A5%E5%A4%A7%E5%AD%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLljZfkuqznkIblt6XlpKflraYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.uQS74htS3-O3BaxgpPgHM6fcaGJ0QATkq0p9ue7RhPQ&zhida_source=entity)[章成志教授](https://link.zhihu.com/?target=https%3A//bkso.baidu.com/item/%25E7%25AB%25A0%25E6%2588%2590%25E5%25BF%2597)\n\n\n![](../images/010.jpg)\n征稿的主题包括但不限于：\n * Language Modeling for [Information Retrieval](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Information+Retrieval&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJJbmZvcm1hdGlvbiBSZXRyaWV2YWwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.J_KuP0XQNTfKpn8QfDf9CDlyy6aN2o3Z3srtxtDrRog&zhida_source=entity)\n * Transfer Learning for Text Classification\n * Word and Character Representations for Cross-Lingual Analysis\n * Information Extraction and Knowledge Graph Building\n * Discourse Analysis at Sentence Level and Beyond\n * Synthetic Text Data for Machine Learning Purposes\n * User Modeling and Information Recommendation based on Text Analysis\n * Semantic Analysis with Machine Learning\n * Other applications of CL/NLP for Information Discovery\n * Other related topics\n\n\n具体的征稿启事（Call for Paper），请查看 Emerald 期刊官网的[这个链接](https://link.zhihu.com/?target=http%3A//www.emeraldgrouppublishing.com/products/journals/call_for_papers.htm%3Fid%3D8662)（[http://dwz.win/c2Q](https://link.zhihu.com/?target=http%3A//dwz.win/c2Q)）。\n作为本专栏的老读者，欢迎你，及你所在的团队踊跃投稿哦。\n如果你不巧并不从事上述研究方向（机器学习、自然语言处理和[计算语言学](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E8%AE%A1%E7%AE%97%E8%AF%AD%E8%A8%80%E5%AD%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLorqHnrpfor63oqIDlraYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.SLjKyBWlgBfUP9Y4zpTOtL0xAKftWhnnPhg41ba6a30&zhida_source=entity)等），也希望你能帮个忙，转发这个消息给你身边的研究者，让他们有机会成为我们特刊的作者。\n谢谢！\n## **延伸阅读**\n你可能也会对以下话题感兴趣。点击链接就可以查看。\n * [如何快速写作论文初稿？](https://zhuanlan.zhihu.com/p/35648903)\n * [如何选研究题目？](https://zhuanlan.zhihu.com/p/28038303)\n * [数据科学入门后，该做什么？](https://zhuanlan.zhihu.com/p/65273565)\n * [文科生如何理解循环神经网络（RNN）？](https://zhuanlan.zhihu.com/p/49988171)\n * [《文科生数据科学上手指南》分享](https://zhuanlan.zhihu.com/p/44653452)\n\n\n喜欢别忘了**点赞** 。\n还可以微信关注我的公众号[“玉树芝兰”(nkwangshuyi)](https://link.zhihu.com/?target=http%3A//upload-images.jianshu.io/upload_images/64542-1d8d6f93c004564b.jpg%3FimageMogr2/auto-orient/strip%257CimageView2/2/w/1240)。别忘了**加星标** ，以免错过新推送提示。\n**题图：** Photo by [Jonah](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Jonah&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJKb25haCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0._K9_dwV-iEiU5tU606tk5sD-6DYZy4B8GCOU3xJYtHU&zhida_source=entity) Pettrich on [Unsplash](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Unsplash&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJVbnNwbGFzaCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.y7fp2H1RF2b3bUSB3vEpYLics_ocMBb3tW7pxIzUmc8&zhida_source=entity)\n编辑于 2019-07-02 23:55\n[机器学习](https://www.zhihu.com/topic/19559450)\n[数据科学](https://www.zhihu.com/topic/20034729)\n[论文写作](https://www.zhihu.com/topic/19664288)\n​赞同 232​​15 条评论​339 ​53 \n​分享\n​申请转载​\n​\n![](../images/011.jpeg)\n未登录用户\n \n\n15 条评论\n默认\n最新\n[![AndyGG](../images/012.jpg)](https://www.zhihu.com/people/b313ff55e98132ffbf1f7b1bfb3dd5c8)\n[AndyGG](https://www.zhihu.com/people/b313ff55e98132ffbf1f7b1bfb3dd5c8)\n谢谢王老师，我老师一定要让我把验证集中的结果说成是模型的最终结果写在文章里，而让我忽略在测试集上不好的结果，这让我很痛苦。我说服不了他，终于找到这篇文章推给他，帮他梳理一下验证集和测试集的区别\n![](../images/body-1506b7d72951e3980961.gif)\n2019-09-28\n​回复​8\n[![陽台上的瑪格麗特](../images/016.jpg)](https://www.zhihu.com/people/d6cd5fa477d4bb2529c14f56eb32c12b)\n[陽台上的瑪格麗特](https://www.zhihu.com/people/d6cd5fa477d4bb2529c14f56eb32c12b)\n看數據量夠不夠大吧，如果數據量夠大，就不用交叉驗證。交叉驗證主要用於數據不夠\n2019-07-03\n​回复​5\n展开其他 1 条回复​\n[![大馒头](../images/014.jpg)](https://www.zhihu.com/people/06d39210ce7848047aecaed8ae210c0c)\n[大馒头](https://www.zhihu.com/people/06d39210ce7848047aecaed8ae210c0c)\n醍醐灌顶！\n2024-04-29\n​回复​1\n[![月贝凡](../images/015.jpg)](https://www.zhihu.com/people/a195cd5cee2653a5e0e344412431fbd1)\n[月贝凡](https://www.zhihu.com/people/a195cd5cee2653a5e0e344412431fbd1)\n请问机器学习模型在训练集和验证集上的效果都不好，怎么解决？\n2023-02-25\n​回复​1\n[![陽台上的瑪格麗特](../images/016.jpg)](https://www.zhihu.com/people/d6cd5fa477d4bb2529c14f56eb32c12b)\n[陽台上的瑪格麗特](https://www.zhihu.com/people/d6cd5fa477d4bb2529c14f56eb32c12b)\n謝謝分享，剛入職的我都常常搞錯\n2019-07-03\n​回复​1\n[![王溪岩](../images/017.jpg)](https://www.zhihu.com/people/ece03f9dfc2a6866f1519ec064904e69)\n[王溪岩](https://www.zhihu.com/people/ece03f9dfc2a6866f1519ec064904e69)\n受益匪浅\n2019-07-03\n​回复​1\n[![道自成眠](../images/018.jpg)](https://www.zhihu.com/people/53068c813eb613fe6dcb6164e0bcfa98)\n[道自成眠](https://www.zhihu.com/people/53068c813eb613fe6dcb6164e0bcfa98)\n看完翻上去想点关注，一看早已是列表中人，能想象老师上课时的娓娓道来\n2025-09-21\n​回复​喜欢\n[![狛汁](../images/019.jpg)](https://www.zhihu.com/people/3c53f94787d04686733a93ccae73c2bf)\n[狛汁](https://www.zhihu.com/people/3c53f94787d04686733a93ccae73c2bf)\n请问用验证集调完超参数之后还需要再训练吗\n2023-09-01\n​回复​喜欢\n[![青野](../images/020.jpg)](https://www.zhihu.com/people/cf15c174e6935181bc56539d68fd31e5)\n[青野](https://www.zhihu.com/people/cf15c174e6935181bc56539d68fd31e5)\n谢谢老师，学到了很多。但有一个问题想要请教一下，训练集和验证集要放在一起标准化吗？还是先对训练集标准化，然后利用训练集上的方差、标准差来标准化验证集？\n2022-04-08\n​回复​喜欢\n[![页川叶川](../images/021.jpg)](https://www.zhihu.com/people/981e71af225997a7b22f4e7341f3ddee)\n[页川叶川](https://www.zhihu.com/people/981e71af225997a7b22f4e7341f3ddee)\nYear![\\[赞同\\]](https://pic2.zhimg.com/v2-419a1a3ed02b7cfadc20af558aabc897.png)\n2021-11-26\n​回复​喜欢\n点击查看全部评论\n![](../images/011.jpeg)\n未登录用户\n \n\n关于作者\n[![王树义](../images/022.jpg)](https://www.zhihu.com/people/wang-shu-yi-11)\n[王树义](https://www.zhihu.com/people/wang-shu-yi-11)\n关注知识管理、数据科学与科研工具。知识星球：玉树芝兰\n[​](https://zhuanlan.zhihu.com/p/96956163)\n南开大学 情报学博士\n[ 回答 **454** ](https://www.zhihu.com/people/wang-shu-yi-11/answers)[ 文章 **318** ](https://www.zhihu.com/people/wang-shu-yi-11/posts)[ 关注者 **109,374** ](https://www.zhihu.com/people/wang-shu-yi-11/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)\n[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)\n### 推荐阅读\n[ ![【Python 机器学习基础系列】第2篇：你的第一个机器学习项目实战入门](../images/024.jpg)【Python 机器学习基础系列】第2篇：你的第一个机器学习项目实战入门 塞大花发表于Pytho... ](https://zhuanlan.zhihu.com/p/1926576888995882057)[ ![一个完整的机器学习项目在Python中的演练（二）](../images/026.jpg)一个完整的机器学习项目在Python中的演练（二） 灰灰发表于磐创AI ](https://zhuanlan.zhihu.com/p/37409925)[ ![一个完整的机器学习项目在Python中演练（四）](../images/028.jpg)一个完整的机器学习项目在Python中演练（四） 灰灰发表于磐创AI ](https://zhuanlan.zhihu.com/p/38140908)[ ![Python进行机器学习的几种模型保存方式！](../images/030.jpg)Python进行机器学习的几种模型保存方式！ Python和数据分析 ](https://zhuanlan.zhihu.com/p/432247465) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](../images/body-0f9788d006ab0f4da762.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n", "metadata": { "title": "如何正确使用机器学习中的训练集、验证集和测试集？ - 知乎", "description": "训练集、验证集和测试集，林林总总的数据集合类型，到底该怎么选、怎么用？看过这篇教程后，你就能游刃有余地处理它们了。 问题审稿的时候，不止一次，我遇到作者 错误使用数据集合跑模型准确率，并和他人成果比较…", "keywords": "机器学习,数据科学,论文写作", "author": null, "og:title": "如何正确使用机器学习中的训练集、验证集和测试集？", "og:url": "https://zhuanlan.zhihu.com/p/71961236", "og:description": "训练集、验证集和测试集，林林总总的数据集合类型，到底该怎么选、怎么用？看过这篇教程后，你就能游刃有余地处理它们了。 问题审稿的时候，不止一次，我遇到作者 错误使用数据集合跑模型准确率，并和他人成果比较…", "og:image": "https://pica.zhimg.com/v2-d12f79c26430334d3cb97a5cbb104c0f_r.jpg?source=172ae18b", "og:type": "article", "og:site_name": "知乎专栏" }, "paywall": { "listed_paid": false, "detected": false, "marker": "", "public_only": false, "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙" }, "crawl": { "success": true, "status_code": 200, "error": "" }, "code_blocks": [], "images": [ { "status": "http_403", "url": "https://zhuanlan.zhihu.com/p/71961236", "src": "https://zhuanlan.zhihu.com/p/71961236", "alt": "", "downloaded": false, "discovery": "saved_markdown", "retried_at": "2026-10-20T18:03:23Z" } ], "audio": [], "videos": [], "links": [ { "type": "internal", "href": "https://www.zhihu.com" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Ffollow" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2F" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fhot" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fcolumn-square" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fring-feeds" }, { "type": "internal", "href": "https://www.zhihu.com/project-square" }, { "type": "internal", "href": "https://www.zhihu.com/fiore/h5/vip-web" }, { "type": "internal", "href": "https://zhida.zhihu.com/" }, { "type": "internal", "href": "https://www.zhihu.com/column/yushuzhilan" }, { "type": "internal", "href": "https://www.zhihu.com/people/wang-shu-yi-11" }, { "type": "internal", "href": "https://www.zhihu.com/question/48510028" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E9%9B%86%E5%90%88&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmlbDmja7pm4blkIgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.IpwwdUSBYEyIvGykePNcuqLlaXwal9rb19qtba4BX5M&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=validation&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJ2YWxpZGF0aW9uIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTA0MTIwNzY3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.aS9fxHlf7BefisXSNolscsoBPcym4C6gTnjgJ32aRYY&zhida_source=entity" }, { "type": "internal", "href": "https://zhuanlan.zhihu.com/p/48182945" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Yelp+%E6%83%85%E6%84%9F%E5%88%86%E7%B1%BB&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJZZWxwIOaDheaEn-WIhuexuyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.cLP2rlJHSdXr6U8cz-faqSKZIprsZoq_bgyqAIqOdUk&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Accuracy&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJBY2N1cmFjeSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.clAefA6kHvQ2Yvgg9wLvMmKsQ4jYAeNJ4f2U2dyC5wM&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=2&q=%E5%AF%B9%E6%AF%94%E6%96%B9%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLlr7nmr5Tmlrnms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.xOe1pVYytXA1Pa9_39jK-kG9xaT_DdKo1xFc9pK3ZlI&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=6&q=%E9%AA%8C%E8%AF%81%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLpqozor4Hpm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NiwiemRfdG9rZW4iOm51bGx9.-NBY_AFxapvdJu0DyfqUJ0_cMnTI28JnzfQ--9mU0l8&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=fast.ai+%E5%85%AC%E5%BC%80%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJmYXN0LmFpIOWFrOW8gOaVsOaNrumbhiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.oiPmAhKuqniEVyxi2H7kBBUPpJB4yQxxNqbAARHspQk&zhida_source=entity" }, { "type": "external", "href": "javascript:void(0)" } ], "repair_version": 2, "repaired_at": "2026-10-20T17:31:04Z", "source_url": "https://zhuanlan.zhihu.com/p/71961236", "delivery_status": "unverified", "discovery_status": "http_403", "missing_reason": "源页面未重新核验:http_403；已按保留正文补采图片", "repair_error": "", "actual_video_files": [], "expected_saved_body_images": 1, "image_discovery": "saved_markdown", "source_body_markdown": "[![](https://zhuanlan.zhihu.com/p/71961236)](javascript:void\\(0\\))\n![ZhiHu logo](https://static.zhihu.com/heifetz/assets/wechat-share-logo.39ea9ecd.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n如何正确使用机器学习中的训练集、验证集和测试集？\n首发于[玉树芝兰](https://www.zhihu.com/column/yushuzhilan)\n切换模式\n![如何正确使用机器学习中的训练集、验证集和测试集？](https://pica.zhimg.com/70/v2-d12f79c26430334d3cb97a5cbb104c0f_1440w.image?source=172ae18b&biz_tag=Post)\n# 如何正确使用机器学习中的训练集、验证集和测试集？\n[![王树义](https://pic1.zhimg.com/v2-9c326634115ea56ef90f8bcea6fd5c76_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/wang-shu-yi-11)\n[王树义](https://www.zhihu.com/people/wang-shu-yi-11)\n[​![](https://pica.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)](https://www.zhihu.com/question/48510028)\n南开大学 情报学博士\n[收录于 · 玉树芝兰](https://www.zhihu.com/column/yushuzhilan)\n232 人赞同了该文章\n![](https://pic4.zhimg.com/v2-61fb2b11fc6afe2b425a3b85951289c5_1440w.jpg)\n训练集、验证集和测试集，林林总总的[数据集合](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E9%9B%86%E5%90%88&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmlbDmja7pm4blkIgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.IpwwdUSBYEyIvGykePNcuqLlaXwal9rb19qtba4BX5M&zhida_source=entity)类型，到底该怎么选、怎么用？看过这篇教程后，你就能游刃有余地处理它们了。\n## **问题**\n审稿的时候，不止一次，我遇到作者**错误使用** 数据集合跑模型准确率，并和他人成果比较的情况。\n他们的研究创意有的很新颖，应用价值较高，工作可能也做了着实不少。\n但因对比方法错误，得出来的结果，不具备说服力。几乎全部都需要**返工** 。\n这里，我帮你梳理一下，该怎么使用不同的数据集合：\n * 训练集（training set）\n * 验证集（[validation](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=validation&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJ2YWxpZGF0aW9uIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTA0MTIwNzY3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.aS9fxHlf7BefisXSNolscsoBPcym4C6gTnjgJ32aRYY&zhida_source=entity) set）\n * 测试集（test set）\n\n\n目的只有一个——避免你**踩同样的坑** 。\n其实这个问题，咱们之前的教程文章，已有涉及。\n《[如何用 Python 和深度迁移学习做文本分类？](https://zhuanlan.zhihu.com/p/48182945)》一文中，我曾经给你布置了一个类似的问题。\n在文章的末尾，我们对比了当时近期研究中， [Yelp 情感分类](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Yelp+%E6%83%85%E6%84%9F%E5%88%86%E7%B1%BB&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJZZWxwIOaDheaEn-WIhuexuyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.cLP2rlJHSdXr6U8cz-faqSKZIprsZoq_bgyqAIqOdUk&zhida_source=entity)的最佳结果。\n下表来自于：Shen, D., Wang, G., Wang, W., Min, M. R., Su, Q., Zhang, Y., … & Carin, L. (2018). Baseline needs more love: On simple word-embedding-based models and associated pooling mechanisms. arXiv preprint arXiv:1805.09843.\n![](https://pic3.zhimg.com/v2-6dacb3d7473eafbdc8240cf4c276009e_1440w.jpg)\n注意这里最高的准确率（[Accuracy](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Accuracy&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJBY2N1cmFjeSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.clAefA6kHvQ2Yvgg9wLvMmKsQ4jYAeNJ4f2U2dyC5wM&zhida_source=entity)）数值，是 95.81 。\n我们当时的模型，在验证集上，可以获得的准确率，是这个样子的：\n![](https://pic2.zhimg.com/v2-5a2433d7762f87040c922797fcf8467f_1440w.jpg)\n97.28%，着实不低啊！\n于是我问你：\n> 咱们这种对比，是否科学？ \n> \n你**当时的** 答案是什么？\n这么久过去了，又看了那么多新的教程和论文，你的答案发生变化了吗？\n现在咱们公布一下答案吧。\n**不科学** 。\n为什么？\n因为**[对比方法](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=2&q=%E5%AF%B9%E6%AF%94%E6%96%B9%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLlr7nmr5Tmlrnms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.xOe1pVYytXA1Pa9_39jK-kG9xaT_DdKo1xFc9pK3ZlI&zhida_source=entity)** 有问题。\n## **方法**\n原文中有这样一句：\n> 这里数据集只提供了训练集和“测试集”，因此我们把这个“测试集”当做验证集来使用。 \n> \n作为演示，数据集咱们想怎么用，就可以怎么用。\n甚至你把测试集拿来做训练，然后在训练集上跑测试，都没有人管。\n但是写学术论文，声称你的模型优于已有研究，却绝不能这么草率。\n注意，比较模型效能数值结果时，你只能拿不同的模型，在**同样的测试集** 上面比。\n测试集不同，当然不可以。\n但模型A用测试集，模型B用验证集（与A的测试集数据完全一致）比，可以吗？\n很多人就会混淆了，觉得没问题啊。既然数据都一样，管它叫做什么名称呢？\n可是请你注意，哪怕A模型用的测试集，就是B模型用的[验证集](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=6&q=%E9%AA%8C%E8%AF%81%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLpqozor4Hpm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NiwiemRfdG9rZW4iOm51bGx9.-NBY_AFxapvdJu0DyfqUJ0_cMnTI28JnzfQ--9mU0l8&zhida_source=entity)，你也**不能** 把这两个集合跑出来的结果放在一起比较。\n因为这是**作弊** 。\n你可能觉得我这样说，颇有些吹毛求疵的意味。\n咱们下面就来重新梳理一下，不同数据集合的作用。\n希望你因此能看清楚，这种似乎过于严苛的要求，其实是很有道理的。\n咱们从测试集开始谈，继而是验证集，最后是训练集。\n这样“倒过来说”的好处，是会让你理解起来，更加透彻。\n先说**测试集** 吧。\n## **测试**\n只有在**同样的测试集** 上，两个（或以上）模型的对比才有效。\n这就如同参加高考，两个人考同样一张卷子，分数才能对比。\n甲拿A地区的卷子，考了600分，乙拿B地区的卷子，考了580分。你能不能说，甲比乙成绩高？\n不行吧。\n为了让大家更易于比较自己的模型效果，许多不同领域的数据集，都已开放了。而且开放的时候，都会给你指明，哪些数据用于训练，哪些用于测试。\n以 Yelp 数据为例。\n![](https://pic3.zhimg.com/v2-241a217e191393385f85da6e8177a2ee_1440w.jpg)\n在 AWS 上存储的 [fast.ai 公开数据集](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=fast.ai+%E5%85%AC%E5%BC%80%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJmYXN0LmFpIOWFrOW8gOaVsOaNrumbhiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.oiPmAhKuqniEVyxi2H7kBBUPpJB4yQxxNqbAARHspQk&zhida_source=entity)中，训练集和测试集都已为你准备好。\n你不需要自己进行划分。\n大家达成共识，做研究、写论文，都用这个测试集来比拼，就可以。\n所以，如果你的研究，是靠着比别人的模型效果来说事儿，那就一定先要弄明白**对方的测试集** 是什么。\n但是，这个听起来很容易达成的目标，实践中却很容易遇到困难。\n因为有的人写论文，喜欢把数据和代码藏着掖着，生怕别人用了去。\n他们一般只提一下，是在某个公开数据集上切了一部分出来，作为测试集。\n测试数据集不发布，切分方法（包括工具）和随机种子选取办法也不公开。\n这是非常不靠谱的行为，纯属自娱自乐。\n作为严肃的审稿人，根本就**不应该允许** 这样的研究发表。\n因为机器学习研究的数据集不开放，便基本上没有**可重复性** （Reproducibility）。\n如果你没有办法精确重复他的模型训练和测试过程，那么他想汇报多高的准确率，就纯凭个人爱好了。\n当然，我们不是活在理想世界的。\n你在某一个领域，用机器学习做应用研究的时候，面对这种无法重复已发表论文的情境，该怎么办？\n直接用他声称的结果与你的实际运行结果比较，你可能是在追逐海市蜃楼。累到气喘吁吁，甚至怀疑自我的程度，也徒劳无功。\n忽视它？\n也不行。\n审稿人那关你过不去。\n人家会说，某某研究跟你用的是一样的数据，准确率已经达到98%，你的才96%，有什么发表的意义呢？\n看，左右为难不是？\n其实解决办法很简单。\n不要考虑对方声称达到了多高准确率。把他提供给你的[数据全集](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E5%85%A8%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmlbDmja7lhajpm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.mc0_dw8h45LBd5dGjGJJMjytSQJwI-GxNPE1QF9s_Ts&zhida_source=entity)，自行切分。之后**复现对方的模型** ，重新跑。\n[模型架构](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E6%9E%B6%E6%9E%84&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmqKHlnovmnrbmnoQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.zYJQt8jSlOI4PhqD6zrPIUsogVinhPHEp9ZQ1zQIE1E&zhida_source=entity)，一般都是要求汇报的，所以这几乎不是问题。\n至于这种复现，越是复杂的模型，我越推荐你用 [PyTorch](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=PyTorch&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJQeVRvcmNoIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTA0MTIwNzY3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.mgC4TZzttM06vHwipP9EHQYFiVHT4JiDa2Nx9UVnrx8&zhida_source=entity) 。\n之后把你的模型，和复现的对方模型在同样的测试集上做对比，就可以了。\n当然，论文里要写上一句：\n> 由于某篇文章未提供代码与具体数据切分说明，带来可重复性问题，我们不得不独立复现了其模型，并在测试集完全一致的情况下，进行了比对。 \n> \n这里多说一句，一定要保证你自己的研究，是**可重复** 的。\n不要怕公布你的代码和数据。它们不是你的独门暗器，而是**支撑你研究的凭据** 。\n回看我们前面提到的 Yelp 公开数据的例子。\n![](https://pic3.zhimg.com/v2-241a217e191393385f85da6e8177a2ee_1440w.jpg)\n这时候你会发现一个奇怪的问题——为什么它只有训练集和测试集？\n我们一直反复提到的**验证集** 哪里去了？\n## **验证**\n验证集，就如同高考的模拟考试。\n不同于高考，模拟考只是你调整自己状态的指示器而已。\n状态不够满意，你可以继续调整。\n当然，参加过高考的同学都有经验——这种调整的结果（从模拟考到高考），有可能更好，也有可能更糟糕。\n回到机器学习上，那就是测试集上检验的，是你**最终模型** 的性能。\n什么叫“最终模型”？\n就是你参加高考时候的状态。包括你当时的知识储备、情绪心态，以及当天的外部环境（温度、湿度、东西是否带齐）等。\n最终模型，只有**一个** 。\n就如同每年的高考，你**只能参加一回** 。\n考成什么样儿，就是什么样。\n而验证集上跑的，实际上却是一个模型**集合** ，集合的大小，你可能数都数不过来。\n因为这里存在着超参数（[hyper-parameter](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=hyper-parameter&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJoeXBlci1wYXJhbWV0ZXIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.JVYGoLJMDhav6yoahqXhqjw0n30F5HWsyqZOyyNH59c&zhida_source=entity)）设置的问题。不同[超参数组合](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E8%B6%85%E5%8F%82%E6%95%B0%E7%BB%84%E5%90%88&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLotoXlj4LmlbDnu4TlkIgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.mlG3hRAdLVlObjMS0lfPkDjhMsdnQKOylqOWphzkIiQ&zhida_source=entity)，就对应着不同的潜在模型。\n验证集的存在，是为了从这**一堆可能的模型** 中，帮你表现最好的那个。\n注意这里的表现，是指在**验证集** 上的表现。\n好比说，有个超参数叫做训练轮数（[epochs](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=epochs&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJlcG9jaHMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.X2CxGi_OcJ7Eb9BKRbf_ZTNdfmsAOHeM18Vq_zzO8LI&zhida_source=entity)）。\n在同样的训练集上，训练3轮和训练10轮，结果可能是不一样的模型。它们的参数并不相同。\n那么到底是训练3轮好，还是10轮好？\n或者二者都不好，应该训练6轮？\n这种决策，就需要在训练后，在验证集上“是骡子是马牵出来溜溜”。\n如果发现训练3轮效果更好，那么就应该丢弃掉训练6轮、10轮的潜在模型，只用训练3轮的结果。\n这对应着一种机器学习正则化（Regularization）方式——提早停止训练（early stopping）。\n其他的超参数选取，你也可以举一反三。总之就是按照验证集的效果，来选超参数，从而决定最终模型。\n下一步，自然就是把它交给测试集，去检验。这个我们前面已经详细讲解过了。\n至于这个最终选择模型，在[新数据集](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%96%B0%E6%95%B0%E6%8D%AE%E9%9B%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmlrDmlbDmja7pm4YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.VBtqHR8XXZE-WsjLX82TPLljI_lkR0XXWhiFXGgGzsM&zhida_source=entity)（测试集）上表现如何，没人能打包票。\n所以，回到咱们之前的问题。在《[如何用 Python 和深度迁移学习做文本分类？](https://zhuanlan.zhihu.com/p/48182945)》一文中，我故意用**验证集** 上筛选出的最好模型，在**验证集** 上跑出来分数，当成是**测试** 成绩，这显然是不妥当的。\n你不能把同样的题做他个三五遍，然后从中找最高分去跟别人比。\n即便你的模拟考，用的是别人的高考真题。两张卷子完全一样，也**没有** 说服力。\n所以你看，验证集的目的，不是比拼最终模型效果的。\n因此，怎么设定验证集，划分多少数据做验证，其实是每个研究者需要独立作出的决策，不应该强行设定为一致。\n这就如同我们不会在高考前去检查每个考生，是否做过一样多的模拟试卷，且试卷内容也要一致。\n极端点儿说，即便一个考生没参加过模拟考，可高考成绩突出，你也不能不算他的成绩，对吧？\n不过，讲到这里，我们就得要把训练集拿进来，一起说说了。\n## **训练**\n如果测试集是高考试卷，验证集是模拟考试卷，那么训练集呢？\n大概包括很多东西，例如作业题、练习题。\n另外，我们上高三那时候（[噫吁嚱](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E5%99%AB%E5%90%81%E5%9A%B1&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLlmavlkIHlmrEiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.0dlcv7dcR4L2HB91ajwzMde4DAcKfIDAPvq8xPXdICQ&zhida_source=entity)，已经上个世纪的事儿了），每周有“统练”，每月有“月考”。也都可以划定在训练集的范畴。\n减负这么多年以后，现在的高中生应该没有那么辛苦了吧？真羡慕他们。\n这样一对比，你大概能了解这几个集合之间本应有的关系。\n学生平时练题，最希望的，就是考试能碰到**原题** ，这样就可以保证不必动脑，却做出正确答案。\n所以，出模拟考卷时，老师尽量要保证不要出现学生平时练过的题目，否则无法正确估量学生目前的复习备考状态，噪声过高容易误事儿。\n验证集和训练集，应该是**不交叠** 的。这样选择模型的时候，才可以避免被数据交叠的因素干扰。\n每个学校的模拟考，却都恨不得能押中高考的题。这样可以保证本校学生在高考中，可以“见多识广”，取得更高分数。\n高考出卷子的老师，就必须尽力保证题目是全新的，以筛选出有能力的学生，而不是为高校选拔一批“见过题目，并且记住了标准答案”的学生。\n因此，测试集应该既不同于训练集，又不同于验证集。\n换句话说，三个数据集合，最好都没有重叠。\n学生应该学会举一反三，学会的是知识和规律。\n用知识和规律，去处理新的问题。\n我们对[机器模型](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%9C%BA%E5%99%A8%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmnLrlmajmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.e8Rz2b-I2-hO73uvz7NLF-UyckiS5eUZ0JILy7nmwJ0&zhida_source=entity)的期许，其实也一样。\n在学术论文中，你见到的大部分用于机器学习模型对比的公开数据集（例如 fast.ai 公开数据集中的 Yelp, IMDB, ImageNet 等），都符合这一要求。\n然而，例外肯定是有的。\n例如我在 INFO 5731 课程里面给学生布置的某期末项目备选项，来源于某[学术类](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E5%AD%A6%E6%9C%AF%E7%B1%BB&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLlrabmnK_nsbsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.b_vZK4wKFAVbsaCyDjiJHLgkwTf8_QgZ0XfiiwE2CtA&zhida_source=entity)数据科学竞赛，目标是社交媒体医学名词归一化。\n其中就有数据，既出现在了训练集，又出现在了验证集，甚至测试集里也会有。\n面对这种问题，你该怎么办？\n你怎么判断自己的模型，究竟是强行记住了答案，还是掌握了文本中的规律？\n这个问题，作为思考题留给你。\n我希望在[知识星球](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E7%9F%A5%E8%AF%86%E6%98%9F%E7%90%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLnn6Xor4bmmJ_nkIMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.BzxyodYImHlnLhY3NhWJzTaDyo6l3ug1uhblj3DDLTY&zhida_source=entity)中和热爱学习的你，做进一步讨论。\n另外的一个问题，是训练集要不要和别人的**完全一致** ？\n一般来说，如果你要强调自己的模型优于其他人，那么就要保证是在**同样的** 训练集上训练出来。\n回顾深度学习的三大要素：\n * 数据（Data）\n * 架构（Architecture）\n * 损失（Loss）\n\n\n如果你的训练数据，比别人多得多，那么模型自然见多识广。\n对于深度学习而言，如果训练数据丰富，就可以显著避免过拟合（Overfitting）的发生。\n[GPT-2 模型](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=GPT-2+%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJHUFQtMiDmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Elu_cpNMsg4C67CC1wngA4S123H7PeLVnFizVQfmEx8&zhida_source=entity)，就是因为具备了海量 [Reddit](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Reddit&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJSZWRkaXQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.uUCBAJDLTJNtCC9_9kFueitSDsD-XzvVBxTVg-Aajbc&zhida_source=entity) 数据做训练，才能傲视其他语言模型（Language Model），甚至以安全为理由，拒绝开放模型。\n但是这时候，你跟别人横向比较，似乎就不大公平了。\n你的架构设计，未必更好。假使对方用同样多的[数据训练](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E8%AE%AD%E7%BB%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLmlbDmja7orq3nu4MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.gzYr-ItP4-Dzex0VZABdYpVvOdhNGno3CZACX_YEJgA&zhida_source=entity)，结果可能不必你差，甚至会更优。\n这就如同一个复读了5年的学生甲，充分利用每一分每一秒，做了比应届生乙多5倍的卷子。结果在高考的时候，甲比乙多考了1分（同一张卷子）。\n你能说甲比乙更有学习能力，学习效果更好吗？\n## **小结**\n这篇教程里，我为你梳理了机器学习中常见的三种不同数据集类别，即：\n * 训练集\n * 验证集\n * 测试集\n\n\n咱们一一分析了其作用，并且用“考试”这个大多数人都参加过，且容易理解的例子做了诠释。\n希望读过本文之后，你的概念架构更为清晰，不再会误用它们，避免给自己的研究挖坑。\n祝深度学习愉快，论文发表顺利哦！\n## **作业**\n这里给你留一道思考题：\n有的时候，你看到有人把训练集切分固定的一部分，作为验证集。但是另一些时候，你会看到有人采用“交叉验证”的方式，即每一轮训练，都动态轮转着，把一部分的数据，作为验证集。对吧？\n那么问题来了，什么样的情况下，你应该采用第一种方式，即固定分配验证集？什么样的情况下，你应该采用“[交叉验证](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=2&q=%E4%BA%A4%E5%8F%89%E9%AA%8C%E8%AF%81&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLkuqTlj4npqozor4EiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.EtZj-JIADJ-bsVhhzJT0bjpMV_iOmX_fjG2RqZwTIqE&zhida_source=entity)”方式呢？后者的优势和缺点，又各是什么呢？\n欢迎你留言回复，写下自己的判断标准与原因阐述。咱们一起交流讨论。\n## **征稿**\nOne more thing ……\n这里还有个**征稿启事** 。\n国际学术期刊 Information Discovery and Delivery 要做一期关于 “Information Discovery with Machine Intelligence for Language” 的特刊（Special Issue）。\n![](https://pic4.zhimg.com/v2-da037abc4cbae9aafa19761882595a75_1440w.jpg)\n本人是客座编辑（guest editor）之一。另外两位分别是：\n * 我在[北得克萨斯大学](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E5%8C%97%E5%BE%97%E5%85%8B%E8%90%A8%E6%96%AF%E5%A4%A7%E5%AD%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLljJflvpflhYvokKjmlq_lpKflraYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.58C0s079lBr2ezVrgaydT0maHPNSOh3v4kqfvUKy050&zhida_source=entity)（University of North Texas）的同事 [Dr. Alexis Palmer 教授](https://link.zhihu.com/?target=https%3A//linguistics.unt.edu/alexis-palmer)\n * [南京理工大学](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E5%8D%97%E4%BA%AC%E7%90%86%E5%B7%A5%E5%A4%A7%E5%AD%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLljZfkuqznkIblt6XlpKflraYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.uQS74htS3-O3BaxgpPgHM6fcaGJ0QATkq0p9ue7RhPQ&zhida_source=entity)[章成志教授](https://link.zhihu.com/?target=https%3A//bkso.baidu.com/item/%25E7%25AB%25A0%25E6%2588%2590%25E5%25BF%2597)\n\n\n![](https://pic1.zhimg.com/v2-2e12e96e5a87b5292399597de98facce_1440w.jpg)\n征稿的主题包括但不限于：\n * Language Modeling for [Information Retrieval](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Information+Retrieval&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJJbmZvcm1hdGlvbiBSZXRyaWV2YWwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.J_KuP0XQNTfKpn8QfDf9CDlyy6aN2o3Z3srtxtDrRog&zhida_source=entity)\n * Transfer Learning for Text Classification\n * Word and Character Representations for Cross-Lingual Analysis\n * Information Extraction and Knowledge Graph Building\n * Discourse Analysis at Sentence Level and Beyond\n * Synthetic Text Data for Machine Learning Purposes\n * User Modeling and Information Recommendation based on Text Analysis\n * Semantic Analysis with Machine Learning\n * Other applications of CL/NLP for Information Discovery\n * Other related topics\n\n\n具体的征稿启事（Call for Paper），请查看 Emerald 期刊官网的[这个链接](https://link.zhihu.com/?target=http%3A//www.emeraldgrouppublishing.com/products/journals/call_for_papers.htm%3Fid%3D8662)（[http://dwz.win/c2Q](https://link.zhihu.com/?target=http%3A//dwz.win/c2Q)）。\n作为本专栏的老读者，欢迎你，及你所在的团队踊跃投稿哦。\n如果你不巧并不从事上述研究方向（机器学习、自然语言处理和[计算语言学](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=%E8%AE%A1%E7%AE%97%E8%AF%AD%E8%A8%80%E5%AD%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiLorqHnrpfor63oqIDlraYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDQxMjA3NjcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.SLjKyBWlgBfUP9Y4zpTOtL0xAKftWhnnPhg41ba6a30&zhida_source=entity)等），也希望你能帮个忙，转发这个消息给你身边的研究者，让他们有机会成为我们特刊的作者。\n谢谢！\n## **延伸阅读**\n你可能也会对以下话题感兴趣。点击链接就可以查看。\n * [如何快速写作论文初稿？](https://zhuanlan.zhihu.com/p/35648903)\n * [如何选研究题目？](https://zhuanlan.zhihu.com/p/28038303)\n * [数据科学入门后，该做什么？](https://zhuanlan.zhihu.com/p/65273565)\n * [文科生如何理解循环神经网络（RNN）？](https://zhuanlan.zhihu.com/p/49988171)\n * [《文科生数据科学上手指南》分享](https://zhuanlan.zhihu.com/p/44653452)\n\n\n喜欢别忘了**点赞** 。\n还可以微信关注我的公众号[“玉树芝兰”(nkwangshuyi)](https://link.zhihu.com/?target=http%3A//upload-images.jianshu.io/upload_images/64542-1d8d6f93c004564b.jpg%3FimageMogr2/auto-orient/strip%257CimageView2/2/w/1240)。别忘了**加星标** ，以免错过新推送提示。\n**题图：** Photo by [Jonah](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Jonah&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJKb25haCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0._K9_dwV-iEiU5tU606tk5sD-6DYZy4B8GCOU3xJYtHU&zhida_source=entity) Pettrich on [Unsplash](https://zhida.zhihu.com/search?content_id=104120767&content_type=Article&match_order=1&q=Unsplash&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1MDYsInEiOiJVbnNwbGFzaCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwNDEyMDc2NywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.y7fp2H1RF2b3bUSB3vEpYLics_ocMBb3tW7pxIzUmc8&zhida_source=entity)\n编辑于 2019-07-02 23:55\n[机器学习](https://www.zhihu.com/topic/19559450)\n[数据科学](https://www.zhihu.com/topic/20034729)\n[论文写作](https://www.zhihu.com/topic/19664288)\n​赞同 232​​15 条评论​339 ​53 \n​分享\n​申请转载​\n​\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n \n\n15 条评论\n默认\n最新\n[![AndyGG](https://pica.zhimg.com/v2-abed1a8c04700ba7d72b45195223e0ff_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/b313ff55e98132ffbf1f7b1bfb3dd5c8)\n[AndyGG](https://www.zhihu.com/people/b313ff55e98132ffbf1f7b1bfb3dd5c8)\n谢谢王老师，我老师一定要让我把验证集中的结果说成是模型的最终结果写在文章里，而让我忽略在测试集上不好的结果，这让我很痛苦。我说服不了他，终于找到这篇文章推给他，帮他梳理一下验证集和测试集的区别\n![](https://picx.zhimg.com/v2-00ee32c36ff2add684bbd42f0649aa4e_xld.gif?source=1d2f5c51)\n2019-09-28\n​回复​8\n[![陽台上的瑪格麗特](https://picx.zhimg.com/4b19cffba84074d05c146c3bc5e82bc2_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/d6cd5fa477d4bb2529c14f56eb32c12b)\n[陽台上的瑪格麗特](https://www.zhihu.com/people/d6cd5fa477d4bb2529c14f56eb32c12b)\n看數據量夠不夠大吧，如果數據量夠大，就不用交叉驗證。交叉驗證主要用於數據不夠\n2019-07-03\n​回复​5\n展开其他 1 条回复​\n[![大馒头](https://pica.zhimg.com/v2-10df35c3a1edcadde2991878272ba138_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/06d39210ce7848047aecaed8ae210c0c)\n[大馒头](https://www.zhihu.com/people/06d39210ce7848047aecaed8ae210c0c)\n醍醐灌顶！\n2024-04-29\n​回复​1\n[![月贝凡](https://pic1.zhimg.com/v2-119992dcfae29dfc162a44a971e5905c_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/a195cd5cee2653a5e0e344412431fbd1)\n[月贝凡](https://www.zhihu.com/people/a195cd5cee2653a5e0e344412431fbd1)\n请问机器学习模型在训练集和验证集上的效果都不好，怎么解决？\n2023-02-25\n​回复​1\n[![陽台上的瑪格麗特](https://picx.zhimg.com/4b19cffba84074d05c146c3bc5e82bc2_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/d6cd5fa477d4bb2529c14f56eb32c12b)\n[陽台上的瑪格麗特](https://www.zhihu.com/people/d6cd5fa477d4bb2529c14f56eb32c12b)\n謝謝分享，剛入職的我都常常搞錯\n2019-07-03\n​回复​1\n[![王溪岩](https://picx.zhimg.com/v2-05c6b074e419198c11dfb3e04c22ccec_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/ece03f9dfc2a6866f1519ec064904e69)\n[王溪岩](https://www.zhihu.com/people/ece03f9dfc2a6866f1519ec064904e69)\n受益匪浅\n2019-07-03\n​回复​1\n[![道自成眠](https://picx.zhimg.com/v2-ed0a85c5ec7770e922fa2035f2f3ad1e_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/53068c813eb613fe6dcb6164e0bcfa98)\n[道自成眠](https://www.zhihu.com/people/53068c813eb613fe6dcb6164e0bcfa98)\n看完翻上去想点关注，一看早已是列表中人，能想象老师上课时的娓娓道来\n2025-09-21\n​回复​喜欢\n[![狛汁](https://pica.zhimg.com/v2-898cacaf0fbb9eb2541223ae7eb31e24_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/3c53f94787d04686733a93ccae73c2bf)\n[狛汁](https://www.zhihu.com/people/3c53f94787d04686733a93ccae73c2bf)\n请问用验证集调完超参数之后还需要再训练吗\n2023-09-01\n​回复​喜欢\n[![青野](https://picx.zhimg.com/v2-c1e537e5f2a89996d7533c0b66f5aefe_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/cf15c174e6935181bc56539d68fd31e5)\n[青野](https://www.zhihu.com/people/cf15c174e6935181bc56539d68fd31e5)\n谢谢老师，学到了很多。但有一个问题想要请教一下，训练集和验证集要放在一起标准化吗？还是先对训练集标准化，然后利用训练集上的方差、标准差来标准化验证集？\n2022-04-08\n​回复​喜欢\n[![页川叶川](https://picx.zhimg.com/v2-a667f31c538b5c4ba4e96f9215635a27_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/981e71af225997a7b22f4e7341f3ddee)\n[页川叶川](https://www.zhihu.com/people/981e71af225997a7b22f4e7341f3ddee)\nYear![\\[赞同\\]](https://pic2.zhimg.com/v2-419a1a3ed02b7cfadc20af558aabc897.png)\n2021-11-26\n​回复​喜欢\n点击查看全部评论\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n \n\n关于作者\n[![王树义](https://pic1.zhimg.com/v2-9c326634115ea56ef90f8bcea6fd5c76_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/wang-shu-yi-11)\n[王树义](https://www.zhihu.com/people/wang-shu-yi-11)\n关注知识管理、数据科学与科研工具。知识星球：玉树芝兰\n[​](https://zhuanlan.zhihu.com/p/96956163)\n南开大学 情报学博士\n[ 回答 **454** ](https://www.zhihu.com/people/wang-shu-yi-11/answers)[ 文章 **318** ](https://www.zhihu.com/people/wang-shu-yi-11/posts)[ 关注者 **109,374** ](https://www.zhihu.com/people/wang-shu-yi-11/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)\n[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=a72151fb-021e-45ba-aef5-48508c329cad)\n### 推荐阅读\n[ ![【Python 机器学习基础系列】第2篇：你的第一个机器学习项目实战入门](https://picx.zhimg.com/v2-3cb188fcfd115b6d5e68c6306648b57a_250x0.jpg?source=172ae18b)【Python 机器学习基础系列】第2篇：你的第一个机器学习项目实战入门 塞大花发表于Pytho... ](https://zhuanlan.zhihu.com/p/1926576888995882057)[ ![一个完整的机器学习项目在Python中的演练（二）](https://pic1.zhimg.com/v2-b4ea75e3e850b6f22ee79ab0ac4a9ddf_250x0.jpg?source=172ae18b)一个完整的机器学习项目在Python中的演练（二） 灰灰发表于磐创AI ](https://zhuanlan.zhihu.com/p/37409925)[ ![一个完整的机器学习项目在Python中演练（四）](https://picx.zhimg.com/v2-425dec7448ee4b6565498132fc4f751a_250x0.jpg?source=172ae18b)一个完整的机器学习项目在Python中演练（四） 灰灰发表于磐创AI ](https://zhuanlan.zhihu.com/p/38140908)[ ![Python进行机器学习的几种模型保存方式！](https://pic1.zhimg.com/v2-ae348b66ff622fd98535aed95125b3ea_250x0.jpg?source=172ae18b)Python进行机器学习的几种模型保存方式！ Python和数据分析 ](https://zhuanlan.zhihu.com/p/432247465) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](https://picx.zhimg.com/v2-9e41ea16bdfbe9cf4896617ecad5b4ca.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n", "body_base_path": "attachments/73f6923f4878/pages/", "body_markdown_path": "attachments/73f6923f4878/pages/archived-body.md", "local_html": "attachments/73f6923f4878/pages/archived-body.html", "body_source": "prior_capture" }