{
  "source_file": "0930",
  "source_platform": "知乎专栏",
  "author": "何枝",
  "title_listed": "R1 爆火之后，到底什么任务适合用 RL 做？",
  "keywords": "RL,RLHF,任务选择",
  "domain": "大模型算法",
  "content_type": "深度技术解析",
  "is_paid_flag": "否",
  "url": "https://zhuanlan.zhihu.com/p/25269200188",
  "publish_date": "2025",
  "corpus_stage": "后训练",
  "notes": "有无 ground truth 信号两类场景下 RL 适用性分析",
  "id": "ae5626cadb07",
  "collected_at": "2026-10-02T18:41:09",
  "title": "到底什么任务适合用 RL 做？ - 知乎",
  "body_markdown": "[![](https://zhuanlan.zhihu.com/p/25269200188)](javascript:void\\(0\\))\n![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n到底什么任务适合用 RL 做？\n首发于[何小枝与NLP的快乐日常](https://www.zhihu.com/column/c_1451236880973426688)\n切换模式\n![到底什么任务适合用 RL 做？](../images/000.img)\n# 到底什么任务适合用 RL 做？\n[![何枝](../images/012.jpg)](https://www.zhihu.com/people/who-u)\n[何枝](https://www.zhihu.com/people/who-u)\n如果人人都做有意义的事，那有趣的事该由谁去做呢。\n[收录于 · 何小枝与NLP的快乐日常](https://www.zhihu.com/column/c_1451236880973426688)\n260 人赞同了该文章\nR1 爆 之后，身边讨论 RL 的声音越来越多，好事情！很开心！\n和很多朋友讨论后，发现好像很多的想法是「我想试试 RL，但不太清楚这个任务适不适合用 RL 做」。\n所以，这里尝试总结一些近期聊过一些场景，分享一下（纯个人）认为哪些任务上用 RL 收益高，哪些任务其实不是非 RL 不可，希望能够帮助大家理性看待，冷静分析！\n我们分为「有 ground truth 信号」和「无 ground truth 信号」两类场景来讨论。\n## 1. 存在 [GroundTruth 信号](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=GroundTruth+%E4%BF%A1%E5%8F%B7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJHcm91bmRUcnV0aCDkv6Hlj7ciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.sr11oJgdT7s-KuWNGhnU5Mj5qvZZbucfwhMsyxaLhks&zhida_source=entity)\n这一类任务通常指能不能够通过任务的最终的明确状态（ground_truth）来构建一个 [verifier](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=verifier&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJ2ZXJpZmllciIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI1NDA3NjAxNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.kFB3RHQu4z4np_3QQfLBfNNivFYVGH90s1YorskCJKU&zhida_source=entity)，从而指导 RL 训练，通俗理解就是我们能不能通过写一个规则代码来判断模型做的「对不对」。比如我们常见的「数学题」（有标准答案,判断模型做没做对），「代码题」（代码是否报错 & 执行结果是否正确）。\n_这类任务可以优先考虑下是否适合用 RL，**核心原则是：越难标注（或定义）好答案的任务，越适合 RL**_ 。\n其中，**人们越难标注的任务（比如数学题，代码题），用 RL 的 ROI 是越高的** ，因为在最开始的时候，RL 就是被人们用来解决那些难以获得标注样本，减少 Human Engineering 的场景！（尽管那时候 [reward shaping](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=reward+shaping&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJyZXdhcmQgc2hhcGluZyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI1NDA3NjAxNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.iNB4kI9t1mL11PZ56Tv6Pga4CDB-FaEy6OyWQSlOcto&zhida_source=entity) 折磨的人们痛不欲生，丝毫没有感觉到减了多少人工量 TAT）。\n但是！有的任务虽然能获通过写代码来判断，**但同时它们的「标准答案」也非常容易产生，那么这类任务就并非是一定要走 RL 这条路子了** 。\n> 举例来讲说：假设今天我们要做一个挂接知识库的 Agent，这个 Agent 存在着很明确的规则：该任务下只有 2 种类型的 prompt（水果类、人物类），只要 prompt 中里面出现了「水果」，则调用「水果知识库」；只要 prompt 中出现了「明星」，则调用「人物知识库」。\n上述场景中，因为标准答案非常容易标注（准则卡的很死，是水果类就调水果，是人物类就调用人物），尽管构建一个 Rule 的 Verifier 也很容易，但其实走 RL 训练出来的模型能力上限也就是「是水果类就调水果，是人物类就调用人物」，其实和人类标出来的数据（[SFT](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=SFT&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJTRlQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.YIxylV-a8lZcPoPQocScpdAMa1uulH3ZEAZmIWSYfPI&zhida_source=entity)）差不了太多，**这种「容易产生天花板级别答案」的任务，用 RL 就不是那么的有必要啦** 。\n那一个直接的反例就是：推理 & 数学题。这类任务标注同学看到就头大，吭哧吭哧读完题，看不懂，然后再去查资料，查到一道类似的题，然后开始尝试对着答案去理解，再回头来做现在的题，标注效率不高（还容易出错），给[算法](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=%E7%AE%97%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiLnrpfms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.0tHKVGwiT-jvXpKAxFuZI3nH8zWShXkBLRaACVSCCh0&zhida_source=entity)同学看，算法同学也累够呛。**所以这种「很难产生好答案，但很容易进行判别结果是否正确」的任务，是 RLer 最喜欢的任务场景！**\n> **题外话：** R1 里使用纯 Ground Truth 去做数学 & 推理 RL，得到了非常漂亮的 response length 递增曲线！但（我个人认为）Response Length 并非越长越好，之所以随着训练变长可能单纯只是因为用的是 [ORM](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=ORM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJPUk0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Oj3fZKMBaPz_6sMHJyOrjqsde1OoXq2Ydj8ODVF0OIk&zhida_source=entity)（而非 [PRM](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=PRM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJQUk0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.RsS7CCtx2NZ1TSSh3rfZg9jbu9o-YfxidsOTVWUHmZs&zhida_source=entity)）来训练，从而导致的一种 [Length Hacking](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=Length+Hacking&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJMZW5ndGggSGFja2luZyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI1NDA3NjAxNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.teIfx-tr_hz0BqC0fmE7O26mguARjumYudjJci3Gfog&zhida_source=entity) 现象。因为在整个训练中，模型只受到 Outcome [Signal](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=Signal&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJTaWduYWwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.tfvZZhtDE1FYkPDZhxxP0zNXLdsIQnrP5BlTMFPbrY4&zhida_source=entity) 的影响，那些偏长的答案（包含了诸多转折、验证）能够答对题的[概率期望](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=%E6%A6%82%E7%8E%87%E6%9C%9F%E6%9C%9B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiLmpoLnjofmnJ_mnJsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.tCJjVG-rpOfp3NAz8tCH5tZ0Jf5ZgoUjJ4p0eVSwpW4&zhida_source=entity)比那些较短答案要高（比如上一步模型答错了，得到了负惩罚，那么下一次模型尝试在上一次答案后面加一个 wait，然后输出另一个答案，可能就对了），所以模型就更倾向去往长的 pattern 学（尽管可能会有错误、无意义的 CoT 出现，但因为中间过程不会被惩罚，所以就保留了这种 format）。从另一个角度来想（可能不完全适用于 GRPO），假设将任务定义为 sample 一个 token 就是做一次 action，那么对于完成一个同样任务，允许模型在 100 次行为选择（100 个 token）和 10000 次行为选择（10000 个 token）中进行抉择，模型大概率会选择收敛到 10000 次行为选择（更宽松）的策略下。这个猜想来自于：我们以前训练走格子迷宫的 RL 任务里，通常会加入一个步数惩罚（step penalty），以期望 policy model 能在最短的步数内完成任务。\n## 2. 不存在 GroundTruth 信号\n事实上，绝大多数任务是不存在「标准答案」的（这意味着大概率需要训练一个 RM），在这类任务下抉择是否要使用 RL 往往比较困难。\n这类任务的类型比较多、有点杂，一个比较大的判断是：\n**_那些「宏观标准容易定义，但细节难以精确」的任务，比较适合 RL_** 。\n举例来讲，假如今天有一个 [Chat Bot](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=Chat+Bot&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJDaGF0IEJvdCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI1NDA3NjAxNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.dc235c6XK9Eax-DxyLTpvId9Pk7m45NTyLkBVWYKkW8&zhida_source=entity)，我们能够对用户可能问的所有 prompt 进行穷举分类，并且每一种类别都有非常明确的「标准态」（包括格式、话术等），当来一条新的 prompt，我们能很快的将其归分到某一个类别，并且按照既定标准生产出一条标准的回复 —— 那 SFT 已经能够满足这个任务的所有需求！\n但现实中会面临诸多问题，比如：每一个类别的「[标准态](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=2&q=%E6%A0%87%E5%87%86%E6%80%81&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiLmoIflh4bmgIEiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.NPnXU4maUiqVtg1L4qHOIkOD-iArgSc_p41xlVH7SHw&zhida_source=entity)」可能在不断变化。\n如果是一个很成熟的业务（或产品），标准经历了很久的沉淀后会变的相对稳定；\n而对于一个新的产品而言，标准往往会随着时间推移而发生迭代和变更（这通常发生在一些小的细节标准上），这将导致之前标注过的数据需要重新标注（或者丢弃），频繁的 review 过往数据是一件非常费时费力的事情，也很痛苦。**这种没有理想标准（或者标准更迭很快）、存在一些数据不一致性的场景，光靠 SFT 是比较难搞定的。**\n举个例子，假设我们今天要做一个「表达有逻辑、讲话有温度」的 Model，这其实是一个非常抽象的概念，\n从标注的思路来讲，我们需要首先尽可能的细致的定义一堆子要求，比如：先摆论据再出结论。\n当数据标了一段时间后，我们发现：先出结论，再提供论据或许能更直观、人们获取信息效率更高，此时又要去重新 review 之前标注过的全部数据，这样的反复 review 会很折磨。\n所以，一种更好的方式是，在满足 High Level 的大标准前提下，只比较模型生成结果的好坏（**虽然我们不知道这个问题的最完美的答案是怎样的，但我们总能在当前的几个候选答案里找出最好的那一个** ），随着不断的迭代，一些超出我们预期的答案会慢慢出现，模型也随之变的越来越强，走一条「没有最好，只有更好」的路子。\n同时，对于那些因为标准变更带来的「不一致性数据」，比起 SFT 来说，使用 RM Uncertainty 能更好缓解不一致性带来的矛盾影响。\n* * *\n最后，我们可以尝试通过这样的分析来理解：\n  1. SFT 的上限收敛于标注数据，如果能「快速」、「便捷」的收集到「理想标准下的标注数据」，那么其实 SFT 已经能很好满足任务需求；\n  2. 如果「难以定义理想标准（如创作）」、或者「有标准，但难以产生标注数据（如数学）」，那么可以考虑尝试 RL。但，上 RL 的挑战确实会比 SFT 大不少，需要有着强大的心理准备（包括但不局限于训练框架、调参稳定、Reward Hacking 这些问题）。不过，有时候不去自己努力拼搏拼搏，怎么能知道什么叫绝望呢：）\n\n\n以上，感谢观看~\n发布于 2025-02-21 06:18・北京\n[RLHF](https://www.zhihu.com/topic/26859901)\n[LLM](https://www.zhihu.com/topic/20660508)\n​赞同 260​​6 条评论​299 ​7 \n​分享\n​申请转载​\n​\n![](../images/004.jpeg)\n未登录用户\n  \n\n6 条评论\n默认\n最新\n[![Jasper Zuza](../images/005.jpg)](https://www.zhihu.com/people/a3702bc6f5aed452b2da61c9dec3264f)\n[Jasper Zuza](https://www.zhihu.com/people/a3702bc6f5aed452b2da61c9dec3264f)\nground truth 要区分完整步骤的 GT 还是只是 final answer 的 GT。 R1 的 math 属于没有完整步骤但是有 final answer 的 GT\n2025-02-26 · 新加坡\n​回复​1\n[![武汉打牛的](../images/006.jpg)](https://www.zhihu.com/people/05b3aef38cc0271431255d9c2e7a89d4)\n[武汉打牛的](https://www.zhihu.com/people/05b3aef38cc0271431255d9c2e7a89d4)\n![知乎知识会员](../images/007.jpg)\n那种对分类任务适合RL么，比如50个分类左右\n2025-06-10 · 新加坡\n​回复​喜欢\n[![知乎用户RQ4P77](../images/008.jpg)](https://www.zhihu.com/people/7d9bba6a04c0826d47274a904a1124da)\n[知乎用户RQ4P77](https://www.zhihu.com/people/7d9bba6a04c0826d47274a904a1124da)\n你认为法律适合吗？\n2025-02-28 · 广东\n​回复​喜欢\n[![Yuuu](../images/009.jpg)](https://www.zhihu.com/people/d3a631972c67924e1d335c8993f08d5b)\n[Yuuu](https://www.zhihu.com/people/d3a631972c67924e1d335c8993f08d5b)\n感觉第二种还是回到 RM （可以是 rule or human or llm or others） 了，make RL*F great again![\\[捂脸\\]](https://pic1.zhimg.com/v2-b62e608e405aeb33cd52830218f561ea.png)\n2025-02-27 · 北京\n​回复​喜欢\n[![彼得](../images/010.jpg)](https://www.zhihu.com/people/69fb80410c6e9bc12e02fa08dc36965d)\n[彼得](https://www.zhihu.com/people/69fb80410c6e9bc12e02fa08dc36965d)\n很有收获！想确定一下，所以这样来看，传统分类问题的label是属于“Ground Truth”的？也就是理论上是适用于GRPO的……？但是用SFT还是RL需要看具体标注数据和训练流程的性价比……？\n2025-02-24 · 北京\n​回复​喜欢\n[![维也纳看夕阳](../images/011.jpg)](https://www.zhihu.com/people/dd4e635c62114be4b0c6f0f70c9a0af3)\n[维也纳看夕阳](https://www.zhihu.com/people/dd4e635c62114be4b0c6f0f70c9a0af3)\n总结的很好，点赞![\\[爱\\]](https://pic1.zhimg.com/v2-0942128ebfe78f000e84339fbb745611.png)\n2025-02-21 · 北京\n​回复​喜欢\n关于作者\n[![何枝](../images/012.jpg)](https://www.zhihu.com/people/who-u)\n[何枝](https://www.zhihu.com/people/who-u)\n如果人人都做有意义的事，那有趣的事该由谁去做呢。\n[ 回答 **60** ](https://www.zhihu.com/people/who-u/answers)[ 文章 **46** ](https://www.zhihu.com/people/who-u/posts)[ 关注者 **18,024** ](https://www.zhihu.com/people/who-u/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)\n[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)\n### 推荐阅读\n# [RB宣布取消项目 如标题，大体来说就是 Tiberium（RB组组长）很忙，状态不好，其他管理员（比如Wilson），都要忙别的mod的事情，或者需要休息，没有动力做这个mod，整个团队都没啥动力去做，要忙别的mod…大… Shira...发表于RuleB... ](https://zhuanlan.zhihu.com/p/180706130)[ ![【PathTracing】实时光线追踪和BSSRDF的那些事](../images/014.jpg)【PathTracing】实时光线追踪和BSSRDF的那些事 ycz ](https://zhuanlan.zhihu.com/p/33614512)[ ![RL的一整年](../images/016.jpg)RL的一整年 大润发杀鱼工 ](https://zhuanlan.zhihu.com/p/1985812420770428370)[ ![GTSAM概览\\(ISAM2和LM优化器使用的异同\\)](../images/018.jpg)GTSAM概览(ISAM2和LM优化器使用的异同) FrankDellaert ](https://zhuanlan.zhihu.com/p/704873226) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](../images/body-0f9788d006ab0f4da762.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n",
  "metadata": {
    "title": "到底什么任务适合用 RL 做？ - 知乎",
    "description": "R1 爆 之后，身边讨论 RL 的声音越来越多，好事情！很开心！ 和很多朋友讨论后，发现好像很多的想法是「我想试试 RL，但不太清楚这个任务适不适合用 RL 做」。 所以，这里尝试总结一些近期聊过一些场景，分享一下…",
    "keywords": "RLHF,LLM",
    "author": null,
    "og:title": "到底什么任务适合用 RL 做？",
    "og:url": "https://zhuanlan.zhihu.com/p/25269200188",
    "og:description": "R1 爆 之后，身边讨论 RL 的声音越来越多，好事情！很开心！ 和很多朋友讨论后，发现好像很多的想法是「我想试试 RL，但不太清楚这个任务适不适合用 RL 做」。 所以，这里尝试总结一些近期聊过一些场景，分享一下…",
    "og:image": "https://pic1.zhimg.com/v2-049ee239cdeffe453735b3731e9fb857_720w.jpg?source=172ae18b",
    "og:type": "article",
    "og:site_name": "知乎专栏"
  },
  "paywall": {
    "listed_paid": false,
    "detected": false,
    "marker": "",
    "public_only": false,
    "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙"
  },
  "crawl": {
    "success": true,
    "status_code": 200,
    "error": ""
  },
  "code_blocks": [],
  "images": [
    {
      "status": "http_403",
      "url": "https://zhuanlan.zhihu.com/p/25269200188",
      "src": "https://zhuanlan.zhihu.com/p/25269200188",
      "alt": "",
      "downloaded": false,
      "discovery": "saved_markdown",
      "retried_at": "2026-10-20T17:40:55Z"
    }
  ],
  "audio": [],
  "videos": [],
  "links": [
    {
      "type": "internal",
      "href": "https://www.zhihu.com"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Ffollow"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2F"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Fhot"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Fcolumn-square"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/signin?next=%2Fring-feeds"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/project-square"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/fiore/h5/vip-web"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/column/c_1451236880973426688"
    },
    {
      "type": "internal",
      "href": "https://www.zhihu.com/people/who-u"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=GroundTruth+%E4%BF%A1%E5%8F%B7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJHcm91bmRUcnV0aCDkv6Hlj7ciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.sr11oJgdT7s-KuWNGhnU5Mj5qvZZbucfwhMsyxaLhks&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=verifier&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJ2ZXJpZmllciIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI1NDA3NjAxNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.kFB3RHQu4z4np_3QQfLBfNNivFYVGH90s1YorskCJKU&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=reward+shaping&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJyZXdhcmQgc2hhcGluZyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI1NDA3NjAxNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.iNB4kI9t1mL11PZ56Tv6Pga4CDB-FaEy6OyWQSlOcto&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=SFT&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJTRlQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.YIxylV-a8lZcPoPQocScpdAMa1uulH3ZEAZmIWSYfPI&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=%E7%AE%97%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiLnrpfms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.0tHKVGwiT-jvXpKAxFuZI3nH8zWShXkBLRaACVSCCh0&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=ORM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJPUk0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Oj3fZKMBaPz_6sMHJyOrjqsde1OoXq2Ydj8ODVF0OIk&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=PRM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJQUk0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.RsS7CCtx2NZ1TSSh3rfZg9jbu9o-YfxidsOTVWUHmZs&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=Length+Hacking&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJMZW5ndGggSGFja2luZyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI1NDA3NjAxNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.teIfx-tr_hz0BqC0fmE7O26mguARjumYudjJci3Gfog&zhida_source=entity"
    },
    {
      "type": "internal",
      "href": "https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=Signal&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJTaWduYWwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.tfvZZhtDE1FYkPDZhxxP0zNXLdsIQnrP5BlTMFPbrY4&zhida_source=entity"
    },
    {
      "type": "external",
      "href": "javascript:void(0)"
    }
  ],
  "repair_version": 2,
  "repaired_at": "2026-10-20T17:24:48Z",
  "source_url": "https://zhuanlan.zhihu.com/p/25269200188",
  "delivery_status": "unverified",
  "discovery_status": "http_403",
  "missing_reason": "源页面未重新核验:http_403；已按保留正文补采图片",
  "repair_error": "",
  "actual_video_files": [],
  "expected_saved_body_images": 1,
  "image_discovery": "saved_markdown",
  "source_body_markdown": "[![](https://zhuanlan.zhihu.com/p/25269200188)](javascript:void\\(0\\))\n![ZhiHu logo](https://static.zhihu.com/heifetz/assets/wechat-share-logo.39ea9ecd.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n到底什么任务适合用 RL 做？\n首发于[何小枝与NLP的快乐日常](https://www.zhihu.com/column/c_1451236880973426688)\n切换模式\n![到底什么任务适合用 RL 做？](https://pic1.zhimg.com/70/v2-049ee239cdeffe453735b3731e9fb857_1440w.image?source=172ae18b&biz_tag=Post)\n# 到底什么任务适合用 RL 做？\n[![何枝](https://pic1.zhimg.com/v2-fbc9c0a8c562b7515e41825ff2a1d4f8_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/who-u)\n[何枝](https://www.zhihu.com/people/who-u)\n如果人人都做有意义的事，那有趣的事该由谁去做呢。\n[收录于 · 何小枝与NLP的快乐日常](https://www.zhihu.com/column/c_1451236880973426688)\n260 人赞同了该文章\nR1 爆 之后，身边讨论 RL 的声音越来越多，好事情！很开心！\n和很多朋友讨论后，发现好像很多的想法是「我想试试 RL，但不太清楚这个任务适不适合用 RL 做」。\n所以，这里尝试总结一些近期聊过一些场景，分享一下（纯个人）认为哪些任务上用 RL 收益高，哪些任务其实不是非 RL 不可，希望能够帮助大家理性看待，冷静分析！\n我们分为「有 ground truth 信号」和「无 ground truth 信号」两类场景来讨论。\n## 1. 存在 [GroundTruth 信号](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=GroundTruth+%E4%BF%A1%E5%8F%B7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJHcm91bmRUcnV0aCDkv6Hlj7ciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.sr11oJgdT7s-KuWNGhnU5Mj5qvZZbucfwhMsyxaLhks&zhida_source=entity)\n这一类任务通常指能不能够通过任务的最终的明确状态（ground_truth）来构建一个 [verifier](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=verifier&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJ2ZXJpZmllciIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI1NDA3NjAxNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.kFB3RHQu4z4np_3QQfLBfNNivFYVGH90s1YorskCJKU&zhida_source=entity)，从而指导 RL 训练，通俗理解就是我们能不能通过写一个规则代码来判断模型做的「对不对」。比如我们常见的「数学题」（有标准答案,判断模型做没做对），「代码题」（代码是否报错 & 执行结果是否正确）。\n_这类任务可以优先考虑下是否适合用 RL，**核心原则是：越难标注（或定义）好答案的任务，越适合 RL**_ 。\n其中，**人们越难标注的任务（比如数学题，代码题），用 RL 的 ROI 是越高的** ，因为在最开始的时候，RL 就是被人们用来解决那些难以获得标注样本，减少 Human Engineering 的场景！（尽管那时候 [reward shaping](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=reward+shaping&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJyZXdhcmQgc2hhcGluZyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI1NDA3NjAxNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.iNB4kI9t1mL11PZ56Tv6Pga4CDB-FaEy6OyWQSlOcto&zhida_source=entity) 折磨的人们痛不欲生，丝毫没有感觉到减了多少人工量 TAT）。\n但是！有的任务虽然能获通过写代码来判断，**但同时它们的「标准答案」也非常容易产生，那么这类任务就并非是一定要走 RL 这条路子了** 。\n> 举例来讲说：假设今天我们要做一个挂接知识库的 Agent，这个 Agent 存在着很明确的规则：该任务下只有 2 种类型的 prompt（水果类、人物类），只要 prompt 中里面出现了「水果」，则调用「水果知识库」；只要 prompt 中出现了「明星」，则调用「人物知识库」。\n上述场景中，因为标准答案非常容易标注（准则卡的很死，是水果类就调水果，是人物类就调用人物），尽管构建一个 Rule 的 Verifier 也很容易，但其实走 RL 训练出来的模型能力上限也就是「是水果类就调水果，是人物类就调用人物」，其实和人类标出来的数据（[SFT](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=SFT&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJTRlQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.YIxylV-a8lZcPoPQocScpdAMa1uulH3ZEAZmIWSYfPI&zhida_source=entity)）差不了太多，**这种「容易产生天花板级别答案」的任务，用 RL 就不是那么的有必要啦** 。\n那一个直接的反例就是：推理 & 数学题。这类任务标注同学看到就头大，吭哧吭哧读完题，看不懂，然后再去查资料，查到一道类似的题，然后开始尝试对着答案去理解，再回头来做现在的题，标注效率不高（还容易出错），给[算法](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=%E7%AE%97%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiLnrpfms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.0tHKVGwiT-jvXpKAxFuZI3nH8zWShXkBLRaACVSCCh0&zhida_source=entity)同学看，算法同学也累够呛。**所以这种「很难产生好答案，但很容易进行判别结果是否正确」的任务，是 RLer 最喜欢的任务场景！**\n> **题外话：** R1 里使用纯 Ground Truth 去做数学 & 推理 RL，得到了非常漂亮的 response length 递增曲线！但（我个人认为）Response Length 并非越长越好，之所以随着训练变长可能单纯只是因为用的是 [ORM](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=ORM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJPUk0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Oj3fZKMBaPz_6sMHJyOrjqsde1OoXq2Ydj8ODVF0OIk&zhida_source=entity)（而非 [PRM](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=PRM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJQUk0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.RsS7CCtx2NZ1TSSh3rfZg9jbu9o-YfxidsOTVWUHmZs&zhida_source=entity)）来训练，从而导致的一种 [Length Hacking](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=Length+Hacking&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJMZW5ndGggSGFja2luZyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI1NDA3NjAxNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.teIfx-tr_hz0BqC0fmE7O26mguARjumYudjJci3Gfog&zhida_source=entity) 现象。因为在整个训练中，模型只受到 Outcome [Signal](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=Signal&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJTaWduYWwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.tfvZZhtDE1FYkPDZhxxP0zNXLdsIQnrP5BlTMFPbrY4&zhida_source=entity) 的影响，那些偏长的答案（包含了诸多转折、验证）能够答对题的[概率期望](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=%E6%A6%82%E7%8E%87%E6%9C%9F%E6%9C%9B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiLmpoLnjofmnJ_mnJsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.tCJjVG-rpOfp3NAz8tCH5tZ0Jf5ZgoUjJ4p0eVSwpW4&zhida_source=entity)比那些较短答案要高（比如上一步模型答错了，得到了负惩罚，那么下一次模型尝试在上一次答案后面加一个 wait，然后输出另一个答案，可能就对了），所以模型就更倾向去往长的 pattern 学（尽管可能会有错误、无意义的 CoT 出现，但因为中间过程不会被惩罚，所以就保留了这种 format）。从另一个角度来想（可能不完全适用于 GRPO），假设将任务定义为 sample 一个 token 就是做一次 action，那么对于完成一个同样任务，允许模型在 100 次行为选择（100 个 token）和 10000 次行为选择（10000 个 token）中进行抉择，模型大概率会选择收敛到 10000 次行为选择（更宽松）的策略下。这个猜想来自于：我们以前训练走格子迷宫的 RL 任务里，通常会加入一个步数惩罚（step penalty），以期望 policy model 能在最短的步数内完成任务。\n## 2. 不存在 GroundTruth 信号\n事实上，绝大多数任务是不存在「标准答案」的（这意味着大概率需要训练一个 RM），在这类任务下抉择是否要使用 RL 往往比较困难。\n这类任务的类型比较多、有点杂，一个比较大的判断是：\n**_那些「宏观标准容易定义，但细节难以精确」的任务，比较适合 RL_** 。\n举例来讲，假如今天有一个 [Chat Bot](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=1&q=Chat+Bot&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiJDaGF0IEJvdCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjI1NDA3NjAxNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.dc235c6XK9Eax-DxyLTpvId9Pk7m45NTyLkBVWYKkW8&zhida_source=entity)，我们能够对用户可能问的所有 prompt 进行穷举分类，并且每一种类别都有非常明确的「标准态」（包括格式、话术等），当来一条新的 prompt，我们能很快的将其归分到某一个类别，并且按照既定标准生产出一条标准的回复 —— 那 SFT 已经能够满足这个任务的所有需求！\n但现实中会面临诸多问题，比如：每一个类别的「[标准态](https://zhida.zhihu.com/search?content_id=254076016&content_type=Article&match_order=2&q=%E6%A0%87%E5%87%86%E6%80%81&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkyNjksInEiOiLmoIflh4bmgIEiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyNTQwNzYwMTYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.NPnXU4maUiqVtg1L4qHOIkOD-iArgSc_p41xlVH7SHw&zhida_source=entity)」可能在不断变化。\n如果是一个很成熟的业务（或产品），标准经历了很久的沉淀后会变的相对稳定；\n而对于一个新的产品而言，标准往往会随着时间推移而发生迭代和变更（这通常发生在一些小的细节标准上），这将导致之前标注过的数据需要重新标注（或者丢弃），频繁的 review 过往数据是一件非常费时费力的事情，也很痛苦。**这种没有理想标准（或者标准更迭很快）、存在一些数据不一致性的场景，光靠 SFT 是比较难搞定的。**\n举个例子，假设我们今天要做一个「表达有逻辑、讲话有温度」的 Model，这其实是一个非常抽象的概念，\n从标注的思路来讲，我们需要首先尽可能的细致的定义一堆子要求，比如：先摆论据再出结论。\n当数据标了一段时间后，我们发现：先出结论，再提供论据或许能更直观、人们获取信息效率更高，此时又要去重新 review 之前标注过的全部数据，这样的反复 review 会很折磨。\n所以，一种更好的方式是，在满足 High Level 的大标准前提下，只比较模型生成结果的好坏（**虽然我们不知道这个问题的最完美的答案是怎样的，但我们总能在当前的几个候选答案里找出最好的那一个** ），随着不断的迭代，一些超出我们预期的答案会慢慢出现，模型也随之变的越来越强，走一条「没有最好，只有更好」的路子。\n同时，对于那些因为标准变更带来的「不一致性数据」，比起 SFT 来说，使用 RM Uncertainty 能更好缓解不一致性带来的矛盾影响。\n* * *\n最后，我们可以尝试通过这样的分析来理解：\n  1. SFT 的上限收敛于标注数据，如果能「快速」、「便捷」的收集到「理想标准下的标注数据」，那么其实 SFT 已经能很好满足任务需求；\n  2. 如果「难以定义理想标准（如创作）」、或者「有标准，但难以产生标注数据（如数学）」，那么可以考虑尝试 RL。但，上 RL 的挑战确实会比 SFT 大不少，需要有着强大的心理准备（包括但不局限于训练框架、调参稳定、Reward Hacking 这些问题）。不过，有时候不去自己努力拼搏拼搏，怎么能知道什么叫绝望呢：）\n\n\n以上，感谢观看~\n发布于 2025-02-21 06:18・北京\n[RLHF](https://www.zhihu.com/topic/26859901)\n[LLM](https://www.zhihu.com/topic/20660508)\n​赞同 260​​6 条评论​299 ​7 \n​分享\n​申请转载​\n​\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n  \n\n6 条评论\n默认\n最新\n[![Jasper Zuza](https://picx.zhimg.com/v2-104c427e7e42ea4f8e573670dd12351e_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/a3702bc6f5aed452b2da61c9dec3264f)\n[Jasper Zuza](https://www.zhihu.com/people/a3702bc6f5aed452b2da61c9dec3264f)\nground truth 要区分完整步骤的 GT 还是只是 final answer 的 GT。 R1 的 math 属于没有完整步骤但是有 final answer 的 GT\n2025-02-26 · 新加坡\n​回复​1\n[![武汉打牛的](https://picx.zhimg.com/v2-f9df1cfa7d92db9b9c18adf10ba58745_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/05b3aef38cc0271431255d9c2e7a89d4)\n[武汉打牛的](https://www.zhihu.com/people/05b3aef38cc0271431255d9c2e7a89d4)\n![知乎知识会员](https://picx.zhimg.com/v2-57fe7feb4813331d5eca02ef731e12c9.jpg?source=88ceefae)\n那种对分类任务适合RL么，比如50个分类左右\n2025-06-10 · 新加坡\n​回复​喜欢\n[![知乎用户RQ4P77](https://picx.zhimg.com/v2-abed1a8c04700ba7d72b45195223e0ff_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/7d9bba6a04c0826d47274a904a1124da)\n[知乎用户RQ4P77](https://www.zhihu.com/people/7d9bba6a04c0826d47274a904a1124da)\n你认为法律适合吗？\n2025-02-28 · 广东\n​回复​喜欢\n[![Yuuu](https://picx.zhimg.com/v2-628c991e9eceb8843195409b24bc22f8_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/d3a631972c67924e1d335c8993f08d5b)\n[Yuuu](https://www.zhihu.com/people/d3a631972c67924e1d335c8993f08d5b)\n感觉第二种还是回到 RM （可以是 rule or human or llm or others） 了，make RL*F great again![\\[捂脸\\]](https://pic1.zhimg.com/v2-b62e608e405aeb33cd52830218f561ea.png)\n2025-02-27 · 北京\n​回复​喜欢\n[![彼得](https://pic1.zhimg.com/v2-abed1a8c04700ba7d72b45195223e0ff_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/69fb80410c6e9bc12e02fa08dc36965d)\n[彼得](https://www.zhihu.com/people/69fb80410c6e9bc12e02fa08dc36965d)\n很有收获！想确定一下，所以这样来看，传统分类问题的label是属于“Ground Truth”的？也就是理论上是适用于GRPO的……？但是用SFT还是RL需要看具体标注数据和训练流程的性价比……？\n2025-02-24 · 北京\n​回复​喜欢\n[![维也纳看夕阳](https://pic1.zhimg.com/v2-f221cc956b3ef066fbd157a22f0bfa9d_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/dd4e635c62114be4b0c6f0f70c9a0af3)\n[维也纳看夕阳](https://www.zhihu.com/people/dd4e635c62114be4b0c6f0f70c9a0af3)\n总结的很好，点赞![\\[爱\\]](https://pic1.zhimg.com/v2-0942128ebfe78f000e84339fbb745611.png)\n2025-02-21 · 北京\n​回复​喜欢\n关于作者\n[![何枝](https://pic1.zhimg.com/v2-fbc9c0a8c562b7515e41825ff2a1d4f8_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/who-u)\n[何枝](https://www.zhihu.com/people/who-u)\n如果人人都做有意义的事，那有趣的事该由谁去做呢。\n[ 回答 **60** ](https://www.zhihu.com/people/who-u/answers)[ 文章 **46** ](https://www.zhihu.com/people/who-u/posts)[ 关注者 **18,024** ](https://www.zhihu.com/people/who-u/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)\n[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=35f6a5d6-f742-45f6-b89e-dd72bb75fbc8)\n### 推荐阅读\n# [RB宣布取消项目 如标题，大体来说就是 Tiberium（RB组组长）很忙，状态不好，其他管理员（比如Wilson），都要忙别的mod的事情，或者需要休息，没有动力做这个mod，整个团队都没啥动力去做，要忙别的mod…大… Shira...发表于RuleB... ](https://zhuanlan.zhihu.com/p/180706130)[ ![【PathTracing】实时光线追踪和BSSRDF的那些事](https://picx.zhimg.com/v2-e0cb9ca33ef121ec1ce96dba3c5d1f4d_250x0.jpg?source=172ae18b)【PathTracing】实时光线追踪和BSSRDF的那些事 ycz ](https://zhuanlan.zhihu.com/p/33614512)[ ![RL的一整年](https://picx.zhimg.com/v2-a8422c958bdd1c2a897ca6e24476d72e_250x0.jpg?source=172ae18b)RL的一整年 大润发杀鱼工 ](https://zhuanlan.zhihu.com/p/1985812420770428370)[ ![GTSAM概览\\(ISAM2和LM优化器使用的异同\\)](https://picx.zhimg.com/v2-b649f16ac0bdf4f02040c76539d3f396_250x0.jpg?source=172ae18b)GTSAM概览(ISAM2和LM优化器使用的异同) FrankDellaert ](https://zhuanlan.zhihu.com/p/704873226) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](https://picx.zhimg.com/v2-9e41ea16bdfbe9cf4896617ecad5b4ca.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n",
  "body_base_path": "attachments/ae5626cadb07/pages/",
  "body_markdown_path": "attachments/ae5626cadb07/pages/archived-body.md",
  "local_html": "attachments/ae5626cadb07/pages/archived-body.html",
  "body_source": "prior_capture"
}