{ "source_file": "0930", "source_platform": "知乎专栏", "author": "刘聪NLP", "title_listed": "多语言 SFT 可显著提高 LLM 数学推理能力", "keywords": "SFT,数学推理,多语言", "domain": "大模型算法", "content_type": "论文精读", "is_paid_flag": "否", "url": "https://zhuanlan.zhihu.com/p/664504560", "publish_date": "2023", "corpus_stage": "后训练", "notes": "MathOctopus 多语言数学推理大模型论文解读", "id": "6de0a539a01e", "collected_at": "2026-10-02T18:39:00", "title": "多语言SFT可以显著提高LLM数学推理能力 - 知乎", "body_markdown": "[![](https://zhuanlan.zhihu.com/p/664504560)](javascript:void\\(0\\))\n![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n多语言SFT可以显著提高LLM数学推理能力\n首发于[paper](https://www.zhihu.com/column/c_1553699579249557504)\n切换模式\n# 多语言SFT可以显著提高LLM数学推理能力\n[![promise](../images/011.jpg)](https://www.zhihu.com/people/chen-nuo-8-79-20)\n[promise](https://www.zhihu.com/people/chen-nuo-8-79-20)\n港科phd，nlp\n[收录于 · paper](https://www.zhihu.com/column/c_1553699579249557504)\n13 人赞同了该文章\n​\n目录\n论文标题\n![](../images/001.jpg)\n论文链接\n[![](../images/body-8ce9699b5578b8219981.jpg)Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observationsarxiv.org/abs/2310.20246](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2310.20246)\n代码链接\n[https://mathoctopus.github.io/mathoctopus.github.io/](https://link.zhihu.com/?target=https%3A//mathoctopus.github.io/)\n## 摘要\n![](../images/002.jpg)\n \n\n近来，不少研究工作都集中于如何通过instruction tuning的方式来提高大模型（LLMs）的复杂数学推理能力。但是，这些基于的LLMs研究基本都集中于单语言，如何训练一个多语言[数学推理](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=2&q=%E6%95%B0%E5%AD%A6%E6%8E%A8%E7%90%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLmlbDlrabmjqjnkIYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.V3Hjtb1a-UIw5BDRyIzQs8xX2G9JEDKKUZfTbRN9iUo&zhida_source=entity)大模型依然丞待解决。\n因此，在这篇论文中研究者们基于[LLaMA](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=LLaMA&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJMTGFNQSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.dCtWyrbqnjp2hl8OWdaeGQy8Gjda0bsDS7yrB4b3xxw&zhida_source=entity)探索并构建了一系列的多语言数学推理大模型：**[MathOctopus](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=MathOctopus&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJNYXRoT2N0b3B1cyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.KDgUauqHCZsjMomuN0B2muegtdPHRfuXzXwyO7KpDp8&zhida_source=entity)** 。MathOctopus不仅可以广泛地提高LLMs在多语言上推理的平均性能，而且与单语训练的模型相比在其对应的语言测试中依然可以取得更加优越的表现。\n本文的主要贡献如下：\n * 为了解决当前多语言数学推理任务上训练数据短缺的问题，本文将英文的[GSM8K](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=GSM8K&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJHU004SyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.JsIxCuWXg865D9cm8gx9y3a5oYiXntW-HV4MGz3DtGM&zhida_source=entity)数据集翻译成10种不同的语言，并使用了特定的规则来校对翻译后的语料，以确保数据的质量。最终生成的数据用来构建多语言数学推理训练数据集：**[MGSM8KInstruct](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=MGSM8KInstruct&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJNR1NNOEtJbnN0cnVjdCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.xGlZarEZCvDTEJkVTRtg14DehpQEEJPI8mwf1C4PhmI&zhida_source=entity)** 。\n * 基于MGSM8KInstruct数据集, 并结合不同的SFT策略和多语言拒绝采样的训练方法，本文构建了一系列有效地多语言数学推理大模型：**MathOctopus** 。\n * 更近一步，为了全面地验证当前模型在多语言数学推理任务上的鲁棒性和通用性，文章基于[SVAMP](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=SVAMP&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJTVkFNUCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.p8308zMJjyjPPQmw6aR_1Q8A6UtpTbvFBKNj_tf2f5A&zhida_source=entity)构建了out-of-domain（OOD）的多语言测试数据集**[MSVAMP](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=MSVAMP&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJNU1ZBTVAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.xnMwz_JZFyX52meVCa-JjCg0mUNqy1eDDyrkX8KNiKs&zhida_source=entity)** 。\n\n\n经过大量的实验，本文总结出以下结论：\n * MathOctopus在多语言数学推理任务中，表现出了强大的性能。MathOctopus-7B 可以将LLmMA2-7B在MGSM不同语言上的平均表现从22.6%提升到40.0%。更进一步，MathOctopus-13B也获得了比ChatGPT更好的性能。\n * 与只在单语言上训练的LLMs相比，MathOctopus在他们对应的训练语言测试中也取得了更加卓越的效果。比如，MathOctopus-7B和,在英语GSM8K上训练的LLaMA2-7B相比，准确率从42.3%提升到了50.8%。**更近一步，我们证明多语言SFT可以提高模型在特定语言的推理能力。**\n * 尽管拒绝采样方法之前在单语数学推理中证明是十分有效的方法，但是在多语言数学推理任务中，使用拒绝采样进行数据增强，对MathOctopus带来的增益相对有限。\n\n\n### 数据收集\n### MGSM8KInstruct训练集\n在多语言数学推理任务中，面临的问题是在low-resource语言中缺乏相应高质量的训练数据集，为此，本文使用ChatGPT将英文的GSM8K数据集翻译成多种语言，其中包括孟加拉语（Bn），中文（Zh），法语（Fr），德语（de），日语（Ja），俄语（Ru），西班牙语（Es），[斯瓦希里语](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=%E6%96%AF%E7%93%A6%E5%B8%8C%E9%87%8C%E8%AF%AD&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLmlq_nk6bluIzph4zor60iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.NoBIzuqq8cKWKY2dLdIa97zZFMDdQuYVK96MxkfGD50&zhida_source=entity)（Sw）和泰语（Th），并对翻译后的语料进行校对，确保数据的质量。基于此，构建了MGSM8KInstruct多语言数学推理训练数据集。\n### 平行训练语料样例 \n| Language | Prompt | Question | Answer | \n| --- | --- | --- | --- | \n| English | Below is an instruction that describes a task. Write a response that appropriately completes the request in English. Please answer in English. | Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? | The number of clips sold in April is 48/2 = <<48/2=24>>24.\\nNatalia sold 24 + 48 = <<24+48=72>>72 clips altogether in April and May. | \n| [Bengali](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=Bengali&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJCZW5nYWxpIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjM1Nzk2NzY2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.wuJ_Eu8c7SZOTrsO5xNSAfc2d04wHlDlUG6ViYB-V78&zhida_source=entity) | Below is an instruction that describes a task. Write a response that appropriately completes the request in Bengali. Please answer in Bengali. | নাতালিয়া এপ্রিল মাসে 48 জন বন্ধুদের ক্লিপ বিক্রি করেছিলেন, এবং তারপরে মে মাসে সে অর্ধেক ক্লিপ বিক্রি করেছিলেন। নাতালিয়া এপ্রিল এবং মে মাসে মোট কতগুলি ক্লিপ বিক্রি করেছিলেন? | নাতালিয়া মে মাসে 48/2 = <<48/2=24>>24 টি ক্লিপ বিক্রি করেছিলেন।\\nনাতালিয়া এপ্রিল এবং মে মাসে মোট 48 + 24 = <<48+24=72>>72 টি ক্লিপ বিক্রি করেছেন। | \n### 交叉训练语料样例 \n| Language | Prompt | Question | Answer | \n| --- | --- | --- | --- | \n| English | Below is an instruction that describes a task. Write a response that appropriately completes the request in English. Please answer in English. | Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? | The number of clips sold in April is 48/2 = <<48/2=24>>24.\\nNatalia sold 24 + 48 = <<24+48=72>>72 clips altogether in April and May. | \n| Bengali | Below is an instruction that describes a task. Write a response that appropriately completes the request in Bengali. Please answer in Bengali. | Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? | নাতালিয়া মে মাসে 48/2 = <<48/2=24>>24 টি ক্লিপ বিক্রি করেছিলেন।\\nনাতালিয়া এপ্রিল এবং মে মাসে মোট 48 + 24 = <<48+24=72>>72 টি ক্লিপ বিক্রি করেছেন। | \n### 翻译\n在这篇文章中，使用了ChatGPT将英文的GSM8K训练集和他们对应的 **chain-of-thought** （COT）回答翻译成了十种语言。为了保证翻译的质量，本文在翻译时使用的提示词（prompt）中遵循以下规则：\n * 翻译前后人物和地点的名字保持一致。\n * 翻译前后数学公式保持不变。\n * 所有的数字都用阿拉伯数字表示。\n * 对于每种语言，在提示词（prompt）中提供了两个翻译的例子。\n\n\n下面是完整的翻译提示词 \n![](../images/003.jpg)\n \n\n### 校对\n在翻译问题与答案后，ChatGPT生成的句子通常没有语言翻译错误，但存在数学公式在翻译前后不一致的情况。为了确保翻译前后的准确性，本文采取了以下做法，首先，提取翻译后答案中的所有数学公式，然后与原英文数据集中的公式进行比较，如果它们匹配，就认为翻译是准确的。如果某一数据连续五次出现翻译错误，将删除该数据。这样做有助于确保翻译的准确性。\n### MSVAMP测试集\n为了更近一步测试当前LLMs在多语言数学推理任务上的[鲁棒性](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=2&q=%E9%B2%81%E6%A3%92%E6%80%A7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLpsoHmo5LmgKciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.oNDU1J1NYua793YyUHOzeonsfmSfVpRpZxpaVLks2f8&zhida_source=entity)，本文在现有的SVAMP数据集的基础上构建了out-of-domain（OOD）多语言数学推理测试集MSVAMP。\n### 测试集语料样例 \n| Language | Prompt | Question | Answer | \n| --- | --- | --- | --- | \n| English | Below is an instruction that describes a task. Write a response that appropriately completes the request in English. Please answer in English. | [julia](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=julia&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJqdWxpYSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.2xlK5y_MmIk6qHN9fpSdESiOHEApfMhkxtVJqUZkg6I&zhida_source=entity) played tag with 18 kids on monday . she played tag with 10 kids on tuesday . how many more kids did she play with on monday than on tuesday ? | 8.0 | \n| Bengali | Below is an instruction that describes a task. Write a response that appropriately completes the request in Bengali. Please answer in Bengali. | জুলিয়া সোমবার ১৮ জন ছেলেমেয়ের সঙ্গে ট্যাগ খেলেন। মঙ্গলবার তিনি ১০ জন ছেলেমেয়ের সঙ্গে ট্যাগ খেলেন। সোমবার তিনি কতজন ছেলেমেয়ের সঙ্গে আরও খেলেন তার সংখ্যা কত? | 8.0 | \n### 翻译\n由于这个数据集的答案只包含最终的数字答案而不包括chain-of-thought（COT）过程，所以我们使用google翻译系统仅对问题进行翻译，本文将SVAMP测试集中1000条数据翻译成和训练集中对应的语言。\n### 校对\n为了确保翻译的质量：首先，翻译后的句子再次被翻译回英文，以检查是否存在翻译上的差异。此外，还有三名专业的人员对翻译前后的意思是否一致进行了审查，进一步确保翻译的准确性。\n### MathOctopus\n本文基于MGSM8KInstruct，为了让模型拥有更多样化的能力，本文提出了两种不同的训练方式。 - 为了使模型更好地理解问题与答案，本文提出的第一种方法是parallel-training，即问题与回答是相同的语言。 - 为了帮助模型融汇贯通不同的语言，本文提出的第二种方法是cross-training，即问题是英语，回答是别的语言，这可以使模型更好地解决多语言问题。\n### 实验结果与分析\n下图是模型在MGSM测试集上的表现，**MathOctopusP** 和 **MathOctopusC** 指的是模型训练方式分别为parallel-training和cross-training，**[xRFT](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=xRFT&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJ4UkZUIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjM1Nzk2NzY2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.hmE0gmPeqxGSmm9yXP4109W6xkomEPKOLTizeeimzvI&zhida_source=entity)** 指的是多语言数学推理的拒绝采样，**LLaMA** 指的是只在英语GSM8K上训练，**RFT** 指的是在英语GSM8K上训练后，进行拒绝采样。\n下图是模型在MGSM测试集上的表现 \n![](../images/004.jpg)\n \n\n下图是模型在MSVAMP测试集上的表现 \n![](../images/005.jpg)\n \n\n根据实验结果，本文有以下发现：\n- MathOctopus不论是在平行训练语料还是[交叉训练](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=2&q=%E4%BA%A4%E5%8F%89%E8%AE%AD%E7%BB%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLkuqTlj4norq3nu4MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.pcX9QsuLxt6g0S_B9GjDPZS0ZudtZK7ly-NWHOT8bqQ&zhida_source=entity)语料上训练的结果都远超于其他开源的LLMs。例如，在7B模型上，MathOctopus在MGSM上的准确率从22.6%提升到41.9%，MathOctopusP-13B在MGSM上的准确率超过了ChatGPT。\n- MathOctopusP在in-domain测试集MGSM中表现效果更好，相反MathOctopusC在out-of-domain测试集MSVAMP中体现了更强的[泛化能力](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=%E6%B3%9B%E5%8C%96%E8%83%BD%E5%8A%9B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLms5vljJbog73lipsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9._3KHJXZTXxcCc57OY552VGnjD3RvZzqFinDmCbF_a3w&zhida_source=entity)。\n- 多语言拒绝采样在多语言数学推理任务中，对MathOctopus带来的提升有限。\n下图展示了在GSM8K训练集上训练的LLaMA2和用MGSM8KInstruct训练的MathOctopus在GSM8K测试集和SVAMP上的表现\n![](../images/006.jpg)\n本文发现，和只在单语言上训练的LLMs相比，MathOctopus在英语数据测试中也取得了更好的效果。为了进一步探索在其他语言上是否有相同的现象，本文进行了以下实验：\n随机从训练集中挑选三种语言，分别是西班牙语，中文，泰语。使用它们对应的训练语料分别训练三个模型，分别命名为 **ES-LLaMA** ，**CN-LLaMA** ，**Th-LLaMA** 。下图展示了这几个模型在他们对应训练语言下的测试结果。由图可见，在单一语言上，MathOctopus的表现仍然超过了单语SFT模型的结果。这表明，在数学推理任务中，多语言训练比单语言训练有更好的效果。 \n![](../images/007.jpg)\n### 多语言拒绝采样\n有研究[1]表明，拒绝采样rejection sampling（RFT）可以大幅提升模型的表现。为了探究在多语言训练的场景下拒绝[采样](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=9&q=%E9%87%87%E6%A0%B7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLph4fmoLciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6OSwiemRfdG9rZW4iOm51bGx9.GInKGc_Gq2g3xHjvJkfoBr0lCUIgWST2BlKxJBDCWxo&zhida_source=entity)对模型的提升效果，本文在得到多语言SFT模型后，采样模型在MGSM8KInstruct数据集上的推理结果，对采样到的推理过程进行验证，如果符合要求则将其并入到原本的数据集。具体做法如下：\n- 为了采样到多样化的推理答案，本文从MathOctopus-7B和MathOctopus-13B中分别采样25条推理路径，即每种语言总共采样50次。\n- 为了确保推理路径的准确性，本文提取推理路径中的所有公式并对公式进行验算，如果答案正确那么就认为推理路径是正确的。\n- 为了确保推理路径的多样化，本文采用的策略是，只有当前推理路径和先前的路径中没有相同的公式时，才将此路径放入数据集中。\n下图展示了不同的采样次数下，每种语言生成的不同推理路径的个数\n![](../images/008.jpg)\n本文发现，通过多语言拒绝采样（xRFT）增加的数据对模型的提升效果有限，主要表现在以下几点： - 在MGSM测试集上，多语言拒绝采样只能提升MathOctopusP模型1%-2%的效果。 - 在MSVAMP测试集上，多语言拒绝采样的提升效果不到1%。 - 多语言拒绝采样对MathOctopusC的提升效果更小，在MGSM数据集上的表现反而有所下降。\n为了探究xRFT生成的数据量对模型的影响，本文在三个不同的采样次数（10，30，50）下分别探究对应的模型在测试集上的表现。\n下图是不同采样次数下模型在MGSM数据集上的表现 \n![](../images/009.jpg)\n下图是不同采样次数下模型在MSVAMP数据集上的表现 \n![](../images/010.jpg)\n可以发现，在MGSM测试集上，当拒绝采样的次数越多，训练语料越多时，MathOctopusP的表现也略微变好。与之相反，在MSVAMP数据集上，当拒绝采样的次数越多，训练语料越多时，MathOctopusC的表现反而有所下降。\n### 展望\n本文最后提到了将来还可以在[LLaMA2-70B](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=LLaMA2-70B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJMTGFNQTItNzBCIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjM1Nzk2NzY2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.dTJQsE2WzEYMqVG6AaR-xzIY7PLtJ9CYl4Y-xSYl3ug&zhida_source=entity)的基础上探索更大的MathOctopus模型，除此之外，在这些更大的模型上使用多语言拒绝采样也是将来的研究点之一。由于MathOctopus只有十种训练语言，更多的训练语言是否会给模型带来更好的效果仍然有待研究。\n### 参考文献\n[1] Yuan Z, Yuan H, Li C, et al. [Scaling](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=Scaling&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJTY2FsaW5nIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjM1Nzk2NzY2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.XqX_fh860KpuMiRsZqS2ubYUSL_WdEtpatfQ1p0OC9I&zhida_source=entity) relationship on learning mathematical [reasoning](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=reasoning&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJyZWFzb25pbmciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.neYXA-I5KSHB3TN1F2ihq8t5uV5OxKTWhqTBqeY_aBg&zhida_source=entity) with large language models[J]. arXiv preprint arXiv:2308.01825, 2023.\n[2] Luo H, Sun Q, Xu C, et al. Wizardmath: Empowering mathematical reasoning for large language models via reinforced evol-instruct[J]. arXiv preprint arXiv:2308.09583, 2023.\n编辑于 2023-12-02 11:23・中国香港\n[开源大语言模型](https://www.zhihu.com/topic/27919615)\n[指令微调](https://www.zhihu.com/topic/28101318)\n[数学推理](https://www.zhihu.com/topic/28566379)\n​赞同 13​​添加评论​44 ​5 \n​分享\n​申请转载​\n​\n![](../images/body-7e064b35ba4350074989.jpeg)\n未登录用户\n \n\n还没有评论，发表第一个评论吧\n关于作者\n[![promise](../images/011.jpg)](https://www.zhihu.com/people/chen-nuo-8-79-20)\n[promise](https://www.zhihu.com/people/chen-nuo-8-79-20)\n港科phd，nlp\n[ 回答 **22** ](https://www.zhihu.com/people/chen-nuo-8-79-20/answers)[ 文章 **3** ](https://www.zhihu.com/people/chen-nuo-8-79-20/posts)[ 关注者 **88** ](https://www.zhihu.com/people/chen-nuo-8-79-20/followers)\n​关注​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定706 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[中国男足 0-5 巴勒斯坦564 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[原央视主持人阿丘回应被通报422 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[华为与赛力斯达成新五年合作411 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[迪拜航空确认航班发生事故400 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[东航回应网传空姐跪地道歉327 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)\n[孕妇骑车别车被司机踹翻258 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)\n### 推荐阅读\n[ ![R1相关：少量高质量数据SFT激活LLM推理能力](../images/013.jpg)R1相关：少量高质量数据SFT激活LLM推理能力 长琴发表于技术与人 ... ](https://zhuanlan.zhihu.com/p/24400341055)# [[推理加速] LLM推理加速的5大方案 零、总览LLM推理方向小结 https://www.bilibili.com/opus/1112295486312677381LLM推理优化分为以下几个方面： 分离部署服务：PD分离和KVCache并行化：数据并行、流水线并行、张量并行、序列… 平平无奇小熊猫 ](https://zhuanlan.zhihu.com/p/1988591568643444939)# [Awesome LLM4Math：大语言模型（LLM）数学推理相关资源集锦 大语言模型（LLM）数学推理相关资源集锦，其中绝大部分经过 @天欲雪 筛选，确保质量较高，且添加了精心撰写的简要描述，以便读者尽快理了解相关要点。✨ 独家内容： 可能是全网最全面的复杂… 天欲雪发表于Aweso... ](https://zhuanlan.zhihu.com/p/708332143)# [LLM理解能力提升研究 step-dpo：背景：普通DPO方法以单个样本为整体，在需要多个推理步骤才能解决问题的样本时，模型通过dpo训练难以学习到某一个步骤的推理正确性（示例：一个错误数学推理题样本中，前3个步骤… lucy9527 ](https://zhuanlan.zhihu.com/p/3154322205) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](../images/body-0f9788d006ab0f4da762.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n", "metadata": { "title": "多语言SFT可以显著提高LLM数学推理能力 - 知乎", "description": "论文标题 论文链接 Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations代码链接 https://mathoctopus.github.io/摘要 近来，不少研究工作都集中于如何通过instructio…", "keywords": "开源大语言模型,指令微调,数学推理", "author": null, "og:title": "多语言SFT可以显著提高LLM数学推理能力", "og:url": "https://zhuanlan.zhihu.com/p/664504560", "og:description": "论文标题 论文链接 Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations代码链接 https://mathoctopus.github.io/摘要 近来，不少研究工作都集中于如何通过instructio…", "og:type": "article", "og:site_name": "知乎专栏" }, "paywall": { "listed_paid": false, "detected": false, "marker": "", "public_only": false, "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙" }, "crawl": { "success": true, "status_code": 200, "error": "" }, "code_blocks": [], "images": [ { "status": "http_403", "url": "https://zhuanlan.zhihu.com/p/664504560", "src": "https://zhuanlan.zhihu.com/p/664504560", "alt": "", "downloaded": false, "discovery": "saved_markdown", "retried_at": "2026-10-20T17:54:23Z" } ], "audio": [], "videos": [ { "src": "https://www.bilibili.com/opus/1112295486312677381LLM推理优化分为以下几个方面：", "quality": "unavailable", "local_path": "", "note": "无1080p且无720p，未交付更低清晰度", "url": "https://www.bilibili.com/opus/1112295486312677381LLM推理优化分为以下几个方面：", "title": "", "status": "download_failed", "error": "ERROR: [BiliBiliDynamic] 1112295486312677381: No valid video URL found\n", "retried_at": "2026-10-20T22:24:15Z" } ], "links": [ { "type": "internal", "href": "https://www.zhihu.com" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Ffollow" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2F" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fhot" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fcolumn-square" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fring-feeds" }, { "type": "internal", "href": "https://www.zhihu.com/project-square" }, { "type": "internal", "href": "https://www.zhihu.com/fiore/h5/vip-web" }, { "type": "internal", "href": "https://zhida.zhihu.com/" }, { "type": "internal", "href": "https://www.zhihu.com/column/c_1553699579249557504" }, { "type": "internal", "href": "https://www.zhihu.com/people/chen-nuo-8-79-20" }, { "type": "internal", "href": "https://link.zhihu.com/?target=https%3A%2F%2Farxiv.org%2Fabs%2F2310.20246" }, { "type": "internal", "href": "https://link.zhihu.com/?target=https%3A%2F%2Fmathoctopus.github.io%2F" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=2&q=%E6%95%B0%E5%AD%A6%E6%8E%A8%E7%90%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLmlbDlrabmjqjnkIYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.V3Hjtb1a-UIw5BDRyIzQs8xX2G9JEDKKUZfTbRN9iUo&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=LLaMA&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJMTGFNQSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.dCtWyrbqnjp2hl8OWdaeGQy8Gjda0bsDS7yrB4b3xxw&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=MathOctopus&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJNYXRoT2N0b3B1cyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.KDgUauqHCZsjMomuN0B2muegtdPHRfuXzXwyO7KpDp8&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=GSM8K&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJHU004SyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.JsIxCuWXg865D9cm8gx9y3a5oYiXntW-HV4MGz3DtGM&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=MGSM8KInstruct&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJNR1NNOEtJbnN0cnVjdCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.xGlZarEZCvDTEJkVTRtg14DehpQEEJPI8mwf1C4PhmI&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=SVAMP&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJTVkFNUCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.p8308zMJjyjPPQmw6aR_1Q8A6UtpTbvFBKNj_tf2f5A&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=MSVAMP&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJNU1ZBTVAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.xnMwz_JZFyX52meVCa-JjCg0mUNqy1eDDyrkX8KNiKs&zhida_source=entity" }, { "type": "external", "href": "javascript:void(0)" } ], "repair_version": 2, "repaired_at": "2026-10-20T17:28:31Z", "source_url": "https://zhuanlan.zhihu.com/p/664504560", "delivery_status": "unverified", "discovery_status": "http_403", "missing_reason": "源页面未重新核验:http_403；已按保留正文补采图片", "repair_error": "", "actual_video_files": [], "expected_saved_body_images": 1, "image_discovery": "saved_markdown", "source_body_markdown": "[![](https://zhuanlan.zhihu.com/p/664504560)](javascript:void\\(0\\))\n![ZhiHu logo](https://static.zhihu.com/heifetz/assets/wechat-share-logo.39ea9ecd.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n多语言SFT可以显著提高LLM数学推理能力\n首发于[paper](https://www.zhihu.com/column/c_1553699579249557504)\n切换模式\n# 多语言SFT可以显著提高LLM数学推理能力\n[![promise](https://picx.zhimg.com/v2-f6beee55fc1742e73cf742114af8051a_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/chen-nuo-8-79-20)\n[promise](https://www.zhihu.com/people/chen-nuo-8-79-20)\n港科phd，nlp\n[收录于 · paper](https://www.zhihu.com/column/c_1553699579249557504)\n13 人赞同了该文章\n​\n目录\n论文标题\n![](https://pic4.zhimg.com/v2-466492a33a083b35802266b74d6464af_1440w.jpg)\n论文链接\n[![](https://picx.zhimg.com/v2-4baaae2386ede0213c693947a141a747_180x120.jpg)Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observationsarxiv.org/abs/2310.20246](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2310.20246)\n代码链接\n[https://mathoctopus.github.io/mathoctopus.github.io/](https://link.zhihu.com/?target=https%3A//mathoctopus.github.io/)\n## 摘要\n![](https://pica.zhimg.com/v2-8866ac96e8b91fa39cd4614953be2132_1440w.jpg)\n \n\n近来，不少研究工作都集中于如何通过instruction tuning的方式来提高大模型（LLMs）的复杂数学推理能力。但是，这些基于的LLMs研究基本都集中于单语言，如何训练一个多语言[数学推理](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=2&q=%E6%95%B0%E5%AD%A6%E6%8E%A8%E7%90%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLmlbDlrabmjqjnkIYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.V3Hjtb1a-UIw5BDRyIzQs8xX2G9JEDKKUZfTbRN9iUo&zhida_source=entity)大模型依然丞待解决。\n因此，在这篇论文中研究者们基于[LLaMA](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=LLaMA&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJMTGFNQSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.dCtWyrbqnjp2hl8OWdaeGQy8Gjda0bsDS7yrB4b3xxw&zhida_source=entity)探索并构建了一系列的多语言数学推理大模型：**[MathOctopus](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=MathOctopus&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJNYXRoT2N0b3B1cyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.KDgUauqHCZsjMomuN0B2muegtdPHRfuXzXwyO7KpDp8&zhida_source=entity)** 。MathOctopus不仅可以广泛地提高LLMs在多语言上推理的平均性能，而且与单语训练的模型相比在其对应的语言测试中依然可以取得更加优越的表现。\n本文的主要贡献如下：\n * 为了解决当前多语言数学推理任务上训练数据短缺的问题，本文将英文的[GSM8K](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=GSM8K&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJHU004SyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.JsIxCuWXg865D9cm8gx9y3a5oYiXntW-HV4MGz3DtGM&zhida_source=entity)数据集翻译成10种不同的语言，并使用了特定的规则来校对翻译后的语料，以确保数据的质量。最终生成的数据用来构建多语言数学推理训练数据集：**[MGSM8KInstruct](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=MGSM8KInstruct&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJNR1NNOEtJbnN0cnVjdCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.xGlZarEZCvDTEJkVTRtg14DehpQEEJPI8mwf1C4PhmI&zhida_source=entity)** 。\n * 基于MGSM8KInstruct数据集, 并结合不同的SFT策略和多语言拒绝采样的训练方法，本文构建了一系列有效地多语言数学推理大模型：**MathOctopus** 。\n * 更近一步，为了全面地验证当前模型在多语言数学推理任务上的鲁棒性和通用性，文章基于[SVAMP](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=SVAMP&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJTVkFNUCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.p8308zMJjyjPPQmw6aR_1Q8A6UtpTbvFBKNj_tf2f5A&zhida_source=entity)构建了out-of-domain（OOD）的多语言测试数据集**[MSVAMP](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=MSVAMP&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJNU1ZBTVAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.xnMwz_JZFyX52meVCa-JjCg0mUNqy1eDDyrkX8KNiKs&zhida_source=entity)** 。\n\n\n经过大量的实验，本文总结出以下结论：\n * MathOctopus在多语言数学推理任务中，表现出了强大的性能。MathOctopus-7B 可以将LLmMA2-7B在MGSM不同语言上的平均表现从22.6%提升到40.0%。更进一步，MathOctopus-13B也获得了比ChatGPT更好的性能。\n * 与只在单语言上训练的LLMs相比，MathOctopus在他们对应的训练语言测试中也取得了更加卓越的效果。比如，MathOctopus-7B和,在英语GSM8K上训练的LLaMA2-7B相比，准确率从42.3%提升到了50.8%。**更近一步，我们证明多语言SFT可以提高模型在特定语言的推理能力。**\n * 尽管拒绝采样方法之前在单语数学推理中证明是十分有效的方法，但是在多语言数学推理任务中，使用拒绝采样进行数据增强，对MathOctopus带来的增益相对有限。\n\n\n### 数据收集\n### MGSM8KInstruct训练集\n在多语言数学推理任务中，面临的问题是在low-resource语言中缺乏相应高质量的训练数据集，为此，本文使用ChatGPT将英文的GSM8K数据集翻译成多种语言，其中包括孟加拉语（Bn），中文（Zh），法语（Fr），德语（de），日语（Ja），俄语（Ru），西班牙语（Es），[斯瓦希里语](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=%E6%96%AF%E7%93%A6%E5%B8%8C%E9%87%8C%E8%AF%AD&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLmlq_nk6bluIzph4zor60iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.NoBIzuqq8cKWKY2dLdIa97zZFMDdQuYVK96MxkfGD50&zhida_source=entity)（Sw）和泰语（Th），并对翻译后的语料进行校对，确保数据的质量。基于此，构建了MGSM8KInstruct多语言数学推理训练数据集。\n### 平行训练语料样例 \n| Language | Prompt | Question | Answer | \n| --- | --- | --- | --- | \n| English | Below is an instruction that describes a task. Write a response that appropriately completes the request in English. Please answer in English. | Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? | The number of clips sold in April is 48/2 = <<48/2=24>>24.\\nNatalia sold 24 + 48 = <<24+48=72>>72 clips altogether in April and May. | \n| [Bengali](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=Bengali&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJCZW5nYWxpIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjM1Nzk2NzY2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.wuJ_Eu8c7SZOTrsO5xNSAfc2d04wHlDlUG6ViYB-V78&zhida_source=entity) | Below is an instruction that describes a task. Write a response that appropriately completes the request in Bengali. Please answer in Bengali. | নাতালিয়া এপ্রিল মাসে 48 জন বন্ধুদের ক্লিপ বিক্রি করেছিলেন, এবং তারপরে মে মাসে সে অর্ধেক ক্লিপ বিক্রি করেছিলেন। নাতালিয়া এপ্রিল এবং মে মাসে মোট কতগুলি ক্লিপ বিক্রি করেছিলেন? | নাতালিয়া মে মাসে 48/2 = <<48/2=24>>24 টি ক্লিপ বিক্রি করেছিলেন।\\nনাতালিয়া এপ্রিল এবং মে মাসে মোট 48 + 24 = <<48+24=72>>72 টি ক্লিপ বিক্রি করেছেন। | \n### 交叉训练语料样例 \n| Language | Prompt | Question | Answer | \n| --- | --- | --- | --- | \n| English | Below is an instruction that describes a task. Write a response that appropriately completes the request in English. Please answer in English. | Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? | The number of clips sold in April is 48/2 = <<48/2=24>>24.\\nNatalia sold 24 + 48 = <<24+48=72>>72 clips altogether in April and May. | \n| Bengali | Below is an instruction that describes a task. Write a response that appropriately completes the request in Bengali. Please answer in Bengali. | Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? | নাতালিয়া মে মাসে 48/2 = <<48/2=24>>24 টি ক্লিপ বিক্রি করেছিলেন।\\nনাতালিয়া এপ্রিল এবং মে মাসে মোট 48 + 24 = <<48+24=72>>72 টি ক্লিপ বিক্রি করেছেন। | \n### 翻译\n在这篇文章中，使用了ChatGPT将英文的GSM8K训练集和他们对应的 **chain-of-thought** （COT）回答翻译成了十种语言。为了保证翻译的质量，本文在翻译时使用的提示词（prompt）中遵循以下规则：\n * 翻译前后人物和地点的名字保持一致。\n * 翻译前后数学公式保持不变。\n * 所有的数字都用阿拉伯数字表示。\n * 对于每种语言，在提示词（prompt）中提供了两个翻译的例子。\n\n\n下面是完整的翻译提示词 \n![](https://pic4.zhimg.com/v2-ac93c8c1b0febb3ab61915d9db4a86b1_1440w.jpg)\n \n\n### 校对\n在翻译问题与答案后，ChatGPT生成的句子通常没有语言翻译错误，但存在数学公式在翻译前后不一致的情况。为了确保翻译前后的准确性，本文采取了以下做法，首先，提取翻译后答案中的所有数学公式，然后与原英文数据集中的公式进行比较，如果它们匹配，就认为翻译是准确的。如果某一数据连续五次出现翻译错误，将删除该数据。这样做有助于确保翻译的准确性。\n### MSVAMP测试集\n为了更近一步测试当前LLMs在多语言数学推理任务上的[鲁棒性](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=2&q=%E9%B2%81%E6%A3%92%E6%80%A7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLpsoHmo5LmgKciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.oNDU1J1NYua793YyUHOzeonsfmSfVpRpZxpaVLks2f8&zhida_source=entity)，本文在现有的SVAMP数据集的基础上构建了out-of-domain（OOD）多语言数学推理测试集MSVAMP。\n### 测试集语料样例 \n| Language | Prompt | Question | Answer | \n| --- | --- | --- | --- | \n| English | Below is an instruction that describes a task. Write a response that appropriately completes the request in English. Please answer in English. | [julia](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=julia&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJqdWxpYSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzNTc5Njc2NiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.2xlK5y_MmIk6qHN9fpSdESiOHEApfMhkxtVJqUZkg6I&zhida_source=entity) played tag with 18 kids on monday . she played tag with 10 kids on tuesday . how many more kids did she play with on monday than on tuesday ? | 8.0 | \n| Bengali | Below is an instruction that describes a task. Write a response that appropriately completes the request in Bengali. Please answer in Bengali. | জুলিয়া সোমবার ১৮ জন ছেলেমেয়ের সঙ্গে ট্যাগ খেলেন। মঙ্গলবার তিনি ১০ জন ছেলেমেয়ের সঙ্গে ট্যাগ খেলেন। সোমবার তিনি কতজন ছেলেমেয়ের সঙ্গে আরও খেলেন তার সংখ্যা কত? | 8.0 | \n### 翻译\n由于这个数据集的答案只包含最终的数字答案而不包括chain-of-thought（COT）过程，所以我们使用google翻译系统仅对问题进行翻译，本文将SVAMP测试集中1000条数据翻译成和训练集中对应的语言。\n### 校对\n为了确保翻译的质量：首先，翻译后的句子再次被翻译回英文，以检查是否存在翻译上的差异。此外，还有三名专业的人员对翻译前后的意思是否一致进行了审查，进一步确保翻译的准确性。\n### MathOctopus\n本文基于MGSM8KInstruct，为了让模型拥有更多样化的能力，本文提出了两种不同的训练方式。 - 为了使模型更好地理解问题与答案，本文提出的第一种方法是parallel-training，即问题与回答是相同的语言。 - 为了帮助模型融汇贯通不同的语言，本文提出的第二种方法是cross-training，即问题是英语，回答是别的语言，这可以使模型更好地解决多语言问题。\n### 实验结果与分析\n下图是模型在MGSM测试集上的表现，**MathOctopusP** 和 **MathOctopusC** 指的是模型训练方式分别为parallel-training和cross-training，**[xRFT](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=xRFT&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJ4UkZUIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjM1Nzk2NzY2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.hmE0gmPeqxGSmm9yXP4109W6xkomEPKOLTizeeimzvI&zhida_source=entity)** 指的是多语言数学推理的拒绝采样，**LLaMA** 指的是只在英语GSM8K上训练，**RFT** 指的是在英语GSM8K上训练后，进行拒绝采样。\n下图是模型在MGSM测试集上的表现 \n![](https://picx.zhimg.com/v2-2d65312fabb69ac6700647cf732d1687_1440w.jpg)\n \n\n下图是模型在MSVAMP测试集上的表现 \n![](https://pic1.zhimg.com/v2-cb266d38e3767eaf401af30f424fc18c_1440w.jpg)\n \n\n根据实验结果，本文有以下发现：\n- MathOctopus不论是在平行训练语料还是[交叉训练](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=2&q=%E4%BA%A4%E5%8F%89%E8%AE%AD%E7%BB%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLkuqTlj4norq3nu4MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.pcX9QsuLxt6g0S_B9GjDPZS0ZudtZK7ly-NWHOT8bqQ&zhida_source=entity)语料上训练的结果都远超于其他开源的LLMs。例如，在7B模型上，MathOctopus在MGSM上的准确率从22.6%提升到41.9%，MathOctopusP-13B在MGSM上的准确率超过了ChatGPT。\n- MathOctopusP在in-domain测试集MGSM中表现效果更好，相反MathOctopusC在out-of-domain测试集MSVAMP中体现了更强的[泛化能力](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=%E6%B3%9B%E5%8C%96%E8%83%BD%E5%8A%9B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLms5vljJbog73lipsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9._3KHJXZTXxcCc57OY552VGnjD3RvZzqFinDmCbF_a3w&zhida_source=entity)。\n- 多语言拒绝采样在多语言数学推理任务中，对MathOctopus带来的提升有限。\n下图展示了在GSM8K训练集上训练的LLaMA2和用MGSM8KInstruct训练的MathOctopus在GSM8K测试集和SVAMP上的表现\n![](https://pica.zhimg.com/v2-ca1dc2e733f0525fe91917e831d71878_1440w.jpg)\n本文发现，和只在单语言上训练的LLMs相比，MathOctopus在英语数据测试中也取得了更好的效果。为了进一步探索在其他语言上是否有相同的现象，本文进行了以下实验：\n随机从训练集中挑选三种语言，分别是西班牙语，中文，泰语。使用它们对应的训练语料分别训练三个模型，分别命名为 **ES-LLaMA** ，**CN-LLaMA** ，**Th-LLaMA** 。下图展示了这几个模型在他们对应训练语言下的测试结果。由图可见，在单一语言上，MathOctopus的表现仍然超过了单语SFT模型的结果。这表明，在数学推理任务中，多语言训练比单语言训练有更好的效果。 \n![](https://pica.zhimg.com/v2-af28935d224130dbfae854475dfa7680_1440w.jpg)\n### 多语言拒绝采样\n有研究[1]表明，拒绝采样rejection sampling（RFT）可以大幅提升模型的表现。为了探究在多语言训练的场景下拒绝[采样](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=9&q=%E9%87%87%E6%A0%B7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiLph4fmoLciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6OSwiemRfdG9rZW4iOm51bGx9.GInKGc_Gq2g3xHjvJkfoBr0lCUIgWST2BlKxJBDCWxo&zhida_source=entity)对模型的提升效果，本文在得到多语言SFT模型后，采样模型在MGSM8KInstruct数据集上的推理结果，对采样到的推理过程进行验证，如果符合要求则将其并入到原本的数据集。具体做法如下：\n- 为了采样到多样化的推理答案，本文从MathOctopus-7B和MathOctopus-13B中分别采样25条推理路径，即每种语言总共采样50次。\n- 为了确保推理路径的准确性，本文提取推理路径中的所有公式并对公式进行验算，如果答案正确那么就认为推理路径是正确的。\n- 为了确保推理路径的多样化，本文采用的策略是，只有当前推理路径和先前的路径中没有相同的公式时，才将此路径放入数据集中。\n下图展示了不同的采样次数下，每种语言生成的不同推理路径的个数\n![](https://pic1.zhimg.com/v2-2e34046b4d024b777b4fe4e3644ba180_1440w.jpg)\n本文发现，通过多语言拒绝采样（xRFT）增加的数据对模型的提升效果有限，主要表现在以下几点： - 在MGSM测试集上，多语言拒绝采样只能提升MathOctopusP模型1%-2%的效果。 - 在MSVAMP测试集上，多语言拒绝采样的提升效果不到1%。 - 多语言拒绝采样对MathOctopusC的提升效果更小，在MGSM数据集上的表现反而有所下降。\n为了探究xRFT生成的数据量对模型的影响，本文在三个不同的采样次数（10，30，50）下分别探究对应的模型在测试集上的表现。\n下图是不同采样次数下模型在MGSM数据集上的表现 \n![](https://pic2.zhimg.com/v2-5f261f8da100bf474cf7d57c6b1a9b85_1440w.jpg)\n下图是不同采样次数下模型在MSVAMP数据集上的表现 \n![](https://pic4.zhimg.com/v2-36184acbe175b9172a3fb984994ef19f_1440w.jpg)\n可以发现，在MGSM测试集上，当拒绝采样的次数越多，训练语料越多时，MathOctopusP的表现也略微变好。与之相反，在MSVAMP数据集上，当拒绝采样的次数越多，训练语料越多时，MathOctopusC的表现反而有所下降。\n### 展望\n本文最后提到了将来还可以在[LLaMA2-70B](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=LLaMA2-70B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJMTGFNQTItNzBCIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjM1Nzk2NzY2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.dTJQsE2WzEYMqVG6AaR-xzIY7PLtJ9CYl4Y-xSYl3ug&zhida_source=entity)的基础上探索更大的MathOctopus模型，除此之外，在这些更大的模型上使用多语言拒绝采样也是将来的研究点之一。由于MathOctopus只有十种训练语言，更多的训练语言是否会给模型带来更好的效果仍然有待研究。\n### 参考文献\n[1] Yuan Z, Yuan H, Li C, et al. [Scaling](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=Scaling&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJTY2FsaW5nIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjM1Nzk2NzY2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.XqX_fh860KpuMiRsZqS2ubYUSL_WdEtpatfQ1p0OC9I&zhida_source=entity) relationship on learning mathematical [reasoning](https://zhida.zhihu.com/search?content_id=235796766&content_type=Article&match_order=1&q=reasoning&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkxNDEsInEiOiJyZWFzb25pbmciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzU3OTY3NjYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.neYXA-I5KSHB3TN1F2ihq8t5uV5OxKTWhqTBqeY_aBg&zhida_source=entity) with large language models[J]. arXiv preprint arXiv:2308.01825, 2023.\n[2] Luo H, Sun Q, Xu C, et al. Wizardmath: Empowering mathematical reasoning for large language models via reinforced evol-instruct[J]. arXiv preprint arXiv:2308.09583, 2023.\n编辑于 2023-12-02 11:23・中国香港\n[开源大语言模型](https://www.zhihu.com/topic/27919615)\n[指令微调](https://www.zhihu.com/topic/28101318)\n[数学推理](https://www.zhihu.com/topic/28566379)\n​赞同 13​​添加评论​44 ​5 \n​分享\n​申请转载​\n​\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n \n\n还没有评论，发表第一个评论吧\n关于作者\n[![promise](https://picx.zhimg.com/v2-f6beee55fc1742e73cf742114af8051a_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/chen-nuo-8-79-20)\n[promise](https://www.zhihu.com/people/chen-nuo-8-79-20)\n港科phd，nlp\n[ 回答 **22** ](https://www.zhihu.com/people/chen-nuo-8-79-20/answers)[ 文章 **3** ](https://www.zhihu.com/people/chen-nuo-8-79-20/posts)[ 关注者 **88** ](https://www.zhihu.com/people/chen-nuo-8-79-20/followers)\n​关注​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定706 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[中国男足 0-5 巴勒斯坦564 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[原央视主持人阿丘回应被通报422 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[华为与赛力斯达成新五年合作411 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[迪拜航空确认航班发生事故400 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[东航回应网传空姐跪地道歉327 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)\n[孕妇骑车别车被司机踹翻258 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=575cf98f-13c4-4933-8f67-dd1eec3c55eb)\n### 推荐阅读\n[ ![R1相关：少量高质量数据SFT激活LLM推理能力](https://pic1.zhimg.com/v2-66c8a037dd9697a5bfd97d9b0a4bd849_250x0.jpg?source=172ae18b)R1相关：少量高质量数据SFT激活LLM推理能力 长琴发表于技术与人 ... ](https://zhuanlan.zhihu.com/p/24400341055)# [[推理加速] LLM推理加速的5大方案 零、总览LLM推理方向小结 https://www.bilibili.com/opus/1112295486312677381LLM推理优化分为以下几个方面： 分离部署服务：PD分离和KVCache并行化：数据并行、流水线并行、张量并行、序列… 平平无奇小熊猫 ](https://zhuanlan.zhihu.com/p/1988591568643444939)# [Awesome LLM4Math：大语言模型（LLM）数学推理相关资源集锦 大语言模型（LLM）数学推理相关资源集锦，其中绝大部分经过 @天欲雪 筛选，确保质量较高，且添加了精心撰写的简要描述，以便读者尽快理了解相关要点。✨ 独家内容： 可能是全网最全面的复杂… 天欲雪发表于Aweso... ](https://zhuanlan.zhihu.com/p/708332143)# [LLM理解能力提升研究 step-dpo：背景：普通DPO方法以单个样本为整体，在需要多个推理步骤才能解决问题的样本时，模型通过dpo训练难以学习到某一个步骤的推理正确性（示例：一个错误数学推理题样本中，前3个步骤… lucy9527 ](https://zhuanlan.zhihu.com/p/3154322205) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](https://picx.zhimg.com/v2-9e41ea16bdfbe9cf4896617ecad5b4ca.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n", "body_base_path": "attachments/6de0a539a01e/pages/", "body_markdown_path": "attachments/6de0a539a01e/pages/archived-body.md", "local_html": "attachments/6de0a539a01e/pages/archived-body.html", "body_source": "prior_capture" }