{ "source_file": "0930", "source_platform": "知乎专栏", "author": "紫气东来", "title_listed": "LLM 的推理优化技术纵览", "keywords": "推理优化,子图融合,量化,分布式推理", "domain": "大模型算法", "content_type": "深度技术解析", "is_paid_flag": "否", "url": "https://zhuanlan.zhihu.com/p/642412124", "publish_date": "2023", "corpus_stage": "推理部署", "notes": "FasterTransformer、图融合、量化、张量并行等推理优化技术全景", "id": "15453b802d45", "collected_at": "2026-10-02T18:45:47", "title": "LLM(18)：LLM 的推理优化技术纵览 - 知乎", "body_markdown": "[![](https://zhuanlan.zhihu.com/p/642412124)](javascript:void\\(0\\))\n![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\nLLM(18)：LLM 的推理优化技术纵览\n首发于[从NLP到LLM](https://www.zhihu.com/column/c_1465775160745324544)\n切换模式\n![LLM\\(18\\)：LLM 的推理优化技术纵览](../images/000.img)\n# LLM(18)：LLM 的推理优化技术纵览\n[![紫气东来](../images/003.jpg)](https://www.zhihu.com/people/zi-qi-dong-lai-1)\n[紫气东来](https://www.zhihu.com/people/zi-qi-dong-lai-1)\n[​![](../images/body-ddf414f04793a667b2c1.png)](https://www.zhihu.com/question/48510028)\n上海交通大学 工学硕士\n[收录于 · 从NLP到LLM](https://www.zhihu.com/column/c_1465775160745324544)\n998 人赞同了该文章\n​\n目录\n推理是 LLM 应用的重要一环，在部署服务环节影响重大，本文将讨论主流的 LLM 的[推理优化](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmjqjnkIbkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.HPGM07Cohgm0yeodfJalBIGdaFzkUmh9FtleuD77W-0&zhida_source=entity)技术。\n## 一、[子图融合](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%AD%90%E5%9B%BE%E8%9E%8D%E5%90%88&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlrZDlm77ono3lkIgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.NudJxy5acA05FfgwKqos0T1jKqemkse-SiXaB5shEys&zhida_source=entity)（subgraph fusion）\n图融合技术即通过将多个 OP（算子）合并成一个 OP（[算子](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=2&q=%E7%AE%97%E5%AD%90&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnrpflrZAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.vBNOeHO9tF-yfF5ZohxZvhxv8xeBqKtMFxlAYcEOFYA&zhida_source=entity)），来减少`Kernel[](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Kernel&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJLZXJuZWwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.CeEIZwLemlS27eyi6Qvv0GSn_ivuaMS62lmvLfIKHj0&zhida_source=entity)`的调用。因为每一个基本 OP 都会对应一次 GPU kernel 的调用，和多次显存读写，这些都会增加大量额外的开销。\n### 1.1 [FasterTransformer](https://link.zhihu.com/?target=https%3A//github.com/NVIDIA/FasterTransformer) by NVIDIA\n`FasterTransformer`(FT) 是一个用于实现基于`Transformer`的[神经网络](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnpZ7nu4_nvZHnu5wiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.vXi5-fqLBR3Eeg8DLpfjXoeK5pJzbDfMZbsHuNAWyhA&zhida_source=entity)推理的加速引擎。`FT`框架是用`C++/CUDA`编写的，依赖于高度优化的 cuBLAS、cuBLASLt 和 cuSPARSELt 库，与 [NVIDIA TensorRT](https://link.zhihu.com/?target=https%3A//link.juejin.cn/%3Ftarget%3Dhttps%253A%252F%252Fdeveloper.nvidia.com%252Fblog%252Foptimizing-t5-and-gpt-2-for-real-time-inference-with-tensorrt%252F) 等其他编译器相比，FT 的特点是它支持**以[分布式](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%88%86%E5%B8%83%E5%BC%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLliIbluIPlvI8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.fNIrmQnWpDkBoc9VjVvtgLbmyd95GWtxNIbp7NzOoFM&zhida_source=entity)方式推理 Transformer 大模型**。\n图融合是`FT` 的一个重要特征，将多层神经网络组合成一个单一的神经网络，将使用一个单一的内核进行计算。 这种技术减少了数据传输并增加了[数学密度](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%95%B0%E5%AD%A6%E5%AF%86%E5%BA%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmlbDlrablr4bluqYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.2BS29IfwlJbgiCda6PT3jlEdAGFJ8DoaTbmFPTWjnTo&zhida_source=entity)，从而加速了推理阶段的计算。 例如， [multi-head attention](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=multi-head+attention&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJtdWx0aS1oZWFkIGF0dGVudGlvbiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMDg4OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.N3DKe1qOHqg96-a1-VtLtu8da594QWHqYNUSfo9IT4I&zhida_source=entity) 块中的所有操作都可以合并到一个[内核](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=2&q=%E5%86%85%E6%A0%B8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlhoXmoLgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.9dRlOivW97nH7kFz50FLf8fRqAG4nKhv_EN2AGN-cno&zhida_source=entity)中。\n![](../images/004.jpg)\n除此之外，`FT`还对部分大模型分别支持：\n * `INT8` 低精度[量化推理](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E9%87%8F%E5%8C%96%E6%8E%A8%E7%90%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLph4_ljJbmjqjnkIYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.K49XL7443aiLuvvqh2R-dXz5_Mj0Vrf6DghQ79r3zEk&zhida_source=entity)\n * Ampere 架构的 GPU 硬件部分支持稀疏化\n * Hopper 架构支持 FP8 推理\n * Tensor 并行\n * [Pipeline](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Pipeline&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJQaXBlbGluZSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMDg4OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.FC2Au8_DAwBaFGeZ0PXlzJSHWi6M86NzRBeaeZ2HztY&zhida_source=entity) 并行\n\n\n### 1.2 [DeepSpeed Inference](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2207.00032.pdf) by Microsoft\n对于 Transformer layer，可分为以下4个主要部分：\n 1. Input Layer-Norm plus Query, Key, and Value GeMMs and their bias adds.\n 2. Transform plus Attention.\n 3. Intermediate FF, Layer-Norm, Bias-add, Residual, and Gaussian Error Linear Unit (GELU).\n 4. Bias-add plus Residual.\n\n\n如图所示，每一部分可分别进行融合，与未融合相比，以上几个部分的加速比可分别达到 1.5x, 2.9x, 3x, 1.2x 。\n![](../images/005.jpg)\n除此之外，DeepSpeed Inference 的优化点还有以下几点：\n * 多 GPU 的[并行优化](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%B9%B6%E8%A1%8C%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlubbooYzkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.HeiTNjTBllhVpdRyWeBItBsZfQvtLfLgFBs0bklDxwM&zhida_source=entity)\n * INT8 模型量化\n * 推理的 pipeline 方案\n\n\n更多详细介绍及实践可参考笔者之前的文章：\n[](https://zhuanlan.zhihu.com/p/629085568)\n### 1.3 [MLC LLM](https://link.zhihu.com/?target=https%3A//github.com/mlc-ai/mlc-llm) by [TVM](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=TVM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJUVk0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.mbCoDHSUEl0Vnu6BiqnkzYyuPkfDuPQSYHtk6JeG3tU&zhida_source=entity)\n之前介绍的推理方案主要是基于GPU的优化，而 MLC LLM 提供了可应用于移动端（例如 iPhone）、消费级电脑端（例如 Mac）和 Web 浏览器的轻设备解决方案。\nMLC LLM 的主要工作流基于 [Apache TVM](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Apache+TVM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJBcGFjaGUgVFZNIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.IIMUeLhmiQ82Q6DBK6hqlqxbMhnv8OCUyTMsOsV70hs&zhida_source=entity) Unity，通过扩展 TVM 后端使模型编译更加透明和高效。其中以编译代码转换、融合、内存规划和库卸载（library offloading）为代表的可组合的 ML [编译优化](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%BC%96%E8%AF%91%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnvJbor5HkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.YU80QU1uJNrLXa91sWYiUcdHtVhXrHzIMgVqcS0v06c&zhida_source=entity)是其中重要的优化特性。\n![](../images/006.jpg)\n除此之外，MLC LLM 还具有以下特性：\n * Dynamic shape：避免了对最大输入长度进行额外填充的需要，并减少了计算量和内存使用量。 \n * 量化：MLC LLM 利用低位量化来压缩模型权重，并利用 TVM 的 loop-level TensorIR 为不同的压缩编码方案快速定制代码生成。 \n * 运行时（Runtime）：TVM 编译生成的库能够通过 TVM [runtime](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=runtime&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJydW50aW1lIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.PrX1YAFmp4NX2uCtGWn8M3feayYRHQQ-tZ_ivTuGEss&zhida_source=entity) 在设备的原生环境中运行，TVM runtime 支持 CUDA/Vulkan/Metal 等主流 GPU 驱动以及 C、JavaScript 等语言的绑定。\n\n\n除了上述3种方案外，其他也支持图融合的方案还包括 [NVIDIA TensorRT](https://link.zhihu.com/?target=https%3A//link.juejin.cn/%3Ftarget%3Dhttps%253A%252F%252Fdeveloper.nvidia.com%252Fblog%252Foptimizing-t5-and-gpt-2-for-real-time-inference-with-tensorrt%252F)， [Tencent TurboTransformers](https://link.zhihu.com/?target=https%3A//github.com/Tencent/TurboTransformers) 等。\n## 二、[模型压缩](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E5%8E%8B%E7%BC%A9&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmqKHlnovljovnvKkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.-knLGzHjAGm49K-qoFNnpKsZby36TKJu_tgiGdzlNRg&zhida_source=entity)（Model Compression）\n模型压缩的基本动机在于当前的模型是冗余的，可以在精度损失很小的情况下实现模型小型化，主要包括3类方法：稀疏(Sparsity)、量化(Quantization)、蒸馏(Distillation)。\n### 2.1 稀疏(Sparsity)\n实现稀疏(Sparsity)的一个重要方法是剪枝(Pruning)。[剪枝](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=2&q=%E5%89%AA%E6%9E%9D&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLliarmnp0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.gQgjrBMOadqGwRjv1ZT4Gv9qTK-l8MQcStN6eTd29pc&zhida_source=entity)是在保留模型容量的情况下，通过修剪不重要的模型权重或连接来减小模型大小。 它可能需要也可能不需要重新培训。 修剪可以是非结构化的或结构化的。\n * 非结构化剪枝允许删除任何权重或连接，因此它不保留原始网络架构。 非结构化剪枝通常不适用于现代硬件，并且不会带来实际的推理加速。\n * [结构化剪枝](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=3&q=%E7%BB%93%E6%9E%84%E5%8C%96%E5%89%AA%E6%9E%9D&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnu5PmnoTljJbliarmnp0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MywiemRfdG9rZW4iOm51bGx9.-Tzi0M7JJAKcnAKot7dk5YKBR1Adl8sM_-yWxI7epok&zhida_source=entity)旨在维持某些元素为零的[密集矩阵](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%AF%86%E9%9B%86%E7%9F%A9%E9%98%B5&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlr4bpm4bnn6npmLUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.2BvggAkqSyiU7TsuyDzSSDszm3CMmxYFnvLlX2d14po&zhida_source=entity)乘法形式。 他们可能需要遵循某些模式限制才能使用硬件内核支持的内容。 当前的主流方法关注结构化剪枝，以实现 Transformer 模型的高稀疏性。\n\n\n关于剪枝稀疏的基本原理，可参考笔者之前的文章：\n[](https://zhuanlan.zhihu.com/p/615399255)\n除了上文介绍的稀疏方法外，还有其他的稀疏化方法，包括但不限于：\n * [SparseGPT](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2301.00774.pdf)：该方法的工作原理是将剪枝问题简化为大规模的[稀疏回归](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%A8%80%E7%96%8F%E5%9B%9E%E5%BD%92&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnqIDnlo_lm57lvZIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.cerPjZRo_ljgTk8qWccQc8RO2tELp7qUyzVWjfk3XFc&zhida_source=entity)实例。它基于新的近似稀疏回归求解器，用于解决分层压缩问题，其效率足以在几个小时内使用单个 GPU 在最大的 GPT 模型（175B 参数）上执行。同时，SparseGPT 准确率足够高，不需要任何微调，剪枝后所损耗的准确率也可以忽略不计。\n * [LLM-Pruner](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2305.11627.pdf)：遵循经典的“重要性估计-剪枝-微调”的策略，能够在有限资源下完成大语言模型的压缩，结果表明即使剪枝 20％ 的参数，压缩后的模型保留了 93.6％ 的性能。\n * [Wanda](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2306.11695.pdf): 该方法由两个简单但必不可少的组件构成——剪枝度量和剪枝粒度。剪枝度量用来评估权重的重要性，然后按照剪枝粒度进行裁剪。该方法在 65B 的模型上只需要 5.6 秒就可以完成剪枝，同时达到SparseGPT相近的效果。\n\n\n以上主要实现了稀疏的方法，那么对于稀疏后的模型如何加速呢？NVIDIA Ampere 架构对与结构化稀疏做了专门的[稀疏加速单元](https://link.zhihu.com/?target=https%3A//developer.nvidia.com/blog/accelerating-inference-with-sparsity-using-ampere-and-tensorrt/)，下图展示了结构化稀疏的物理表示：\n![](../images/007.jpg)\n2:4 结构化稀疏表示\n下图展示了稀疏单元GEMM计算与标准GEMM计算的区别（详细解释参见[https://arxiv.org/pdf/2104.08378.pdf](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2104.08378.pdf)）\n![](../images/008.jpg)\nSparse VS Dense GEMM\n### 2.2 量化(Quantization)\n常见量化有两种常见方法：\n * 训练后量化（Post-Training Quantization，PTQ）：模型首先经过训练以达到收敛，然后我们将其[权重](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=5&q=%E6%9D%83%E9%87%8D&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmnYPph40iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NSwiemRfdG9rZW4iOm51bGx9.M7zLwLKFGeCU0DFFnqc_eYby-uuuEB652on2GMEcmnc&zhida_source=entity)转换为较低的精度，而无需进行更多训练。 与训练相比，实施起来通常相当便宜。\n * [量化感知训练](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E9%87%8F%E5%8C%96%E6%84%9F%E7%9F%A5%E8%AE%AD%E7%BB%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLph4_ljJbmhJ_nn6Xorq3nu4MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bNQkQxOCFee_RHeqdpjL0aHpppv4Uu5RY9OsQtKFf1Y&zhida_source=entity)（Quantization-Aware Training，QAT）：在预训练或进一步微调期间应用量化。 QAT 能够获得更好的性能，但需要额外的计算资源和对代表性训练数据的访问。\n\n\n实际上，由于 GPU 内核缺乏对某些类型的矩阵乘法（例如 INT4 x FP16）的支持，理论最优量化策略与硬件内核支持之间的差距，并非以下所有方法都能加速实际推理。\n关于量化的基本原理和实现细节，可参考笔者之前的文章：\n[](https://zhuanlan.zhihu.com/p/627436535)\n许多关于 Transformer 模型量化的研究都有相同的观察结果：简单的低精度（例如 8 bit）训练后量化会导致性能显着下降，这主要是由于动态的 activation 和静态的 weight 量化策略无法保持一致。\n![](../images/009.jpg)\n为了不损失精度而提高性能，可以考虑 WeightOnly [量化技术](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E9%87%8F%E5%8C%96%E6%8A%80%E6%9C%AF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLph4_ljJbmioDmnK8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.hvY_JSJbws3VQ3s7gHdvstGMzWPE6Qp8wH_R8K6Rd4o&zhida_source=entity)，即只把 Weight 量化成 int8 格式，以降低访存压力。到实际 Kernel 内部再 Dequantize 回 fp16，进行矩阵乘计算。这种方法在 BS 较小是比较有效(因为此时的瓶颈在IO)，BS 较大时(因为此时的瓶颈在计算)效果变差。\n![](../images/010.jpg)\nWeightOnly 量化的典型案例是 [AWQ: Activation-aware Weight Quantization](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2306.00978.pdf)，即只对 weight 进行量化以实现压缩和加速的效果。\n### 2.3 蒸馏(Distillation)\n[知识蒸馏](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2006.05525)是一种构建更小、更便宜的模型（“student 模型”）的直接方法，通过从预先训练的昂贵模型中转移技能来加速推理（“ teacher 模型”）融入 student。 除了与 teacher 匹配的输出空间以构建适当的学习目标之外，对于如何构建 student 架构没有太多限制。\n![](../images/011.jpg)\n知识蒸馏基本框架\n给定数据集，训练 student 模型通过[蒸馏损失](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E8%92%B8%E9%A6%8F%E6%8D%9F%E5%A4%B1&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLokrjppo_mjZ_lpLEiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.87ml624BNgep1j9eTF5SAA8SghnjiXR14t_wKhAU89k&zhida_source=entity)来模仿 teacher 的输出。 通常神经网络有一个softmax层； 例如，LLM 输出 token 的[概率分布](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%A6%82%E7%8E%87%E5%88%86%E5%B8%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmpoLnjofliIbluIMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.SQ6LB8vyuHRhYdThAz2_4Xh486brl-sCJYgNX9Y5v0U&zhida_source=entity)。 将 softmax 之前的 logits 层表示为 \\mathbf{z}_t 和 \\mathbf{z}_s , 分别表示 teacher 和 student 模型。 蒸馏损失最小化两个 softmax 输出之间的差异（温度 T ）。 当标签 y 已知，可以将其与student 的 [logits](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=2&q=logits&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJsb2dpdHMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.MRiAMU0L3BS45nv_zZ1222DsM5oljrjmsUVxEjhmZYU&zhida_source=entity) 之间计算[交叉熵](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E4%BA%A4%E5%8F%89%E7%86%B5&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLkuqTlj4nnhrUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.KPZW7u47H5Y7jUB6KV9pLOjckIZdqZc16cMoMfYM2t0&zhida_source=entity)，最后将两个损失相加，如下：\n\\mathcal{L}_{\\mathrm{KD}}=\\mathcal{L}_{\\text {distll }}\\left(\\operatorname{softmax}\\left(\\mathbf{z}_t, T\\right), \\operatorname{softmax}\\left(\\mathbf{z}_s, T\\right)\\right)+\\lambda \\mathcal{L}_{\\mathrm{CE}}\\left(\\mathbf{y}, \\mathbf{z}_s\\right)\n在 Transformer 中一个典型案例是[DistilBERT](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1910.01108)，模型参数减少 40%，速度提升71%。在大模型时代，蒸馏可以与量化、剪枝或稀疏化技术相结合，其中 teacher 模型是原始的全精度密集模型，而 student 模型则经过量化、剪枝或修剪以具有更高的稀疏级别，以实现模型的小型化。\n### 2.4 [MoE](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=MoE&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJNb0UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.yAD9UHtlBDmEnx1QXtGO5z7KbkiZ8ASVEgJ-gN8gxY8&zhida_source=entity)\n随着模型越来越大，训练和推理成本会平方级增长，为了平衡成本和规模，即希望在较小成本下实现超大模型的效果，通常会采用 MOE（Mixture-of-Experts）技术。\nMoE 层即将大模型拆分成多个小模型(专家，expert)， 每轮迭代根据样本决定激活一部分专家用于计算，达到了节省计算资源的效果；并引入可训练并确保稀疏性的门( gate )机制，以保证计算能力的优化。\n与密集模型不同，MoE 将模型的某一层扩展为多个具有相同结构的专家网络( expert )，并由门( gate )网络决定激活哪些 expert 用于计算，从而实现超大规模[稀疏模型](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%A8%80%E7%96%8F%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnqIDnlo_mqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.9XXdyQOjw-Arj_fKPrlpLETO4frEJhXSe4ku3iWxBGs&zhida_source=entity)的训练。MoE 细节如下图所示，中间层具有 n 个 expert 的 MoE 结构，并引入 Gating network 和 Top_k 机制。计算过程如下公式：\n\\begin{gathered} M o E(x)=\\sum_{i=1}^n\\left(G(x)_i E_i(x)\\right) \\\\\\ G(x)=\\operatorname{TopK}\\left(\\operatorname{softmax}\\left(W_g(x)+\\epsilon\\right)\\right) \\end{gathered} \\\\\\\n上述第 1 个公式表示了包含 n 个专家的 MoE 层的计算过程。具体来讲，首先对样本 x 进行门控计算， W 表示[权重矩阵](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%9D%83%E9%87%8D%E7%9F%A9%E9%98%B5&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmnYPph43nn6npmLUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Cf_wzc1k9HBz4HfsdHFXmvV1GTJEaXuegA4nvcg-BLc&zhida_source=entity)；然后，由 Softmax 处理后获得样本 x 被分配到各个 expert 的权重；然后，只取前 k (通常取 1 或者 2）个最大权重；最终，整个 MoE Layer 的计算结果就是选中的 k 个专家网络输出的[加权和](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%8A%A0%E6%9D%83%E5%92%8C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLliqDmnYPlkowiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.kb9we5fYUl7Qfdazn8aOGj1PHx4mD9abuVI8t6dFej0&zhida_source=entity)。\n![](../images/012.jpg)\n典型的 MoE 的方案包括 GShard, [Switch-Transformer](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Switch-Transformer&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJTd2l0Y2gtVHJhbnNmb3JtZXIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.RVyNtNzJrmXMcVWM5toJJiq0YZqpHjlJv6RaqmU0ruM&zhida_source=entity), GLaM, FastMoE, [DeepSpeed-MoE](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=DeepSpeed-MoE&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJEZWVwU3BlZWQtTW9FIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.-kwcD6i2tN4su3NMFQKGfpQHer_-oqzdkBDcrdcKdSY&zhida_source=entity) 等方案。\nFastMoE 支持在同一个 worker 上运行多个 experts，从而减少模型研究者在探索更多 experts 数量时所需的硬件资源。当 experts 数量较多时，FastMoE 针对传统的两层 MLP [全连接网络](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%85%A8%E8%BF%9E%E6%8E%A5%E7%BD%91%E7%BB%9C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlhajov57mjqXnvZHnu5wiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.pEFEI3J6qbBxGI0OKXWJFdZOVJzAAgOe07KMm8F_0-M&zhida_source=entity)（即 Transformer 中的 FFN 网络）使用了更精细的并行策略，从而使得 Transformer 模型中 MLP 部分的运算速度相比朴素的实现较大的加速。\n![](../images/013.jpg)\n## 三、并行化（Parallelism）\n当前的推理的[并行化技术](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%B9%B6%E8%A1%8C%E5%8C%96%E6%8A%80%E6%9C%AF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlubbooYzljJbmioDmnK8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.XXfpUlnmbWR0fhDBCYYakChc5Tg2LQP5H2zyn7pzybE&zhida_source=entity)主要体现在3个维度上，即 3D Parallelism:\n * Data Parallelism(DP)\n * Tensor Parallelism(TP)\n * Pipeline Parallelism(PP)\n\n\n![](../images/014.jpg)\n3D Parallelism 的3个维度\n### 3.1 [数据并行](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E5%B9%B6%E8%A1%8C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmlbDmja7lubbooYwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.dRaDRW60P4hY4kt-IEmrFtj5sc5d4WveR75HLpmwa9s&zhida_source=entity) (Data Parallelism, DP)\n在推理中，DP 主要是增加设备数来增加系统整体 Throughput，其中最经典的即DeepSpeed的Zero系列\n![](../images/015.jpg)\n另外 FSDP 也比较高效和易用\n![](../images/016.jpg)\n### 3.2 张量并行(Tensor Parallelism, TP)\n在推理中，TP 主要是横向增加设备数通过并行计算来减少 latency，其实现原理及细节可参考笔者之前的文章\n[](https://zhuanlan.zhihu.com/p/603908668)\n当前也有一些方便易用的 TP 方案，如 [BlackSamorez/tensor_parallel](https://link.zhihu.com/?target=https%3A//github.com/BlackSamorez/tensor_parallel) ，使用起来非常简单：\n\n```\nimport transformers\nimport tensor_parallel as tp\ntokenizer = transformers.AutoTokenizer.from_pretrained(\"facebook/opt-13b\")\nmodel = transformers.AutoModelForCausalLM.from_pretrained(\"facebook/opt-13b\") # use opt-125m for testing\n\nmodel = tp.tensor_parallel(model, [\"cuda:0\", \"cuda:1\"]) # <- each GPU has half the weights\n\ninputs = tokenizer(\"A cat sat\", return_tensors[](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=tensors&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJ0ZW5zb3JzIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.UJDPr4Bq6cFxAQ_RfoKsSI0cGWSzNzYmbuqiLMG4iss&zhida_source=entity)=\"pt\")[\"input_ids\"].to(\"cuda:0\")\noutputs = model.generate(inputs, num_beams=5)\nprint(tokenizer.decode(outputs[0])) # A cat sat on my lap for a few minutes ...\n\nmodel(input_ids=inputs, labels=inputs).loss.backward() # training works as usual\n```\n\n当前主流的推理框架都支持 TP 的方式，包括但不限于：\n * [Megatron-LM](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1909.08053.pdf)\n * [FasterTransformer](https://link.zhihu.com/?target=https%3A//github.com/NVIDIA/FasterTransformer)\n * [DeepSpeed Inference](https://link.zhihu.com/?target=https%3A//github.com/microsoft/DeepSpeed/tree/master/deepspeed/inference)\n * [vLLM](https://link.zhihu.com/?target=https%3A//github.com/vllm-project/vllm)\n * [Text Generation Inference](https://link.zhihu.com/?target=https%3A//github.com/huggingface/text-generation-inference)\n * [ParallelFormers](https://link.zhihu.com/?target=https%3A//github.com/tunib-ai/parallelformers)\n * [ColossalAI](https://link.zhihu.com/?target=https%3A//github.com/hpcaitech/ColossalAI)\n * [FlexFlow](https://link.zhihu.com/?target=https%3A//github.com/flexflow/FlexFlow)\n * [LiBai](https://link.zhihu.com/?target=https%3A//github.com/Oneflow-Inc/libai)\n * [AlpaServe](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2302.11665.pdf)\n\n\n### 3.3 [流水线并行](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%B5%81%E6%B0%B4%E7%BA%BF%E5%B9%B6%E8%A1%8C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmtYHmsLTnur_lubbooYwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.W10m1Zn97A2LWCSNUf8KY0YN5v0-90jry06LPMZLP5Y&zhida_source=entity)(Pipeline Parallelism, PP) \n在推理中，PP 主要是纵向增加设备数通过并行计算来支持更大模型，同时提高[设备利用率](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E8%AE%BE%E5%A4%87%E5%88%A9%E7%94%A8%E7%8E%87&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLorr7lpIfliKnnlKjnjociLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.DvaSHLZqhCuqPLcOXGlexhl1Q6Djx3AOvi_IMcYA_zg&zhida_source=entity)。\n![](../images/017.jpg)\n通常来说，PP 需要与 TP 结合以支持更大模型，并实现最佳效果\n![](../images/018.jpg)\n## 四、Transformer [结构优化](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%BB%93%E6%9E%84%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnu5PmnoTkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Fz-A3NIjUltpbMZK59Wz6HSTCi4i8bqQPRiwvXZpsHg&zhida_source=entity)\n该类方法主要通过优化 Transformer 的结构以实现推理性能的提升。\n### 4.1 FlashAttention\n该部分的实现细节可参考笔者之前的文章，在此不予赘述\n[](https://zhuanlan.zhihu.com/p/638468472)\n[FlashAttention-v2](https://link.zhihu.com/?target=https%3A//tridao.me/publications/flash2/flash2.pdf) 在原基础上做了改进，使其在[算法](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%AE%97%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnrpfms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.NE133DfCA8X4sLJ4BdoaShafIErju8rnS4EIzn8oBHs&zhida_source=entity)、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强。在A100 上性能数据如下：\n![](../images/019.jpg)\nFlashDecoding 是在 FlashAttention 的基础上针对 inference 的优化主要分为三步：\n 1. 长文本下将KV分成更小且方便并行的[chunk](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=chunk&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJjaHVuayIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMDg4OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.YsxZgiunnr52pNmdgcJlM-mKmZsCT5dHLTqy6q0Cn5w&zhida_source=entity)\n 2. 对每个chunk的KV，Q和他们进行之前一样的FlashAttention获取这个chunk的结果\n 3. 对每个chunk的结果进行reduce\n\n\n![动图封面](../images/020.jpg)\n### 4.2 PagedAttention\n可参考 \n[](https://zhuanlan.zhihu.com/p/638468472)\n### 4.3 [FLAT Attention](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2107.06419.pdf)\nFLAT-Attention 与 FlashAttention 采取不同的路线来解决同一问题。 提出的解决方案有所不同，但关键思想是相同的（[tiling](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=tiling&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJ0aWxpbmciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.y-MRlTyLVjDEJshSAwpBFSUQEC5Yf0jnTVCY1llJgPo&zhida_source=entity) 和 scheudling）。下面主要讨论二者不同之处：\n![](../images/021.jpg)\n**4.3.1 Tiling 策略比较**\nFlashAttention 使用块平铺和权重固定。 FLAT-Attention 使用行平铺（行粒度）和输出固定。\n![](../images/022.jpg)\n**4.3.2 Scheduling 策略(数据流)比较**\nFlashAttention 的 Scheduling 过程\n![](../images/023.jpg)\n![](../images/024.jpg)\nFLAT-Attention 的 Scheduling 过程\n![](../images/025.jpg)\n![](../images/026.jpg)\n## 五、[动态批处理](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%8A%A8%E6%80%81%E6%89%B9%E5%A4%84%E7%90%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLliqjmgIHmibnlpITnkIYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.jhiEG_178rxFTr_NlXx3EjP34elpwClxR5JxZrU8_DQ&zhida_source=entity)（Dynamic Batch, Continuous batch）\n该类方法主要是针对多 Batch 的场景，通过对 Batch 的时序优化，以达到去除 padding、提高吞吐和设备利用率。传统的 Batch 处理方法是静态的，因为[Batch size](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Batch+size&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJCYXRjaCBzaXplIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.moloOkBdmfvSvGQuyZeQcWZHIRj2vKj1LezZmQIg7mU&zhida_source=entity) 的大小在推理完成之前保持不变。\n如下图所示，使用静态 Batch 完成四个序列。 在第一次迭代（左）中，每个序列从prompt（黄色）生成一个token（蓝色）。 经过几次[迭代](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=3&q=%E8%BF%AD%E4%BB%A3&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLov63ku6MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MywiemRfdG9rZW4iOm51bGx9.FeYf-KyMEoT1dTI0vEwp-xpR-zodI-XAepLPmE5v84Y&zhida_source=entity)（右）后，每个完成的序列都有不同的大小，因为每个序列在不同的迭代中发出其序列结束标记（红色）。 可见序列 3 在两次迭代后就已经结束，但仍然需要等待 Batch 中的最后一个序列完成生成（在本例中，序列 2 在六次迭代后）才能统一输出，这意味着 GPU 未被充分利用。\n![](../images/027.jpg)\n静态 Batch 的推理情况\n下面我们来研究 Dynamic Batch 是如何优化这一过程的。\n### 5.1 [ORCA](https://link.zhihu.com/?target=https%3A//www.usenix.org/system/files/osdi22-yu.pdf)\n[Orca](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Orca&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJPcmNhIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.Q59nX6xgp6CloYA3K-4N54jwjfBlJFOU981GyJCATW0&zhida_source=entity) 不是等到 Batch 中的所有序列完成生成，而是实现 _iteration_ 级调度，其中Batch size由每次迭代确定。 结果是，一旦 Batch 中的序列完成生成，就可以在其位置插入新序列，从而比静态 Batch 产生更高的 GPU 利用率。\n![](../images/028.jpg)\n下图展示了使用 Dynamic Batch 完成七个序列的过程。 左侧显示单次迭代后的批次，右侧显示多次迭代后的 Batch 。 一旦序列发出序列结束标记，就在其位置插入一个新序列（即序列 S5、S6 和 S7）。 这样可以实现更高的 GPU 利用率，因为 GPU 不会等待所有序列完成才开始新的序列。\n![](../images/029.jpg)\n结果显示在延时不变的情况下，其相对于FasterTransformer 可获得 36.9 倍的吞吐提升。\n![](../images/030.jpg)\n### 5.2 [FastServe](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2305.05920.pdf)\nORCA 使用first-come-first-served (FCFS) 处理推理作业, 计划任务持续运行直至完成。 由于 GPU 内存容量有限以及推理对延时敏感，无法通过任意数量的传入函数来增加处理，由此可能会导致队列阻塞。\nFastServe 使用 preemptive scheduling，通过新颖的跳跃连接 Multi-Level Feedback Queue 程序来最小化延时。 基于 LLM 推理的长度无法确定，调度程序利用输入长度信息来分配适当的初始值每个到达作业要加入的队列。 较高优先级队列跳过加入的队列以减少降级。 设计高效的GPU内存管理机制主动下载和上传 GPU 内存和主机内存之间的中间状态，以进行 LLM 推理。\n![](../images/031.jpg)\n实验表明，该方法比ORCA有明显的性能提升\n![](../images/032.jpg)\n### 5.3 [vLLM](https://link.zhihu.com/?target=https%3A//vllm.ai/)\nvLLM 的核心是 PagedAttention，其灵感来自传统[操作系统概念](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F%E6%A6%82%E5%BF%B5&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmk43kvZzns7vnu5_mpoLlv7UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.6lCJ1Jr0Jfgr0UGG_ER3Wugkeah2wEJ-yPTnIKVoVcw&zhida_source=entity)，例如分页和虚拟内存。 它们通过在固定大小的“页面”或块中分配内存，允许 KV 缓存变得不连续。 然后可以重写 attention 机制以对块对齐的输入进行操作，从而允许在非连续的内存范围上执行 attention 。\n这意味着 cache 分配可以 just-in-time，而不是 ahead-of-time：当启动一个新的生成任务时，框架不需要分配大小为 Maximum_context_length 的连续 cache。 每次迭代，调度程序都可以决定特定生成任务是否需要更多空间，并动态分配，而不会降低 PagedAttention 的性能。 这并不能保证内存的完美利用（浪费现在限制在 4% 以下，仅在最后一个块中），但它明显改善了当今业界广泛使用的提前分配方案的浪费 。\n总而言之，PagedAttention + vLLM 可节省大量内存，因为大多数序列不会消耗整个上下文窗口。 这些内存节省直接转化为更高的 Batch 大小，这意味着更高的吞吐量和更便宜的服务。 \n实验表明，该方法相比于静态 Batch 与其他动态 Batch 的方法吞吐性能提升明显。\n![](../images/033.jpg)\n### 5.4 [Text Generation Inference](https://link.zhihu.com/?target=https%3A//github.com/huggingface/text-generation-inference)\n[TGI](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=TGI&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJUR0kiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.sq4rincJqlrlh37XzN8oqt4ZFlzqetjluV8AOuRfkug&zhida_source=entity) 是 HuggingFace 开发的基于 Rust, Python 和 gRPC 的推理服务工具，其基本框架如下：\n![](../images/034.jpg)\n关于 TGI 的用法，可参考笔者的文章，同时对比了和 vLLM 和 FasterTransformer 的性能。\n[](https://zhuanlan.zhihu.com/p/646772063)\n### 5.5 [LMDeploy](https://link.zhihu.com/?target=https%3A//github.com/InternLM/lmdeploy)\nLMDeploy 是由 MMRazor 和 MMDeploy 团队开发的用于压缩、部署 LLM 服务的工具包。 它具有以下核心特点：\n * TurboMind：基于FasterTransformer 的高效推理引擎。\n * 交互推理：通过缓存多轮对话过程中的 k/v，记住对话历史，以避免对历史会话的重复处理。\n * 多GPU模型部署和量化\n * Dynamic Batch\n\n\n## 六、KV cache 优化\n关于 KV cache 的典型优化方法及原理，可参考笔者的文章\n[](https://zhuanlan.zhihu.com/p/659770503)\n## 七、解码优化\n### 7.1 推测解码 ( _Speculative Decoding_)\nLLM推理主要是受[内存带宽](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%86%85%E5%AD%98%E5%B8%A6%E5%AE%BD&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlhoXlrZjluKblrr0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.CaX49vCPchiMw3kH5bkwL9CRX162HufaRAfd6fgqvW0&zhida_source=entity)限制的（memory-bandwidth bound）即 LLM 每个解码步所用的推理时间大部分并不是用于模型的前向计算，而是消耗在了将LLM巨量的参数从GPU显存（High-Bandwidth Memory，HBM）迁移到高速缓存（cache）上（以进行运算操作）。这个问题随着LLM规模的增大愈发严重。\n推测解码方法的关键是使用了一大一小两个模型(分别记作Mp和Mq)，推测解码方法的核心思想是：输入一个prefix，在用LLM([目标模型](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%9B%AE%E6%A0%87%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnm67moIfmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.onSaZoIVR538KhkKzZLRaCWgIvkSSNAgEfXpHxbD4PA&zhida_source=entity))做推理的同时，并行的让一个小得多的近似模型(approximation model)基于输入prefix以自回归的方式(autoregressively)来运行\\gamma次，生成得到\\gamma个token(被称作guesses或draft tokens)，然后并行的(parallel run)让LLM对这些推测出来的token做评估，通过随机阈值r_{i}与概率分布比p_{i}(x)/q_{i}(x)的对比，从中挑选出n个token(都是由近似模型生成)，随后让目标模型在n的基础上生成第n+1个token，最后把这n+1个token添加到原prefix之后作为新的prefix，然后重复整个过程直到满足停止条件(达到max length或生成了等)。 \n\n![](../images/035.jpg)\n自回归解码 vs 推测解码\n### 7.2 并行解码 —— [Medusa](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Medusa&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJNZWR1c2EiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.g8qiFGO2KG1x7tluQ-9iLwssAqUT4Zy0-bXiVgr5pN4&zhida_source=entity)\nMedusa 主要思想是在正常的LLM的基础上，增加几个解码头，并且每个头预测的偏移量是不同的，比如原始的头预测第i个token，而新增的medusa heads分别为预测第i+1，i+2...个token。如上图，并且每个头可以指定topk个结果，这样可以将所有的topk组装成一个一个的候选结果，最后选择最优的结果。\n![](../images/036.jpg)\n计算每个头组装之后的候选的最优解，其实这时候完全可以每个候选都走一次模型，算出概率，但是很显然不可能这样做，因为本来方案是为了加速，作者设计了一种tree attention的机制，可以做到只走一次模型来达到目的，如示例所示，第一个medusa heads的 top-2 预测和第二个medusa heads的 top-3 预测产生 2*3=6 个候选。假设原始的LLM输出是[0]，第一个头是[1,2]，第二个头是[3,4,5]。期望直接能把[0,1,2,3,4,5]，输入模型就能得到一些概率的信息，但是不同的头对应的token的父节点是不同的，所以需要冗余一些token，方便添加mask变成[0,1,2,3,4,5,3,4,5]，对应到右上的mask矩阵，每个节点只有父节点以及当前节点是1，这样其实就能得到一个树的路径关系。\n第一次用[美杜莎头](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%BE%8E%E6%9D%9C%E8%8E%8E%E5%A4%B4&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnvo7mnZzojo7lpLQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.OWBKqESuARkiiLVSQIkgP3uCBAe_kcmyw7N47IBTkN8&zhida_source=entity)解码的时候，是看不到前面i个token的，而再次输入模型可以看到完整的上文，得到完整的概率之后，可以通过头计算得到树的路径信息，比如示例对应的路径index是[0,1,3] , [0,1,4], [0,1,5], [0,2,6]，然后基于后验概率得到最优的候选片段。\n## 八、硬件升级\n以上主要介绍了在算法和模型层面的优化方法，除此之外，升级硬件系统可以进一步提升整体性能，下面将介绍几种可用于(和潜在的)推理加速的硬件产品。\n### 8.1 [NVIDIA H100 PCIe](https://link.zhihu.com/?target=https%3A//www.nvidia.cn/data-center/h100/)\nNVIDIA H100 核心架构与 Ampere 相似，数学运算部分布置在144组CUDA上，最高可拥有18432个FP32(单精度)、9216个FP64(双精度)CUDA核心，辅以576个第四代Tensor核心。H100核心采用台积电的N4工艺制造，内建800亿个晶体管，核心面积仅有814m㎡。其与A100 主要参数对比如下：\n![](../images/037.jpg)\n在性能方面，H100 较 A100 也有明显提升，其部分数据如下所示。\n![](../images/038.jpg)\n### 8.2 AMD MI300\nAMD MI300 处理器集成了24个Zen 4架构CPU核心，以及CDNA 3架构GPU核心，周围还有着8颗HBM3高速缓存，容量高达128GB，总计拥有1460亿个晶体管。与上一代 MI250相比，MI300进行AI运算的速度将提高至8倍，能效方面也将提升5倍。\n目前未找到公开的在 LLM 方面的推理性能数据。\n### 8.3 [Apple M2 Ultra](https://link.zhihu.com/?target=https%3A//www.apple.com/newsroom/2023/06/apple-introduces-m2-ultra/)\nM2 Ultra 采用第二代 5 纳米工艺制造，并使用 Apple 突破性的 UltraFusion 技术连接两个 M2 Max 芯片的芯片，使性能提高一倍。 M2 Ultra 由 1340 亿个晶体管组成，比 [M1 Ultra](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=M1+Ultra&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJNMSBVbHRyYSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMDg4OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.p9pQRUDT5m7gqjdE9sSEzSJGAxMnh_WqOh-6bDZ-tDo&zhida_source=entity) 多了 200 亿个。 其[统一内存架构](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%BB%9F%E4%B8%80%E5%86%85%E5%AD%98%E6%9E%B6%E6%9E%84&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnu5_kuIDlhoXlrZjmnrbmnoQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bO4t0fBbBV8ITXP_cn4tBwq3tjb7Q8WaDBGmVYI-gus&zhida_source=entity)支持突破性的192GB内存容量，比M1 Ultra多出50%，并具有800GB/s的内存带宽，是M2 Max的两倍。 M2 Ultra 配备更强大的 CPU（比 M1 Ultra 快 20%）、更大的 GPU（快 30%）以及神经引擎（快 40%）。\n目前未找到公开的在 LLM 方面的推理性能数据。\n### 参考资料\n[1] [Large Transformer Model Inference Optimization](https://link.zhihu.com/?target=https%3A//lilianweng.github.io/posts/2023-01-10-inference-optimization/)\n[2] [Efficient Inference on a Single GPU](https://link.zhihu.com/?target=https%3A//huggingface.co/docs/transformers/perf_infer_gpu_one)\n[3] [How continuous batching enables 23x throughput in LLM inference while reducing p50 latency | Anyscale](https://link.zhihu.com/?target=https%3A//www.anyscale.com/blog/continuous-batching-llm-inference)\n[4] [https://www.coreweave.com/blog/serving-inference-for-llms-nvidia-triton-inference-server-eleuther-ai](https://link.zhihu.com/?target=https%3A//www.coreweave.com/blog/serving-inference-for-llms-nvidia-triton-inference-server-eleuther-ai)\n[5] [https://medium.com/mobius-labs/accelerating-large-language-models-strategies-for-enhancing-your-ai-inference-speed](https://link.zhihu.com/?target=https%3A//medium.com/mobius-labs/accelerating-large-language-models-strategies-for-enhancing-your-ai-inference-speed-a77dddc33bb2%23id_token%3DeyJhbGciOiJSUzI1NiIsImtpZCI6IjkzNDFkZWRlZWUyZDE4NjliNjU3ZmE5MzAzMDAwODJmZTI2YjNkOTIiLCJ0eXAiOiJKV1QifQ.eyJpc3MiOiJodHRwczovL2FjY291bnRzLmdvb2dsZS5jb20iLCJuYmYiOjE2ODg4NzQzMzMsImF1ZCI6IjIxNjI5NjAzNTgzNC1rMWs2cWUwNjBzMnRwMmEyamFtNGxqZGNtczAwc3R0Zy5hcHBzLmdvb2dsZXVzZXJjb250ZW50LmNvbSIsInN1YiI6IjExNjAzMzg2MDcwOTE0MzI0NjA1OCIsImVtYWlsIjoiaWZyb21lYXN0QGdtYWlsLmNvbSIsImVtYWlsX3ZlcmlmaWVkIjp0cnVlLCJhenAiOiIyMTYyOTYwMzU4MzQtazFrNnFlMDYwczJ0cDJhMmphbTRsamRjbXMwMHN0dGcuYXBwcy5nb29nbGV1c2VyY29udGVudC5jb20iLCJuYW1lIjoiemlkb25nIHpoYW5nIiwicGljdHVyZSI6Imh0dHBzOi8vbGgzLmdvb2dsZXVzZXJjb250ZW50LmNvbS9hL0FBY0hUdGROVWZZT2FaNEJtQm1nQ2x2X3NxQjBFazlEcVRPSEpTTjhGbFpWb242Nz1zOTYtYyIsImdpdmVuX25hbWUiOiJ6aWRvbmciLCJmYW1pbHlfbmFtZSI6InpoYW5nIiwiaWF0IjoxNjg4ODc0NjMzLCJleHAiOjE2ODg4NzgyMzMsImp0aSI6IjE2ZGZhODZlODM5NjY1MzgzOWZjNDc3MGUwODFiNDdjZmQ4NGU4NzkifQ.SzEtUp26_6ZvGPS0UkxS1lkVl_w-f4Q9VcPBUdlxbgVmXBopMiHi1nBD61umoLMZ40RCna1bQmPtQzTIHQCeJ8cUSaubEnepuR3MilA37THqPeOCXm86O7VvI7O4HNaOe2tDENZMIw1n7ZuZ_P4bmbSG9WZQgb41Ka8kDTTi3MXCRxgo8JdMD9t1JGmzkUs5Ocq_Bvb2ojVltA86rab6QVWVsvUEzg7YmqZbHSaxK_WuFYTG3E09w5YVXenIUXcerwlVkqpdAcJWi2XSkLR8aI4inpxCYLuiPMTSI1zNG0Su_cqpXMd8Lfi-KZn5vndpV63mVjN-GbteNfth4KITdA)\n[6] [LLM-Pruner: On the Structural Pruning of Large Language Models](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2305.11627.pdf)\n[7] [https://jonathan-hui.medium.com/ai-chips-a100-gpu-with-nvidia-ampere-architecture-3034ed685e6e](https://link.zhihu.com/?target=https%3A//jonathan-hui.medium.com/ai-chips-a100-gpu-with-nvidia-ampere-architecture-3034ed685e6e)\n[8] [arxiv.org/pdf/2302.14017.pdf](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2302.14017.pdf)\n[9] [7 ways to speed up inference of your hosted LLMs. «In the future, every 1% speedup on LLM… | by Sergei Savvov | Jun, 2023 | Medium | Medium](https://link.zhihu.com/?target=https%3A//slgero.medium.com/speed-up-llm-inference-83653aa24c47)\n[10] [https://arxiv.org/pdf/2104.08378.pdf](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2104.08378.pdf)\n[11] [Introduction to Weight Quantization | Towards Data Science](https://link.zhihu.com/?target=https%3A//towardsdatascience.com/introduction-to-weight-quantization-2494701b9c0c)\n[12] [Accelerating Large Language Models via Low-Bit Quantization | NVIDIA On-Demand](https://link.zhihu.com/?target=https%3A//www.nvidia.com/en-us/on-demand/session/gtcspring23-s51226/)\n[13] [认真读读WeightOnly - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/627189669)\n[14] [https://hackmd.io/@felixkao/HkZaooPD3](https://link.zhihu.com/?target=https%3A//hackmd.io/%40felixkao/HkZaooPD3)\n[15] [SpecInfer: Accelerating Generative Large Language Model Serving with Speculative Inference and Token Tree Verification](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2305.09781.pdf)\n[16] [Fast Inference from Transformers via Speculative Decoding](https://link.zhihu.com/?target=https%3A//proceedings.mlr.press/v202/leviathan23a/leviathan23a.pdf)\n[17] [Accelerating large language model decoding with speculative sampling](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2302.01318) \n\n> [钟鼎山林](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E9%92%9F%E9%BC%8E%E5%B1%B1%E6%9E%97&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLpkp_pvI7lsbHmnpciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.B_v0DNwL4C-19KiNaN6x-aFZjH1ssKj6CCTRHNWOmC0&zhida_source=entity)都是梦，人间宠辱休惊。 —— 辛弃疾 《临江仙》\n编辑于 2025-03-14 10:50・上海\n[LLM](https://www.zhihu.com/topic/20660508)\n[自然语言处理](https://www.zhihu.com/topic/19560026)\n[ChatGPT](https://www.zhihu.com/topic/26691895)\n​赞同 998​​36 条评论​2700 ​226 \n​分享\n​申请转载​\n​\n![](../images/body-7e064b35ba4350074989.jpeg)\n未登录用户\n \n\n36 条评论\n默认\n最新\n[![maja](../images/039.jpg)](https://www.zhihu.com/people/86ec4c410779bfcb3b0fcaa7bddecdc5)\n[maja](https://www.zhihu.com/people/86ec4c410779bfcb3b0fcaa7bddecdc5)\n​![](../images/body-ce088339e12c259915b9.png)\n很赞。这一期不算是NLP独有了，关于第一部分，Fastertransformer其实我发现如果第三方直接使用，QKV比较容易出现匹配失败，原因就是第三方在做 QK 会加入 Mul mask等操作，再送入soft Max。所以这块其实需要针对不同需求不断扩展状态机匹配模式。Layernorm 存在类似问题，因为layernorm 算子有不同的形态，数学等价，需要格外注意⚠️。![\\[微笑\\]](https://pic1.zhimg.com/v2-3700cc07f14a49c6db94a82e989d4548.png)\n2023-07-15 · 北京\n​回复​5\n展开其他 4 条回复​\n[![Merce Pan](../images/body-cf19861fd22108d37d3e.jpg)](https://www.zhihu.com/people/e6ef5ff48e8e5646d793ed3297475292)\n[Merce Pan](https://www.zhihu.com/people/e6ef5ff48e8e5646d793ed3297475292)\n目前未找到公开的在 LLM 方面的推理性能数据。![\\[酷\\]](https://pic4.zhimg.com/v2-c96dd18b15beb196b2daba95d26d9b1c.png)![\\[大笑\\]](https://pic1.zhimg.com/v2-3ac403672728e5e91f5b2d3c095e415a.png)![\\[滑稽\\]](https://pic4.zhimg.com/v2-8a8f1403a93ddd0a458bed730bebe19b.png)![\\[笑哭\\]](https://pic4.zhimg.com/v2-ca0015e8ed8462cfce839fba518df585.png)\n2023-07-27 · 上海\n​回复​2\n[![maja](../images/body-b4821443d4fb2a4a0d73.jpg)](https://www.zhihu.com/people/86ec4c410779bfcb3b0fcaa7bddecdc5)\n[maja](https://www.zhihu.com/people/86ec4c410779bfcb3b0fcaa7bddecdc5)\n​![](../images/body-ce088339e12c259915b9.png)\nSparsity 我一直在关注 但是感觉Nv的动力不足，最优秀的Sparsity实现需要和tensor core等矩阵乘加DSA加速模块配套。我这里还是推荐可以关注下 GC发布的Block sparsity 已经 墨芯的 sparsity tensor core. 按理说人的大脑🧠在幼年，青春期有两次大的剪枝和sparsity对认知进行重大革新。但是sparsity 无论是工业界 和 学术界）学术界可能没法提出和tensor core 使用方式一致的sparsity) 进展还是太慢了![\\[流泪\\]](https://pic4.zhimg.com/v2-dd613c7c81599bcc3085fc855c752950.png)，需要有一个领军人物出来扛起大梁。\n2023-07-15 · 北京\n​回复​2\n[![正经人](../images/body-9f74649730d8ca05d213.jpg)](https://www.zhihu.com/people/439568d5a9c936317d1aba45881b78a6)\n[正经人](https://www.zhihu.com/people/439568d5a9c936317d1aba45881b78a6)\n谢谢作者的总结，感觉能写一篇综述了，目前还没有人总结。看到的唯一一篇还是总结的量化技术： A Comprehensive Survey on Model Quantization for Deep Neural Networks in Image Classification 。 另外有个问题，微软23年提出的LLMA属于这里面的方法中的任意一种吗？文章链接： [http://arxiv.org/abs/2304.04487](http://link.zhihu.com/?target=http%3A//arxiv.org/abs/2304.04487)。\n2023-08-30 · 荷兰\n​回复​1\n[![紫气东来](../images/body-73e5767cfba2b76217dd.jpg)](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n[紫气东来](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n作者​![](../images/body-ce088339e12c259915b9.png)\nLLMA 并不是一个通用的推理优化的方法，主要是是针对有 reference 的情况，另外在推理时也使用了 accelerate\n2023-08-30 · 上海\n​回复​喜欢\n展开其他 1 条回复​\n[![Hehehe](../images/body-3dde2d07625d3c7ca6db.jpg)](https://www.zhihu.com/people/78c926b2e1b5124c816bafc3cdb36b3c)\n[Hehehe](https://www.zhihu.com/people/78c926b2e1b5124c816bafc3cdb36b3c)\n每篇的诗句，随机的，还是和本篇相关\n2024-04-10 · 上海\n​回复​喜欢\n[![紫气东来](../images/body-943a826eb79b07e0faa7.jpg)](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n[紫气东来](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n作者​![](../images/body-ce088339e12c259915b9.png)\n和写作时候的心情、环境、状态相关\n2024-04-10 · 上海\n​回复​1\n[![Grizz](../images/body-1627f2eb39b7b32f1ab3.jpg)](https://www.zhihu.com/people/5949430111422e0d897cef947468576f)\n[Grizz](https://www.zhihu.com/people/5949430111422e0d897cef947468576f)\n谢谢分享，很棒的总结，期待作者继续输出![\\[爱\\]](https://pic1.zhimg.com/v2-0942128ebfe78f000e84339fbb745611.png)\n2024-03-16 · 浙江\n​回复​喜欢\n[![张伟](../images/body-b41d2380f587cbd3cd37.jpg)](https://www.zhihu.com/people/5ae09f504cdb20302701bb34854e6948)\n[张伟](https://www.zhihu.com/people/5ae09f504cdb20302701bb34854e6948)\n谢谢分享\n2024-01-11 · 浙江\n​回复​喜欢\n[![BlueDog](../images/body-f45d789e580162284ecb.jpg)](https://www.zhihu.com/people/8d3a8030276fe140eb1098d1a11a925f)\n[BlueDog](https://www.zhihu.com/people/8d3a8030276fe140eb1098d1a11a925f)\n作者你好，首先感谢你的精彩分享！我想请教一个问题，既然想把batch中请求的起始时间分开而不需等待，那为什么非要这么麻烦地使用dynamic batching的技术呢？为何不直接启动多个进程，每个进程每次就执行一个请求呢？（共享context或runtime很容易做到）\n2023-09-27 · 北京\n​回复​喜欢\n[![紫气东来](../images/body-943a826eb79b07e0faa7.jpg)](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n[紫气东来](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n作者​![](../images/body-ce088339e12c259915b9.png)\n是这样，如果每次只跑BS=1，你说的没有问题，但是BS1通常卡的算力得不到充分利用\n2023-09-27 · 上海\n​回复​1\n查看全部 6 条回复​\n[![冰镇小牛奶](../images/body-0b7accd24109c472c5d3.jpg)](https://www.zhihu.com/people/d4e99a8fe75434dcb9f1090f755883af)\n[冰镇小牛奶](https://www.zhihu.com/people/d4e99a8fe75434dcb9f1090f755883af)\n你咋这么卷![\\[惊讶\\]](https://pic4.zhimg.com/v2-0d9811a7961c96d84ee6946692a37469.png)\n2023-09-19 · 浙江\n​回复​喜欢\n[![炼金术士](../images/body-630c62a529b9aae9df7a.jpg)](https://www.zhihu.com/people/d68f219b85467c00b10c3709352f1be4)\n[炼金术士](https://www.zhihu.com/people/d68f219b85467c00b10c3709352f1be4)\n看文章意思，TP, PP 目的还不一样？？\n不应该都是为了加载更大 的模型么？为何TP 说是用来减少时延呢\n2023-09-13 · 广东\n​回复​喜欢\n[![紫气东来](../images/body-5419f6fd0627c681f976.jpg)](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n[紫气东来](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n作者​![](../images/body-ce088339e12c259915b9.png)\n从整体上来说是为了放更大模型，但是二者还是有很多不一样的地方，在训练和推理上也不太一样\n2023-09-13 · 上海\n​回复​喜欢\n点击查看全部评论\n![](../images/body-7e064b35ba4350074989.jpeg)\n未登录用户\n \n\n关于作者\n[![紫气东来](../images/003.jpg)](https://www.zhihu.com/people/zi-qi-dong-lai-1)\n[紫气东来](https://www.zhihu.com/people/zi-qi-dong-lai-1)\n吾生也有涯，而知也无涯～\n[​](https://zhuanlan.zhihu.com/p/96956163)\n上海交通大学 工学硕士\n[ 回答 **32** ](https://www.zhihu.com/people/zi-qi-dong-lai-1/answers)[ 文章 **114** ](https://www.zhihu.com/people/zi-qi-dong-lai-1/posts)[ 关注者 **24,445** ](https://www.zhihu.com/people/zi-qi-dong-lai-1/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)\n[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)\n### 推荐阅读\n[ ![Xinference:本地部署需要的LLM，embedding，rerank大模型](../images/body-e4ef8300a9308657ca07.jpg)Xinference:本地部署需要的LLM，embedding，rerank大模型 Nicole ](https://zhuanlan.zhihu.com/p/762279077)[ ![LLM推理并行优化的必备知识](../images/body-fb1decbff7ff0ed61a8f.jpg)LLM推理并行优化的必备知识 kaiyuan ](https://zhuanlan.zhihu.com/p/1937449564509545940)[ ![全景解读高效推理：LLM 也会「想太多」？](../images/body-517b070f7be81c006b1d.jpg)全景解读高效推理：LLM 也会「想太多」？ tomsh...发表于硅基进化 ](https://zhuanlan.zhihu.com/p/33127419859)[ ![LLM推理加速调研](../images/body-0179be504f96e0a2188e.jpg)LLM推理加速调研 akaih...发表于LLM(大... ](https://zhuanlan.zhihu.com/p/699776257) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](../images/body-0f9788d006ab0f4da762.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n", "metadata": { "title": "LLM(18)：LLM 的推理优化技术纵览 - 知乎", "description": "推理是 LLM 应用的重要一环，在部署服务环节影响重大，本文将讨论主流的 LLM 的推理优化技术。 一、子图融合（subgraph fusion）图融合技术即通过将多个 OP（算子）合并成一个 OP（算子），来减少 Kernel的调用。…", "keywords": "LLM,自然语言处理,ChatGPT", "author": null, "og:title": "LLM(18)：LLM 的推理优化技术纵览", "og:url": "https://zhuanlan.zhihu.com/p/642412124", "og:description": "推理是 LLM 应用的重要一环，在部署服务环节影响重大，本文将讨论主流的 LLM 的推理优化技术。 一、子图融合（subgraph fusion）图融合技术即通过将多个 OP（算子）合并成一个 OP（算子），来减少 Kernel的调用。…", "og:image": "https://pica.zhimg.com/v2-1fc77fb5618c34f9ad479723430abbdd_720w.jpg?source=172ae18b", "og:type": "article", "og:site_name": "知乎专栏" }, "paywall": { "listed_paid": false, "detected": false, "marker": "", "public_only": false, "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙" }, "crawl": { "success": true, "status_code": 200, "error": "" }, "code_blocks": [ { "language": "txt", "file": "attachments/15453b802d45/code/block_000.txt", "chars": 1033 } ], "images": [ { "status": "http_403", "url": "https://zhuanlan.zhihu.com/p/642412124", "src": "https://zhuanlan.zhihu.com/p/642412124", "alt": "", "downloaded": false, "discovery": "saved_markdown", "retried_at": "2026-10-20T18:04:04Z" } ], "audio": [], "videos": [], "links": [ { "type": "internal", "href": "https://www.zhihu.com" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Ffollow" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2F" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fhot" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fcolumn-square" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fring-feeds" }, { "type": "internal", "href": "https://www.zhihu.com/project-square" }, { "type": "internal", "href": "https://www.zhihu.com/fiore/h5/vip-web" }, { "type": "internal", "href": "https://zhida.zhihu.com/" }, { "type": "internal", "href": "https://www.zhihu.com/column/c_1465775160745324544" }, { "type": "internal", "href": "https://www.zhihu.com/people/zi-qi-dong-lai-1" }, { "type": "internal", "href": "https://www.zhihu.com/question/48510028" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmjqjnkIbkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.HPGM07Cohgm0yeodfJalBIGdaFzkUmh9FtleuD77W-0&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%AD%90%E5%9B%BE%E8%9E%8D%E5%90%88&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlrZDlm77ono3lkIgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.NudJxy5acA05FfgwKqos0T1jKqemkse-SiXaB5shEys&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=2&q=%E7%AE%97%E5%AD%90&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnrpflrZAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.vBNOeHO9tF-yfF5ZohxZvhxv8xeBqKtMFxlAYcEOFYA&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Kernel&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJLZXJuZWwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.CeEIZwLemlS27eyi6Qvv0GSn_ivuaMS62lmvLfIKHj0&zhida_source=entity" }, { "type": "internal", "href": "https://link.zhihu.com/?target=https%3A%2F%2Fgithub.com%2FNVIDIA%2FFasterTransformer" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnpZ7nu4_nvZHnu5wiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.vXi5-fqLBR3Eeg8DLpfjXoeK5pJzbDfMZbsHuNAWyhA&zhida_source=entity" }, { "type": "internal", "href": "https://link.zhihu.com/?target=https%3A%2F%2Flink.juejin.cn%2F%3Ftarget%3Dhttps%253A%252F%252Fdeveloper.nvidia.com%252Fblog%252Foptimizing-t5-and-gpt-2-for-real-time-inference-with-tensorrt%252F" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%88%86%E5%B8%83%E5%BC%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLliIbluIPlvI8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.fNIrmQnWpDkBoc9VjVvtgLbmyd95GWtxNIbp7NzOoFM&zhida_source=entity" }, { "type": "external", "href": "javascript:void(0)" } ], "repair_version": 2, "repaired_at": "2026-10-20T17:31:49Z", "source_url": "https://zhuanlan.zhihu.com/p/642412124", "delivery_status": "unverified", "discovery_status": "http_403", "missing_reason": "源页面未重新核验:http_403；已按保留正文补采图片", "repair_error": "", "actual_video_files": [], "expected_saved_body_images": 1, "image_discovery": "saved_markdown", "source_body_markdown": "[![](https://zhuanlan.zhihu.com/p/642412124)](javascript:void\\(0\\))\n![ZhiHu logo](https://static.zhihu.com/heifetz/assets/wechat-share-logo.39ea9ecd.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\nLLM(18)：LLM 的推理优化技术纵览\n首发于[从NLP到LLM](https://www.zhihu.com/column/c_1465775160745324544)\n切换模式\n![LLM\\(18\\)：LLM 的推理优化技术纵览](https://pica.zhimg.com/70/v2-1fc77fb5618c34f9ad479723430abbdd_1440w.image?source=172ae18b&biz_tag=Post)\n# LLM(18)：LLM 的推理优化技术纵览\n[![紫气东来](https://picx.zhimg.com/v2-af1c72506a7ac445b11f3b518e47bbd1_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/zi-qi-dong-lai-1)\n[紫气东来](https://www.zhihu.com/people/zi-qi-dong-lai-1)\n[​![](https://picx.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)](https://www.zhihu.com/question/48510028)\n上海交通大学 工学硕士\n[收录于 · 从NLP到LLM](https://www.zhihu.com/column/c_1465775160745324544)\n998 人赞同了该文章\n​\n目录\n推理是 LLM 应用的重要一环，在部署服务环节影响重大，本文将讨论主流的 LLM 的[推理优化](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmjqjnkIbkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.HPGM07Cohgm0yeodfJalBIGdaFzkUmh9FtleuD77W-0&zhida_source=entity)技术。\n## 一、[子图融合](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%AD%90%E5%9B%BE%E8%9E%8D%E5%90%88&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlrZDlm77ono3lkIgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.NudJxy5acA05FfgwKqos0T1jKqemkse-SiXaB5shEys&zhida_source=entity)（subgraph fusion）\n图融合技术即通过将多个 OP（算子）合并成一个 OP（[算子](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=2&q=%E7%AE%97%E5%AD%90&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnrpflrZAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.vBNOeHO9tF-yfF5ZohxZvhxv8xeBqKtMFxlAYcEOFYA&zhida_source=entity)），来减少`Kernel[](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Kernel&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJLZXJuZWwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.CeEIZwLemlS27eyi6Qvv0GSn_ivuaMS62lmvLfIKHj0&zhida_source=entity)`的调用。因为每一个基本 OP 都会对应一次 GPU kernel 的调用，和多次显存读写，这些都会增加大量额外的开销。\n### 1.1 [FasterTransformer](https://link.zhihu.com/?target=https%3A//github.com/NVIDIA/FasterTransformer) by NVIDIA\n`FasterTransformer`(FT) 是一个用于实现基于`Transformer`的[神经网络](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnpZ7nu4_nvZHnu5wiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.vXi5-fqLBR3Eeg8DLpfjXoeK5pJzbDfMZbsHuNAWyhA&zhida_source=entity)推理的加速引擎。`FT`框架是用`C++/CUDA`编写的，依赖于高度优化的 cuBLAS、cuBLASLt 和 cuSPARSELt 库，与 [NVIDIA TensorRT](https://link.zhihu.com/?target=https%3A//link.juejin.cn/%3Ftarget%3Dhttps%253A%252F%252Fdeveloper.nvidia.com%252Fblog%252Foptimizing-t5-and-gpt-2-for-real-time-inference-with-tensorrt%252F) 等其他编译器相比，FT 的特点是它支持**以[分布式](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%88%86%E5%B8%83%E5%BC%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLliIbluIPlvI8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.fNIrmQnWpDkBoc9VjVvtgLbmyd95GWtxNIbp7NzOoFM&zhida_source=entity)方式推理 Transformer 大模型**。\n图融合是`FT` 的一个重要特征，将多层神经网络组合成一个单一的神经网络，将使用一个单一的内核进行计算。 这种技术减少了数据传输并增加了[数学密度](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%95%B0%E5%AD%A6%E5%AF%86%E5%BA%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmlbDlrablr4bluqYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.2BS29IfwlJbgiCda6PT3jlEdAGFJ8DoaTbmFPTWjnTo&zhida_source=entity)，从而加速了推理阶段的计算。 例如， [multi-head attention](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=multi-head+attention&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJtdWx0aS1oZWFkIGF0dGVudGlvbiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMDg4OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.N3DKe1qOHqg96-a1-VtLtu8da594QWHqYNUSfo9IT4I&zhida_source=entity) 块中的所有操作都可以合并到一个[内核](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=2&q=%E5%86%85%E6%A0%B8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlhoXmoLgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.9dRlOivW97nH7kFz50FLf8fRqAG4nKhv_EN2AGN-cno&zhida_source=entity)中。\n![](https://pic4.zhimg.com/v2-b239f3087adf5aa7d595aa1f185737f1_1440w.jpg)\n除此之外，`FT`还对部分大模型分别支持：\n * `INT8` 低精度[量化推理](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E9%87%8F%E5%8C%96%E6%8E%A8%E7%90%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLph4_ljJbmjqjnkIYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.K49XL7443aiLuvvqh2R-dXz5_Mj0Vrf6DghQ79r3zEk&zhida_source=entity)\n * Ampere 架构的 GPU 硬件部分支持稀疏化\n * Hopper 架构支持 FP8 推理\n * Tensor 并行\n * [Pipeline](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Pipeline&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJQaXBlbGluZSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMDg4OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.FC2Au8_DAwBaFGeZ0PXlzJSHWi6M86NzRBeaeZ2HztY&zhida_source=entity) 并行\n\n\n### 1.2 [DeepSpeed Inference](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2207.00032.pdf) by Microsoft\n对于 Transformer layer，可分为以下4个主要部分：\n 1. Input Layer-Norm plus Query, Key, and Value GeMMs and their bias adds.\n 2. Transform plus Attention.\n 3. Intermediate FF, Layer-Norm, Bias-add, Residual, and Gaussian Error Linear Unit (GELU).\n 4. Bias-add plus Residual.\n\n\n如图所示，每一部分可分别进行融合，与未融合相比，以上几个部分的加速比可分别达到 1.5x, 2.9x, 3x, 1.2x 。\n![](https://picx.zhimg.com/v2-fe415109e5bd552485d1a42fbdd3d679_1440w.jpg)\n除此之外，DeepSpeed Inference 的优化点还有以下几点：\n * 多 GPU 的[并行优化](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%B9%B6%E8%A1%8C%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlubbooYzkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.HeiTNjTBllhVpdRyWeBItBsZfQvtLfLgFBs0bklDxwM&zhida_source=entity)\n * INT8 模型量化\n * 推理的 pipeline 方案\n\n\n更多详细介绍及实践可参考笔者之前的文章：\n[](https://zhuanlan.zhihu.com/p/629085568)\n### 1.3 [MLC LLM](https://link.zhihu.com/?target=https%3A//github.com/mlc-ai/mlc-llm) by [TVM](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=TVM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJUVk0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.mbCoDHSUEl0Vnu6BiqnkzYyuPkfDuPQSYHtk6JeG3tU&zhida_source=entity)\n之前介绍的推理方案主要是基于GPU的优化，而 MLC LLM 提供了可应用于移动端（例如 iPhone）、消费级电脑端（例如 Mac）和 Web 浏览器的轻设备解决方案。\nMLC LLM 的主要工作流基于 [Apache TVM](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Apache+TVM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJBcGFjaGUgVFZNIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.IIMUeLhmiQ82Q6DBK6hqlqxbMhnv8OCUyTMsOsV70hs&zhida_source=entity) Unity，通过扩展 TVM 后端使模型编译更加透明和高效。其中以编译代码转换、融合、内存规划和库卸载（library offloading）为代表的可组合的 ML [编译优化](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%BC%96%E8%AF%91%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnvJbor5HkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.YU80QU1uJNrLXa91sWYiUcdHtVhXrHzIMgVqcS0v06c&zhida_source=entity)是其中重要的优化特性。\n![](https://pic4.zhimg.com/v2-942db4a7b53c01251a30cd9f79e83439_1440w.jpg)\n除此之外，MLC LLM 还具有以下特性：\n * Dynamic shape：避免了对最大输入长度进行额外填充的需要，并减少了计算量和内存使用量。 \n * 量化：MLC LLM 利用低位量化来压缩模型权重，并利用 TVM 的 loop-level TensorIR 为不同的压缩编码方案快速定制代码生成。 \n * 运行时（Runtime）：TVM 编译生成的库能够通过 TVM [runtime](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=runtime&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJydW50aW1lIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.PrX1YAFmp4NX2uCtGWn8M3feayYRHQQ-tZ_ivTuGEss&zhida_source=entity) 在设备的原生环境中运行，TVM runtime 支持 CUDA/Vulkan/Metal 等主流 GPU 驱动以及 C、JavaScript 等语言的绑定。\n\n\n除了上述3种方案外，其他也支持图融合的方案还包括 [NVIDIA TensorRT](https://link.zhihu.com/?target=https%3A//link.juejin.cn/%3Ftarget%3Dhttps%253A%252F%252Fdeveloper.nvidia.com%252Fblog%252Foptimizing-t5-and-gpt-2-for-real-time-inference-with-tensorrt%252F)， [Tencent TurboTransformers](https://link.zhihu.com/?target=https%3A//github.com/Tencent/TurboTransformers) 等。\n## 二、[模型压缩](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E5%8E%8B%E7%BC%A9&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmqKHlnovljovnvKkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.-knLGzHjAGm49K-qoFNnpKsZby36TKJu_tgiGdzlNRg&zhida_source=entity)（Model Compression）\n模型压缩的基本动机在于当前的模型是冗余的，可以在精度损失很小的情况下实现模型小型化，主要包括3类方法：稀疏(Sparsity)、量化(Quantization)、蒸馏(Distillation)。\n### 2.1 稀疏(Sparsity)\n实现稀疏(Sparsity)的一个重要方法是剪枝(Pruning)。[剪枝](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=2&q=%E5%89%AA%E6%9E%9D&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLliarmnp0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.gQgjrBMOadqGwRjv1ZT4Gv9qTK-l8MQcStN6eTd29pc&zhida_source=entity)是在保留模型容量的情况下，通过修剪不重要的模型权重或连接来减小模型大小。 它可能需要也可能不需要重新培训。 修剪可以是非结构化的或结构化的。\n * 非结构化剪枝允许删除任何权重或连接，因此它不保留原始网络架构。 非结构化剪枝通常不适用于现代硬件，并且不会带来实际的推理加速。\n * [结构化剪枝](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=3&q=%E7%BB%93%E6%9E%84%E5%8C%96%E5%89%AA%E6%9E%9D&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnu5PmnoTljJbliarmnp0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MywiemRfdG9rZW4iOm51bGx9.-Tzi0M7JJAKcnAKot7dk5YKBR1Adl8sM_-yWxI7epok&zhida_source=entity)旨在维持某些元素为零的[密集矩阵](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%AF%86%E9%9B%86%E7%9F%A9%E9%98%B5&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlr4bpm4bnn6npmLUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.2BvggAkqSyiU7TsuyDzSSDszm3CMmxYFnvLlX2d14po&zhida_source=entity)乘法形式。 他们可能需要遵循某些模式限制才能使用硬件内核支持的内容。 当前的主流方法关注结构化剪枝，以实现 Transformer 模型的高稀疏性。\n\n\n关于剪枝稀疏的基本原理，可参考笔者之前的文章：\n[](https://zhuanlan.zhihu.com/p/615399255)\n除了上文介绍的稀疏方法外，还有其他的稀疏化方法，包括但不限于：\n * [SparseGPT](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2301.00774.pdf)：该方法的工作原理是将剪枝问题简化为大规模的[稀疏回归](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%A8%80%E7%96%8F%E5%9B%9E%E5%BD%92&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnqIDnlo_lm57lvZIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.cerPjZRo_ljgTk8qWccQc8RO2tELp7qUyzVWjfk3XFc&zhida_source=entity)实例。它基于新的近似稀疏回归求解器，用于解决分层压缩问题，其效率足以在几个小时内使用单个 GPU 在最大的 GPT 模型（175B 参数）上执行。同时，SparseGPT 准确率足够高，不需要任何微调，剪枝后所损耗的准确率也可以忽略不计。\n * [LLM-Pruner](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2305.11627.pdf)：遵循经典的“重要性估计-剪枝-微调”的策略，能够在有限资源下完成大语言模型的压缩，结果表明即使剪枝 20％ 的参数，压缩后的模型保留了 93.6％ 的性能。\n * [Wanda](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2306.11695.pdf): 该方法由两个简单但必不可少的组件构成——剪枝度量和剪枝粒度。剪枝度量用来评估权重的重要性，然后按照剪枝粒度进行裁剪。该方法在 65B 的模型上只需要 5.6 秒就可以完成剪枝，同时达到SparseGPT相近的效果。\n\n\n以上主要实现了稀疏的方法，那么对于稀疏后的模型如何加速呢？NVIDIA Ampere 架构对与结构化稀疏做了专门的[稀疏加速单元](https://link.zhihu.com/?target=https%3A//developer.nvidia.com/blog/accelerating-inference-with-sparsity-using-ampere-and-tensorrt/)，下图展示了结构化稀疏的物理表示：\n![](https://pica.zhimg.com/v2-69b4e98ed5c47ba98ac496598ce4a31a_1440w.jpg)\n2:4 结构化稀疏表示\n下图展示了稀疏单元GEMM计算与标准GEMM计算的区别（详细解释参见[https://arxiv.org/pdf/2104.08378.pdf](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2104.08378.pdf)）\n![](https://pic2.zhimg.com/v2-67533793fe25f97960c383c62c9ff62b_1440w.jpg)\nSparse VS Dense GEMM\n### 2.2 量化(Quantization)\n常见量化有两种常见方法：\n * 训练后量化（Post-Training Quantization，PTQ）：模型首先经过训练以达到收敛，然后我们将其[权重](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=5&q=%E6%9D%83%E9%87%8D&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmnYPph40iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NSwiemRfdG9rZW4iOm51bGx9.M7zLwLKFGeCU0DFFnqc_eYby-uuuEB652on2GMEcmnc&zhida_source=entity)转换为较低的精度，而无需进行更多训练。 与训练相比，实施起来通常相当便宜。\n * [量化感知训练](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E9%87%8F%E5%8C%96%E6%84%9F%E7%9F%A5%E8%AE%AD%E7%BB%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLph4_ljJbmhJ_nn6Xorq3nu4MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bNQkQxOCFee_RHeqdpjL0aHpppv4Uu5RY9OsQtKFf1Y&zhida_source=entity)（Quantization-Aware Training，QAT）：在预训练或进一步微调期间应用量化。 QAT 能够获得更好的性能，但需要额外的计算资源和对代表性训练数据的访问。\n\n\n实际上，由于 GPU 内核缺乏对某些类型的矩阵乘法（例如 INT4 x FP16）的支持，理论最优量化策略与硬件内核支持之间的差距，并非以下所有方法都能加速实际推理。\n关于量化的基本原理和实现细节，可参考笔者之前的文章：\n[](https://zhuanlan.zhihu.com/p/627436535)\n许多关于 Transformer 模型量化的研究都有相同的观察结果：简单的低精度（例如 8 bit）训练后量化会导致性能显着下降，这主要是由于动态的 activation 和静态的 weight 量化策略无法保持一致。\n![](https://pic1.zhimg.com/v2-9824082fcbbcba958934a4a4f5eab918_1440w.jpg)\n为了不损失精度而提高性能，可以考虑 WeightOnly [量化技术](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E9%87%8F%E5%8C%96%E6%8A%80%E6%9C%AF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLph4_ljJbmioDmnK8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.hvY_JSJbws3VQ3s7gHdvstGMzWPE6Qp8wH_R8K6Rd4o&zhida_source=entity)，即只把 Weight 量化成 int8 格式，以降低访存压力。到实际 Kernel 内部再 Dequantize 回 fp16，进行矩阵乘计算。这种方法在 BS 较小是比较有效(因为此时的瓶颈在IO)，BS 较大时(因为此时的瓶颈在计算)效果变差。\n![](https://pic4.zhimg.com/v2-58705e83db3886efa8206769eb4d657b_1440w.jpg)\nWeightOnly 量化的典型案例是 [AWQ: Activation-aware Weight Quantization](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2306.00978.pdf)，即只对 weight 进行量化以实现压缩和加速的效果。\n### 2.3 蒸馏(Distillation)\n[知识蒸馏](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2006.05525)是一种构建更小、更便宜的模型（“student 模型”）的直接方法，通过从预先训练的昂贵模型中转移技能来加速推理（“ teacher 模型”）融入 student。 除了与 teacher 匹配的输出空间以构建适当的学习目标之外，对于如何构建 student 架构没有太多限制。\n![](https://picx.zhimg.com/v2-9dfcd56236628ab5d5e81c8a88f9e081_1440w.jpg)\n知识蒸馏基本框架\n给定数据集，训练 student 模型通过[蒸馏损失](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E8%92%B8%E9%A6%8F%E6%8D%9F%E5%A4%B1&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLokrjppo_mjZ_lpLEiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.87ml624BNgep1j9eTF5SAA8SghnjiXR14t_wKhAU89k&zhida_source=entity)来模仿 teacher 的输出。 通常神经网络有一个softmax层； 例如，LLM 输出 token 的[概率分布](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%A6%82%E7%8E%87%E5%88%86%E5%B8%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmpoLnjofliIbluIMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.SQ6LB8vyuHRhYdThAz2_4Xh486brl-sCJYgNX9Y5v0U&zhida_source=entity)。 将 softmax 之前的 logits 层表示为 \\mathbf{z}_t 和 \\mathbf{z}_s , 分别表示 teacher 和 student 模型。 蒸馏损失最小化两个 softmax 输出之间的差异（温度 T ）。 当标签 y 已知，可以将其与student 的 [logits](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=2&q=logits&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJsb2dpdHMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.MRiAMU0L3BS45nv_zZ1222DsM5oljrjmsUVxEjhmZYU&zhida_source=entity) 之间计算[交叉熵](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E4%BA%A4%E5%8F%89%E7%86%B5&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLkuqTlj4nnhrUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.KPZW7u47H5Y7jUB6KV9pLOjckIZdqZc16cMoMfYM2t0&zhida_source=entity)，最后将两个损失相加，如下：\n\\mathcal{L}_{\\mathrm{KD}}=\\mathcal{L}_{\\text {distll }}\\left(\\operatorname{softmax}\\left(\\mathbf{z}_t, T\\right), \\operatorname{softmax}\\left(\\mathbf{z}_s, T\\right)\\right)+\\lambda \\mathcal{L}_{\\mathrm{CE}}\\left(\\mathbf{y}, \\mathbf{z}_s\\right)\n在 Transformer 中一个典型案例是[DistilBERT](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1910.01108)，模型参数减少 40%，速度提升71%。在大模型时代，蒸馏可以与量化、剪枝或稀疏化技术相结合，其中 teacher 模型是原始的全精度密集模型，而 student 模型则经过量化、剪枝或修剪以具有更高的稀疏级别，以实现模型的小型化。\n### 2.4 [MoE](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=MoE&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJNb0UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.yAD9UHtlBDmEnx1QXtGO5z7KbkiZ8ASVEgJ-gN8gxY8&zhida_source=entity)\n随着模型越来越大，训练和推理成本会平方级增长，为了平衡成本和规模，即希望在较小成本下实现超大模型的效果，通常会采用 MOE（Mixture-of-Experts）技术。\nMoE 层即将大模型拆分成多个小模型(专家，expert)， 每轮迭代根据样本决定激活一部分专家用于计算，达到了节省计算资源的效果；并引入可训练并确保稀疏性的门( gate )机制，以保证计算能力的优化。\n与密集模型不同，MoE 将模型的某一层扩展为多个具有相同结构的专家网络( expert )，并由门( gate )网络决定激活哪些 expert 用于计算，从而实现超大规模[稀疏模型](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%A8%80%E7%96%8F%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnqIDnlo_mqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.9XXdyQOjw-Arj_fKPrlpLETO4frEJhXSe4ku3iWxBGs&zhida_source=entity)的训练。MoE 细节如下图所示，中间层具有 n 个 expert 的 MoE 结构，并引入 Gating network 和 Top_k 机制。计算过程如下公式：\n\\begin{gathered} M o E(x)=\\sum_{i=1}^n\\left(G(x)_i E_i(x)\\right) \\\\\\ G(x)=\\operatorname{TopK}\\left(\\operatorname{softmax}\\left(W_g(x)+\\epsilon\\right)\\right) \\end{gathered} \\\\\\\n上述第 1 个公式表示了包含 n 个专家的 MoE 层的计算过程。具体来讲，首先对样本 x 进行门控计算， W 表示[权重矩阵](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%9D%83%E9%87%8D%E7%9F%A9%E9%98%B5&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmnYPph43nn6npmLUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Cf_wzc1k9HBz4HfsdHFXmvV1GTJEaXuegA4nvcg-BLc&zhida_source=entity)；然后，由 Softmax 处理后获得样本 x 被分配到各个 expert 的权重；然后，只取前 k (通常取 1 或者 2）个最大权重；最终，整个 MoE Layer 的计算结果就是选中的 k 个专家网络输出的[加权和](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%8A%A0%E6%9D%83%E5%92%8C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLliqDmnYPlkowiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.kb9we5fYUl7Qfdazn8aOGj1PHx4mD9abuVI8t6dFej0&zhida_source=entity)。\n![](https://pic1.zhimg.com/v2-1b10605f418823a308579fcf25056e6e_1440w.jpg)\n典型的 MoE 的方案包括 GShard, [Switch-Transformer](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Switch-Transformer&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJTd2l0Y2gtVHJhbnNmb3JtZXIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.RVyNtNzJrmXMcVWM5toJJiq0YZqpHjlJv6RaqmU0ruM&zhida_source=entity), GLaM, FastMoE, [DeepSpeed-MoE](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=DeepSpeed-MoE&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJEZWVwU3BlZWQtTW9FIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.-kwcD6i2tN4su3NMFQKGfpQHer_-oqzdkBDcrdcKdSY&zhida_source=entity) 等方案。\nFastMoE 支持在同一个 worker 上运行多个 experts，从而减少模型研究者在探索更多 experts 数量时所需的硬件资源。当 experts 数量较多时，FastMoE 针对传统的两层 MLP [全连接网络](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%85%A8%E8%BF%9E%E6%8E%A5%E7%BD%91%E7%BB%9C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlhajov57mjqXnvZHnu5wiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.pEFEI3J6qbBxGI0OKXWJFdZOVJzAAgOe07KMm8F_0-M&zhida_source=entity)（即 Transformer 中的 FFN 网络）使用了更精细的并行策略，从而使得 Transformer 模型中 MLP 部分的运算速度相比朴素的实现较大的加速。\n![](https://pic1.zhimg.com/v2-5a1dfad439f22b3acddff8337911dcf4_1440w.jpg)\n## 三、并行化（Parallelism）\n当前的推理的[并行化技术](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%B9%B6%E8%A1%8C%E5%8C%96%E6%8A%80%E6%9C%AF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlubbooYzljJbmioDmnK8iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.XXfpUlnmbWR0fhDBCYYakChc5Tg2LQP5H2zyn7pzybE&zhida_source=entity)主要体现在3个维度上，即 3D Parallelism:\n * Data Parallelism(DP)\n * Tensor Parallelism(TP)\n * Pipeline Parallelism(PP)\n\n\n![](https://pica.zhimg.com/v2-a2af7781f1545f571af334383f3d5994_1440w.jpg)\n3D Parallelism 的3个维度\n### 3.1 [数据并行](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%95%B0%E6%8D%AE%E5%B9%B6%E8%A1%8C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmlbDmja7lubbooYwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.dRaDRW60P4hY4kt-IEmrFtj5sc5d4WveR75HLpmwa9s&zhida_source=entity) (Data Parallelism, DP)\n在推理中，DP 主要是增加设备数来增加系统整体 Throughput，其中最经典的即DeepSpeed的Zero系列\n![](https://pic2.zhimg.com/v2-7eca670d33d4ac372507c02038970123_1440w.jpg)\n另外 FSDP 也比较高效和易用\n![](https://pic3.zhimg.com/v2-cf1d706571abca543117f453e9289d20_1440w.jpg)\n### 3.2 张量并行(Tensor Parallelism, TP)\n在推理中，TP 主要是横向增加设备数通过并行计算来减少 latency，其实现原理及细节可参考笔者之前的文章\n[](https://zhuanlan.zhihu.com/p/603908668)\n当前也有一些方便易用的 TP 方案，如 [BlackSamorez/tensor_parallel](https://link.zhihu.com/?target=https%3A//github.com/BlackSamorez/tensor_parallel) ，使用起来非常简单：\n\n```\nimport transformers\nimport tensor_parallel as tp\ntokenizer = transformers.AutoTokenizer.from_pretrained(\"facebook/opt-13b\")\nmodel = transformers.AutoModelForCausalLM.from_pretrained(\"facebook/opt-13b\") # use opt-125m for testing\n\nmodel = tp.tensor_parallel(model, [\"cuda:0\", \"cuda:1\"]) # <- each GPU has half the weights\n\ninputs = tokenizer(\"A cat sat\", return_tensors[](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=tensors&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJ0ZW5zb3JzIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.UJDPr4Bq6cFxAQ_RfoKsSI0cGWSzNzYmbuqiLMG4iss&zhida_source=entity)=\"pt\")[\"input_ids\"].to(\"cuda:0\")\noutputs = model.generate(inputs, num_beams=5)\nprint(tokenizer.decode(outputs[0])) # A cat sat on my lap for a few minutes ...\n\nmodel(input_ids=inputs, labels=inputs).loss.backward() # training works as usual\n```\n\n当前主流的推理框架都支持 TP 的方式，包括但不限于：\n * [Megatron-LM](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1909.08053.pdf)\n * [FasterTransformer](https://link.zhihu.com/?target=https%3A//github.com/NVIDIA/FasterTransformer)\n * [DeepSpeed Inference](https://link.zhihu.com/?target=https%3A//github.com/microsoft/DeepSpeed/tree/master/deepspeed/inference)\n * [vLLM](https://link.zhihu.com/?target=https%3A//github.com/vllm-project/vllm)\n * [Text Generation Inference](https://link.zhihu.com/?target=https%3A//github.com/huggingface/text-generation-inference)\n * [ParallelFormers](https://link.zhihu.com/?target=https%3A//github.com/tunib-ai/parallelformers)\n * [ColossalAI](https://link.zhihu.com/?target=https%3A//github.com/hpcaitech/ColossalAI)\n * [FlexFlow](https://link.zhihu.com/?target=https%3A//github.com/flexflow/FlexFlow)\n * [LiBai](https://link.zhihu.com/?target=https%3A//github.com/Oneflow-Inc/libai)\n * [AlpaServe](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2302.11665.pdf)\n\n\n### 3.3 [流水线并行](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%B5%81%E6%B0%B4%E7%BA%BF%E5%B9%B6%E8%A1%8C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmtYHmsLTnur_lubbooYwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.W10m1Zn97A2LWCSNUf8KY0YN5v0-90jry06LPMZLP5Y&zhida_source=entity)(Pipeline Parallelism, PP) \n在推理中，PP 主要是纵向增加设备数通过并行计算来支持更大模型，同时提高[设备利用率](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E8%AE%BE%E5%A4%87%E5%88%A9%E7%94%A8%E7%8E%87&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLorr7lpIfliKnnlKjnjociLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.DvaSHLZqhCuqPLcOXGlexhl1Q6Djx3AOvi_IMcYA_zg&zhida_source=entity)。\n![](https://pic2.zhimg.com/v2-53ac64265bc0ce890b783956741169b1_1440w.jpg)\n通常来说，PP 需要与 TP 结合以支持更大模型，并实现最佳效果\n![](https://pic2.zhimg.com/v2-e8d2aad9d31b31e5f01ec9a71cf3eae5_1440w.jpg)\n## 四、Transformer [结构优化](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%BB%93%E6%9E%84%E4%BC%98%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnu5PmnoTkvJjljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Fz-A3NIjUltpbMZK59Wz6HSTCi4i8bqQPRiwvXZpsHg&zhida_source=entity)\n该类方法主要通过优化 Transformer 的结构以实现推理性能的提升。\n### 4.1 FlashAttention\n该部分的实现细节可参考笔者之前的文章，在此不予赘述\n[](https://zhuanlan.zhihu.com/p/638468472)\n[FlashAttention-v2](https://link.zhihu.com/?target=https%3A//tridao.me/publications/flash2/flash2.pdf) 在原基础上做了改进，使其在[算法](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%AE%97%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnrpfms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.NE133DfCA8X4sLJ4BdoaShafIErju8rnS4EIzn8oBHs&zhida_source=entity)、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强。在A100 上性能数据如下：\n![](https://pic4.zhimg.com/v2-d393f3e1d664cff181026a7b754ffefd_1440w.jpg)\nFlashDecoding 是在 FlashAttention 的基础上针对 inference 的优化主要分为三步：\n 1. 长文本下将KV分成更小且方便并行的[chunk](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=chunk&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJjaHVuayIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMDg4OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.YsxZgiunnr52pNmdgcJlM-mKmZsCT5dHLTqy6q0Cn5w&zhida_source=entity)\n 2. 对每个chunk的KV，Q和他们进行之前一样的FlashAttention获取这个chunk的结果\n 3. 对每个chunk的结果进行reduce\n\n\n![动图封面](https://pic3.zhimg.com/v2-13fcb10493400523013dcfe55cc9b846_b.jpg)\n### 4.2 PagedAttention\n可参考 \n[](https://zhuanlan.zhihu.com/p/638468472)\n### 4.3 [FLAT Attention](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2107.06419.pdf)\nFLAT-Attention 与 FlashAttention 采取不同的路线来解决同一问题。 提出的解决方案有所不同，但关键思想是相同的（[tiling](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=tiling&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJ0aWxpbmciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.y-MRlTyLVjDEJshSAwpBFSUQEC5Yf0jnTVCY1llJgPo&zhida_source=entity) 和 scheudling）。下面主要讨论二者不同之处：\n![](https://pic1.zhimg.com/v2-4aaef09f88889bee0ea87af715d2e674_1440w.jpg)\n**4.3.1 Tiling 策略比较**\nFlashAttention 使用块平铺和权重固定。 FLAT-Attention 使用行平铺（行粒度）和输出固定。\n![](https://pic4.zhimg.com/v2-9288c9716e66141781431e6d3eedf713_1440w.jpg)\n**4.3.2 Scheduling 策略(数据流)比较**\nFlashAttention 的 Scheduling 过程\n![](https://picx.zhimg.com/v2-2dcdce1109983263b1492f2823841bfd_1440w.jpg)\n![](https://pic1.zhimg.com/v2-ef4bd480264d54814de243b3ca2544f2_1440w.jpg)\nFLAT-Attention 的 Scheduling 过程\n![](https://picx.zhimg.com/v2-6c4bdb8f7742e1dd8bf7725189c1b7c7_1440w.jpg)\n![](https://pica.zhimg.com/v2-9c707e5a5b342707478ef54ceaeaf744_1440w.jpg)\n## 五、[动态批处理](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%8A%A8%E6%80%81%E6%89%B9%E5%A4%84%E7%90%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLliqjmgIHmibnlpITnkIYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.jhiEG_178rxFTr_NlXx3EjP34elpwClxR5JxZrU8_DQ&zhida_source=entity)（Dynamic Batch, Continuous batch）\n该类方法主要是针对多 Batch 的场景，通过对 Batch 的时序优化，以达到去除 padding、提高吞吐和设备利用率。传统的 Batch 处理方法是静态的，因为[Batch size](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Batch+size&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJCYXRjaCBzaXplIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.moloOkBdmfvSvGQuyZeQcWZHIRj2vKj1LezZmQIg7mU&zhida_source=entity) 的大小在推理完成之前保持不变。\n如下图所示，使用静态 Batch 完成四个序列。 在第一次迭代（左）中，每个序列从prompt（黄色）生成一个token（蓝色）。 经过几次[迭代](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=3&q=%E8%BF%AD%E4%BB%A3&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLov63ku6MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MywiemRfdG9rZW4iOm51bGx9.FeYf-KyMEoT1dTI0vEwp-xpR-zodI-XAepLPmE5v84Y&zhida_source=entity)（右）后，每个完成的序列都有不同的大小，因为每个序列在不同的迭代中发出其序列结束标记（红色）。 可见序列 3 在两次迭代后就已经结束，但仍然需要等待 Batch 中的最后一个序列完成生成（在本例中，序列 2 在六次迭代后）才能统一输出，这意味着 GPU 未被充分利用。\n![](https://pic2.zhimg.com/v2-88d3d261993d2d8e282a615e9331b835_1440w.jpg)\n静态 Batch 的推理情况\n下面我们来研究 Dynamic Batch 是如何优化这一过程的。\n### 5.1 [ORCA](https://link.zhihu.com/?target=https%3A//www.usenix.org/system/files/osdi22-yu.pdf)\n[Orca](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Orca&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJPcmNhIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MjMwODg5MzM2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.Q59nX6xgp6CloYA3K-4N54jwjfBlJFOU981GyJCATW0&zhida_source=entity) 不是等到 Batch 中的所有序列完成生成，而是实现 _iteration_ 级调度，其中Batch size由每次迭代确定。 结果是，一旦 Batch 中的序列完成生成，就可以在其位置插入新序列，从而比静态 Batch 产生更高的 GPU 利用率。\n![](https://pic1.zhimg.com/v2-58ae1d63829f910e0cfc7219c9f8c730_1440w.jpg)\n下图展示了使用 Dynamic Batch 完成七个序列的过程。 左侧显示单次迭代后的批次，右侧显示多次迭代后的 Batch 。 一旦序列发出序列结束标记，就在其位置插入一个新序列（即序列 S5、S6 和 S7）。 这样可以实现更高的 GPU 利用率，因为 GPU 不会等待所有序列完成才开始新的序列。\n![](https://pic2.zhimg.com/v2-e6dace0f5c6f874039f626eafcf8fa9d_1440w.jpg)\n结果显示在延时不变的情况下，其相对于FasterTransformer 可获得 36.9 倍的吞吐提升。\n![](https://pica.zhimg.com/v2-7fb66789eae51576b8841388f59d2a0c_1440w.jpg)\n### 5.2 [FastServe](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2305.05920.pdf)\nORCA 使用first-come-first-served (FCFS) 处理推理作业, 计划任务持续运行直至完成。 由于 GPU 内存容量有限以及推理对延时敏感，无法通过任意数量的传入函数来增加处理，由此可能会导致队列阻塞。\nFastServe 使用 preemptive scheduling，通过新颖的跳跃连接 Multi-Level Feedback Queue 程序来最小化延时。 基于 LLM 推理的长度无法确定，调度程序利用输入长度信息来分配适当的初始值每个到达作业要加入的队列。 较高优先级队列跳过加入的队列以减少降级。 设计高效的GPU内存管理机制主动下载和上传 GPU 内存和主机内存之间的中间状态，以进行 LLM 推理。\n![](https://pic3.zhimg.com/v2-924abfec2b40e77cfc4420d0b8a16d72_1440w.jpg)\n实验表明，该方法比ORCA有明显的性能提升\n![](https://pic1.zhimg.com/v2-e826eaa832d2c9b973ba86b6ceaa074c_1440w.jpg)\n### 5.3 [vLLM](https://link.zhihu.com/?target=https%3A//vllm.ai/)\nvLLM 的核心是 PagedAttention，其灵感来自传统[操作系统概念](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F%E6%A6%82%E5%BF%B5&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLmk43kvZzns7vnu5_mpoLlv7UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.6lCJ1Jr0Jfgr0UGG_ER3Wugkeah2wEJ-yPTnIKVoVcw&zhida_source=entity)，例如分页和虚拟内存。 它们通过在固定大小的“页面”或块中分配内存，允许 KV 缓存变得不连续。 然后可以重写 attention 机制以对块对齐的输入进行操作，从而允许在非连续的内存范围上执行 attention 。\n这意味着 cache 分配可以 just-in-time，而不是 ahead-of-time：当启动一个新的生成任务时，框架不需要分配大小为 Maximum_context_length 的连续 cache。 每次迭代，调度程序都可以决定特定生成任务是否需要更多空间，并动态分配，而不会降低 PagedAttention 的性能。 这并不能保证内存的完美利用（浪费现在限制在 4% 以下，仅在最后一个块中），但它明显改善了当今业界广泛使用的提前分配方案的浪费 。\n总而言之，PagedAttention + vLLM 可节省大量内存，因为大多数序列不会消耗整个上下文窗口。 这些内存节省直接转化为更高的 Batch 大小，这意味着更高的吞吐量和更便宜的服务。 \n实验表明，该方法相比于静态 Batch 与其他动态 Batch 的方法吞吐性能提升明显。\n![](https://pic3.zhimg.com/v2-4d15f8b5575c5ac67cede615a335d3b0_1440w.jpg)\n### 5.4 [Text Generation Inference](https://link.zhihu.com/?target=https%3A//github.com/huggingface/text-generation-inference)\n[TGI](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=TGI&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJUR0kiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.sq4rincJqlrlh37XzN8oqt4ZFlzqetjluV8AOuRfkug&zhida_source=entity) 是 HuggingFace 开发的基于 Rust, Python 和 gRPC 的推理服务工具，其基本框架如下：\n![](https://pic3.zhimg.com/v2-3ae33f707e939f4ff89cd4f1680960e0_1440w.jpg)\n关于 TGI 的用法，可参考笔者的文章，同时对比了和 vLLM 和 FasterTransformer 的性能。\n[](https://zhuanlan.zhihu.com/p/646772063)\n### 5.5 [LMDeploy](https://link.zhihu.com/?target=https%3A//github.com/InternLM/lmdeploy)\nLMDeploy 是由 MMRazor 和 MMDeploy 团队开发的用于压缩、部署 LLM 服务的工具包。 它具有以下核心特点：\n * TurboMind：基于FasterTransformer 的高效推理引擎。\n * 交互推理：通过缓存多轮对话过程中的 k/v，记住对话历史，以避免对历史会话的重复处理。\n * 多GPU模型部署和量化\n * Dynamic Batch\n\n\n## 六、KV cache 优化\n关于 KV cache 的典型优化方法及原理，可参考笔者的文章\n[](https://zhuanlan.zhihu.com/p/659770503)\n## 七、解码优化\n### 7.1 推测解码 ( _Speculative Decoding_)\nLLM推理主要是受[内存带宽](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E5%86%85%E5%AD%98%E5%B8%A6%E5%AE%BD&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLlhoXlrZjluKblrr0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.CaX49vCPchiMw3kH5bkwL9CRX162HufaRAfd6fgqvW0&zhida_source=entity)限制的（memory-bandwidth bound）即 LLM 每个解码步所用的推理时间大部分并不是用于模型的前向计算，而是消耗在了将LLM巨量的参数从GPU显存（High-Bandwidth Memory，HBM）迁移到高速缓存（cache）上（以进行运算操作）。这个问题随着LLM规模的增大愈发严重。\n推测解码方法的关键是使用了一大一小两个模型(分别记作Mp和Mq)，推测解码方法的核心思想是：输入一个prefix，在用LLM([目标模型](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%9B%AE%E6%A0%87%E6%A8%A1%E5%9E%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnm67moIfmqKHlnosiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.onSaZoIVR538KhkKzZLRaCWgIvkSSNAgEfXpHxbD4PA&zhida_source=entity))做推理的同时，并行的让一个小得多的近似模型(approximation model)基于输入prefix以自回归的方式(autoregressively)来运行\\gamma次，生成得到\\gamma个token(被称作guesses或draft tokens)，然后并行的(parallel run)让LLM对这些推测出来的token做评估，通过随机阈值r_{i}与概率分布比p_{i}(x)/q_{i}(x)的对比，从中挑选出n个token(都是由近似模型生成)，随后让目标模型在n的基础上生成第n+1个token，最后把这n+1个token添加到原prefix之后作为新的prefix，然后重复整个过程直到满足停止条件(达到max length或生成了等)。 \n\n![](https://pic4.zhimg.com/v2-e5dfbbaea9e8082f102c1b790442bda9_1440w.jpg)\n自回归解码 vs 推测解码\n### 7.2 并行解码 —— [Medusa](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=Medusa&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJNZWR1c2EiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.g8qiFGO2KG1x7tluQ-9iLwssAqUT4Zy0-bXiVgr5pN4&zhida_source=entity)\nMedusa 主要思想是在正常的LLM的基础上，增加几个解码头，并且每个头预测的偏移量是不同的，比如原始的头预测第i个token，而新增的medusa heads分别为预测第i+1，i+2...个token。如上图，并且每个头可以指定topk个结果，这样可以将所有的topk组装成一个一个的候选结果，最后选择最优的结果。\n![](https://pic1.zhimg.com/v2-ba9b378d77a970e979fa09cdd11b6688_1440w.jpg)\n计算每个头组装之后的候选的最优解，其实这时候完全可以每个候选都走一次模型，算出概率，但是很显然不可能这样做，因为本来方案是为了加速，作者设计了一种tree attention的机制，可以做到只走一次模型来达到目的，如示例所示，第一个medusa heads的 top-2 预测和第二个medusa heads的 top-3 预测产生 2*3=6 个候选。假设原始的LLM输出是[0]，第一个头是[1,2]，第二个头是[3,4,5]。期望直接能把[0,1,2,3,4,5]，输入模型就能得到一些概率的信息，但是不同的头对应的token的父节点是不同的，所以需要冗余一些token，方便添加mask变成[0,1,2,3,4,5,3,4,5]，对应到右上的mask矩阵，每个节点只有父节点以及当前节点是1，这样其实就能得到一个树的路径关系。\n第一次用[美杜莎头](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%BE%8E%E6%9D%9C%E8%8E%8E%E5%A4%B4&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnvo7mnZzojo7lpLQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.OWBKqESuARkiiLVSQIkgP3uCBAe_kcmyw7N47IBTkN8&zhida_source=entity)解码的时候，是看不到前面i个token的，而再次输入模型可以看到完整的上文，得到完整的概率之后，可以通过头计算得到树的路径信息，比如示例对应的路径index是[0,1,3] , [0,1,4], [0,1,5], [0,2,6]，然后基于后验概率得到最优的候选片段。\n## 八、硬件升级\n以上主要介绍了在算法和模型层面的优化方法，除此之外，升级硬件系统可以进一步提升整体性能，下面将介绍几种可用于(和潜在的)推理加速的硬件产品。\n### 8.1 [NVIDIA H100 PCIe](https://link.zhihu.com/?target=https%3A//www.nvidia.cn/data-center/h100/)\nNVIDIA H100 核心架构与 Ampere 相似，数学运算部分布置在144组CUDA上，最高可拥有18432个FP32(单精度)、9216个FP64(双精度)CUDA核心，辅以576个第四代Tensor核心。H100核心采用台积电的N4工艺制造，内建800亿个晶体管，核心面积仅有814m㎡。其与A100 主要参数对比如下：\n![](https://picx.zhimg.com/v2-bf41cd47353338d3d6e9345fb84fc275_1440w.jpg)\n在性能方面，H100 较 A100 也有明显提升，其部分数据如下所示。\n![](https://pic1.zhimg.com/v2-4c0e24b9d35250c471288cffa77764b8_1440w.jpg)\n### 8.2 AMD MI300\nAMD MI300 处理器集成了24个Zen 4架构CPU核心，以及CDNA 3架构GPU核心，周围还有着8颗HBM3高速缓存，容量高达128GB，总计拥有1460亿个晶体管。与上一代 MI250相比，MI300进行AI运算的速度将提高至8倍，能效方面也将提升5倍。\n目前未找到公开的在 LLM 方面的推理性能数据。\n### 8.3 [Apple M2 Ultra](https://link.zhihu.com/?target=https%3A//www.apple.com/newsroom/2023/06/apple-introduces-m2-ultra/)\nM2 Ultra 采用第二代 5 纳米工艺制造，并使用 Apple 突破性的 UltraFusion 技术连接两个 M2 Max 芯片的芯片，使性能提高一倍。 M2 Ultra 由 1340 亿个晶体管组成，比 [M1 Ultra](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=M1+Ultra&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiJNMSBVbHRyYSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjIzMDg4OTMzNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.p9pQRUDT5m7gqjdE9sSEzSJGAxMnh_WqOh-6bDZ-tDo&zhida_source=entity) 多了 200 亿个。 其[统一内存架构](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E7%BB%9F%E4%B8%80%E5%86%85%E5%AD%98%E6%9E%B6%E6%9E%84&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLnu5_kuIDlhoXlrZjmnrbmnoQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bO4t0fBbBV8ITXP_cn4tBwq3tjb7Q8WaDBGmVYI-gus&zhida_source=entity)支持突破性的192GB内存容量，比M1 Ultra多出50%，并具有800GB/s的内存带宽，是M2 Max的两倍。 M2 Ultra 配备更强大的 CPU（比 M1 Ultra 快 20%）、更大的 GPU（快 30%）以及神经引擎（快 40%）。\n目前未找到公开的在 LLM 方面的推理性能数据。\n### 参考资料\n[1] [Large Transformer Model Inference Optimization](https://link.zhihu.com/?target=https%3A//lilianweng.github.io/posts/2023-01-10-inference-optimization/)\n[2] [Efficient Inference on a Single GPU](https://link.zhihu.com/?target=https%3A//huggingface.co/docs/transformers/perf_infer_gpu_one)\n[3] [How continuous batching enables 23x throughput in LLM inference while reducing p50 latency | Anyscale](https://link.zhihu.com/?target=https%3A//www.anyscale.com/blog/continuous-batching-llm-inference)\n[4] [https://www.coreweave.com/blog/serving-inference-for-llms-nvidia-triton-inference-server-eleuther-ai](https://link.zhihu.com/?target=https%3A//www.coreweave.com/blog/serving-inference-for-llms-nvidia-triton-inference-server-eleuther-ai)\n[5] [https://medium.com/mobius-labs/accelerating-large-language-models-strategies-for-enhancing-your-ai-inference-speed](https://link.zhihu.com/?target=https%3A//medium.com/mobius-labs/accelerating-large-language-models-strategies-for-enhancing-your-ai-inference-speed-a77dddc33bb2%23id_token%3DeyJhbGciOiJSUzI1NiIsImtpZCI6IjkzNDFkZWRlZWUyZDE4NjliNjU3ZmE5MzAzMDAwODJmZTI2YjNkOTIiLCJ0eXAiOiJKV1QifQ.eyJpc3MiOiJodHRwczovL2FjY291bnRzLmdvb2dsZS5jb20iLCJuYmYiOjE2ODg4NzQzMzMsImF1ZCI6IjIxNjI5NjAzNTgzNC1rMWs2cWUwNjBzMnRwMmEyamFtNGxqZGNtczAwc3R0Zy5hcHBzLmdvb2dsZXVzZXJjb250ZW50LmNvbSIsInN1YiI6IjExNjAzMzg2MDcwOTE0MzI0NjA1OCIsImVtYWlsIjoiaWZyb21lYXN0QGdtYWlsLmNvbSIsImVtYWlsX3ZlcmlmaWVkIjp0cnVlLCJhenAiOiIyMTYyOTYwMzU4MzQtazFrNnFlMDYwczJ0cDJhMmphbTRsamRjbXMwMHN0dGcuYXBwcy5nb29nbGV1c2VyY29udGVudC5jb20iLCJuYW1lIjoiemlkb25nIHpoYW5nIiwicGljdHVyZSI6Imh0dHBzOi8vbGgzLmdvb2dsZXVzZXJjb250ZW50LmNvbS9hL0FBY0hUdGROVWZZT2FaNEJtQm1nQ2x2X3NxQjBFazlEcVRPSEpTTjhGbFpWb242Nz1zOTYtYyIsImdpdmVuX25hbWUiOiJ6aWRvbmciLCJmYW1pbHlfbmFtZSI6InpoYW5nIiwiaWF0IjoxNjg4ODc0NjMzLCJleHAiOjE2ODg4NzgyMzMsImp0aSI6IjE2ZGZhODZlODM5NjY1MzgzOWZjNDc3MGUwODFiNDdjZmQ4NGU4NzkifQ.SzEtUp26_6ZvGPS0UkxS1lkVl_w-f4Q9VcPBUdlxbgVmXBopMiHi1nBD61umoLMZ40RCna1bQmPtQzTIHQCeJ8cUSaubEnepuR3MilA37THqPeOCXm86O7VvI7O4HNaOe2tDENZMIw1n7ZuZ_P4bmbSG9WZQgb41Ka8kDTTi3MXCRxgo8JdMD9t1JGmzkUs5Ocq_Bvb2ojVltA86rab6QVWVsvUEzg7YmqZbHSaxK_WuFYTG3E09w5YVXenIUXcerwlVkqpdAcJWi2XSkLR8aI4inpxCYLuiPMTSI1zNG0Su_cqpXMd8Lfi-KZn5vndpV63mVjN-GbteNfth4KITdA)\n[6] [LLM-Pruner: On the Structural Pruning of Large Language Models](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2305.11627.pdf)\n[7] [https://jonathan-hui.medium.com/ai-chips-a100-gpu-with-nvidia-ampere-architecture-3034ed685e6e](https://link.zhihu.com/?target=https%3A//jonathan-hui.medium.com/ai-chips-a100-gpu-with-nvidia-ampere-architecture-3034ed685e6e)\n[8] [arxiv.org/pdf/2302.14017.pdf](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2302.14017.pdf)\n[9] [7 ways to speed up inference of your hosted LLMs. «In the future, every 1% speedup on LLM… | by Sergei Savvov | Jun, 2023 | Medium | Medium](https://link.zhihu.com/?target=https%3A//slgero.medium.com/speed-up-llm-inference-83653aa24c47)\n[10] [https://arxiv.org/pdf/2104.08378.pdf](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2104.08378.pdf)\n[11] [Introduction to Weight Quantization | Towards Data Science](https://link.zhihu.com/?target=https%3A//towardsdatascience.com/introduction-to-weight-quantization-2494701b9c0c)\n[12] [Accelerating Large Language Models via Low-Bit Quantization | NVIDIA On-Demand](https://link.zhihu.com/?target=https%3A//www.nvidia.com/en-us/on-demand/session/gtcspring23-s51226/)\n[13] [认真读读WeightOnly - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/627189669)\n[14] [https://hackmd.io/@felixkao/HkZaooPD3](https://link.zhihu.com/?target=https%3A//hackmd.io/%40felixkao/HkZaooPD3)\n[15] [SpecInfer: Accelerating Generative Large Language Model Serving with Speculative Inference and Token Tree Verification](https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2305.09781.pdf)\n[16] [Fast Inference from Transformers via Speculative Decoding](https://link.zhihu.com/?target=https%3A//proceedings.mlr.press/v202/leviathan23a/leviathan23a.pdf)\n[17] [Accelerating large language model decoding with speculative sampling](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2302.01318) \n\n> [钟鼎山林](https://zhida.zhihu.com/search?content_id=230889336&content_type=Article&match_order=1&q=%E9%92%9F%E9%BC%8E%E5%B1%B1%E6%9E%97&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk1NDcsInEiOiLpkp_pvI7lsbHmnpciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoyMzA4ODkzMzYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.B_v0DNwL4C-19KiNaN6x-aFZjH1ssKj6CCTRHNWOmC0&zhida_source=entity)都是梦，人间宠辱休惊。 —— 辛弃疾 《临江仙》\n编辑于 2025-03-14 10:50・上海\n[LLM](https://www.zhihu.com/topic/20660508)\n[自然语言处理](https://www.zhihu.com/topic/19560026)\n[ChatGPT](https://www.zhihu.com/topic/26691895)\n​赞同 998​​36 条评论​2700 ​226 \n​分享\n​申请转载​\n​\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n \n\n36 条评论\n默认\n最新\n[![maja](https://pic1.zhimg.com/2e34ccd75a062d0c58f32a14360ef74f_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/86ec4c410779bfcb3b0fcaa7bddecdc5)\n[maja](https://www.zhihu.com/people/86ec4c410779bfcb3b0fcaa7bddecdc5)\n​![](https://pic1.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\n很赞。这一期不算是NLP独有了，关于第一部分，Fastertransformer其实我发现如果第三方直接使用，QKV比较容易出现匹配失败，原因就是第三方在做 QK 会加入 Mul mask等操作，再送入soft Max。所以这块其实需要针对不同需求不断扩展状态机匹配模式。Layernorm 存在类似问题，因为layernorm 算子有不同的形态，数学等价，需要格外注意⚠️。![\\[微笑\\]](https://pic1.zhimg.com/v2-3700cc07f14a49c6db94a82e989d4548.png)\n2023-07-15 · 北京\n​回复​5\n展开其他 4 条回复​\n[![Merce Pan](https://picx.zhimg.com/v2-63987947a9fd9d5643b23d698e93ad92_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/e6ef5ff48e8e5646d793ed3297475292)\n[Merce Pan](https://www.zhihu.com/people/e6ef5ff48e8e5646d793ed3297475292)\n目前未找到公开的在 LLM 方面的推理性能数据。![\\[酷\\]](https://pic4.zhimg.com/v2-c96dd18b15beb196b2daba95d26d9b1c.png)![\\[大笑\\]](https://pic1.zhimg.com/v2-3ac403672728e5e91f5b2d3c095e415a.png)![\\[滑稽\\]](https://pic4.zhimg.com/v2-8a8f1403a93ddd0a458bed730bebe19b.png)![\\[笑哭\\]](https://pic4.zhimg.com/v2-ca0015e8ed8462cfce839fba518df585.png)\n2023-07-27 · 上海\n​回复​2\n[![maja](https://picx.zhimg.com/2e34ccd75a062d0c58f32a14360ef74f_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/86ec4c410779bfcb3b0fcaa7bddecdc5)\n[maja](https://www.zhihu.com/people/86ec4c410779bfcb3b0fcaa7bddecdc5)\n​![](https://pic1.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\nSparsity 我一直在关注 但是感觉Nv的动力不足，最优秀的Sparsity实现需要和tensor core等矩阵乘加DSA加速模块配套。我这里还是推荐可以关注下 GC发布的Block sparsity 已经 墨芯的 sparsity tensor core. 按理说人的大脑🧠在幼年，青春期有两次大的剪枝和sparsity对认知进行重大革新。但是sparsity 无论是工业界 和 学术界）学术界可能没法提出和tensor core 使用方式一致的sparsity) 进展还是太慢了![\\[流泪\\]](https://pic4.zhimg.com/v2-dd613c7c81599bcc3085fc855c752950.png)，需要有一个领军人物出来扛起大梁。\n2023-07-15 · 北京\n​回复​2\n[![正经人](https://pic1.zhimg.com/v2-0bf1d4e7b108a44a0bb5f9791db3e590_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/439568d5a9c936317d1aba45881b78a6)\n[正经人](https://www.zhihu.com/people/439568d5a9c936317d1aba45881b78a6)\n谢谢作者的总结，感觉能写一篇综述了，目前还没有人总结。看到的唯一一篇还是总结的量化技术： A Comprehensive Survey on Model Quantization for Deep Neural Networks in Image Classification 。 另外有个问题，微软23年提出的LLMA属于这里面的方法中的任意一种吗？文章链接： [http://arxiv.org/abs/2304.04487](http://link.zhihu.com/?target=http%3A//arxiv.org/abs/2304.04487)。\n2023-08-30 · 荷兰\n​回复​1\n[![紫气东来](https://pic1.zhimg.com/v2-af1c72506a7ac445b11f3b518e47bbd1_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n[紫气东来](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n作者​![](https://pic1.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\nLLMA 并不是一个通用的推理优化的方法，主要是是针对有 reference 的情况，另外在推理时也使用了 accelerate\n2023-08-30 · 上海\n​回复​喜欢\n展开其他 1 条回复​\n[![Hehehe](https://picx.zhimg.com/v2-abed1a8c04700ba7d72b45195223e0ff_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/78c926b2e1b5124c816bafc3cdb36b3c)\n[Hehehe](https://www.zhihu.com/people/78c926b2e1b5124c816bafc3cdb36b3c)\n每篇的诗句，随机的，还是和本篇相关\n2024-04-10 · 上海\n​回复​喜欢\n[![紫气东来](https://picx.zhimg.com/v2-af1c72506a7ac445b11f3b518e47bbd1_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n[紫气东来](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n作者​![](https://pic1.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\n和写作时候的心情、环境、状态相关\n2024-04-10 · 上海\n​回复​1\n[![Grizz](https://picx.zhimg.com/3874558ab_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/5949430111422e0d897cef947468576f)\n[Grizz](https://www.zhihu.com/people/5949430111422e0d897cef947468576f)\n谢谢分享，很棒的总结，期待作者继续输出![\\[爱\\]](https://pic1.zhimg.com/v2-0942128ebfe78f000e84339fbb745611.png)\n2024-03-16 · 浙江\n​回复​喜欢\n[![张伟](https://pic1.zhimg.com/v2-2736392ca5db3e3230803d75b05405c1_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/5ae09f504cdb20302701bb34854e6948)\n[张伟](https://www.zhihu.com/people/5ae09f504cdb20302701bb34854e6948)\n谢谢分享\n2024-01-11 · 浙江\n​回复​喜欢\n[![BlueDog](https://picx.zhimg.com/v2-01f9640c7d454fefa8eac723328754cd_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/8d3a8030276fe140eb1098d1a11a925f)\n[BlueDog](https://www.zhihu.com/people/8d3a8030276fe140eb1098d1a11a925f)\n作者你好，首先感谢你的精彩分享！我想请教一个问题，既然想把batch中请求的起始时间分开而不需等待，那为什么非要这么麻烦地使用dynamic batching的技术呢？为何不直接启动多个进程，每个进程每次就执行一个请求呢？（共享context或runtime很容易做到）\n2023-09-27 · 北京\n​回复​喜欢\n[![紫气东来](https://picx.zhimg.com/v2-af1c72506a7ac445b11f3b518e47bbd1_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n[紫气东来](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n作者​![](https://pic1.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\n是这样，如果每次只跑BS=1，你说的没有问题，但是BS1通常卡的算力得不到充分利用\n2023-09-27 · 上海\n​回复​1\n查看全部 6 条回复​\n[![冰镇小牛奶](https://picx.zhimg.com/v2-37f11c4cb2c87bbe1f0521ca9a48be53_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/d4e99a8fe75434dcb9f1090f755883af)\n[冰镇小牛奶](https://www.zhihu.com/people/d4e99a8fe75434dcb9f1090f755883af)\n你咋这么卷![\\[惊讶\\]](https://pic4.zhimg.com/v2-0d9811a7961c96d84ee6946692a37469.png)\n2023-09-19 · 浙江\n​回复​喜欢\n[![炼金术士](https://pic1.zhimg.com/v2-4a1e169d3276b24a5fac6f7937dd68dc_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/d68f219b85467c00b10c3709352f1be4)\n[炼金术士](https://www.zhihu.com/people/d68f219b85467c00b10c3709352f1be4)\n看文章意思，TP, PP 目的还不一样？？\n不应该都是为了加载更大 的模型么？为何TP 说是用来减少时延呢\n2023-09-13 · 广东\n​回复​喜欢\n[![紫气东来](https://pica.zhimg.com/v2-af1c72506a7ac445b11f3b518e47bbd1_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n[紫气东来](https://www.zhihu.com/people/530f3ed7d43225fbc458b7c81e657ee4)\n作者​![](https://pic1.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\n从整体上来说是为了放更大模型，但是二者还是有很多不一样的地方，在训练和推理上也不太一样\n2023-09-13 · 上海\n​回复​喜欢\n点击查看全部评论\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n \n\n关于作者\n[![紫气东来](https://picx.zhimg.com/v2-af1c72506a7ac445b11f3b518e47bbd1_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/zi-qi-dong-lai-1)\n[紫气东来](https://www.zhihu.com/people/zi-qi-dong-lai-1)\n吾生也有涯，而知也无涯～\n[​](https://zhuanlan.zhihu.com/p/96956163)\n上海交通大学 工学硕士\n[ 回答 **32** ](https://www.zhihu.com/people/zi-qi-dong-lai-1/answers)[ 文章 **114** ](https://www.zhihu.com/people/zi-qi-dong-lai-1/posts)[ 关注者 **24,445** ](https://www.zhihu.com/people/zi-qi-dong-lai-1/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)\n[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=d10c3a32-4391-45cd-b1f9-b5f9b2d45cf8)\n### 推荐阅读\n[ ![Xinference:本地部署需要的LLM，embedding，rerank大模型](https://picx.zhimg.com/v2-993c9b3d447de8383f2e46239fedfc75_250x0.jpg?source=172ae18b)Xinference:本地部署需要的LLM，embedding，rerank大模型 Nicole ](https://zhuanlan.zhihu.com/p/762279077)[ ![LLM推理并行优化的必备知识](https://picx.zhimg.com/v2-5f7821bdc131350e02045fbc048b4f93_250x0.jpg?source=172ae18b)LLM推理并行优化的必备知识 kaiyuan ](https://zhuanlan.zhihu.com/p/1937449564509545940)[ ![全景解读高效推理：LLM 也会「想太多」？](https://pic1.zhimg.com/v2-179a0589ac7dc588b47867db8e8e2845_250x0.jpg?source=172ae18b)全景解读高效推理：LLM 也会「想太多」？ tomsh...发表于硅基进化 ](https://zhuanlan.zhihu.com/p/33127419859)[ ![LLM推理加速调研](https://pic1.zhimg.com/v2-a1a50c004e50c9ecae1d8afbabc5f839_250x0.jpg?source=172ae18b)LLM推理加速调研 akaih...发表于LLM(大... ](https://zhuanlan.zhihu.com/p/699776257) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](https://picx.zhimg.com/v2-9e41ea16bdfbe9cf4896617ecad5b4ca.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n", "body_base_path": "attachments/15453b802d45/pages/", "body_markdown_path": "attachments/15453b802d45/pages/archived-body.md", "local_html": "attachments/15453b802d45/pages/archived-body.html", "body_source": "prior_capture" }