{ "source_file": "0930", "source_platform": "知乎专栏", "author": "ycszen", "title_listed": "语义分割江湖的那些事儿", "keywords": "语义分割,综述", "domain": "图像处理", "content_type": "研究解读", "is_paid_flag": "否", "url": "https://zhuanlan.zhihu.com/p/55263898", "publish_date": "2019", "corpus_stage": "应用", "notes": "语义分割领域综述", "id": "795fb04e4778", "collected_at": "2026-10-02T18:42:53", "title": "语义分割江湖的那些事儿——从旷视说起 - 知乎", "body_markdown": "[![](https://zhuanlan.zhihu.com/p/55263898)](javascript:void\\(0\\))\n![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n语义分割江湖的那些事儿——从旷视说起\n首发于[R4D](https://www.zhihu.com/column/c_1065911842173468672)\n切换模式\n![语义分割江湖的那些事儿——从旷视说起](../images/000.img)\n# 语义分割江湖的那些事儿——从旷视说起\n[![余昌黔](../images/003.jpg)](https://www.zhihu.com/people/yu-chang-qian)\n[余昌黔](https://www.zhihu.com/people/yu-chang-qian)\n[​![](../images/body-613b2e271fc60f74249e.png)](https://www.zhihu.com/question/48510028)\n华中科技大学 控制科学与工程博士\n[收录于 · BaseDetection](https://www.zhihu.com/column/r-detection)\n1195 人赞同了该文章\n今天的主题是 [Face++ Detection](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Face%2B%2B+Detection&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJGYWNlKysgRGV0ZWN0aW9uIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.3SO4pDx7kk9JFd62RgOhcQV5u2uZPBG0cxKNJAooX0s&zhida_source=entity) 组近两年持续在做的 [Semantic Segmentation](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Semantic+Segmentation&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJTZW1hbnRpYyBTZWdtZW50YXRpb24iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.jTLB_0Xzy4j6cAFVtK6AoSW0cLo6YxD8VZZzIhFWZcg&zhida_source=entity)相关工作，代表性成果主要有 1）GCN (CVPR2017)、2）DFN (CVPR2018)、3）BiSeNet (ECCV2018)。我们先来看一段演示 Demo：\n![](../images/004.jpg)\n00:40\nCVPR2018 DFN算法结果展示\n## 回顾\n介绍算法之前，我们先简单回顾一下语义分割（semantic segmentation）的历史。众所周知，[计算机视觉](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLorqHnrpfmnLrop4bop4kiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bdkBKUISQk7GcjkAef3MOIV7HlHPeSwCfM_VxCF_wVo&zhida_source=entity)有三大核心任务——分类、检测、分割，三者号称是深度学习炼丹师的“三大浪漫”。分类针对整张图片，检测针对图片的局部，语义分割则如图1所示，旨在给输入图片上的每个像素赋予一个正确的语义标签。\n![](../images/005.jpg)\n图 1：PASCAL VOC 2012 图片示例\n传统的分割算法我们先按下不表。时间拨回到 2015 年，语义分割江湖之中，FCN 横空出世，自此 DL/NN 方法席卷了整个语义分割领域。短短几年，各个 Benchmark 的 [state-of-the-art](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=state-of-the-art&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJzdGF0ZS1vZi10aGUtYXJ0IiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.EkDnX8iyY7mW_B8i6wLe7UXRTLexghKHOyR9mTmJEY4&zhida_source=entity) 不断刷新，成果喜人。\nFCN 前期阶段，研究重点主要是解决“网络逐渐衰减的[特征尺寸](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E7%89%B9%E5%BE%81%E5%B0%BA%E5%AF%B8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLnibnlvoHlsLrlr7giLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.yI53ezavwxozWc2FqLIPVhOMgO6Xc2gNCI2zuuPXtNM&zhida_source=entity)和需要原图尺寸的预测之间的矛盾”，换言之，就是如何解决网络不断 [downsample](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=downsample&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJkb3duc2FtcGxlIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.ye_SyG7hEq1W-DrLETei0lzYN6wFbAZ3H2TcAWNf8L4&zhida_source=entity) 造成的信息损失；期间百家争鸣，百花齐放，涌现了希望保存或者恢复信息的 unpool、[deconv](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=deconv&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJkZWNvbnYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.14lF667LgLC1u1wFRV11x_sScum5qbRl2lFqkFapphU&zhida_source=entity) 等方法，也出现了进行[结构预测](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E7%BB%93%E6%9E%84%E9%A2%84%E6%B5%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLnu5PmnoTpooTmtYsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.5_VSSrE9t5Jys9GuSWWIanmVljcX5vau5Xlc6mMb710&zhida_source=entity)的各种花式 [CRF](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=CRF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJDUkYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.O7GE-KhY9iH7PP_AB00ofrroixMntGn6huSfcYA1w-w&zhida_source=entity) 方法。\n“[大道之争](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%A4%A7%E9%81%93%E4%B9%8B%E4%BA%89&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLlpKfpgZPkuYvkuokiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.PR2w9GDjxepNikpOGkYcbO0N1E94EI2uWdap6yQZmUU&zhida_source=entity)”之中，碰撞出了两个最重要的设计：[U-shape Structure](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=U-shape+Structure&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJVLXNoYXBlIFN0cnVjdHVyZSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwMDQxMDcxNywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.H8qdS_LyQ0Wrvqw_PLi53oScfMZptGl_dHLndvq755k&zhida_source=entity) 和 Dilation Conv，据此形成当下语义分割领域网络设计最常见的两大派系：1）U-shape 联盟以 RefineNet、GCN、DFN 等算法为代表；2）Dilation 联盟以 PSPNet、Deeplab 系列方法为代表；随着 Base Model 性能不断提升，语义分割任务的主要矛盾也逐渐渐演变为“如何更有效地利用 context”；这中间又是一番腥风血雨，我们今天介绍的 3 位主角也在其中贡献了一份力量。\n## 介绍\n语义分割任务同时需要 Spatial Context 和 Spatial Detail 。今天我们介绍的三种算法都将从这两方面分别提出各自对应的解决方案。整体对比如下：\n![](../images/006.jpg)\n \n\n**Global Convolutional Network**\n第一位主角是 CVPR2017 算法 Global Convolutional Network（GCN），江湖人送外号“Large [Kernel](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Kernel&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJLZXJuZWwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.COtrgDB-XY0U7lv-SPIQme9aJhmCL7CYXWWVVTDiYvk&zhida_source=entity)”。论文 Arxiv 链接请见：[https://arxiv.org/abs/1703.02719](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1703.02719)。\n——Motivation——\nGCN 主要将 Semantic Segmentation分解为：Classification 和 Localization两个问题。但是，这两个任务本质对特征的需求是矛盾的，Classification需要特征对多种Transformation具有不变性，而 Localization需要对 Transformation比较敏感。但是，普通的 Segmentation Model大多针对 Localization Issue设计，正如图2(b)所示，而这不利于 Classification。\n![](../images/007.jpg)\n图2\n所以，为了兼顾这两个 Task，本文提出了两个 Principle：\n 1. 从 Localization 来看，我们需要[全卷积网络](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%85%A8%E5%8D%B7%E7%A7%AF%E7%BD%91%E7%BB%9C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLlhajljbfnp6_nvZHnu5wiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9._w6onaPQnK4QvOHM-QEnFTUGAautjUIaThrVo-5yn4E&zhida_source=entity)，而且不能有全连接或者[全局池化](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%85%A8%E5%B1%80%E6%B1%A0%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLlhajlsYDmsaDljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.2fu_HkOcE8QwllALgbFMlleDBmsk0ePB0QYkCn8We24&zhida_source=entity)等操作丢失位置信息。\n 2. 从 Classification 来看，我们需要让 Per-pixel Classifier 或者 Feature Map 上每个点的连接更稠密一些，也就需要更大的 Kernel Size，如图 2(c) 所示。\n\n\n \n\n——网络结构——\n根据这两条 Principle，本文提出了Global Convolutional Network（GCN）。如图3所示，这个方法整体结构正是背景介绍中提到的U-shape结构，其核心模块主要包括：GCN 和 BR。\n![](../images/008.jpg)\n图3 网络结构\n此处主要介绍GCN设计。正如图3(b)所示，它采用了较大 Kernel Size的[卷积核](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%8D%B7%E7%A7%AF%E6%A0%B8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLljbfnp6_moLgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Wdp_O62bQr_7FHuHwNPpN5_rx35EqtD1JAo6NWQQuBc&zhida_source=entity)，来同时解决上述的两个 Issue；然后根据[矩阵分解](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E7%9F%A9%E9%98%B5%E5%88%86%E8%A7%A3&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLnn6npmLXliIbop6MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ljLJMoRQyMjkn9adLj0uZzLCKwQMQIJf5TYa8YRBqOo&zhida_source=entity)，利用 1 \\times k + k \\times 1 和 k \\times 1 + 1 \\times k 的卷积来替代原来的 k \\times k [大核卷积](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%A4%A7%E6%A0%B8%E5%8D%B7%E7%A7%AF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLlpKfmoLjljbfnp68iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.61m56F2SUEe3lhuOAN7WJDk-Erp_h_ftSiJklTJi6_8&zhida_source=entity)。相对于原本的大核卷积，该设计能明显降低参数量和计算量。图4可视化了 Large Kernel Conv 和 普通 Conv网络有效[感受野](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E6%84%9F%E5%8F%97%E9%87%8E&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLmhJ_lj5fph44iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.p8o070ztS82jVLpMvmDKsNOgV8G3qwQy1QvfSNdooO0&zhida_source=entity)的对比。\n![](../images/009.jpg)\n图4\n可以看到，Large Kernel Conv 的有效感受野显著增大。\n——实验——\n文中为了验证 Large Kernel Conv的有效性，对比了不同 Size的 Kernel，可以看到Kernel Size=15时比 Base Network整整高了 5.5% mean IoU.\n![](../images/010.jpg)\n此外，文中还对 Large Kernel Conv 进行了一系列讨论。\n * GCN 的有效是否得益于更多的参数？ \n在GCN中，随着 Kernel Size的增加，网络参数也随之增长，那么网络性能的提升是否得益于使用了更多的参数？为了证明提升来自于设计的有效性而不是增加了复杂度，文中设计了不同 Kernel Size的GCN和普通Conv的对比实验。 \n\n\n\n![](../images/011.jpg)\n \n通过实验结果可知，随着 Kernel Size的增加，普通 Conv的参数量远大于GCN，但是GCN的性能却持续地优于普通 Conv。\n * GCN使用 Large Kernel Size增大了感受野，是否可以通过堆叠多个 Small Kernel Size的 Conv来替代？ \n文章为此设计了实验对比两者的结果。 \n\n\n\n![](../images/012.jpg)\n \n可以看到 GCN 依然优于普通 Conv 的堆叠，尤其是在较大 Kernel Size 的情况下。笔者认为这是一个很有价值的实验，可以启发我们去思考关于网络感受野的问题。我们以往认为，通过堆叠多个小核 Conv 可以达到和大核 Conv 一样的感受野，同时计算量还更少。最常见的应用比如 [VGG-Net](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=VGG-Net&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJWR0ctTmV0IiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.SzrQARUIiuyt1AXnS-C19SGssGHD-fmRsUEyDgXhaCQ&zhida_source=entity)。但是，实际上并非如此。\n随着网络深度的提升，理论上网络的感受野大多可以直接覆盖全图，但是实际有效感受野却远小于此。笔者的理解是对同一个 Feature Map 进行卷积，边缘区域进行计算的次数会小于中心区域，所以随着 Conv 的不断堆叠，实际上会导致边缘感受野的衰减，即有效感受野会远小于[理论感受野](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E7%90%86%E8%AE%BA%E6%84%9F%E5%8F%97%E9%87%8E&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLnkIborrrmhJ_lj5fph44iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.nENiNbQZBPSw1-c-5JYd1txJpAlCEKdaDwLLxqimHY8&zhida_source=entity)。\n最后文中给出了在 PASCAL VOC 2012 和 [Cityscapes](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Cityscapes&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJDaXR5c2NhcGVzIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.5-YidKGSNLyWK-pERyPdljjM0BR4eDannzYvnK4uEi0&zhida_source=entity) 上完整的 Training Strategy，这在当时还是很良心的，之前的一些 Paper 对此都语焉不详。具体详细的 Training 过程请参考原文。\n最终 GCN 在 PASCAL VOC 2012 和 Cityscapes 上都取得了不错的结果。\n——PASCAL VOC 2012——\n![](../images/013.jpg)\n——Cityscapes——\n![](../images/014.jpg)\n**[Discriminative Feature Network](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Discriminative+Feature+Network&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJEaXNjcmltaW5hdGl2ZSBGZWF0dXJlIE5ldHdvcmsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.TyQshDQS678rY1AjSD0lLrgAsOz6ukT_88gzATECmBI&zhida_source=entity)**\n接下来出场的是 CVPR2018 算法 Discriminative Feature Network（DFN）。论文Arxiv链接请见：[https://arxiv.org/abs/1804.09337](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1804.09337)。详细解读请见：[CVPR 2018 | 旷视科技Face++提出用于语义分割的判别特征网络DFN](https://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s/4csAftUmJErdA4qn26mO3Q)。\n——Motivation——\n本文总结了现有语义分割方法仍然有待解决的两类 Challenge（如图 5 所示）：\n * Intra-class Inconsistency（具有相同的语义标签，不同的表观特征的区域）\n * Inter-class Indistinction（具有不同的语义标签，相似的表观特征的区域）\n\n\n![](../images/015.jpg)\n图5\n所以，本文从宏观角度出发重新思考语义分割任务，提出应该将同一类的 Pixel考虑成一个整体，也就需要增强类内一致性，增大类间区分性。总结而言，我们需要更具有判别力的特征。\n——网络结构——\n本文提出的DFN主要包括两部分：Smooth Network 和 Border Network，如图6所示。\n![](../images/016.jpg)\n图6\nSmooth Network 主要解决类内不一致性问题。文中认为类内不一致性问题主要来自Context 的缺乏。进而，我们需要引入 Multi-scale Context 和 Global Context；但是，不同 Stage 的特征虽然带来了 Multi-scale Context，与此同时也带来了不同的判别能力；因此，我们需要对这些具有不同判别力的特征进行筛选，这就诞生了其中核心的设计——Channel Attention Block（CAB）。\nCAB 利用相邻 Stage 的特征计算 Channel Attention 然后对 Low-stage 的特征进行筛选，如图 7 所示。因为文中认为，High-stage 的特征语义信息更强，更具有判别力。\n![](../images/017.jpg)\n图7\n此外，本文首次在 U-shape 结构中采用 Global Average Pooling，这个设计非常有效。ParseNet 首次在语义分割中使用 Global Average Pooling 提取 Global Context，而之后的 PSPNet，Deeplab V3 将其在 Dilation 阵营发扬光大。而本文将其应用 U-shape 的High-stage，并命名为“V-shape”。我们尝试将其迁移到 Detection 中的 FPN 结构，结果证明同样有效。\nBorder Network 主要解决类间低区分性的问题。文中认为具有相似表观特征的不同区域很容易被网络混淆，尤其是相邻之时。所以，需要增大特征之间的区分性。为此文章显式地引入了 Semantic Boundary 来引导特征学习。因为 Low-stage 主要关注一些细节边缘区域，而随着语义的增强，High-stage 的特征才是更多关注语义边界，所以 Border Network 采用了“反 U-shape”结构。\n——实验——\n文中进行了丰富的消融实验和可视化分析。\n首先是对 Smooth Network 各部分的消融实验分析。可以看到Smooth Network非常有效，在PASCAL VOC 2012 Validation Set上可以达到 Single Scale 79.54% mean IoU。\n![](../images/018.jpg)\n而通过可视化输出，可以看到Smooth Network确实可以将类内区域变得更加一致，如图8所示。\n![](../images/019.jpg)\n图8\n同时，文中还对 Smooth Network 和 Border Network 进行了[消融实验](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=3&q=%E6%B6%88%E8%9E%8D%E5%AE%9E%E9%AA%8C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLmtojono3lrp7pqowiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MywiemRfdG9rZW4iOm51bGx9.jMSuixb2_427VvNu4nnn9MyrKLXwe0uwaPkBJjD-ItA&zhida_source=entity)分析。\n![](../images/020.jpg)\n通过可视化Border Network的输出，可以看到Border Network确实可以很好地关注到Semantic Boundary区域，如图9所示。\n![](../images/021.jpg)\n图9\n最终，DFN在PASCAL VOC 2012和 Cityscapes上性能都达到了当时的state-of-the-art。\n![](../images/022.jpg)\n![](../images/023.jpg)\n**BiSeNet**\n最后出场的主角是 ECCV 2018 算法 [Bilateral Segmentation Network](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Bilateral+Segmentation+Network&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJCaWxhdGVyYWwgU2VnbWVudGF0aW9uIE5ldHdvcmsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.c-0ZxbMWUI25Q6Ja4KsGPsWrdFxW35gUN6Q3T7KbSAY&zhida_source=entity)（BiSeNet）。前面两个算法主要关注 [Accuracy](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Accuracy&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJBY2N1cmFjeSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwMDQxMDcxNywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.vR6fxFGoVmf9H4SAk2fyn9n-D0T3wl7vKlFrFOmNa4E&zhida_source=entity)，探索 mean IoU 的极限；而 BiSeNet 关注于做出一个既快又好的实时语义分割算法。最终该算法在 Cityscapes 上能取得 68.4% mean IoU 105 FPS (NVIDIA [Titan](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Titan&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJUaXRhbiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwMDQxMDcxNywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.plIa21DnCinMvNDAbtiV_xLgU3GcV8_kyFT7S7VXUoA&zhida_source=entity) XP)的好成绩。当然，我们希望这篇工作能抛砖引玉，尝试探讨到底什么架构才更适合 Segmentation 任务，什么框架才能很好地同时获得充足的 Context 和丰富的空间信息？论文 Arxiv 链接请见：[https://arxiv.org/abs/1808.00897](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1808.00897)。\n详细解读请见：[ECCV 2018 | 旷视科技提出双向网络BiSeNet：实现实时语义分割](https://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s%3Fsrc%3D11%26timestamp%3D1548222143%26ver%3D1383%26signature%3DPCnMz4pSEsFyyq15KiBVLtI9Eeb14066FE7-PLfcp7vebrkqBlRH363YUEv6ZnajCamYK%2AvcAaThKUxsl9EWOmFpeZtxKOPywWHcU93sWPGXYWlCwpK-370iuIYb3yj4%26new%3D1)。\n——Motivation——\n本文对之前的实时性语义分割算法进行了总结，发现当前主要有三种加速方法：1) 通过 Crop 或者 Resize 限制输入图片进而减少计算量；2) 减少网络通道数，尤其是 Early Stage；3) 还有像 ENet 类似的方法直接丢掉最后一个 Stage，如图10(a)所示。\n这些提速的方法会丢失很多 Spatial Details 或者牺牲 Spatial Capacity，从而导致精度大幅下降。为了弥补空间信息的丢失，有些算法会采用 U-shape 的方式恢复空间信息。但是，U-shape 会降低速度，同时很多丢失的信息并不能简单地通过融合[浅层特征](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E6%B5%85%E5%B1%82%E7%89%B9%E5%BE%81&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLmtYXlsYLnibnlvoEiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.K9AULPpI1SZVk5xQPOV2s3xK1etWhNsqE0cCs9c_On4&zhida_source=entity)来恢复，如图 10(b) 所示。\n![](../images/024.jpg)\n图10\n总结而言，实时性语义分割算法中，加速的同时也需要重视空间信息。基于这些观察，本文提出了一种新的解决方案Bilateral Segmentation Network（BiSeNet）。\n——网络结构——\nBiSeNet区别于 U-shape 和 Dilation 结构，尝试一种新的方法同时保持 Spatial Context 和 Spatial Detail 。所以，我们设计了Spatial Path和Context Path两部分。顾名思义，Spatial Path使用较多的 Channel、较浅的网络来保留丰富的空间信息生成[高分辨率](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E9%AB%98%E5%88%86%E8%BE%A8%E7%8E%87&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLpq5jliIbovqjnjociLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.OMEylZBVAsid5FsbLW7TWmvEait3mgltsEX_qR4w1JQ&zhida_source=entity)特征；Context Path使用较少的 Channel、较深的网络快速 downsample来获取充足的 Context。基于这两路网络的输出，文中还设计了一个Feature Fusion Module（[FFM](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=FFM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJGRk0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.-IvQWuOAhR-nCnriifcs4pwJiq97vs-MVKOuQdQsj6o&zhida_source=entity)）来融合两种特征，如图11所示。\n![](../images/025.jpg)\n图11\nSpatial Path 只包含三个 stride=2 的 Conv+BN+Relu，输出特征图的尺寸为原图的 1/8 。为了[访存比](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E8%AE%BF%E5%AD%98%E6%AF%94&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLorr_lrZjmr5QiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.rKSXUHIyJkO5dJek5t_QDVyImjwiMr5EHeB26f9Rg80&zhida_source=entity)考虑，此处并没有设计 Residual结构。\nContext Path 可以替换成任意的轻量网络，比如 Xception，ShuffleNet 系列，MobileNet 系列。本文主要采用 Xception39 和 [ResNet-18](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=ResNet-18&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJSZXNOZXQtMTgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.mXKJNYwkWul56SdIlUxVDzSBDPJg9qQcYYsNTR64w9o&zhida_source=entity) 进行实验。可以看到，为了准确率考虑，Context Path 这边使用了类似 U-shape 结构的设计。不过，不同于普通的 U-shape，此处只结合了最后两个 Stage，这样设计的原因主要是考虑速度。此外，和 DFN 类似，Context Path 依然在最后使用了 Global Average Pooling 来直接获取Global Context。\n最后，文章中提到因为两路网络关注的信息不同，属于 Different Level 的特征，所以文中设计了一个 FFM 结构来有效融合两路特征。\n——实验——\n本文从精度和速度两个维度，进行了丰富的分析实验。\n首先文中分析了 Context Path 这边使用不同变体的 U-shape 结构的速度和精度的对比。\n![](../images/026.jpg)\n此处，U-shape-8s 就是文中所展示的结构，U-shape-4s 则是普通的 U-shape 设计，即融合了更多 stage 特征。可以看到，U-shape-4s 的速度会明显慢于 U-shape-8s.\n文中还对 BiSeNet 的各个部分进行了[消融分析](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E6%B6%88%E8%9E%8D%E5%88%86%E6%9E%90&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLmtojono3liIbmnpAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.DEPV5i5pJ-DVTpIm4AM-Edg8s0Pc4tn-txiv9wxo1cQ&zhida_source=entity)实验。\n![](../images/027.jpg)\n文中还给出了 BiSeNet 的 [GFLOPS](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=GFLOPS&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJHRkxPUFMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.xwnEhH1nss6Mgn6JAhlbb5Uw5GdWN0vF6Z1rniZJVVs&zhida_source=entity)、参数量等信息，以及在不同硬件平台不同分辨率下的速度对比。\n![](../images/028.jpg)\n![](../images/029.jpg)\n文中给出了 BiSeNet 分别与实时性算法和非实时性算法比较的结果。\n与实时性算法比较：\n![](../images/030.jpg)\n虽然 BiSeNet 是实时性算法，但是它的精度甚至比一些非实时性算法还高。\n与非实时性算法比较：\n![](../images/031.jpg)\n可以看到，BiSeNet 是一种很有效的设计。当替换上大模型之后，精度甚至高于 PSPNet 等算法。另外，需要注意的是，为了和非实时性算法进行比较，在关注精度这部分实验 BiSeNet 使用的不同于关注速度部分的 Setting，具体细节详见论文。\nBiSeNet 算法对实时性语义分割算法提出了新的思考，在提升速度的同时也需要关注空间信息。同时，该设计也是一次对 Segmentation [Backbone](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Backbone&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJCYWNrYm9uZSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwMDQxMDcxNywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.ULe6S7G1hXA3UqPEd-sy5D5zj7Q6ibgG7Biuax7zPQk&zhida_source=entity) 的思考，希望设计一个对 Segmentation 任务友好的框架，当然现在还存在许多需要改进的地方。此外，该方法不仅仅可应用于实时性语义分割算法，也可应用于其他领域，尤其是在对 Spatial Detail 和 Context 同时有需求的情况下。据笔者了解，已有研究将其应用于 Potrait Segmentation.\n## 重要的事情\n * 我们的 DFN 和 BiSeNet 均已开源，后续将有更多的语义分割算法复现开源出来，欢迎大家 Star 和 Contribute：\n\n\n[](https://link.zhihu.com/?target=https%3A//github.com/ycszen/TorchSeg)\n * 欢迎各位同学加入旷视科技 Face++ Detection Team，简历可以投递给 Detection 组负责人俞刚 （**yugang@megvii.com** ）\n\n\n \n\nReference\n[1] Peng, C., Zhang, X., Yu, G., Luo, G., & Sun, J. (2017). Large kernel matters—improve semantic segmentation by global [convolutional network](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=convolutional+network&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJjb252b2x1dGlvbmFsIG5ldHdvcmsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.VwtPHvLbM2bgZDLmFg3TLXSKOGpt77Ix98NAcQ4-1o8&zhida_source=entity). In _Computer Vision and[Pattern Recognition](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Pattern+Recognition&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJQYXR0ZXJuIFJlY29nbml0aW9uIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.TDdDIVlo7ayh2P36UVNGibr7knuZru_XEptPhGVm2jk&zhida_source=entity) (CVPR), 2017 IEEE Conference on_(pp. 1743-1751). IEEE.\n[2] Yu, C., Wang, J., Peng, C., Gao, C., Yu, G., & Sang, N. (2018). Learning a Discriminative Feature Network for Semantic Segmentation._arXiv[preprint](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=preprint&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJwcmVwcmludCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwMDQxMDcxNywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.UsoAbhVNnQmqFrw3QSPHbzjZLJmx-ToPbDBnH4p6jkE&zhida_source=entity) arXiv:1804.09337_.\n[3] Yu, C., Wang, J., Peng, C., Gao, C., Yu, G., & Sang, N. (2018, September). Bisenet: Bilateral segmentation network for real-time semantic [segmentation](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=4&q=segmentation&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJzZWdtZW50YXRpb24iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NCwiemRfdG9rZW4iOm51bGx9.XNuDMWwKAQcUV14SLFPdlJcuA39Qq1X4pKhUcrsTp0Q&zhida_source=entity). In _European Conference on Computer Vision_(pp. 334-349). Springer, Cham.\n[4] Long, J., Shelhamer, E., & [Darrell](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Darrell&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJEYXJyZWxsIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.IYdeLekzsNIqETImgrJ7lOoNfygfKE_uvRev92vvWag&zhida_source=entity), T. (2015). Fully convolutional networks for semantic segmentation. In _Proceedings of the IEEE conference on computer vision and pattern recognition_(pp. 3431-3440).\n[5] Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In _International Conference on Medical image computing and computer-assisted intervention_(pp. 234-241). Springer, Cham.\n---------解读者介绍-------\n余昌黔，[华中科技大学](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%8D%8E%E4%B8%AD%E7%A7%91%E6%8A%80%E5%A4%A7%E5%AD%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLljY7kuK3np5HmioDlpKflraYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ymz4Tgbaj3PGR7CzdEx6LSYjG6GV2cb61ExkMonPqH0&zhida_source=entity)自动化系在读博士，旷视科技研究院算法实习生，语义分割算法DFN、BiSeNet 第一作者，研究方向涵盖语义分割、[全景分割](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%85%A8%E6%99%AF%E5%88%86%E5%89%B2&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLlhajmma_liIblibIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.xlm89RqOtR8EoKchxkjSaU7EgSY4UaewfQyrhBuAbpc&zhida_source=entity)、快速分割、视频分割等，并在上述方向有着长期深入的研究；2018 年，参加[计算机视觉顶会](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89%E9%A1%B6%E4%BC%9A&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLorqHnrpfmnLrop4bop4npobbkvJoiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Vlsf8MCECe_h_1JikFiwA9aFjQk9a5zVVfhK57tiMFQ&zhida_source=entity) ECCV 挑战赛 COCO+[Mapillary](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Mapillary&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJNYXBpbGxhcnkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.RoymvxotOfYJg39VKmsF4cQixk0Z1nzFGgzw-NSr81I&zhida_source=entity)，分获全景分割（Panoptic Segmentation）两项冠军，并受邀作现场口头报告。个人网页：\n[](https://link.zhihu.com/?target=http%3A//changqianyu.me/)\n编辑于 2019-01-23 09:57\n[semantic segmentation](https://www.zhihu.com/topic/20066821)\n[深度学习（Deep Learning）](https://www.zhihu.com/topic/19813032)\n[人工智能](https://www.zhihu.com/topic/19551275)\n​赞同 1195​​95 条评论​2134 ​14 \n​分享\n​申请转载​\n​\n![](../images/body-7e064b35ba4350074989.jpeg)\n未登录用户\n \n\n95 条评论\n默认\n最新\n[![高级动物](../images/032.jpg)](https://www.zhihu.com/people/74997424ec153a9518c42e3f63e82cf1)\n[高级动物](https://www.zhihu.com/people/74997424ec153a9518c42e3f63e82cf1)\nhhhh炼丹师的三大浪漫还行\n2019-01-23\n​回复​4\n[![余昌黔](../images/033.jpg)](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n[余昌黔](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n作者​![](../images/body-ce088339e12c259915b9.png)\n哈哈哈\n2019-01-23\n​回复​1\n[![闲钓无鱼心自娱](../images/034.jpg)](https://www.zhihu.com/people/cc44ca401cd70199335c9c61959b6c4d)\n[闲钓无鱼心自娱](https://www.zhihu.com/people/cc44ca401cd70199335c9c61959b6c4d)\n车标怎么处理的？\n2019-01-23\n​回复​3\n[![余昌黔](../images/035.jpg)](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n[余昌黔](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n作者​![](../images/body-ce088339e12c259915b9.png)\n那部分是ignore的\n2019-01-23\n​回复​2\n[![Brain](../images/036.jpg)](https://www.zhihu.com/people/cb50fa3b844546d61adb1ae1d58a7d94)\n[Brain](https://www.zhihu.com/people/cb50fa3b844546d61adb1ae1d58a7d94)\n说得真好，反正我也看不懂![\\[发呆\\]](https://pic2.zhimg.com/v2-7f09d05d34f03eab99e820014c393070.png)![\\[发呆\\]](https://pic2.zhimg.com/v2-7f09d05d34f03eab99e820014c393070.png)\n2019-03-13\n​回复​2\n[![阿元](../images/037.jpg)](https://www.zhihu.com/people/6c30785cecab721b56bc6f1700cc7abd)\n[阿元](https://www.zhihu.com/people/6c30785cecab721b56bc6f1700cc7abd)\n终于等到了~\n2019-01-23\n​回复​2\n[![淋雨](../images/038.jpg)](https://www.zhihu.com/people/3e2404981db3ca11c3d40a281c38d611)\n[淋雨](https://www.zhihu.com/people/3e2404981db3ca11c3d40a281c38d611)\n……天哪你们都在说些什么\n2019-03-11\n​回复​1\n[![虚渊献身](../images/039.jpg)](https://www.zhihu.com/people/65830d9e5f42a04006602093213a18ab)\n[虚渊献身](https://www.zhihu.com/people/65830d9e5f42a04006602093213a18ab)\n我一个文科生怎么会被推这种文章，点进来完全一脸懵逼\n2019-03-07\n​回复​1\n[![托洛茨卡娅](../images/body-bea25393bbe50668634e.jpg)](https://www.zhihu.com/people/bb618130e723723f74fad9cd5e147eb9)\n[托洛茨卡娅](https://www.zhihu.com/people/bb618130e723723f74fad9cd5e147eb9)\n妈耶，这玩意儿用在影视后期方面的话，普天之下皆绿背啊\n2019-02-24\n​回复​1\n[![晴明](../images/body-685e707f461793c04fcb.jpg)](https://www.zhihu.com/people/56384e33f49d3ab2c8355b4d8135b8c3)\n[晴明](https://www.zhihu.com/people/56384e33f49d3ab2c8355b4d8135b8c3)\n开源好评，等了很久了，谢谢大佬\n2019-01-30\n​回复​1\n[![泡芙小姐](../images/body-1519f01cbcc988aa9363.jpg)](https://www.zhihu.com/people/182aafd2f7587cc4a85b77148c5fbf2b)\n[泡芙小姐](https://www.zhihu.com/people/182aafd2f7587cc4a85b77148c5fbf2b)\n嘻嘻\n2019-01-28\n​回复​1\n[![余昌黔](../images/033.jpg)](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n[余昌黔](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n作者​![](../images/body-ce088339e12c259915b9.png)\n![](../images/body-9f92b5f4a770c46a2e41.gif)\n2019-01-28\n​回复​喜欢\n[![也无风雨也无晴](../images/body-cb284277d75dcfc68f38.jpg)](https://www.zhihu.com/people/ca5304b25ab131bda5ec9b0401792a43)\n[也无风雨也无晴](https://www.zhihu.com/people/ca5304b25ab131bda5ec9b0401792a43)\n​![](../images/body-ddf414f04793a667b2c1.png)\n膜拜大佬，顺便请教一下，要对小面积目标进行实时分割（目标和背景两类）用什么网络比较好，因为首先要实时，所以我先复现了enet，但准确率较低，最近在复现erfnet，但是感觉一直这样复现别人的也没有什么意义，还是得抓住问题关键，所以请问一下大佬有没有什么建议，感谢![\\[大笑\\]](https://pic1.zhimg.com/v2-3ac403672728e5e91f5b2d3c095e415a.png)\n2019-01-24\n​回复​1\n[![余昌黔](../images/035.jpg)](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n[余昌黔](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n作者​![](../images/body-ce088339e12c259915b9.png)\n小目标的分割本身就是个难题。你可以考虑先做一下非实时的小目标分割，然后再进行加速。而对于小目标而言的话，我的理解是需要更多的context，因为有些目标太小可能单独看根本识别不了，但是有相对丰富的context之后可能反倒能识别出来。\n2019-01-24\n​回复​喜欢\n展开其他 1 条回复​\n查看被折叠评论\n点击查看全部评论\n![](../images/body-7e064b35ba4350074989.jpeg)\n未登录用户\n \n\n关于作者\n[![余昌黔](../images/003.jpg)](https://www.zhihu.com/people/yu-chang-qian)\n[余昌黔](https://www.zhihu.com/people/yu-chang-qian)\n华中科技大学 人工智能博士\n[​](https://zhuanlan.zhihu.com/p/96956163)\n华中科技大学 控制科学与工程博士\n[ 回答 **82** ](https://www.zhihu.com/people/yu-chang-qian/answers)[ 文章 **20** ](https://www.zhihu.com/people/yu-chang-qian/posts)[ 关注者 **27,689** ](https://www.zhihu.com/people/yu-chang-qian/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)\n[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)\n### 推荐阅读\n[ ![图像语义分割论文综述](../images/body-9e32406657ef5d89dbb6.jpg)图像语义分割论文综述 AdamL...发表于CV学习笔... ](https://zhuanlan.zhihu.com/p/265994777)[ ![CVPR 2022 | 做语义分割不用任何像素标签！英伟达提出GroupViT：基于文本监督的语义分割](../images/body-187804aa0e6c658f5b4e.jpg)CVPR 2022 | 做语义分割不用任何像素标签！英伟达提出GroupViT：基于文本监督的语义分割 机器学习社...发表于机器学习社... ](https://zhuanlan.zhihu.com/p/481876020)[ ![图片语义分割深度学习算法要点回顾](../images/body-dbffb4504477d3818ba7.jpg)图片语义分割深度学习算法要点回顾 AI研习社 ](https://zhuanlan.zhihu.com/p/53233072)[ ![一种用于量化衡量MLLM中视觉特征的视觉语义对齐与视觉结构程度的方法](../images/body-6226571f27cfcc17dbd6.jpg)一种用于量化衡量MLLM中视觉特征的视觉语义对齐与视觉结构程度的方法 徐土豆发表于计算机视觉... ](https://zhuanlan.zhihu.com/p/838154329) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](../images/body-0f9788d006ab0f4da762.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n", "metadata": { "title": "语义分割江湖的那些事儿——从旷视说起 - 知乎", "description": "今天的主题是 Face++ Detection 组近两年持续在做的 Semantic Segmentation相关工作，代表性成果主要有 1）GCN (CVPR2017)、2）DFN (CVPR2018)、3）BiSeNet (ECCV2018)。我们先来看一段演示 Demo： 回顾介绍算法之…", "keywords": "semantic segmentation,深度学习（Deep Learning）,人工智能", "author": null, "og:title": "语义分割江湖的那些事儿——从旷视说起", "og:url": "https://zhuanlan.zhihu.com/p/55263898", "og:description": "今天的主题是 Face++ Detection 组近两年持续在做的 Semantic Segmentation相关工作，代表性成果主要有 1）GCN (CVPR2017)、2）DFN (CVPR2018)、3）BiSeNet (ECCV2018)。我们先来看一段演示 Demo： 回顾介绍算法之…", "og:image": "https://picx.zhimg.com/v2-879a719dfe3972a1826e187d35abdbd1_720w.jpg?source=172ae18b", "og:type": "article", "og:site_name": "知乎专栏" }, "paywall": { "listed_paid": false, "detected": false, "marker": "", "public_only": false, "policy": "付费/会员内容只保留页面公开可见部分，不绕过付费墙" }, "crawl": { "success": true, "status_code": 200, "error": "" }, "code_blocks": [], "images": [ { "status": "http_403", "url": "https://zhuanlan.zhihu.com/p/55263898", "src": "https://zhuanlan.zhihu.com/p/55263898", "alt": "", "downloaded": false, "discovery": "saved_markdown", "retried_at": "2026-10-20T17:40:16Z" } ], "audio": [], "videos": [ { "url": "https://vdn3.vzuu.com/HD/fae2e2ca-1bcd-11e9-a548-0a580a406045.mp4?auth_key=1790970177-0-0-aee50210d54cdd288ec2c8899b05c7d0&bu=09fd86c2&c=avc.0.0&disable_local_cache=1&expiration=1790970177&f=mp4&pu=da4bec50&v=tx&pp=ChMxNDAxNjIzODY1NzM5NTc5MzkyGGMiC2ZlZWRfY2hvaWNlMhMxMzY5MDA1NjA4NTk5OTA0MjU3PXu830Q%3D&pf=Web&pt=zhihu", "kind": "direct_video", "status": "http_403", "title": "", "retried_at": "2026-10-20T17:40:16Z" } ], "links": [ { "type": "internal", "href": "https://www.zhihu.com" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Ffollow" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2F" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fhot" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fcolumn-square" }, { "type": "internal", "href": "https://www.zhihu.com/signin?next=%2Fring-feeds" }, { "type": "internal", "href": "https://www.zhihu.com/project-square" }, { "type": "internal", "href": "https://www.zhihu.com/fiore/h5/vip-web" }, { "type": "internal", "href": "https://zhida.zhihu.com/" }, { "type": "internal", "href": "https://www.zhihu.com/column/c_1065911842173468672" }, { "type": "internal", "href": "https://www.zhihu.com/people/yu-chang-qian" }, { "type": "internal", "href": "https://www.zhihu.com/question/48510028" }, { "type": "internal", "href": "https://www.zhihu.com/column/r-detection" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Face%2B%2B+Detection&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJGYWNlKysgRGV0ZWN0aW9uIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.3SO4pDx7kk9JFd62RgOhcQV5u2uZPBG0cxKNJAooX0s&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Semantic+Segmentation&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJTZW1hbnRpYyBTZWdtZW50YXRpb24iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.jTLB_0Xzy4j6cAFVtK6AoSW0cLo6YxD8VZZzIhFWZcg&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLorqHnrpfmnLrop4bop4kiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bdkBKUISQk7GcjkAef3MOIV7HlHPeSwCfM_VxCF_wVo&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=state-of-the-art&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJzdGF0ZS1vZi10aGUtYXJ0IiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.EkDnX8iyY7mW_B8i6wLe7UXRTLexghKHOyR9mTmJEY4&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E7%89%B9%E5%BE%81%E5%B0%BA%E5%AF%B8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLnibnlvoHlsLrlr7giLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.yI53ezavwxozWc2FqLIPVhOMgO6Xc2gNCI2zuuPXtNM&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=downsample&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJkb3duc2FtcGxlIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.ye_SyG7hEq1W-DrLETei0lzYN6wFbAZ3H2TcAWNf8L4&zhida_source=entity" }, { "type": "internal", "href": "https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=deconv&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJkZWNvbnYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.14lF667LgLC1u1wFRV11x_sScum5qbRl2lFqkFapphU&zhida_source=entity" }, { "type": "external", "href": "javascript:void(0)" } ], "repair_version": 2, "repaired_at": "2026-10-20T17:24:46Z", "source_url": "https://zhuanlan.zhihu.com/p/55263898", "delivery_status": "unverified", "discovery_status": "http_403", "missing_reason": "源页面未重新核验:http_403；已按保留正文补采图片", "repair_error": "", "actual_video_files": [], "expected_saved_body_images": 1, "image_discovery": "saved_markdown", "source_body_markdown": "[![](https://zhuanlan.zhihu.com/p/55263898)](javascript:void\\(0\\))\n![ZhiHu logo](https://static.zhihu.com/heifetz/assets/wechat-share-logo.39ea9ecd.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n语义分割江湖的那些事儿——从旷视说起\n首发于[R4D](https://www.zhihu.com/column/c_1065911842173468672)\n切换模式\n![语义分割江湖的那些事儿——从旷视说起](https://picx.zhimg.com/70/v2-879a719dfe3972a1826e187d35abdbd1_1440w.image?source=172ae18b&biz_tag=Post)\n# 语义分割江湖的那些事儿——从旷视说起\n[![余昌黔](https://pic1.zhimg.com/v2-46956577fad64445b5e6c959a3f47b79_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/yu-chang-qian)\n[余昌黔](https://www.zhihu.com/people/yu-chang-qian)\n[​![](https://pica.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)](https://www.zhihu.com/question/48510028)\n华中科技大学 控制科学与工程博士\n[收录于 · BaseDetection](https://www.zhihu.com/column/r-detection)\n1195 人赞同了该文章\n今天的主题是 [Face++ Detection](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Face%2B%2B+Detection&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJGYWNlKysgRGV0ZWN0aW9uIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.3SO4pDx7kk9JFd62RgOhcQV5u2uZPBG0cxKNJAooX0s&zhida_source=entity) 组近两年持续在做的 [Semantic Segmentation](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Semantic+Segmentation&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJTZW1hbnRpYyBTZWdtZW50YXRpb24iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.jTLB_0Xzy4j6cAFVtK6AoSW0cLo6YxD8VZZzIhFWZcg&zhida_source=entity)相关工作，代表性成果主要有 1）GCN (CVPR2017)、2）DFN (CVPR2018)、3）BiSeNet (ECCV2018)。我们先来看一段演示 Demo：\n![](https://picx.zhimg.com/v2-a2770d9a8490494819e302fb6b307eac.jpg?source=25ab7b06)\n00:40\nCVPR2018 DFN算法结果展示\n## 回顾\n介绍算法之前，我们先简单回顾一下语义分割（semantic segmentation）的历史。众所周知，[计算机视觉](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLorqHnrpfmnLrop4bop4kiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.bdkBKUISQk7GcjkAef3MOIV7HlHPeSwCfM_VxCF_wVo&zhida_source=entity)有三大核心任务——分类、检测、分割，三者号称是深度学习炼丹师的“三大浪漫”。分类针对整张图片，检测针对图片的局部，语义分割则如图1所示，旨在给输入图片上的每个像素赋予一个正确的语义标签。\n![](https://pic4.zhimg.com/v2-63fb029028871c74486194eca97ebbbd_1440w.jpg)\n图 1：PASCAL VOC 2012 图片示例\n传统的分割算法我们先按下不表。时间拨回到 2015 年，语义分割江湖之中，FCN 横空出世，自此 DL/NN 方法席卷了整个语义分割领域。短短几年，各个 Benchmark 的 [state-of-the-art](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=state-of-the-art&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJzdGF0ZS1vZi10aGUtYXJ0IiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.EkDnX8iyY7mW_B8i6wLe7UXRTLexghKHOyR9mTmJEY4&zhida_source=entity) 不断刷新，成果喜人。\nFCN 前期阶段，研究重点主要是解决“网络逐渐衰减的[特征尺寸](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E7%89%B9%E5%BE%81%E5%B0%BA%E5%AF%B8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLnibnlvoHlsLrlr7giLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.yI53ezavwxozWc2FqLIPVhOMgO6Xc2gNCI2zuuPXtNM&zhida_source=entity)和需要原图尺寸的预测之间的矛盾”，换言之，就是如何解决网络不断 [downsample](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=downsample&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJkb3duc2FtcGxlIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.ye_SyG7hEq1W-DrLETei0lzYN6wFbAZ3H2TcAWNf8L4&zhida_source=entity) 造成的信息损失；期间百家争鸣，百花齐放，涌现了希望保存或者恢复信息的 unpool、[deconv](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=deconv&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJkZWNvbnYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.14lF667LgLC1u1wFRV11x_sScum5qbRl2lFqkFapphU&zhida_source=entity) 等方法，也出现了进行[结构预测](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E7%BB%93%E6%9E%84%E9%A2%84%E6%B5%8B&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLnu5PmnoTpooTmtYsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.5_VSSrE9t5Jys9GuSWWIanmVljcX5vau5Xlc6mMb710&zhida_source=entity)的各种花式 [CRF](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=CRF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJDUkYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.O7GE-KhY9iH7PP_AB00ofrroixMntGn6huSfcYA1w-w&zhida_source=entity) 方法。\n“[大道之争](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%A4%A7%E9%81%93%E4%B9%8B%E4%BA%89&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLlpKfpgZPkuYvkuokiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.PR2w9GDjxepNikpOGkYcbO0N1E94EI2uWdap6yQZmUU&zhida_source=entity)”之中，碰撞出了两个最重要的设计：[U-shape Structure](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=U-shape+Structure&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJVLXNoYXBlIFN0cnVjdHVyZSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwMDQxMDcxNywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.H8qdS_LyQ0Wrvqw_PLi53oScfMZptGl_dHLndvq755k&zhida_source=entity) 和 Dilation Conv，据此形成当下语义分割领域网络设计最常见的两大派系：1）U-shape 联盟以 RefineNet、GCN、DFN 等算法为代表；2）Dilation 联盟以 PSPNet、Deeplab 系列方法为代表；随着 Base Model 性能不断提升，语义分割任务的主要矛盾也逐渐渐演变为“如何更有效地利用 context”；这中间又是一番腥风血雨，我们今天介绍的 3 位主角也在其中贡献了一份力量。\n## 介绍\n语义分割任务同时需要 Spatial Context 和 Spatial Detail 。今天我们介绍的三种算法都将从这两方面分别提出各自对应的解决方案。整体对比如下：\n![](https://pica.zhimg.com/v2-3b7eddc57b5a564f964d93c2a8ef81b2_1440w.jpg)\n \n\n**Global Convolutional Network**\n第一位主角是 CVPR2017 算法 Global Convolutional Network（GCN），江湖人送外号“Large [Kernel](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Kernel&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJLZXJuZWwiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.COtrgDB-XY0U7lv-SPIQme9aJhmCL7CYXWWVVTDiYvk&zhida_source=entity)”。论文 Arxiv 链接请见：[https://arxiv.org/abs/1703.02719](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1703.02719)。\n——Motivation——\nGCN 主要将 Semantic Segmentation分解为：Classification 和 Localization两个问题。但是，这两个任务本质对特征的需求是矛盾的，Classification需要特征对多种Transformation具有不变性，而 Localization需要对 Transformation比较敏感。但是，普通的 Segmentation Model大多针对 Localization Issue设计，正如图2(b)所示，而这不利于 Classification。\n![](https://pic4.zhimg.com/v2-03dc6c56da8758a0a028de84b8f0da91_1440w.jpg)\n图2\n所以，为了兼顾这两个 Task，本文提出了两个 Principle：\n 1. 从 Localization 来看，我们需要[全卷积网络](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%85%A8%E5%8D%B7%E7%A7%AF%E7%BD%91%E7%BB%9C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLlhajljbfnp6_nvZHnu5wiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9._w6onaPQnK4QvOHM-QEnFTUGAautjUIaThrVo-5yn4E&zhida_source=entity)，而且不能有全连接或者[全局池化](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%85%A8%E5%B1%80%E6%B1%A0%E5%8C%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLlhajlsYDmsaDljJYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.2fu_HkOcE8QwllALgbFMlleDBmsk0ePB0QYkCn8We24&zhida_source=entity)等操作丢失位置信息。\n 2. 从 Classification 来看，我们需要让 Per-pixel Classifier 或者 Feature Map 上每个点的连接更稠密一些，也就需要更大的 Kernel Size，如图 2(c) 所示。\n\n\n \n\n——网络结构——\n根据这两条 Principle，本文提出了Global Convolutional Network（GCN）。如图3所示，这个方法整体结构正是背景介绍中提到的U-shape结构，其核心模块主要包括：GCN 和 BR。\n![](https://pic2.zhimg.com/v2-d968e1bce8f6ed484248af1aad7b37df_1440w.jpg)\n图3 网络结构\n此处主要介绍GCN设计。正如图3(b)所示，它采用了较大 Kernel Size的[卷积核](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%8D%B7%E7%A7%AF%E6%A0%B8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLljbfnp6_moLgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Wdp_O62bQr_7FHuHwNPpN5_rx35EqtD1JAo6NWQQuBc&zhida_source=entity)，来同时解决上述的两个 Issue；然后根据[矩阵分解](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E7%9F%A9%E9%98%B5%E5%88%86%E8%A7%A3&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLnn6npmLXliIbop6MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ljLJMoRQyMjkn9adLj0uZzLCKwQMQIJf5TYa8YRBqOo&zhida_source=entity)，利用 1 \\times k + k \\times 1 和 k \\times 1 + 1 \\times k 的卷积来替代原来的 k \\times k [大核卷积](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%A4%A7%E6%A0%B8%E5%8D%B7%E7%A7%AF&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLlpKfmoLjljbfnp68iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.61m56F2SUEe3lhuOAN7WJDk-Erp_h_ftSiJklTJi6_8&zhida_source=entity)。相对于原本的大核卷积，该设计能明显降低参数量和计算量。图4可视化了 Large Kernel Conv 和 普通 Conv网络有效[感受野](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E6%84%9F%E5%8F%97%E9%87%8E&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLmhJ_lj5fph44iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.p8o070ztS82jVLpMvmDKsNOgV8G3qwQy1QvfSNdooO0&zhida_source=entity)的对比。\n![](https://pic2.zhimg.com/v2-fcf0ca4bdc87fd1a7dd19d995bc99ba1_1440w.jpg)\n图4\n可以看到，Large Kernel Conv 的有效感受野显著增大。\n——实验——\n文中为了验证 Large Kernel Conv的有效性，对比了不同 Size的 Kernel，可以看到Kernel Size=15时比 Base Network整整高了 5.5% mean IoU.\n![](https://pic4.zhimg.com/v2-3ac9b96ec335d0aa91f524aaba2fd557_1440w.jpg)\n此外，文中还对 Large Kernel Conv 进行了一系列讨论。\n * GCN 的有效是否得益于更多的参数？ \n在GCN中，随着 Kernel Size的增加，网络参数也随之增长，那么网络性能的提升是否得益于使用了更多的参数？为了证明提升来自于设计的有效性而不是增加了复杂度，文中设计了不同 Kernel Size的GCN和普通Conv的对比实验。 \n\n\n\n![](https://picx.zhimg.com/v2-5cd913f21e1505ff8eaf4e18c7159741_1440w.jpg)\n \n通过实验结果可知，随着 Kernel Size的增加，普通 Conv的参数量远大于GCN，但是GCN的性能却持续地优于普通 Conv。\n * GCN使用 Large Kernel Size增大了感受野，是否可以通过堆叠多个 Small Kernel Size的 Conv来替代？ \n文章为此设计了实验对比两者的结果。 \n\n\n\n![](https://pic1.zhimg.com/v2-790f6facf90e8140c46937a6005cf594_1440w.jpg)\n \n可以看到 GCN 依然优于普通 Conv 的堆叠，尤其是在较大 Kernel Size 的情况下。笔者认为这是一个很有价值的实验，可以启发我们去思考关于网络感受野的问题。我们以往认为，通过堆叠多个小核 Conv 可以达到和大核 Conv 一样的感受野，同时计算量还更少。最常见的应用比如 [VGG-Net](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=VGG-Net&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJWR0ctTmV0IiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.SzrQARUIiuyt1AXnS-C19SGssGHD-fmRsUEyDgXhaCQ&zhida_source=entity)。但是，实际上并非如此。\n随着网络深度的提升，理论上网络的感受野大多可以直接覆盖全图，但是实际有效感受野却远小于此。笔者的理解是对同一个 Feature Map 进行卷积，边缘区域进行计算的次数会小于中心区域，所以随着 Conv 的不断堆叠，实际上会导致边缘感受野的衰减，即有效感受野会远小于[理论感受野](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E7%90%86%E8%AE%BA%E6%84%9F%E5%8F%97%E9%87%8E&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLnkIborrrmhJ_lj5fph44iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.nENiNbQZBPSw1-c-5JYd1txJpAlCEKdaDwLLxqimHY8&zhida_source=entity)。\n最后文中给出了在 PASCAL VOC 2012 和 [Cityscapes](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Cityscapes&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJDaXR5c2NhcGVzIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.5-YidKGSNLyWK-pERyPdljjM0BR4eDannzYvnK4uEi0&zhida_source=entity) 上完整的 Training Strategy，这在当时还是很良心的，之前的一些 Paper 对此都语焉不详。具体详细的 Training 过程请参考原文。\n最终 GCN 在 PASCAL VOC 2012 和 Cityscapes 上都取得了不错的结果。\n——PASCAL VOC 2012——\n![](https://picx.zhimg.com/v2-43feba6ea1470e72c952985c7253c03b_1440w.jpg)\n——Cityscapes——\n![](https://picx.zhimg.com/v2-6f0996052c4873c468f07c0b443a5dbb_1440w.jpg)\n**[Discriminative Feature Network](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Discriminative+Feature+Network&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJEaXNjcmltaW5hdGl2ZSBGZWF0dXJlIE5ldHdvcmsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.TyQshDQS678rY1AjSD0lLrgAsOz6ukT_88gzATECmBI&zhida_source=entity)**\n接下来出场的是 CVPR2018 算法 Discriminative Feature Network（DFN）。论文Arxiv链接请见：[https://arxiv.org/abs/1804.09337](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1804.09337)。详细解读请见：[CVPR 2018 | 旷视科技Face++提出用于语义分割的判别特征网络DFN](https://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s/4csAftUmJErdA4qn26mO3Q)。\n——Motivation——\n本文总结了现有语义分割方法仍然有待解决的两类 Challenge（如图 5 所示）：\n * Intra-class Inconsistency（具有相同的语义标签，不同的表观特征的区域）\n * Inter-class Indistinction（具有不同的语义标签，相似的表观特征的区域）\n\n\n![](https://pic2.zhimg.com/v2-7ce3db0acd06901a5542ec09a968f23f_1440w.jpg)\n图5\n所以，本文从宏观角度出发重新思考语义分割任务，提出应该将同一类的 Pixel考虑成一个整体，也就需要增强类内一致性，增大类间区分性。总结而言，我们需要更具有判别力的特征。\n——网络结构——\n本文提出的DFN主要包括两部分：Smooth Network 和 Border Network，如图6所示。\n![](https://pic2.zhimg.com/v2-956741d4c876c47495c3a92d3eb49027_1440w.jpg)\n图6\nSmooth Network 主要解决类内不一致性问题。文中认为类内不一致性问题主要来自Context 的缺乏。进而，我们需要引入 Multi-scale Context 和 Global Context；但是，不同 Stage 的特征虽然带来了 Multi-scale Context，与此同时也带来了不同的判别能力；因此，我们需要对这些具有不同判别力的特征进行筛选，这就诞生了其中核心的设计——Channel Attention Block（CAB）。\nCAB 利用相邻 Stage 的特征计算 Channel Attention 然后对 Low-stage 的特征进行筛选，如图 7 所示。因为文中认为，High-stage 的特征语义信息更强，更具有判别力。\n![](https://pic4.zhimg.com/v2-73d97a9d201916679bd6b7b0349e3ead_1440w.jpg)\n图7\n此外，本文首次在 U-shape 结构中采用 Global Average Pooling，这个设计非常有效。ParseNet 首次在语义分割中使用 Global Average Pooling 提取 Global Context，而之后的 PSPNet，Deeplab V3 将其在 Dilation 阵营发扬光大。而本文将其应用 U-shape 的High-stage，并命名为“V-shape”。我们尝试将其迁移到 Detection 中的 FPN 结构，结果证明同样有效。\nBorder Network 主要解决类间低区分性的问题。文中认为具有相似表观特征的不同区域很容易被网络混淆，尤其是相邻之时。所以，需要增大特征之间的区分性。为此文章显式地引入了 Semantic Boundary 来引导特征学习。因为 Low-stage 主要关注一些细节边缘区域，而随着语义的增强，High-stage 的特征才是更多关注语义边界，所以 Border Network 采用了“反 U-shape”结构。\n——实验——\n文中进行了丰富的消融实验和可视化分析。\n首先是对 Smooth Network 各部分的消融实验分析。可以看到Smooth Network非常有效，在PASCAL VOC 2012 Validation Set上可以达到 Single Scale 79.54% mean IoU。\n![](https://pic1.zhimg.com/v2-04a1ddca4304ba6e8b48b25d72c6643e_1440w.jpg)\n而通过可视化输出，可以看到Smooth Network确实可以将类内区域变得更加一致，如图8所示。\n![](https://pica.zhimg.com/v2-a0ab4d6038be427470993c2331a7f462_1440w.jpg)\n图8\n同时，文中还对 Smooth Network 和 Border Network 进行了[消融实验](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=3&q=%E6%B6%88%E8%9E%8D%E5%AE%9E%E9%AA%8C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLmtojono3lrp7pqowiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MywiemRfdG9rZW4iOm51bGx9.jMSuixb2_427VvNu4nnn9MyrKLXwe0uwaPkBJjD-ItA&zhida_source=entity)分析。\n![](https://pic1.zhimg.com/v2-e886e1265e0155937b7814aa842e1ace_1440w.jpg)\n通过可视化Border Network的输出，可以看到Border Network确实可以很好地关注到Semantic Boundary区域，如图9所示。\n![](https://pic1.zhimg.com/v2-2e91c1e396d71b09d28295c85b37d8c2_1440w.jpg)\n图9\n最终，DFN在PASCAL VOC 2012和 Cityscapes上性能都达到了当时的state-of-the-art。\n![](https://pica.zhimg.com/v2-1a8cab79710ffce549f25960249fc484_1440w.jpg)\n![](https://pic2.zhimg.com/v2-57e5c0f5ca8a033db029cdbf42ebf6ef_1440w.jpg)\n**BiSeNet**\n最后出场的主角是 ECCV 2018 算法 [Bilateral Segmentation Network](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Bilateral+Segmentation+Network&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJCaWxhdGVyYWwgU2VnbWVudGF0aW9uIE5ldHdvcmsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.c-0ZxbMWUI25Q6Ja4KsGPsWrdFxW35gUN6Q3T7KbSAY&zhida_source=entity)（BiSeNet）。前面两个算法主要关注 [Accuracy](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Accuracy&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJBY2N1cmFjeSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwMDQxMDcxNywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.vR6fxFGoVmf9H4SAk2fyn9n-D0T3wl7vKlFrFOmNa4E&zhida_source=entity)，探索 mean IoU 的极限；而 BiSeNet 关注于做出一个既快又好的实时语义分割算法。最终该算法在 Cityscapes 上能取得 68.4% mean IoU 105 FPS (NVIDIA [Titan](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Titan&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJUaXRhbiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwMDQxMDcxNywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.plIa21DnCinMvNDAbtiV_xLgU3GcV8_kyFT7S7VXUoA&zhida_source=entity) XP)的好成绩。当然，我们希望这篇工作能抛砖引玉，尝试探讨到底什么架构才更适合 Segmentation 任务，什么框架才能很好地同时获得充足的 Context 和丰富的空间信息？论文 Arxiv 链接请见：[https://arxiv.org/abs/1808.00897](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1808.00897)。\n详细解读请见：[ECCV 2018 | 旷视科技提出双向网络BiSeNet：实现实时语义分割](https://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s%3Fsrc%3D11%26timestamp%3D1548222143%26ver%3D1383%26signature%3DPCnMz4pSEsFyyq15KiBVLtI9Eeb14066FE7-PLfcp7vebrkqBlRH363YUEv6ZnajCamYK%2AvcAaThKUxsl9EWOmFpeZtxKOPywWHcU93sWPGXYWlCwpK-370iuIYb3yj4%26new%3D1)。\n——Motivation——\n本文对之前的实时性语义分割算法进行了总结，发现当前主要有三种加速方法：1) 通过 Crop 或者 Resize 限制输入图片进而减少计算量；2) 减少网络通道数，尤其是 Early Stage；3) 还有像 ENet 类似的方法直接丢掉最后一个 Stage，如图10(a)所示。\n这些提速的方法会丢失很多 Spatial Details 或者牺牲 Spatial Capacity，从而导致精度大幅下降。为了弥补空间信息的丢失，有些算法会采用 U-shape 的方式恢复空间信息。但是，U-shape 会降低速度，同时很多丢失的信息并不能简单地通过融合[浅层特征](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E6%B5%85%E5%B1%82%E7%89%B9%E5%BE%81&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLmtYXlsYLnibnlvoEiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.K9AULPpI1SZVk5xQPOV2s3xK1etWhNsqE0cCs9c_On4&zhida_source=entity)来恢复，如图 10(b) 所示。\n![](https://pic1.zhimg.com/v2-c054323b0bc68a8f09449f2af1852440_1440w.jpg)\n图10\n总结而言，实时性语义分割算法中，加速的同时也需要重视空间信息。基于这些观察，本文提出了一种新的解决方案Bilateral Segmentation Network（BiSeNet）。\n——网络结构——\nBiSeNet区别于 U-shape 和 Dilation 结构，尝试一种新的方法同时保持 Spatial Context 和 Spatial Detail 。所以，我们设计了Spatial Path和Context Path两部分。顾名思义，Spatial Path使用较多的 Channel、较浅的网络来保留丰富的空间信息生成[高分辨率](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E9%AB%98%E5%88%86%E8%BE%A8%E7%8E%87&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLpq5jliIbovqjnjociLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.OMEylZBVAsid5FsbLW7TWmvEait3mgltsEX_qR4w1JQ&zhida_source=entity)特征；Context Path使用较少的 Channel、较深的网络快速 downsample来获取充足的 Context。基于这两路网络的输出，文中还设计了一个Feature Fusion Module（[FFM](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=FFM&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJGRk0iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.-IvQWuOAhR-nCnriifcs4pwJiq97vs-MVKOuQdQsj6o&zhida_source=entity)）来融合两种特征，如图11所示。\n![](https://pic2.zhimg.com/v2-05a2778cbc7b4a9b4d9e853da4e5f7cd_1440w.jpg)\n图11\nSpatial Path 只包含三个 stride=2 的 Conv+BN+Relu，输出特征图的尺寸为原图的 1/8 。为了[访存比](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E8%AE%BF%E5%AD%98%E6%AF%94&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLorr_lrZjmr5QiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.rKSXUHIyJkO5dJek5t_QDVyImjwiMr5EHeB26f9Rg80&zhida_source=entity)考虑，此处并没有设计 Residual结构。\nContext Path 可以替换成任意的轻量网络，比如 Xception，ShuffleNet 系列，MobileNet 系列。本文主要采用 Xception39 和 [ResNet-18](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=ResNet-18&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJSZXNOZXQtMTgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.mXKJNYwkWul56SdIlUxVDzSBDPJg9qQcYYsNTR64w9o&zhida_source=entity) 进行实验。可以看到，为了准确率考虑，Context Path 这边使用了类似 U-shape 结构的设计。不过，不同于普通的 U-shape，此处只结合了最后两个 Stage，这样设计的原因主要是考虑速度。此外，和 DFN 类似，Context Path 依然在最后使用了 Global Average Pooling 来直接获取Global Context。\n最后，文章中提到因为两路网络关注的信息不同，属于 Different Level 的特征，所以文中设计了一个 FFM 结构来有效融合两路特征。\n——实验——\n本文从精度和速度两个维度，进行了丰富的分析实验。\n首先文中分析了 Context Path 这边使用不同变体的 U-shape 结构的速度和精度的对比。\n![](https://pic3.zhimg.com/v2-8dd85c2d033ad3395c8744db7259ea6e_1440w.jpg)\n此处，U-shape-8s 就是文中所展示的结构，U-shape-4s 则是普通的 U-shape 设计，即融合了更多 stage 特征。可以看到，U-shape-4s 的速度会明显慢于 U-shape-8s.\n文中还对 BiSeNet 的各个部分进行了[消融分析](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E6%B6%88%E8%9E%8D%E5%88%86%E6%9E%90&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLmtojono3liIbmnpAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.DEPV5i5pJ-DVTpIm4AM-Edg8s0Pc4tn-txiv9wxo1cQ&zhida_source=entity)实验。\n![](https://picx.zhimg.com/v2-cada7b675a9144ad62410a8ef21c3b63_1440w.jpg)\n文中还给出了 BiSeNet 的 [GFLOPS](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=GFLOPS&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJHRkxPUFMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.xwnEhH1nss6Mgn6JAhlbb5Uw5GdWN0vF6Z1rniZJVVs&zhida_source=entity)、参数量等信息，以及在不同硬件平台不同分辨率下的速度对比。\n![](https://picx.zhimg.com/v2-5cc496dbb7ec519fb1fd4d30016ebecb_1440w.jpg)\n![](https://pic4.zhimg.com/v2-c7c59c032f66957e3027f14b2c801863_1440w.jpg)\n文中给出了 BiSeNet 分别与实时性算法和非实时性算法比较的结果。\n与实时性算法比较：\n![](https://pic2.zhimg.com/v2-b26ab50b58f3b7d4cecf05d219c0c74b_1440w.jpg)\n虽然 BiSeNet 是实时性算法，但是它的精度甚至比一些非实时性算法还高。\n与非实时性算法比较：\n![](https://pica.zhimg.com/v2-5642984b51a472e9e74fbc44c027577e_1440w.jpg)\n可以看到，BiSeNet 是一种很有效的设计。当替换上大模型之后，精度甚至高于 PSPNet 等算法。另外，需要注意的是，为了和非实时性算法进行比较，在关注精度这部分实验 BiSeNet 使用的不同于关注速度部分的 Setting，具体细节详见论文。\nBiSeNet 算法对实时性语义分割算法提出了新的思考，在提升速度的同时也需要关注空间信息。同时，该设计也是一次对 Segmentation [Backbone](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Backbone&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJCYWNrYm9uZSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwMDQxMDcxNywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.ULe6S7G1hXA3UqPEd-sy5D5zj7Q6ibgG7Biuax7zPQk&zhida_source=entity) 的思考，希望设计一个对 Segmentation 任务友好的框架，当然现在还存在许多需要改进的地方。此外，该方法不仅仅可应用于实时性语义分割算法，也可应用于其他领域，尤其是在对 Spatial Detail 和 Context 同时有需求的情况下。据笔者了解，已有研究将其应用于 Potrait Segmentation.\n## 重要的事情\n * 我们的 DFN 和 BiSeNet 均已开源，后续将有更多的语义分割算法复现开源出来，欢迎大家 Star 和 Contribute：\n\n\n[](https://link.zhihu.com/?target=https%3A//github.com/ycszen/TorchSeg)\n * 欢迎各位同学加入旷视科技 Face++ Detection Team，简历可以投递给 Detection 组负责人俞刚 （**yugang@megvii.com** ）\n\n\n \n\nReference\n[1] Peng, C., Zhang, X., Yu, G., Luo, G., & Sun, J. (2017). Large kernel matters—improve semantic segmentation by global [convolutional network](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=convolutional+network&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJjb252b2x1dGlvbmFsIG5ldHdvcmsiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.VwtPHvLbM2bgZDLmFg3TLXSKOGpt77Ix98NAcQ4-1o8&zhida_source=entity). In _Computer Vision and[Pattern Recognition](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Pattern+Recognition&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJQYXR0ZXJuIFJlY29nbml0aW9uIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.TDdDIVlo7ayh2P36UVNGibr7knuZru_XEptPhGVm2jk&zhida_source=entity) (CVPR), 2017 IEEE Conference on_(pp. 1743-1751). IEEE.\n[2] Yu, C., Wang, J., Peng, C., Gao, C., Yu, G., & Sang, N. (2018). Learning a Discriminative Feature Network for Semantic Segmentation._arXiv[preprint](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=preprint&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJwcmVwcmludCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjEwMDQxMDcxNywiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.UsoAbhVNnQmqFrw3QSPHbzjZLJmx-ToPbDBnH4p6jkE&zhida_source=entity) arXiv:1804.09337_.\n[3] Yu, C., Wang, J., Peng, C., Gao, C., Yu, G., & Sang, N. (2018, September). Bisenet: Bilateral segmentation network for real-time semantic [segmentation](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=4&q=segmentation&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJzZWdtZW50YXRpb24iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NCwiemRfdG9rZW4iOm51bGx9.XNuDMWwKAQcUV14SLFPdlJcuA39Qq1X4pKhUcrsTp0Q&zhida_source=entity). In _European Conference on Computer Vision_(pp. 334-349). Springer, Cham.\n[4] Long, J., Shelhamer, E., & [Darrell](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Darrell&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJEYXJyZWxsIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6MTAwNDEwNzE3LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.IYdeLekzsNIqETImgrJ7lOoNfygfKE_uvRev92vvWag&zhida_source=entity), T. (2015). Fully convolutional networks for semantic segmentation. In _Proceedings of the IEEE conference on computer vision and pattern recognition_(pp. 3431-3440).\n[5] Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In _International Conference on Medical image computing and computer-assisted intervention_(pp. 234-241). Springer, Cham.\n---------解读者介绍-------\n余昌黔，[华中科技大学](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%8D%8E%E4%B8%AD%E7%A7%91%E6%8A%80%E5%A4%A7%E5%AD%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLljY7kuK3np5HmioDlpKflraYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.ymz4Tgbaj3PGR7CzdEx6LSYjG6GV2cb61ExkMonPqH0&zhida_source=entity)自动化系在读博士，旷视科技研究院算法实习生，语义分割算法DFN、BiSeNet 第一作者，研究方向涵盖语义分割、[全景分割](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E5%85%A8%E6%99%AF%E5%88%86%E5%89%B2&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLlhajmma_liIblibIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.xlm89RqOtR8EoKchxkjSaU7EgSY4UaewfQyrhBuAbpc&zhida_source=entity)、快速分割、视频分割等，并在上述方向有着长期深入的研究；2018 年，参加[计算机视觉顶会](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89%E9%A1%B6%E4%BC%9A&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiLorqHnrpfmnLrop4bop4npobbkvJoiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.Vlsf8MCECe_h_1JikFiwA9aFjQk9a5zVVfhK57tiMFQ&zhida_source=entity) ECCV 挑战赛 COCO+[Mapillary](https://zhida.zhihu.com/search?content_id=100410717&content_type=Article&match_order=1&q=Mapillary&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNzQsInEiOiJNYXBpbGxhcnkiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjoxMDA0MTA3MTcsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.RoymvxotOfYJg39VKmsF4cQixk0Z1nzFGgzw-NSr81I&zhida_source=entity)，分获全景分割（Panoptic Segmentation）两项冠军，并受邀作现场口头报告。个人网页：\n[](https://link.zhihu.com/?target=http%3A//changqianyu.me/)\n编辑于 2019-01-23 09:57\n[semantic segmentation](https://www.zhihu.com/topic/20066821)\n[深度学习（Deep Learning）](https://www.zhihu.com/topic/19813032)\n[人工智能](https://www.zhihu.com/topic/19551275)\n​赞同 1195​​95 条评论​2134 ​14 \n​分享\n​申请转载​\n​\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n \n\n95 条评论\n默认\n最新\n[![高级动物](https://pic1.zhimg.com/v2-9b9519510a31fd01aa313eb80785ce68_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/74997424ec153a9518c42e3f63e82cf1)\n[高级动物](https://www.zhihu.com/people/74997424ec153a9518c42e3f63e82cf1)\nhhhh炼丹师的三大浪漫还行\n2019-01-23\n​回复​4\n[![余昌黔](https://picx.zhimg.com/v2-46956577fad64445b5e6c959a3f47b79_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n[余昌黔](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n作者​![](https://pic1.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\n哈哈哈\n2019-01-23\n​回复​1\n[![闲钓无鱼心自娱](https://picx.zhimg.com/v2-632434015859647bf2c73cd7283065f2_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/cc44ca401cd70199335c9c61959b6c4d)\n[闲钓无鱼心自娱](https://www.zhihu.com/people/cc44ca401cd70199335c9c61959b6c4d)\n车标怎么处理的？\n2019-01-23\n​回复​3\n[![余昌黔](https://pic1.zhimg.com/v2-46956577fad64445b5e6c959a3f47b79_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n[余昌黔](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n作者​![](https://pic1.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\n那部分是ignore的\n2019-01-23\n​回复​2\n[![Brain](https://pic1.zhimg.com/v2-85a54e800145a614c47272b33f1038a5_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/cb50fa3b844546d61adb1ae1d58a7d94)\n[Brain](https://www.zhihu.com/people/cb50fa3b844546d61adb1ae1d58a7d94)\n说得真好，反正我也看不懂![\\[发呆\\]](https://pic2.zhimg.com/v2-7f09d05d34f03eab99e820014c393070.png)![\\[发呆\\]](https://pic2.zhimg.com/v2-7f09d05d34f03eab99e820014c393070.png)\n2019-03-13\n​回复​2\n[![阿元](https://pic1.zhimg.com/v2-c302ffcb9eb41822b816b1cf0a3f6275_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/6c30785cecab721b56bc6f1700cc7abd)\n[阿元](https://www.zhihu.com/people/6c30785cecab721b56bc6f1700cc7abd)\n终于等到了~\n2019-01-23\n​回复​2\n[![淋雨](https://pica.zhimg.com/v2-abed1a8c04700ba7d72b45195223e0ff_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/3e2404981db3ca11c3d40a281c38d611)\n[淋雨](https://www.zhihu.com/people/3e2404981db3ca11c3d40a281c38d611)\n……天哪你们都在说些什么\n2019-03-11\n​回复​1\n[![虚渊献身](https://picx.zhimg.com/v2-ae6a298681b9b40479fe122cff409781_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/65830d9e5f42a04006602093213a18ab)\n[虚渊献身](https://www.zhihu.com/people/65830d9e5f42a04006602093213a18ab)\n我一个文科生怎么会被推这种文章，点进来完全一脸懵逼\n2019-03-07\n​回复​1\n[![托洛茨卡娅](https://pica.zhimg.com/v2-d587f1cf710ee4aaef5bb4bba6e1c4b3_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/bb618130e723723f74fad9cd5e147eb9)\n[托洛茨卡娅](https://www.zhihu.com/people/bb618130e723723f74fad9cd5e147eb9)\n妈耶，这玩意儿用在影视后期方面的话，普天之下皆绿背啊\n2019-02-24\n​回复​1\n[![晴明](https://picx.zhimg.com/8d16c94e17c24248d58934029a962a4f_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/56384e33f49d3ab2c8355b4d8135b8c3)\n[晴明](https://www.zhihu.com/people/56384e33f49d3ab2c8355b4d8135b8c3)\n开源好评，等了很久了，谢谢大佬\n2019-01-30\n​回复​1\n[![泡芙小姐](https://pic1.zhimg.com/v2-b85f76f8a25aed98b9fd9b6b520848bd_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/182aafd2f7587cc4a85b77148c5fbf2b)\n[泡芙小姐](https://www.zhihu.com/people/182aafd2f7587cc4a85b77148c5fbf2b)\n嘻嘻\n2019-01-28\n​回复​1\n[![余昌黔](https://picx.zhimg.com/v2-46956577fad64445b5e6c959a3f47b79_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n[余昌黔](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n作者​![](https://pic1.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\n![](https://pica.zhimg.com/v2-fa420fb01533452e9d5f021c52dc6cc5_xld.gif?source=1d2f5c51)\n2019-01-28\n​回复​喜欢\n[![也无风雨也无晴](https://picx.zhimg.com/v2-5ff16adbcc774108e33adbf14f139d5a_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/ca5304b25ab131bda5ec9b0401792a43)\n[也无风雨也无晴](https://www.zhihu.com/people/ca5304b25ab131bda5ec9b0401792a43)\n​![](https://picx.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\n膜拜大佬，顺便请教一下，要对小面积目标进行实时分割（目标和背景两类）用什么网络比较好，因为首先要实时，所以我先复现了enet，但准确率较低，最近在复现erfnet，但是感觉一直这样复现别人的也没有什么意义，还是得抓住问题关键，所以请问一下大佬有没有什么建议，感谢![\\[大笑\\]](https://pic1.zhimg.com/v2-3ac403672728e5e91f5b2d3c095e415a.png)\n2019-01-24\n​回复​1\n[![余昌黔](https://pic1.zhimg.com/v2-46956577fad64445b5e6c959a3f47b79_l.jpg?source=06d4cd63)](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n[余昌黔](https://www.zhihu.com/people/ab49d937ced66c390c32012ed34737b3)\n作者​![](https://pic1.zhimg.com/v2-2ddc5cc683982648f6f123616fb4ec09_l.png?source=32738c0c)\n小目标的分割本身就是个难题。你可以考虑先做一下非实时的小目标分割，然后再进行加速。而对于小目标而言的话，我的理解是需要更多的context，因为有些目标太小可能单独看根本识别不了，但是有相对丰富的context之后可能反倒能识别出来。\n2019-01-24\n​回复​喜欢\n展开其他 1 条回复​\n查看被折叠评论\n点击查看全部评论\n![](https://pic1.zhimg.com/v2-d41c2ceaed8f51999522f903672a521f_l.jpeg)\n未登录用户\n \n\n关于作者\n[![余昌黔](https://pic1.zhimg.com/v2-46956577fad64445b5e6c959a3f47b79_l.jpg?source=32738c0c&needBackground=1)](https://www.zhihu.com/people/yu-chang-qian)\n[余昌黔](https://www.zhihu.com/people/yu-chang-qian)\n华中科技大学 人工智能博士\n[​](https://zhuanlan.zhihu.com/p/96956163)\n华中科技大学 控制科学与工程博士\n[ 回答 **82** ](https://www.zhihu.com/people/yu-chang-qian/answers)[ 文章 **20** ](https://www.zhihu.com/people/yu-chang-qian/posts)[ 关注者 **27,689** ](https://www.zhihu.com/people/yu-chang-qian/followers)\n​关注他​发私信\n大家都在搜\n换一换\n[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)\n[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)热\n[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)\n[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)\n[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=181f79c7-1ca0-4bf9-98c2-9e832c19f7c6)\n### 推荐阅读\n[ ![图像语义分割论文综述](https://picx.zhimg.com/v2-703ef2d8d7719e6f00a42a30a8958e09_250x0.jpg?source=172ae18b)图像语义分割论文综述 AdamL...发表于CV学习笔... ](https://zhuanlan.zhihu.com/p/265994777)[ ![CVPR 2022 | 做语义分割不用任何像素标签！英伟达提出GroupViT：基于文本监督的语义分割](https://pica.zhimg.com/v2-498ece8325dc7549f78dfdbd9b925153_250x0.jpg?source=172ae18b)CVPR 2022 | 做语义分割不用任何像素标签！英伟达提出GroupViT：基于文本监督的语义分割 机器学习社...发表于机器学习社... ](https://zhuanlan.zhihu.com/p/481876020)[ ![图片语义分割深度学习算法要点回顾](https://pica.zhimg.com/v2-f70c8096d33ac457b2fbd4c9b4af1c7d_250x0.jpg?source=172ae18b)图片语义分割深度学习算法要点回顾 AI研习社 ](https://zhuanlan.zhihu.com/p/53233072)[ ![一种用于量化衡量MLLM中视觉特征的视觉语义对齐与视觉结构程度的方法](https://picx.zhimg.com/v2-27a75c563372baf5bccb7365aab65b77_250x0.jpg?source=172ae18b)一种用于量化衡量MLLM中视觉特征的视觉语义对齐与视觉结构程度的方法 徐土豆发表于计算机视觉... ](https://zhuanlan.zhihu.com/p/838154329) \n\n_想来知乎工作？请发送邮件到 jobs@zhihu.com_\n打开知乎App\n在「我的页」右上角打开扫一扫\n![](https://picx.zhimg.com/v2-9e41ea16bdfbe9cf4896617ecad5b4ca.png)\n其他扫码方式：微信\n下载知乎App\n无障碍模式\n验证码登录\n密码登录\n[开通机构号](https://zhuanlan.zhihu.com/org/signup)\n中国 +86\n获取短信验证码\n忘记密码\n登录/注册\n其他方式登录\n未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)\n扫码下载知乎 App\n关闭二维码\n", "body_base_path": "attachments/795fb04e4778/pages/", "body_markdown_path": "attachments/795fb04e4778/pages/archived-body.md", "local_html": "attachments/795fb04e4778/pages/archived-body.html", "body_source": "prior_capture" }