[![](https://zhuanlan.zhihu.com/p/37804107)](javascript:void\(0\))
![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png)
[](https://www.zhihu.com)
[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)
​
[直答](https://zhida.zhihu.com/)
切换模式
登录/注册
语义分割之U-net
首发于[图像语义分割](https://www.zhihu.com/column/c_197474183)
切换模式
![语义分割之U-net](../images/000.img)
# 语义分割之U-net
[![stone](../images/013.jpg)](https://www.zhihu.com/people/big-big-stone)
[stone](https://www.zhihu.com/people/big-big-stone)
收藏之前点个赞呗
[收录于 · 图像语义分割](https://www.zhihu.com/column/c_197474183)
28 人赞同了该文章
## 更多语义分割文章，请看专栏：[图像语义分割](https://zhuanlan.zhihu.com/c_197474183)
## U-Net
## 论文信息
论文地址：[U-Net: Convolutional Networks for Biomedical Image Segmentation](https://zhuanlan.zhihu.com/p/37804107/edit)
发表时间：18 May 2015
## 创新点
深度网络通常需要大量的数据进行训练，当样本量较少的情况下，[深度网络](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=2&q=%E6%B7%B1%E5%BA%A6%E7%BD%91%E7%BB%9C&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLmt7HluqbnvZHnu5wiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjIsInpkX3Rva2VuIjpudWxsfQ.cNQq22OGBk9BANq-dyKgrzrOdABIeTkP7PKotTtS_mA&zhida_source=entity)可能表现没那么好。对于这个问题，本文提出了新的[网络架构](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E7%BD%91%E7%BB%9C%E6%9E%B6%E6%9E%84&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLnvZHnu5zmnrbmnoQiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.o_mSWjlg_g_3YtyR3AzbDrRfSAc74S-jpiLnNcTe8LE&zhida_source=entity)和图像增强策略。网络架构包括encoder和[decoder](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=decoder&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiJkZWNvZGVyIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6NzMxMjg5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.hQlCZEc8dHa5XvjBb1wanjxtfnM6j99q7fGS8O0EwZw&zhida_source=entity)（论文中称为浓缩路径(contracting path)和扩展路径(expanding path)，实际上就是encoder和decoder），encoder可以有效地捕捉上下文信息，而decoder可以较好地预测位置信息。
## 模型
## 1. 模型设计思想
U-net是基于[FCN](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=FCN&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiJGQ04iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.On5AO9_vhtOMlsrCmiwsNd4M4tIjhvDV6FNaLJ-Ygo4&zhida_source=entity)网络的思想设计的，整个网络只有[卷积层](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E5%8D%B7%E7%A7%AF%E5%B1%82&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLljbfnp6_lsYIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.o9yeEdW8iFD9oU6bRbIieoOLZHFsHgtq3kHfeFazaDE&zhida_source=entity)，而没有[全连接层](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E5%85%A8%E8%BF%9E%E6%8E%A5%E5%B1%82&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLlhajov57mjqXlsYIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.YSzKILAVD6vH07DWi28BNcj3XMcUgpA8lw8jDoZSMmU&zhida_source=entity)。
在FCN中：网络的浓缩路径，图像分辨率逐渐降低，上下文信息会逐渐增强。在扩展路径中，通过[上采样](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E4%B8%8A%E9%87%87%E6%A0%B7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLkuIrph4fmoLciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.x5T8LCqsnw-BzNj6hRe1bMRhwXVmhOTmpsYWjT9h7Zc&zhida_source=entity)的方式，让[特征图](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E7%89%B9%E5%BE%81%E5%9B%BE&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLnibnlvoHlm74iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.f91_1Zl6sbvbOgDU7g1Uv3wJrzhbHqw3NKWAtDA31Go&zhida_source=entity)的分辨率逐渐增大。同时，为了结合低层feature map的强位置信息，将浓缩路径中的相应部分结合到扩展路径中。这种架构可以较好地进行位置定位。
![](../images/004.jpg)
U-net做的修改有：
  1. 在上采样部分，feature map的通道数非常大，作者认为这样可以将上下文信息传递到分辨率更高的层当中。这样做的一个结果就是它基本上和浓缩路径对称了，因此看上去像一个U形的结构。
  2. 为了预测图像边界区域的像素点，采用[overlap-tile策略](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=overlap-tile%E7%AD%96%E7%95%A5&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiJvdmVybGFwLXRpbGXnrZbnlaUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.ib6gX4EQmjA1dd1WxgUbikbs_hQHG8IiBg8wQ1FpKsk&zhida_source=entity)补全缺失的context。
  3. 由于训练数据太少，采用大量弹性形变的方式增强数据。这可以让模型更好学习形变不变性。这种增强方式对于医学图像来说很重要。
  4. 在[细胞分割](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E7%BB%86%E8%83%9E%E5%88%86%E5%89%B2&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLnu4bog57liIblibIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.PHOo97dPhx7ZegI3uuVtyRQh2YqZs0pqUirQ0eOcbfM&zhida_source=entity)任务中的另一个挑战是，如何将同类别的相互接触的目标分开。本文提出了使用一种带权重的损失([weighted loss](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=weighted+loss&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiJ3ZWlnaHRlZCBsb3NzIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6NzMxMjg5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.W3WipArjO8SSR-P04yYhF0qkLgWas9z4T0YBHn28oBQ&zhida_source=entity))。在[损失函数](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLmjZ_lpLHlh73mlbAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.u1yzS2xHe75Aw4fUGyS3d4o5_pgsK2ov4fxu5r66rq8&zhida_source=entity)中，分割相互接触的细胞像素获得了更大的权重。


![](../images/005.jpg)
## 2. 网络结构
网络结构包括浓缩路径和扩展路径。
浓缩路径：
  1. 注意图像输入是经过tile的。因此网络的输出是和图像的输入大小是不一样的。
  2. 每经过两个3x3conv（没有padding）之后，会跟上一个2x2的max-pooling进行[下采样](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E4%B8%8B%E9%87%87%E6%A0%B7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLkuIvph4fmoLciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.GDgioToaOSmKGQ5M1FkSXK9_1Rxe6C7eXWYzHjKhQCw&zhida_source=entity)。


扩展路径：
  1. 使用2x2的[deconv](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=deconv&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiJkZWNvbnYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.edl7eafFoT-zGJg0IG7ROO_Om9tFmXvJDbWJK_O3NE8&zhida_source=entity)来进行上采样，上采样的过程中，通道数减半。同时，将上采样的[feature map](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=3&q=feature+map&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiJmZWF0dXJlIG1hcCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjczMTI4OTksImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MywiemRfdG9rZW4iOm51bGx9.TW4bILlT-j0BKl7-bDTX7Fx9vkdU21F1WMKXpvcKxqY&zhida_source=entity)和浓缩路径中相应的feature map进行concatenate（注意：由于浓缩路径中的conv都是没有做padding动作的，这会导致扩展路径中的feature map和浓缩路径中相应位置的feature map大小不一致，这个时候就要将浓缩路径中的feature map进行crop再和扩展路径中的feature map进行concatenate）。
  2. **上采样的结果** 和**浓缩路径中的相应feature map的裁剪** 进行concatenate后，再跟上3x3的卷积。由于浓缩路径中卷积操作是没有padding的，因此feature map在卷积之后会越来越小，之后在扩展路径进行上采样无法恢复相应的分辨率，因此需要裁剪。
  3. 最后一层使用1x1的卷积，将[通道数](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=3&q=%E9%80%9A%E9%81%93%E6%95%B0&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLpgJrpgZPmlbAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjMsInpkX3Rva2VuIjpudWxsfQ.HZ64tgbyZ_PtLcBi1sqIZ9pGH9C-SjRb1QgkRzI7VUc&zhida_source=entity)map到类别数。


## 训练
## 1. 损失函数计算
网络输出的是[pixel-wise](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=pixel-wise&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiJwaXhlbC13aXNlIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6NzMxMjg5OSwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.-IgpuJKIkfTjj2dfSllhcNCxkE3xRQ4DI8SsXN7O1v4&zhida_source=entity)的softmax。表达式如下：
![](../images/006.jpg)
其中， x 为[二维平面](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E4%BA%8C%E7%BB%B4%E5%B9%B3%E9%9D%A2&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLkuoznu7TlubPpnaIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.xkSypgVyF5Q21I6Ice21kEBS_-UGLzfAyogxUJTgq6w&zhida_source=entity) Ω 上的像素位置， a_k(x) 表示网络最后输出层中pixel x 对应的第 k 个通道的值， K 是类别总数。 p_k(x) 表示像素 x 属于 k 类的概率。
损失函数使用negative cross entropy。cross entropy的数学表达式如下：
![](../images/007.jpg)
其中 p_l(x) 表示 x 在真实label所在通道上的输出概率。需要特别注意的是cross entropy中还添加一个权重项 w(x) 。这是因为考虑到物体间的边界需要更多的关注，所对应的损失权重需要更大。
## 2. 像素损失权重计算
在损失函数计算中我们讲到对于[边界像素](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E8%BE%B9%E7%95%8C%E5%83%8F%E7%B4%A0&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLovrnnlYzlg4_ntKAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.jKyMr2A8dwuRuNEj2ePCRzPqo1FjKe92h3tbiPDvHBI&zhida_source=entity)我们给的损失权重要更大，但怎么获取这个权重？我们得到一张图片的ground truth是一个二值的mask，本文首先采用[形态学](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E5%BD%A2%E6%80%81%E5%AD%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLlvaLmgIHlraYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.qvBqoIWDvrWUQHNHIkQOxt_pxBruKi1q-6Djc8ht2Kk&zhida_source=entity)方法去计算出物体的边界。然后通过以下的表达式去计算[权重图](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E6%9D%83%E9%87%8D%E5%9B%BE&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLmnYPph43lm74iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.uJnnIGa-AWWr7yF41eVM5ERrn5YsJll1EJMH_5diNVg&zhida_source=entity)。
![](../images/008.jpg)
其中 w_c(x) 是类别权重，需要根据训练数据集中的各类别出现的频率来进行统计，类别出现的频率越高，应该给的权重越低，频率越低则给的权重越高（文章没有详细说是怎么计算的）。 d_1(x) 表示物体像素到最近cell的边界的距离， d_2(x) 表示物体像素到第二近的cell的边界的距离。在本文中，设置 w_0=10,\sigma=5 。
## 3. 图像增强
用到了很多图像增强方法。其中，作者特别强调，在训练数据很少的情况下，任意的[弹性形变](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=2&q=%E5%BC%B9%E6%80%A7%E5%BD%A2%E5%8F%98&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLlvLnmgKflvaLlj5giLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjIsInpkX3Rva2VuIjpudWxsfQ.gDK8_SYQIcJRDGRuGUFgzVk4WM003LkHI7r9XzDNXHc&zhida_source=entity)对[网络训练](https://zhida.zhihu.com/search?content_id=7312899&content_type=Article&match_order=1&q=%E7%BD%91%E7%BB%9C%E8%AE%AD%E7%BB%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzk0NDAsInEiOiLnvZHnu5zorq3nu4MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo3MzEyODk5LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.luOYPBMpke2ZnP7GyzCYd9uU6mxKJlWY_FYovFF6lTU&zhida_source=entity)有非常好的帮助。
编辑于 2018-06-21 13:33
[计算机视觉](https://www.zhihu.com/topic/19590195)
[机器学习](https://www.zhihu.com/topic/19559450)
[深度学习（Deep Learning）](https://www.zhihu.com/topic/19813032)
​赞同 28​​5 条评论​65 ​5 
​分享
​申请转载​
​
![](../images/body-7e064b35ba4350074989.jpeg)
未登录用户
  

5 条评论
默认
最新
[![空都](../images/009.jpg)](https://www.zhihu.com/people/cb87265ac60b48ede1f881eba38338b1)
[空都](https://www.zhihu.com/people/cb87265ac60b48ede1f881eba38338b1)
感谢分享，您知道在训练中2. 像素损失权重计算，这一节有没有复现代码，我在对d1(x)、d2(x)进行计算的时候遇到了困难，我一开始的想法是：先计算距离距离最近的细胞即d1(x)，然后将归属于距离最近细胞的像素全设为背景像素；最后再计算距离最近的细胞壁（即第二近细胞壁），但是算法的复杂度太高，自己又没相当别的好的计算方式。
2023-07-27
​回复​喜欢
[![BINGO Hong](../images/010.jpg)](https://www.zhihu.com/people/47af86ab4a98c497d14777b4cf343b2d)
[BINGO Hong](https://www.zhihu.com/people/47af86ab4a98c497d14777b4cf343b2d)
做overlaptile一方面是为了减少大分辨率图像的尺寸，另一方面是减少图像边缘分割时，图像边缘分割模糊。
2018-06-24
​回复​喜欢
[![KOD C](../images/011.jpg)](https://www.zhihu.com/people/7395e6c291ca8a60d44d2ab447a63725)
[KOD C](https://www.zhihu.com/people/7395e6c291ca8a60d44d2ab447a63725)
您好，您的文章写得很棒。有一个问题想请教您。
就是overlap-tile操作，论文中说的是对任意大的图像进行无缝分割。我的理解这个操作是在训练之前，对输入图片镜像操作来推断边缘区域的信息（388镜像操作后变成572），所以U-Net网络最后输出的是388图片，是跟原图一样大小的，这样实现了像素级别的分类。
但是overlap-tile操作又对镜像操作后的图像中的每个小块（Fig2中左图蓝框），在对这些小框做了一些弹性形变、双线性插值的数据增强，放入网络中去训练。
感觉有些乱，大佬能稍微解释一下么？ 感谢~
2018-06-21
​回复​喜欢
[![stone](../images/012.jpg)](https://www.zhihu.com/people/35ce9d46f0df1f5d30681075645c590d)
[stone](https://www.zhihu.com/people/35ce9d46f0df1f5d30681075645c590d)
作者
这里我也有点疑惑，我的理解是fig2中的蓝色框应该就是输入网络的图像，而不是你说的小块。因为原图可能分辨率非常大。
2018-06-21
​回复​喜欢
展开其他 1 条回复​
关于作者
[![stone](../images/013.jpg)](https://www.zhihu.com/people/big-big-stone)
[stone](https://www.zhihu.com/people/big-big-stone)
收藏之前点个赞呗
[ 回答 **30** ](https://www.zhihu.com/people/big-big-stone/answers)[ 文章 **15** ](https://www.zhihu.com/people/big-big-stone/posts)[ 关注者 **10,013** ](https://www.zhihu.com/people/big-big-stone/followers)
​关注他​发私信
大家都在搜
换一换
[江歌妈妈发长文尘埃终将落定704 万](https://www.zhihu.com/search?q=%E6%B1%9F%E6%AD%8C%E5%A6%88%E5%A6%88%E5%8F%91%E9%95%BF%E6%96%87%E5%B0%98%E5%9F%83%E7%BB%88%E5%B0%86%E8%90%BD%E5%AE%9A&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=4a4d2077-1b47-4173-a114-4a1fd1235f3b)热
[中国男足 0-5 巴勒斯坦562 万](https://www.zhihu.com/search?q=%E4%B8%AD%E5%9B%BD%E7%94%B7%E8%B6%B3+0-5+%E5%B7%B4%E5%8B%92%E6%96%AF%E5%9D%A6&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=4a4d2077-1b47-4173-a114-4a1fd1235f3b)热
[原央视主持人阿丘回应被通报419 万](https://www.zhihu.com/search?q=%E5%8E%9F%E5%A4%AE%E8%A7%86%E4%B8%BB%E6%8C%81%E4%BA%BA%E9%98%BF%E4%B8%98%E5%9B%9E%E5%BA%94%E8%A2%AB%E9%80%9A%E6%8A%A5&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=4a4d2077-1b47-4173-a114-4a1fd1235f3b)热
[华为与赛力斯达成新五年合作409 万](https://www.zhihu.com/search?q=%E5%8D%8E%E4%B8%BA%E4%B8%8E%E8%B5%9B%E5%8A%9B%E6%96%AF%E8%BE%BE%E6%88%90%E6%96%B0%E4%BA%94%E5%B9%B4%E5%90%88%E4%BD%9C&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=4a4d2077-1b47-4173-a114-4a1fd1235f3b)热
[迪拜航空确认航班发生事故398 万](https://www.zhihu.com/search?q=%E8%BF%AA%E6%8B%9C%E8%88%AA%E7%A9%BA%E7%A1%AE%E8%AE%A4%E8%88%AA%E7%8F%AD%E5%8F%91%E7%94%9F%E4%BA%8B%E6%95%85&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=4a4d2077-1b47-4173-a114-4a1fd1235f3b)热
[东航回应网传空姐跪地道歉326 万](https://www.zhihu.com/search?q=%E4%B8%9C%E8%88%AA%E5%9B%9E%E5%BA%94%E7%BD%91%E4%BC%A0%E7%A9%BA%E5%A7%90%E8%B7%AA%E5%9C%B0%E9%81%93%E6%AD%89&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=4a4d2077-1b47-4173-a114-4a1fd1235f3b)
[王楚钦：不知道为什么就是感觉累320 万](https://www.zhihu.com/search?q=%E7%8E%8B%E6%A5%9A%E9%92%A6%EF%BC%9A%E4%B8%8D%E7%9F%A5%E9%81%93%E4%B8%BA%E4%BB%80%E4%B9%88%E5%B0%B1%E6%98%AF%E6%84%9F%E8%A7%89%E7%B4%AF&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=4a4d2077-1b47-4173-a114-4a1fd1235f3b)热
[江苏高考作文《衬衫的价格为 9 磅 15 便士》爆火268 万](https://www.zhihu.com/search?q=%E6%B1%9F%E8%8B%8F%E9%AB%98%E8%80%83%E4%BD%9C%E6%96%87%E3%80%8A%E8%A1%AC%E8%A1%AB%E7%9A%84%E4%BB%B7%E6%A0%BC%E4%B8%BA+9+%E7%A3%85+15+%E4%BE%BF%E5%A3%AB%E3%80%8B%E7%88%86%E7%81%AB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=4a4d2077-1b47-4173-a114-4a1fd1235f3b)
[女装网店开始用防拆带了265 万](https://www.zhihu.com/search?q=%E5%A5%B3%E8%A3%85%E7%BD%91%E5%BA%97%E5%BC%80%E5%A7%8B%E7%94%A8%E9%98%B2%E6%8B%86%E5%B8%A6%E4%BA%86&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=4a4d2077-1b47-4173-a114-4a1fd1235f3b)
[孕妇骑车别车被司机踹翻257 万](https://www.zhihu.com/search?q=%E5%AD%95%E5%A6%87%E9%AA%91%E8%BD%A6%E5%88%AB%E8%BD%A6%E8%A2%AB%E5%8F%B8%E6%9C%BA%E8%B8%B9%E7%BF%BB&search_source=Trending&utm_content=search_hot&utm_medium=organic&utm_source=zhihu&type=content&request_click_id=4a4d2077-1b47-4173-a114-4a1fd1235f3b)
### 推荐阅读
[ ![语义分割网络U-Net详解](../images/015.jpg)语义分割网络U-Net详解 初识CV发表于初识CV ](https://zhuanlan.zhihu.com/p/389949794)# [汇总|实时性语义分割算法（全） 作者：明泽Danny Date：2020-10-27 来源：公众号【3D视觉工坊】 欢迎加入国内最大的3D视觉交流社区，1700+的领域从业者正在共同进步~ 注1：文末附有【计算机视觉】交流群加入方式哦~ 注2：… 第一具身范...发表于计算机视觉... ](https://zhuanlan.zhihu.com/p/269589642)# [【资源】常用的语义分割架构结构综述以及代码复现 作者：guanfuchen 项目：guanfuchen/semseg 原文链接：常用的语义分割架构结构综述以及代码复现 欢迎加小助手微信（cv-mart) 备注：研究方向-姓名-学校/公司-城市（如：目标检测-小极-北大-… 极市平台发表于极市平台 ](https://zhuanlan.zhihu.com/p/77418807)# [多篇开源CVPR 2020 语义分割论文 多篇开源CVPR 2020 语义分割论文 前言 1. DynamicRouting：针对语义分割的动态路径选择网络 Learning Dynamic Routing for Semantic Segmentation作者团队：中科院&国科大&西安交大… 吴建明wujianming ](https://zhuanlan.zhihu.com/p/138893960) 

_想来知乎工作？请发送邮件到 jobs@zhihu.com_
打开知乎App
在「我的页」右上角打开扫一扫
![](../images/body-0f9788d006ab0f4da762.png)
其他扫码方式：微信
下载知乎App
无障碍模式
验证码登录
密码登录
[开通机构号](https://zhuanlan.zhihu.com/org/signup)
中国 +86
获取短信验证码
忘记密码
登录/注册
其他方式登录
未注册手机验证后自动登录，注册即代表同意[《知乎协议》](https://www.zhihu.com/term/zhihu-terms)[《隐私保护指引》](https://www.zhihu.com/term/privacy)
扫码下载知乎 App
关闭二维码