{ "source_file": "0930", "source_platform": "知乎专栏", "author": "白裳", "title_listed": "一文读懂 Faster RCNN", "keywords": "Faster RCNN,目标检测,RPN", "domain": "图像处理", "content_type": "深度技术解析", "is_paid_flag": "否", "url": "https://zhuanlan.zhihu.com/p/31426458", "publish_date": "2018", "corpus_stage": "应用", "notes": "目标检测经典模型全网最透彻讲解", "id": "5a31c0905c89", "collected_at": "2026-10-02T18:42:37", "title": "一文读懂Faster RCNN - 知乎", "body_markdown": "[![](https://zhuanlan.zhihu.com/p/31426458)](javascript:void\\(0\\))\n![ZhiHu logo](../images/body-e1fa91dbdb48b8055184.png)\n[](https://www.zhihu.com)\n[关注](https://www.zhihu.com/signin?next=%2Ffollow)[推荐](https://www.zhihu.com/signin?next=%2F)[热榜](https://www.zhihu.com/signin?next=%2Fhot)[专栏](https://www.zhihu.com/signin?next=%2Fcolumn-square)[圈子](https://www.zhihu.com/signin?next=%2Fring-feeds)[AI WorksBeta ](https://www.zhihu.com/project-square)[故事](https://www.zhihu.com/fiore/h5/vip-web)\n​\n[直答](https://zhida.zhihu.com/)\n切换模式\n登录/注册\n一文读懂Faster RCNN\n首发于[工作随笔](https://www.zhihu.com/column/ML-Algorithm)\n切换模式\n![一文读懂Faster RCNN](../images/000.img)\n# 一文读懂Faster RCNN\n[![你再好好想想](../images/039.jpg)](https://www.zhihu.com/people/george-zhang-84)\n[你再好好想想](https://www.zhihu.com/people/george-zhang-84)\n[收录于 · 工作随笔](https://www.zhihu.com/column/ML-Algorithm)\n1.1 万人赞同了该文章\n​\n目录\n经过[R-CNN](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=R-CNN&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJSLUNOTiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjQ3NTkyMDYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.obi07IaC9IKn2clzDxpULts4XP-tCRw9-gPzvTvl_U0&zhida_source=entity)和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCNN已经将[特征抽取](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E7%89%B9%E5%BE%81%E6%8A%BD%E5%8F%96&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLnibnlvoHmir3lj5YiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ._EN4IDuZGHFXBcPaeT0frA2iM0FGqxBbLK8DZKCSEtw&zhida_source=entity)(feature extraction)，proposal提取，bounding box regression(rect refine)，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显。\n![](../images/004.jpg)\n图1 Faster RCNN基本结构（来自原论文）\n依作者看来，如图1，Faster RCNN其实可以分为4个主要内容：\n 1. Conv layers。作为一种CNN[网络目标检测方法](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E7%BD%91%E7%BB%9C%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B%E6%96%B9%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLnvZHnu5znm67moIfmo4DmtYvmlrnms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ._hP-CJ5yAl3dmcpTR1KBHgw9uQN0ujalUG9g9EOUbI0&zhida_source=entity)，Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的feature maps。该feature maps被共享用于后续RPN层和全连接层。\n 2. Region Proposal Networks。RPN网络用于生成region proposals。该层通过softmax判断anchors属于positive或者negative，再利用bounding box regression修正anchors获得精确的proposals。\n 3. Roi Pooling。该层收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别。\n 4. Classification。利用proposal feature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的精确位置。\n\n\n所以本文以上述4个内容作为切入点介绍Faster R-CNN网络。\n图2展示了python版本中的VGG16模型中的faster_rcnn_test.pt的网络结构，可以清晰的看到该网络对于一副任意大小PxQ的图像：\n * 首先缩放至固定大小MxN，然后将MxN图像送入网络；\n * 而[Conv layers](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=2&q=Conv+layers&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJDb252IGxheWVycyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjQ3NTkyMDYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MiwiemRfdG9rZW4iOm51bGx9.j4Yo_OGrtBFN_wJ3PDwj3tHwvFEGvz9FDodoFL-vS6o&zhida_source=entity)中包含了13个[conv层](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=conv%E5%B1%82&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJjb2525bGCIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6NDc1OTIwNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.2KB4KFZTBqdC9C-h1QOKftAXVWIuJDUgT6fo7jx_XEE&zhida_source=entity)+13个[relu层](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=relu%E5%B1%82&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJyZWx15bGCIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6NDc1OTIwNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.gJcl3slp2-rfdXf3EY_3ld5okr4PzIQxJDjk6Jk-6ik&zhida_source=entity)+4个pooling层；\n * RPN网络首先经过3x3卷积，再分别生成positive anchors和对应bounding box regression偏移量，然后计算出proposals；\n * 而Roi Pooling层则利用proposals从feature maps中提取proposal feature送入后续全连接和softmax网络作classification（即分类proposal到底是什么object）。\n\n\n![](../images/005.jpg)\n图2 faster_rcnn_test.pt网络结构 （pascal_voc/VGG16/faster_rcnn_alt_opt/faster_rcnn_test.pt）\n _本文不会讨论任何关于R-CNN家族的历史，分析清楚最新的Faster R-CNN就够了，并不需要追溯到那么久。实话说我也不了解R-CNN，更不关心。有空不如看看新[算法](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E7%AE%97%E6%B3%95&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLnrpfms5UiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.YVLLNEhmAukxBKGkIYi2PpWbTAfp6uRtIRI2bHR1vlA&zhida_source=entity)。_\n新出炉的pytorch官方Faster RCNN代码导读：\n[](https://zhuanlan.zhihu.com/p/145842317)\n## 1 Conv layers\nConv layers包含了conv，pooling，relu三种层。以python版本中的VGG16模型中的faster_rcnn_test.pt的网络结构为例，如图2，Conv layers部分共有13个conv层，13个relu层，4个pooling层。这里有一个非常容易被忽略但是又无比重要的信息，在Conv layers中：\n 1. 所有的conv层都是：[kernel_size=3](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=kernel_size%3D3&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJrZXJuZWxfc2l6ZT0zIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6NDc1OTIwNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.99UtSQ_XrRm8P2qFzT67xAlrF-sDBDbESby91kJHdEQ&zhida_source=entity)，pad=1，stride=1\n 2. 所有的[pooling层](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=4&q=pooling%E5%B1%82&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJwb29saW5n5bGCIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6NDc1OTIwNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjo0LCJ6ZF90b2tlbiI6bnVsbH0.rECqNFw5DSPGP-FatZmdGzrS1I2yqQqmjyB3G65VDJw&zhida_source=entity)都是：[kernel_size=2](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=kernel_size%3D2&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJrZXJuZWxfc2l6ZT0yIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6NDc1OTIwNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.UmD5fJtEXsm5JqgSuyhFokNSFSUKhzbEo2zEAHkTrhA&zhida_source=entity)，pad=0，stride=2\n\n\n为何重要？在Faster RCNN Conv layers中对所有的卷积都做了扩边处理（ pad=1，即填充一圈0），导致原图变为 (M+2)x(N+2)大小，再做3x3卷积后输出MxN 。正是这种设置，导致Conv layers中的conv层不改变输入和输出[矩阵](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E7%9F%A9%E9%98%B5&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLnn6npmLUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.MSwWF_lGGOUAtwjNExbngMivo1UtSUpLvLKBkBEaOCw&zhida_source=entity)大小。如图3：\n![](../images/006.jpg)\n图3 卷积示意图\n类似的是，Conv layers中的pooling层kernel_size=2，stride=2。这样每个经过pooling层的[MxN矩阵](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=MxN%E7%9F%A9%E9%98%B5&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJNeE7nn6npmLUiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.3ZOX4pCwotRuGoMvFxgB2m6Dwxf2hPMeuvO3e3ky_UE&zhida_source=entity)，都会变为(M/2)x(N/2)大小。综上所述，在整个Conv layers中，conv和relu层不改变输入输出大小，只有pooling层使输出长宽都变为输入的1/2。\n那么，一个MxN大小的矩阵经过Conv layers固定变为(M/16)x(N/16)！这样Conv layers生成的feature map中都可以和原图对应起来。\n## 2 Region Proposal Networks(RPN)\n经典的检测方法生成检测框都非常耗时，如OpenCV adaboost使用[滑动窗口](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E6%BB%91%E5%8A%A8%E7%AA%97%E5%8F%A3&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLmu5Hliqjnqpflj6MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.P97hz7FSPSjpibI11Xbo90g6LHK8dfi4llselE_IZSU&zhida_source=entity)+图像金字塔生成检测框；或如R-CNN使用SS(Selective Search)方法生成[检测框](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=4&q=%E6%A3%80%E6%B5%8B%E6%A1%86&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLmo4DmtYvmoYYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjQsInpkX3Rva2VuIjpudWxsfQ.E2dgwXFmjyU-x1BSB4oBYFLnUho7aKHnJJmoYrvIgRY&zhida_source=entity)。而Faster RCNN则抛弃了传统的滑动窗口和SS方法，直接使用RPN生成检测框，这也是Faster R-CNN的巨大优势，能极大提升检测框的生成速度。\n![](../images/007.jpg)\n图4 RPN网络结构\n上图4展示了RPN网络的具体结构。可以看到RPN网络实际分为2条线，上面一条通过softmax分类anchors获得positive和negative分类，下面一条用于计算对于anchors的bounding box regression偏移量，以获得精确的proposal。而最后的Proposal层则负责综合positive anchors和对应bounding box regression偏移量获取proposals，同时剔除太小和超出边界的proposals。其实整个网络到了Proposal Layer这里，就完成了相当于目标定位的功能。\n### 2.1 [多通道图像](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E5%A4%9A%E9%80%9A%E9%81%93%E5%9B%BE%E5%83%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLlpJrpgJrpgZPlm77lg48iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.Qay0Iea9cXB1QqPEPSOsoVeNIrz7pyclJD-xrOeEIfM&zhida_source=entity)卷积基础知识介绍\n在介绍RPN前，还要多解释几句基础知识，已经懂的看官老爷跳过就好。\n 1. 对于单通道图像+单卷积核做卷积，第一章中的图3已经展示了；\n 2. 对于多通道图像+多[卷积核](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=2&q=%E5%8D%B7%E7%A7%AF%E6%A0%B8&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLljbfnp6_moLgiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjIsInpkX3Rva2VuIjpudWxsfQ.oQNLCbWz6zSu3aTm25vKu4A62nbvRD-svmQ_Mysx1z8&zhida_source=entity)做卷积，计算方式如下：\n\n\n![](../images/008.jpg)\n图5 多通道卷积计算方式\n如图5，输入有3个通道，同时有2个卷积核。对于每个卷积核，先在输入3个通道分别作卷积，再将3个通道结果加起来得到卷积输出。所以对于某个[卷积层](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E5%8D%B7%E7%A7%AF%E5%B1%82&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLljbfnp6_lsYIiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.AnvGSF4m-8q_dxWMWEYCQZlm1YfzFACK0mBCSMjA0IY&zhida_source=entity)，无论输入图像有多少个通道，输出[图像通道](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E5%9B%BE%E5%83%8F%E9%80%9A%E9%81%93&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLlm77lg4_pgJrpgZMiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.Hd28OG-r71jEVTpzWKZV-hcBm_Bwsc392xxuQJZj5rQ&zhida_source=entity)数总是等于卷积核数量！\n对多通道图像做1x1卷积，其实就是将输入图像于每个通道乘以[卷积系数](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E5%8D%B7%E7%A7%AF%E7%B3%BB%E6%95%B0&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLljbfnp6_ns7vmlbAiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.k-bo7pKUxZDpWcvs5-BCvj5Ha7JR_MWgMuvaN_WiiiY&zhida_source=entity)后加在一起，即相当于把原图像中本来各个独立的通道“联通”在了一起。\n### 2.2 anchors\n提到RPN网络，就不能不说anchors。所谓anchors，实际上就是一组由rpn/generate_anchors.py生成的矩形。直接运行作者demo中的generate_anchors.py可以得到以下输出：\n\n```\n[[ -84. -40. 99. 55.]\n [-176. -88. 191. 103.]\n [-360. -184. 375. 199.]\n [ -56. -56. 71. 71.]\n [-120. -120. 135. 135.]\n [-248. -248. 263. 263.]\n [ -36. -80. 51. 95.]\n [ -80. -168. 95. 183.]\n [-168. -344. 183. 359.]]\n```\n\n其中每行的4个值 (x_1, y_1, x_2, y_2) 表矩形左上和右下角点坐标。9个矩形共有3种形状，长宽比为大约为 \\text{width:height}\\in\\\\{1:1, 1:2, 2:1\\\\} 三种，如图6。实际上通过anchors就引入了检测中常用到的[多尺度](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E5%A4%9A%E5%B0%BA%E5%BA%A6&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLlpJrlsLrluqYiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.KrvlFS0oQinETmSugRwo2m-jN6oE2aD5CRC8ahnbL5c&zhida_source=entity)方法。\n![](../images/009.jpg)\n图6 anchors示意图\n注：关于上面的anchors size，其实是根据检测图像设置的。在python demo中，会把任意大小的输入图像reshape成800x600（即图2中的M=800，N=600）。再回头来看anchors的大小，anchors中长宽1:2中最大为352x704，长宽2:1中最大736x384，基本是cover了800x600的各个尺度和形状。\n那么这9个anchors是做什么的呢？借用Faster RCNN论文中的原图，如图7，遍历Conv layers计算获得的feature maps，为每一个点都配备这9种anchors作为初始的检测框。这样做获得检测框很不准确，不用担心，后面还有2次[bounding box regression](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=7&q=bounding+box+regression&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJib3VuZGluZyBib3ggcmVncmVzc2lvbiIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjQ3NTkyMDYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6NywiemRfdG9rZW4iOm51bGx9.Ftn7S33n3hw6gRr4MkTLR68eKb-gW7WPp6KFBb06L_s&zhida_source=entity)可以修正检测框位置。\n![](../images/010.jpg)\n图7\n解释一下上面这张图的数字。\n 1. 在原文中使用的是ZF model中，其Conv Layers中最后的conv5层num_output=256，对应生成256张[特征图](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E7%89%B9%E5%BE%81%E5%9B%BE&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLnibnlvoHlm74iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.Z70HUM1Sqda4V-s8u_glLpsa5qWWNJnvqSGX1z-ZHAc&zhida_source=entity)，所以相当于feature map每个点都是256-dimensions\n 2. 在conv5之后，做了rpn_conv/3x3卷积且num_output=256，相当于每个点又融合了周围3x3的空间信息（猜测这样做也许更鲁棒？反正我没测试），同时256-d不变（如图4和图7中的红框）\n 3. 假设在conv5 feature map中每个点上有k个anchor（默认k=9），而每个anhcor要分positive和negative，所以每个点由256d feature转化为cls=2•k scores；而每个anchor都有(x, y, w, h)对应4个[偏移量](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=4&q=%E5%81%8F%E7%A7%BB%E9%87%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLlgY_np7vph48iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjQsInpkX3Rva2VuIjpudWxsfQ.DoRYkkwjRkTZUus1U_ug7juu8V_pC9Wh4fvoy_7x9q8&zhida_source=entity)，所以reg=4•k coordinates\n 4. 补充一点，全部anchors拿去训练太多了，训练程序会在合适的anchors中**随机** 选取128个postive anchors+128个negative anchors进行训练（什么是合适的anchors下文5.1有解释）\n\n\n注意，在本文讲解中使用的VGG conv5 num_output=512，所以是512d，其他类似。\n**其实RPN最终就是在原图尺度上，设置了密密麻麻的候选Anchor。然后用cnn去判断哪些Anchor是里面有目标的positive anchor，哪些是没目标的negative anchor。所以，仅仅是个二分类而已！**\n那么Anchor一共有多少个？原图800x600，VGG[下采样](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E4%B8%8B%E9%87%87%E6%A0%B7&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLkuIvph4fmoLciLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.kMz612eV3ArVC_IOsPmyO6JcJewToqZ0SFYl3vEGzi8&zhida_source=entity)16倍，[feature map](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=11&q=feature+map&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJmZWF0dXJlIG1hcCIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjQ3NTkyMDYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MTEsInpkX3Rva2VuIjpudWxsfQ.76UyaPqidxRo_H29y5iJeJ0cYpYjPRKA8lowyGdZkjo&zhida_source=entity)每个点设置9个Anchor，所以：\n\\text{ceil}(800/16) \\times \\text{ceil}(600/16) \\times 9=50\\times38 \\times9=17100 \\tag{1}\n其中ceil()表示向上取整，是因为VGG输出的feature map size= 50*38。\n![](../images/011.jpg)\n图8 Gernerate Anchors\n### 2.3 softmax判定positive与negative\n一副MxN大小的矩阵送入Faster RCNN网络后，到RPN网络变为(M/16)x(N/16)，不妨设 W=M/16，H=N/16。在进入reshape与softmax之前，先做了1x1卷积，如图9：\n![](../images/012.jpg)\n图9 RPN中判定positive/negative网络结构\n该1x1卷积的caffe prototxt定义如下：\n\n```\nlayer {\n name: \"rpn_cls_score\"\n type: \"Convolution\"\n bottom: \"rpn/output\"\n top: \"rpn_cls_score\"\n convolution_param {\n num_output: 18 # 2(positive/negative) * 9(anchors)\n kernel_size: 1 pad: 0 stride: 1\n }\n}\n```\n\n可以看到其num_output=18，也就是经过该卷积的输出图像为WxHx18大小（注意第二章开头提到的卷积计算方式）。这也就刚好对应了feature maps每一个点都有9个anchors，同时每个anchors又有可能是positive和negative，所有这些信息都保存WxHx(9*2)大小的矩阵。为何这样做？后面接softmax分类获得positive anchors，也就相当于初步提取了检测目标候选区域box（一般认为目标在positive anchors中）。\n那么为何要在softmax前后都接一个reshape layer？其实只是为了便于softmax分类，至于具体原因这就要从caffe的实现形式说起了。在caffe基本数据结构blob中以如下形式保存数据：\n\n```\nblob=[batch_size, channel，height，width]\n```\n\n对应至上面的保存positive/negative anchors的矩阵，其在caffe blob中的存储形式为[1, 2x9, H, W]。而在softmax分类时需要进行positive/negative二分类，所以reshape layer会将其变为[1, 2, 9xH, W]大小，即单独“腾空”出来一个维度以便softmax分类，之后再reshape回复原状。贴一段caffe softmax_loss_layer.cpp的reshape函数的解释，非常精辟：\n\n```\n\"Number of labels must match number of predictions; \"\n\"e.g., if softmax axis == 1 and prediction shape is (N, C, H, W), \"\n\"label count (number of labels) must be N*H*W, \"\n\"with integer values in {0, 1, ..., C-1}.\";\n\n```\n\n综上所述，RPN网络中利用anchors和softmax初步提取出positive anchors作为候选区域（另外也有实现用[sigmoid](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=sigmoid&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJzaWdtb2lkIiwiemhpZGFfc291cmNlIjoiZW50aXR5IiwiY29udGVudF9pZCI6NDc1OTIwNiwiY29udGVudF90eXBlIjoiQXJ0aWNsZSIsIm1hdGNoX29yZGVyIjoxLCJ6ZF90b2tlbiI6bnVsbH0.BzbHvk97b88dDgaMyaiYKuGSP_agdz5u-PskZX2LvZs&zhida_source=entity)代替softmax，输出[1, 1, 9xH, W]后接sigmoid进行positive/negative二分类，原理一样）。\n### 2.4 bounding box regression原理\n如图9所示绿色框为飞机的Ground Truth(GT)，红色为提取的positive anchors，即便红色的框被分类器识别为飞机，但是由于红色的框定位不准，这张图相当于没有正确的检测出飞机。所以我们希望采用一种方法对红色的框进行微调，使得positive anchors和GT更加接近。\n![](../images/013.jpg)\n图10\n对于窗口一般使用四维向量 (x, y, w, h) 表示，分别表示窗口的中心点坐标和宽高。对于图 11，红色的框A代表原始的positive Anchors，绿色的框G代表目标的GT，我们的目标是寻找一种关系，使得输入原始的anchor A经过映射得到一个跟真实窗口G更接近的回归窗口G'，即：\n * 给定anchor A=(A_{x}, A_{y}, A_{w}, A_{h}) 和 GT=[G_{x}, G_{y}, G_{w}, G_{h}]\n * 寻找一种变换**F，** 使得：F(A_{x}, A_{y}, A_{w}, A_{h})=(G_{x}^{'}, G_{y}^{'}, G_{w}^{'}, G_{h}^{'})，其中(G_{x}^{'}, G_{y}^{'}, G_{w}^{'}, G_{h}^{'})≈(G_{x}, G_{y}, G_{w}, G_{h})\n\n\n![](../images/014.jpg)\n图11\n那么经过何种变换**F** 才能从图10中的anchor A变为G'呢？ 比较简单的思路就是:\n * 先做平移\n\n\nG_x'=A_w\\cdot d_x(A) +A_x\\tag{2}\nG_y'=A_h\\cdot d_y(A) +A_y\\tag{3}\n * 再做缩放\n\n\nG_w'=A_w\\cdot \\exp(d_w(A)) \\tag{4}\nG_h'=A_h\\cdot \\exp(d_h(A))\\tag{5}\n观察上面4个公式发现，需要学习的是 d_{x}(A),d_{y}(A),d_{w}(A),d_{h}(A) 这四个变换。当输入的anchor A与GT相差较小时，可以认为这种变换是一种线性变换， 那么就可以用线性回归来建模对窗口进行微调（注意，只有当anchors A和GT比较接近时，才能使用线性回归模型，否则就是复杂的非线性问题了）。\n接下来的问题就是如何通过线性回归获得 d_{x}(A),d_{y}(A),d_{w}(A),d_{h}(A) 了。线性回归就是给定输入的特征向量X, 学习一组参数W, 使得经过线性回归后的值跟真实值Y非常接近，即 Y=WX 。对于该问题，输入X是cnn feature map，定义为Φ；同时还有训练传入A与GT之间的变换量，即(t_{x}, t_{y}, t_{w}, t_{h})。输出是d_{x}(A),d_{y}(A),d_{w}(A),d_{h}(A)四个变换。那么目标函数可以表示为：\nd_*(A)=W_*^T\\cdot \\phi(A)\\tag{6}\n其中 \\phi(A) 是对应anchor的feature map组成的特征向量， W_* 是需要学习的参数， d_*(A) 是得到的预测值（*表示 x，y，w，h，也就是每一个变换对应一个上述目标函数）。为了让预测值 d_*(A) 与真实值 t_* 差距最小，设计L1损失函数：\n\\text{Loss}=\\sum_{i}^{N}{|t_*^i-W_*^T\\cdot \\phi(A^i)|} \\tag{7}\n函数优化目标为：\n\\hat{W}_*=\\text{argmin}_{W_*}\\sum_{i}^{n}|t_*^i- W_*^T\\cdot \\phi(A^i)|+\\lambda||W_*|| \\tag{8}\n为了方便描述，这里以L1损失为例介绍，而真实情况中一般使用smooth-L1损失。\n需要说明，只有在GT与需要回归框位置比较接近时，才可近似认为上述线性变换成立。 \n说完原理，对应于Faster RCNN原文，positive anchor与ground truth之间的平移量 (t_x, t_y) 与尺度因子 (t_w, t_h) 如下：\nt_x=(x-x_a)/w_a\\ \\ \\ \\ t_y=(y-y_a)/h_a \\tag{9}\nt_w=\\log(w/w_a)\\ \\ \\ \\ t_h=\\log(h/h_a) \\tag{10}\n对于训练bouding box regression网络回归分支，输入是cnn feature Φ，监督信号是Anchor与GT的差距 (t_x, t_y, t_w, t_h)，即训练目标是：输入 Φ的情况下使网络输出与监督信号尽可能接近。那么当bouding box regression工作时，再输入Φ时，回归网络分支的输出就是每个Anchor的平移量和变换尺度 (t_x, t_y, t_w, t_h)，显然即可用来修正Anchor位置了。\n### 2.5 对proposals进行bounding box regression\n在了解bounding box regression后，再回头来看RPN网络第二条线路，如图12。\n![](../images/015.jpg)\n图12 RPN中的bbox reg\n先来看一看上图11中1x1卷积的caffe prototxt定义：\n\n```\nlayer {\n name: \"rpn_bbox_pred\"\n type: \"Convolution\"\n bottom: \"rpn/output\"\n top: \"rpn_bbox_pred\"\n convolution_param {\n num_output: 36 # 4 * 9(anchors)\n kernel_size: 1 pad: 0 stride: 1\n }\n}\n```\n\n可以看到其 num_output=36，即经过该卷积输出图像为WxHx36，在caffe blob存储为[1, 4x9, H, W]，这里相当于feature maps每个点都有9个anchors，每个anchors又都有4个用于回归的变换量。\n[d_{x}(A),d_{y}(A),d_{w}(A),d_{h}(A)] \\tag{11}\n回到图8，VGG输出 50x38x512 的特征，对应设置 50x38xk anchors，而RPN输出：\n 1. 大小为 50x38x2k 的positive/negative softmax分类特征矩阵\n 2. 大小为 50x38x4k 的regression坐标回归特征矩阵\n\n\n恰好满足RPN完成positive/negative分类+bounding box regression坐标回归.\n### 2.6 Proposal Layer\nProposal Layer负责综合所有 [d_{x}(A),d_{y}(A),d_{w}(A),d_{h}(A)] 变换量和positive anchors，计算出精准的proposal，送入后续[RoI Pooling](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=RoI+Pooling&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJSb0kgUG9vbGluZyIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjQ3NTkyMDYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.HauoBvKE26DnYPHTebW94YcvYuHTIxWujbxuJL3arFs&zhida_source=entity) Layer。还是先来看看Proposal Layer的caffe prototxt定义：\n\n```\nlayer {\n name: 'proposal'\n type: 'Python'\n bottom: 'rpn_cls_prob_reshape'\n bottom: 'rpn_bbox_pred'\n bottom: 'im_info'\n top: 'rois'\n python_param {\n module: 'rpn.proposal_layer'\n layer: 'ProposalLayer'\n param_str: \"'feat_stride': 16\"\n }\n}\n```\n\nProposal Layer有3个输入：positive vs negative anchors分类器结果rpn_cls_prob_reshape，对应的bbox reg的 [d_{x}(A),d_{y}(A),d_{w}(A),d_{h}(A)] 变换量rpn_bbox_pred，以及im_info；另外还有参数feat_stride=16，这和图4是对应的。\n首先解释im_info。对于一副任意大小PxQ图像，传入Faster RCNN前首先reshape到固定MxN，im_info=[M, N, scale_factor]则保存了此次缩放的所有信息。然后经过Conv Layers，经过4次pooling变为WxH=(M/16)x(N/16)大小，其中feature_stride=16则保存了该信息，用于计算anchor偏移量。\n![](../images/016.jpg)\n图13\nProposal Layer forward（caffe layer的前传函数）按照以下顺序依次处理：\n 1. 生成anchors，利用[d_{x}(A),d_{y}(A),d_{w}(A),d_{h}(A)]对所有的anchors做bbox regression回归（这里的anchors生成和训练时完全一致）\n 2. 按照输入的positive softmax scores由大到小排序anchors，提取前pre_nms_topN(e.g. 6000)个anchors，即提取修正位置后的positive anchors\n 3. 限定超出图像边界的positive anchors为图像边界，防止后续roi pooling时proposal超出图像边界（见文章底部QA部分图21）\n 4. 剔除尺寸非常小的positive anchors\n 5. 对剩余的positive anchors进行NMS（nonmaximum suppression）\n 6. Proposal Layer有3个输入：positive和negative anchors分类器结果rpn_cls_prob_reshape，对应的bbox reg的(e.g. 300)结果作为proposal输出\n\n\n之后输出proposal=[x1, y1, x2, y2]，注意，由于在第三步中将anchors映射回原图判断是否超出边界，所以这里输出的proposal是对应MxN输入图像尺度的，这点在后续网络中有用。另外我认为，严格意义上的检测应该到此就结束了，后续部分应该属于识别了。\nRPN网络结构就介绍到这里，总结起来就是： \n**生成anchors - > softmax分类器提取positvie anchors -> bbox reg回归positive anchors -> Proposal Layer生成proposals**\n## 3 RoI pooling\n而RoI Pooling层则负责收集proposal，并计算出proposal feature maps，送入后续网络。从图2中可以看到Rol pooling层有2个输入：\n 1. 原始的feature maps\n 2. RPN输出的proposal boxes（大小各不相同）\n\n\n### 3.1 为何需要RoI Pooling\n先来看一个问题：对于传统的CNN（如AlexNet和VGG），当[网络训练](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E7%BD%91%E7%BB%9C%E8%AE%AD%E7%BB%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLnvZHnu5zorq3nu4MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.CTudhPrvOH84coMjGXaan4yoPzIJwwwm-36fbIFBk84&zhida_source=entity)好后输入的图像尺寸必须是固定值，同时网络输出也是固定大小的vector or matrix。如果输入图像大小不定，这个问题就变得比较麻烦。有2种解决办法：\n 1. 从图像中crop一部分传入网络\n 2. 将图像warp成需要的大小后传入网络\n\n\n![](../images/017.jpg)\n图14 crop与warp破坏图像原有结构信息\n两种办法的示意图如图14，可以看到无论采取那种办法都不好，要么crop后破坏了图像的完整结构，要么warp破坏了图像原始形状信息。\n回忆RPN网络生成的proposals的方法：对positive anchors进行bounding box regression，那么这样获得的proposals也是大小形状各不相同，即也存在上述问题。所以Faster R-CNN中提出了RoI Pooling解决这个问题。不过RoI Pooling确实是从[Spatial Pyramid Pooling](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1406.4729)发展而来，但是限于篇幅这里略去不讲，有兴趣的读者可以自行查阅相关论文。\n### 3.2 RoI Pooling原理\n分析之前先来看看RoI Pooling Layer的caffe prototxt的定义：\n\n```\nlayer {\n name: \"roi_pool5\"\n type: \"ROIPooling\"\n bottom: \"conv5_3\"\n bottom: \"rois\"\n top: \"pool5\"\n roi_pooling_param {\n pooled_w: 7\n pooled_h: 7\n spatial_scale: 0.0625 # 1/16\n }\n}\n```\n\n其中有新参数pooled_w和pooled_h，另外一个参数spatial_scale认真阅读的读者肯定已经知道知道用途。RoI Pooling layer forward过程：\n * 由于proposal是对应MxN尺度的，所以首先使用spatial_scale参数将其映射回(M/16)x(N/16)大小的feature map尺度；\n * 再将每个proposal对应的feature map区域水平分为 pool_w*pool_h 的网格；\n * 对网格的每一份都进行max pooling处理。\n\n\n这样处理后，即使大小不同的proposal输出结果都是 pool_w*pool_h 固定大小，实现了固定长度输出。\n![](../images/018.jpg)\n图15 proposal示意图\n## 4 Classification\nClassification部分利用已经获得的proposal feature maps，通过full connect层与softmax计算每个proposal具体属于那个类别（如人，车，电视等），输出cls_prob[概率向量](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E6%A6%82%E7%8E%87%E5%90%91%E9%87%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLmpoLnjoflkJHph48iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.u3ibGgw4wZUWqJRava2oDSziYP832flCBMZlribx3ig&zhida_source=entity)；同时再次利用bounding box regression获得每个proposal的位置偏移量bbox_pred，用于回归更加精确的目标检测框。Classification部分网络结构如图16。\n![](../images/019.jpg)\n图16 Classification部分网络结构图\n从RoI Pooling获取到7x7=49大小的proposal feature maps后，送入后续网络，可以看到做了如下2件事：\n 1. 通过全连接和softmax对proposals进行分类，这实际上已经是识别的范畴了\n 2. 再次对proposals进行bounding box regression，获取更高精度的rect box\n\n\n这里来看看全连接层InnerProduct layers，简单的示意图如图17，\n![](../images/020.jpg)\n图17 全连接层示意图\n其计算公式如下：\n![](../images/021.jpg)\n其中W和bias B都是预先训练好的，即大小是固定的，当然输入X和输出Y也就是固定大小。所以，这也就印证了之前Roi Pooling的必要性。到这里，我想其他内容已经很容易理解，不在赘述了。\n## 5 Faster RCNN训练\nFaster R-CNN的训练，是在已经训练好的model（如VGG_CNN_M_1024，VGG，ZF）的基础上继续进行训练。实际中训练过程分为6个步骤：\n 1. 在已经训练好的model上，训练RPN网络，对应stage1_rpn_train.pt\n 2. 利用步骤1中训练好的RPN网络，收集proposals，对应rpn_test.pt\n 3. 第一次训练Fast RCNN网络，对应stage1_fast_rcnn_train.pt\n 4. 第二训练RPN网络，对应stage2_rpn_train.pt\n 5. 再次利用步骤4中训练好的RPN网络，收集proposals，对应rpn_test.pt\n 6. 第二次训练Fast RCNN网络，对应stage2_fast_rcnn_train.pt\n\n\n可以看到训练过程类似于一种“迭代”的过程，不过只循环了2次。至于只循环了2次的原因是应为作者提到：\"A similar alternating training can be run for more iterations, but we have observed negligible improvements\"，即循环更多次没有提升了。接下来本章以上述6个步骤讲解训练过程。\n下面是一张训练过程流程图，应该更加清晰：\n![](../images/022.jpg)\n### 5.1 训练RPN网络\n在该步骤中，首先读取RBG提供的预训练好的model（本文使用VGG），开始迭代训练。来看看stage1_rpn_train.pt网络结构，如图19。\n![](../images/023.jpg)\n图19 stage1_rpn_train.pt（考虑图片大小，Conv Layers中所有的层都画在一起了，如红圈所示，后续图都如此处理）\n与检测网络类似的是，依然使用Conv Layers提取feature maps。整个网络使用的Loss如下：\n\\text{L}(\\\\{p_i\\\\},\\\\{t_i\\\\})=\\frac{1}{N_{\\text{cls}}}\\sum_{i}\\text{L}_\\text{cls}(p_i,p_i^*)+\\lambda\\frac{1}{N_{\\text{reg}}}\\sum_{i}p_i^*\\text{L}_\\text{reg}(t_i,t_i^*) \\tag{12}\n上述公式中 i 表示anchors index， p_{i} 表示positive softmax [probability](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=probability&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJwcm9iYWJpbGl0eSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjQ3NTkyMDYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.B1A4BbYy_CpUpOog_BcJL0eOVVB40lwgw41lVqhSGak&zhida_source=entity)，p_{i}^{*}代表对应的GT predict概率（即当第i个anchor与GT间IoU>0.7，认为是该anchor是positive，p_{i}^{*}=1；反之IoU<0.3时，认为是该anchor是negative，p_{i}^{*}=0；至于那些0.3 softmax分类器提取positvie anchors -> bbox reg回归positive anchors -> Proposal Layer生成proposals**\n## 3 RoI pooling\n而RoI Pooling层则负责收集proposal，并计算出proposal feature maps，送入后续网络。从图2中可以看到Rol pooling层有2个输入：\n 1. 原始的feature maps\n 2. RPN输出的proposal boxes（大小各不相同）\n\n\n### 3.1 为何需要RoI Pooling\n先来看一个问题：对于传统的CNN（如AlexNet和VGG），当[网络训练](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E7%BD%91%E7%BB%9C%E8%AE%AD%E7%BB%83&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLnvZHnu5zorq3nu4MiLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.CTudhPrvOH84coMjGXaan4yoPzIJwwwm-36fbIFBk84&zhida_source=entity)好后输入的图像尺寸必须是固定值，同时网络输出也是固定大小的vector or matrix。如果输入图像大小不定，这个问题就变得比较麻烦。有2种解决办法：\n 1. 从图像中crop一部分传入网络\n 2. 将图像warp成需要的大小后传入网络\n\n\n![](https://pica.zhimg.com/v2-e525342cbde476a11c48a6be393f226c_1440w.jpg)\n图14 crop与warp破坏图像原有结构信息\n两种办法的示意图如图14，可以看到无论采取那种办法都不好，要么crop后破坏了图像的完整结构，要么warp破坏了图像原始形状信息。\n回忆RPN网络生成的proposals的方法：对positive anchors进行bounding box regression，那么这样获得的proposals也是大小形状各不相同，即也存在上述问题。所以Faster R-CNN中提出了RoI Pooling解决这个问题。不过RoI Pooling确实是从[Spatial Pyramid Pooling](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1406.4729)发展而来，但是限于篇幅这里略去不讲，有兴趣的读者可以自行查阅相关论文。\n### 3.2 RoI Pooling原理\n分析之前先来看看RoI Pooling Layer的caffe prototxt的定义：\n\n```\nlayer {\n name: \"roi_pool5\"\n type: \"ROIPooling\"\n bottom: \"conv5_3\"\n bottom: \"rois\"\n top: \"pool5\"\n roi_pooling_param {\n pooled_w: 7\n pooled_h: 7\n spatial_scale: 0.0625 # 1/16\n }\n}\n```\n\n其中有新参数pooled_w和pooled_h，另外一个参数spatial_scale认真阅读的读者肯定已经知道知道用途。RoI Pooling layer forward过程：\n * 由于proposal是对应MxN尺度的，所以首先使用spatial_scale参数将其映射回(M/16)x(N/16)大小的feature map尺度；\n * 再将每个proposal对应的feature map区域水平分为 pool_w*pool_h 的网格；\n * 对网格的每一份都进行max pooling处理。\n\n\n这样处理后，即使大小不同的proposal输出结果都是 pool_w*pool_h 固定大小，实现了固定长度输出。\n![](https://pic3.zhimg.com/v2-e3108dc5cdd76b871e21a4cb64001b5c_1440w.jpg)\n图15 proposal示意图\n## 4 Classification\nClassification部分利用已经获得的proposal feature maps，通过full connect层与softmax计算每个proposal具体属于那个类别（如人，车，电视等），输出cls_prob[概率向量](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=%E6%A6%82%E7%8E%87%E5%90%91%E9%87%8F&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiLmpoLnjoflkJHph48iLCJ6aGlkYV9zb3VyY2UiOiJlbnRpdHkiLCJjb250ZW50X2lkIjo0NzU5MjA2LCJjb250ZW50X3R5cGUiOiJBcnRpY2xlIiwibWF0Y2hfb3JkZXIiOjEsInpkX3Rva2VuIjpudWxsfQ.u3ibGgw4wZUWqJRava2oDSziYP832flCBMZlribx3ig&zhida_source=entity)；同时再次利用bounding box regression获得每个proposal的位置偏移量bbox_pred，用于回归更加精确的目标检测框。Classification部分网络结构如图16。\n![](https://pic4.zhimg.com/v2-9377a45dc8393d546b7b52a491414ded_1440w.jpg)\n图16 Classification部分网络结构图\n从RoI Pooling获取到7x7=49大小的proposal feature maps后，送入后续网络，可以看到做了如下2件事：\n 1. 通过全连接和softmax对proposals进行分类，这实际上已经是识别的范畴了\n 2. 再次对proposals进行bounding box regression，获取更高精度的rect box\n\n\n这里来看看全连接层InnerProduct layers，简单的示意图如图17，\n![](https://picx.zhimg.com/v2-38594a97f33ff56fc72542a20a78116d_1440w.jpg)\n图17 全连接层示意图\n其计算公式如下：\n![](https://pic2.zhimg.com/v2-f56d3209f9a7d5f27d77ead7489ab70f_1440w.jpg)\n其中W和bias B都是预先训练好的，即大小是固定的，当然输入X和输出Y也就是固定大小。所以，这也就印证了之前Roi Pooling的必要性。到这里，我想其他内容已经很容易理解，不在赘述了。\n## 5 Faster RCNN训练\nFaster R-CNN的训练，是在已经训练好的model（如VGG_CNN_M_1024，VGG，ZF）的基础上继续进行训练。实际中训练过程分为6个步骤：\n 1. 在已经训练好的model上，训练RPN网络，对应stage1_rpn_train.pt\n 2. 利用步骤1中训练好的RPN网络，收集proposals，对应rpn_test.pt\n 3. 第一次训练Fast RCNN网络，对应stage1_fast_rcnn_train.pt\n 4. 第二训练RPN网络，对应stage2_rpn_train.pt\n 5. 再次利用步骤4中训练好的RPN网络，收集proposals，对应rpn_test.pt\n 6. 第二次训练Fast RCNN网络，对应stage2_fast_rcnn_train.pt\n\n\n可以看到训练过程类似于一种“迭代”的过程，不过只循环了2次。至于只循环了2次的原因是应为作者提到：\"A similar alternating training can be run for more iterations, but we have observed negligible improvements\"，即循环更多次没有提升了。接下来本章以上述6个步骤讲解训练过程。\n下面是一张训练过程流程图，应该更加清晰：\n![](https://pic4.zhimg.com/v2-ddfcf3dc29976e384b047418aec9002d_1440w.jpg)\n### 5.1 训练RPN网络\n在该步骤中，首先读取RBG提供的预训练好的model（本文使用VGG），开始迭代训练。来看看stage1_rpn_train.pt网络结构，如图19。\n![](https://pic4.zhimg.com/v2-c39aef1d06e08e4e0cec96b10f50a779_1440w.jpg)\n图19 stage1_rpn_train.pt（考虑图片大小，Conv Layers中所有的层都画在一起了，如红圈所示，后续图都如此处理）\n与检测网络类似的是，依然使用Conv Layers提取feature maps。整个网络使用的Loss如下：\n\\text{L}(\\\\{p_i\\\\},\\\\{t_i\\\\})=\\frac{1}{N_{\\text{cls}}}\\sum_{i}\\text{L}_\\text{cls}(p_i,p_i^*)+\\lambda\\frac{1}{N_{\\text{reg}}}\\sum_{i}p_i^*\\text{L}_\\text{reg}(t_i,t_i^*) \\tag{12}\n上述公式中 i 表示anchors index， p_{i} 表示positive softmax [probability](https://zhida.zhihu.com/search?content_id=4759206&content_type=Article&match_order=1&q=probability&zd_token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJ6aGlkYV9zZXJ2ZXIiLCJleHAiOjE3OTExMzkzNTcsInEiOiJwcm9iYWJpbGl0eSIsInpoaWRhX3NvdXJjZSI6ImVudGl0eSIsImNvbnRlbnRfaWQiOjQ3NTkyMDYsImNvbnRlbnRfdHlwZSI6IkFydGljbGUiLCJtYXRjaF9vcmRlciI6MSwiemRfdG9rZW4iOm51bGx9.B1A4BbYy_CpUpOog_BcJL0eOVVB40lwgw41lVqhSGak&zhida_source=entity)，p_{i}^{*}代表对应的GT predict概率（即当第i个anchor与GT间IoU>0.7，认为是该anchor是positive，p_{i}^{*}=1；反之IoU<0.3时，认为是该anchor是negative，p_{i}^{*}=0；至于那些0.3