深入解析py-faster-rcnn中的VGG16端到端训练网络结构

概述

本文将详细解析py-faster-rcnn项目中基于VGG16架构的端到端训练网络结构(train.prototxt)。这个网络结构是Faster R-CNN目标检测算法的核心实现，包含了特征提取、区域提议网络(RPN)和区域分类网络三个主要部分。

网络整体架构

该网络采用VGG16作为基础特征提取器，后接RPN网络生成候选区域，最后通过RoI Pooling和全连接层完成目标分类和边界框回归。整个网络实现了端到端的训练，能够同时优化检测精度和定位准确性。

输入数据层

layer {
  name: 'input-data'
  type: 'Python'
  top: 'data'
  top: 'im_info'
  top: 'gt_boxes'
  python_param {
    module: 'roi_data_layer.layer'
    layer: 'RoIDataLayer'
    param_str: "'num_classes': 81"
  }
}

输入层采用Python自定义层实现，输出三个数据：

1. data: 输入图像数据
2. im_info: 图像信息(宽、高、缩放比例)
3. gt_boxes: 真实标注框(ground truth boxes)

参数num_classes设置为81，对应COCO数据集的80个类别加背景类。

VGG16特征提取网络

网络前13层是标准的VGG16结构，包含5个卷积块，每个块后接最大池化层：

1. 前两个卷积块(conv1, conv2)各包含2个卷积层
2. 后三个卷积块(conv3, conv4, conv5)各包含3个卷积层
3. 所有卷积层使用3×3小卷积核，保持空间分辨率
4. 池化层使用2×2窗口，步长为2，实现特征图下采样

特别值得注意的是，前两个卷积块的参数设置了lr_mult: 0，表示在微调(fine-tuning)过程中不更新这些层的参数，这是常见的迁移学习策略。

区域提议网络(RPN)

RPN是Faster R-CNN的核心创新，直接在卷积特征图上生成候选区域：

layer {
  name: "rpn_conv/3x3"
  type: "Convolution"
  bottom: "conv5_3"
  top: "rpn/output"
  convolution_param {
    num_output: 512
    kernel_size: 3 pad: 1 stride: 1
  }
}

1. 首先通过3×3卷积生成512维特征
2. 然后并行两个1×1卷积：
   • rpn_cls_score: 分类分支，输出24通道(2×12，表示12个锚点的前景/背景得分)
   • rpn_bbox_pred: 回归分支，输出48通道(4×12，表示12个锚点的边界框偏移)

RPN训练包含两个损失：

1. rpn_loss_cls: 分类损失(SoftmaxWithLoss)
2. rpn_loss_bbox: 边界框回归损失(SmoothL1Loss)

候选区域生成

layer {
  name: 'proposal'
  type: 'Python'
  bottom: 'rpn_cls_prob_reshape'
  bottom: 'rpn_bbox_pred'
  bottom: 'im_info'
  top: 'rpn_rois'
}

Proposal层将RPN的输出转换为具体的候选区域(ROIs)，主要步骤包括：

1. 根据锚点生成初始候选框
2. 应用预测的边界框偏移
3. 非极大值抑制(NMS)筛选高质量候选框

ROI Pooling与分类网络

layer {
  name: "roi_pool5"
  type: "ROIPooling"
  bottom: "conv5_3"
  bottom: "rois"
  top: "pool5"
  roi_pooling_param {
    pooled_w: 7
    pooled_h: 7
    spatial_scale: 0.0625
  }
}

ROI Pooling将不同大小的候选区域统一采样为7×7特征图，然后通过两个全连接层(fc6, fc7)提取高级特征，最后输出：

1. cls_score: 81类分类得分
2. bbox_pred: 324维边界框回归值(81类×4)

损失函数

网络最终包含四个损失：

1. RPN分类损失
2. RPN边界框回归损失
3. 最终分类损失
4. 最终边界框回归损失

这些损失共同指导网络学习准确的物体检测能力。

总结

这个train.prototxt文件定义了完整的Faster R-CNN训练网络，展示了如何将VGG16特征提取器、RPN网络和分类网络有机结合，实现端到端的目标检测。通过分析这个网络结构，我们可以深入理解Faster R-CNN的工作原理和实现细节。