深入解析py-faster-rcnn中VGG_CNN_M_1024模型的训练网络结构

概述

本文将详细解析py-faster-rcnn项目中基于VGG_CNN_M_1024架构的Faster R-CNN端到端训练网络结构。这个prototxt文件定义了整个Faster R-CNN模型的训练过程，包括特征提取、区域建议网络(RPN)和区域分类网络(RCNN)三大部分。

网络结构总览

该模型采用VGG_CNN_M_1024作为基础网络，这是一种中等规模的VGG变体，相比标准的VGG-16网络，它在保持性能的同时减少了计算量。整个网络可以分为以下几个关键部分：

1. 基础卷积网络(特征提取)
2. 区域建议网络(RPN)
3. 感兴趣区域池化(RoI Pooling)
4. 分类和回归网络

基础卷积网络结构

基础卷积网络由5个卷积层组成，用于从输入图像中提取特征：

1. conv1层：
   - 输入：原始图像数据
   - 96个7x7卷积核，步长2
   - ReLU激活
   - LRN局部响应归一化
   - 3x3最大池化，步长2

2. conv2层：
   - 256个5x5卷积核，步长2
   - ReLU激活
   - LRN局部响应归一化
   - 3x3最大池化，步长2

3. conv3-conv5层：
   - 512个3x3卷积核
   - 每层后接ReLU激活
   - 无池化层

值得注意的是，conv1层的参数设置了lr_mult: 0，这意味着在微调阶段不更新这些参数，这在迁移学习中很常见。

区域建议网络(RPN)

RPN是Faster R-CNN的核心创新，它直接在卷积特征图上生成区域建议：

1. rpn_conv/3x3层：
   - 256个3x3卷积核
   - 保持特征图空间分辨率不变

2. rpn_cls_score层：
   - 24个1x1卷积核(2分类×12锚点)
   - 输出每个位置每个锚点的前景/背景得分

3. rpn_bbox_pred层：
   - 48个1x1卷积核(4坐标×12锚点)
   - 输出每个位置每个锚点的边界框回归值

4. rpn-data层：
   - Python自定义层
   - 生成RPN训练所需的标签和回归目标
   - 使用4种尺度(4,8,16,32)的锚点

5. 损失函数：
   - 分类损失(SoftmaxWithLoss)
   - 边界框回归损失(SmoothL1Loss)

感兴趣区域处理

1. proposal层：
   - 根据RPN输出生成区域建议
   - 非极大值抑制(NMS)处理
   - 输出Top-N个候选区域

2. roi-data层：
   - 为每个候选区域分配标签
   - 生成分类和回归目标
   - 采样正负样本平衡训练

3. roi_pool5层：
   - 将不同大小的候选区域池化为固定大小(6x6)
   - 空间尺度为1/16(相对于原图)

分类和回归网络

这部分网络对每个候选区域进行分类和精确回归：

1. 全连接层：
   - fc6: 4096维
   - fc7: 1024维(比标准VGG的4096小)
   - 每个全连接层后接ReLU激活

2. 输出层：
   - cls_score: 81类分类得分(COCO数据集)
   - bbox_pred: 324维(81类×4坐标)

3. 损失函数：
   - 分类损失(SoftmaxWithLoss)
   - 边界框回归损失(SmoothL1Loss)

训练技巧分析

1. 学习率设置：不同层的学习率倍数(lr_mult)不同，通常偏置项的学习率是权重项的2倍

2. 权重初始化：

   • 卷积层使用高斯初始化(std=0.01)
   • 偏置项初始化为0

3. 损失平衡：

   • RPN和RCNN的分类、回归损失权重均为1
   • 使用bbox_inside_weights和bbox_outside_weights控制回归损失的有效区域

4. 数据增强：

   • 通过RoIDataLayer实现多种数据增强
   • 包括随机水平翻转等操作

性能优化点

1. 网络精简：相比标准VGG-16，fc7层从4096维降到1024维，减少了计算量

2. 特征共享：RPN和RCNN共享conv1-conv5的特征提取层

3. 端到端训练：整个网络可以联合训练，而不是分阶段训练

总结

这个train.prototxt文件完整定义了Faster R-CNN的训练网络结构，展示了如何将区域建议、特征提取和目标检测整合到一个端到端的框架中。通过分析这个文件，我们可以深入理解Faster R-CNN的工作原理和实现细节，特别是RPN如何与检测网络共享特征并协同训练。这种设计使得Faster R-CNN在准确率和速度上都达到了很好的平衡，成为两阶段目标检测算法的经典代表。