深度学习教程：LeNet卷积神经网络详解

前言

本文基于深度学习教程项目中的LeNet实现，将全面解析卷积神经网络(CNN)的核心概念、原理及其在Theano框架下的实现方式。作为计算机视觉领域的经典模型，LeNet展现了CNN处理图像数据的强大能力。

卷积神经网络基础

生物学启发

CNN的设计灵感来源于Hubel和Wiesel对猫视觉皮层的研究。视觉皮层包含两种主要细胞类型：

• 简单细胞：对特定边缘模式产生最大响应
• 复杂细胞：具有更大的感受野，对模式位置变化保持局部不变性

这种生物视觉机制促使研究者开发了多种神经启发模型，包括NeoCognitron、HMAX以及本文重点介绍的LeNet-5。

关键特性

1. 稀疏连接

CNN通过限制相邻层神经元间的局部连接模式来利用空间局部相关性：

• 隐藏层单元仅连接输入层的局部区域
• 通过多层堆叠，高层单元能够响应更大范围的输入模式

这种结构确保学习到的"滤波器"对局部输入模式产生最强响应。

2. 权重共享

CNN的核心特征之一：

• 同一特征图中的所有单元共享相同权重参数
• 梯度计算时，共享权重的梯度是各位置梯度的总和

优势包括：

• 实现平移不变性（特征可在图像任意位置被检测）
• 大幅减少需学习的参数数量
• 提高模型泛化能力

技术实现细节

卷积层数学表达

特征图通过以下方式计算获得：

$$h_{ij}^k=\tanh ((W^k\ast x{)}_{ij}+b_k)h^k\_\{ij\}\; =\; \backslash tanh((W^k\; *\; x)\_\{ij\}\; +\; b\_k)$$

其中：

• $W^{k}W^k$：第k个滤波器的权重矩阵
• $b_{k}b\_k$：偏置项
• $\ast *$：二维卷积操作

Theano实现

在Theano中，卷积层主要通过theano.tensor.signal.conv2d实现：

import theano
from theano import tensor as T
from theano.tensor.nnet import conv2d

# 输入为4D张量：[批次大小, 输入特征图数, 高度, 宽度]
input = T.tensor4('input')

# 权重初始化
W_shp = (2, 3, 9, 9)  # [输出特征图数, 输入特征图数, 滤波器高, 滤波器宽]
W_bound = numpy.sqrt(3 * 9 * 9)
W = theano.shared(
    numpy.asarray(
        rng.uniform(low=-1.0/W_bound, high=1.0/W_bound, size=W_shp),
        dtype=input.dtype), name ='W')

# 卷积操作
conv_out = conv2d(input, W)

可视化示例

对示例图像应用随机初始化的卷积滤波器，结果类似于边缘检测器：

最大池化层

原理与作用

最大池化是一种非线性下采样方法：

1. 将输入划分为不重叠的矩形区域
2. 输出每个区域的最大值

核心优势：

• 减少上层计算量
• 提供平移不变性（2x2池化可抵抗3/8的像素平移）

Theano实现

from theano.tensor.signal import pool

input = T.dtensor4('input')
maxpool_shape = (2, 2)  # 池化窗口大小
pool_out = pool.pool_2d(input, maxpool_shape, ignore_border=True)

注意：当前实现要求下采样因子在构建计算图时已知。

LeNet完整架构

LeNet模型通常包含：

1. 下层：交替的卷积层和池化层
   • 处理4D张量数据
2. 上层：全连接层（传统MLP）
   • 将特征图展平为2D矩阵输入

关键实现技巧

1. 权重初始化：使用均匀分布$[-1\mathrm{/}\sqrt{fan\mathrm{\_}in},1\mathrm{/}\sqrt{fan\mathrm{\_}in}][-1/\backslash sqrt\{fan\backslash \_in\},\; 1/\backslash sqrt\{fan\backslash \_in\}]$
2. 维度处理：使用dimshuffle灵活调整张量维度
3. GPU优化：处理大图像时需注意显存限制和GPU超时问题

总结

LeNet作为CNN的经典实现，通过：

• 局部感受野
• 权重共享
• 空间下采样

等机制，有效解决了图像处理中的维度灾难问题。其在Theano中的实现展示了如何将理论转化为高效的计算图，为现代深度学习模型奠定了基础。