0%

引言

  早在上世纪50年代,美国神经生物学家David Hubel通过研究猫和猴子的瞳孔区域与大脑皮层神经元的对应关系就发现视觉系统的信息处理方式是分级的。这一发现,促成了神经网络在图像处理上的发展。
  神经网络的发展史可以分为三个阶段,第一个阶段是Frank Rosenblatt提出的感知机模型[1],感知机模型的逻辑简单有效,但不能处理异或等非线性问题。第二个阶段是Rumelhart等提出的反向传播算法[2],该算法使用梯度更新权值,使多层神经网络的训练成为可能。第三个阶段得益于计算机硬件的发展和大数据时代的到来,促进了深度神经网络的发展。

阅读全文 »

  在我的个人博客上一篇博文中分析了卷积神经网络的结构与相关算法,知道了这些基本原理之后。这篇博文主要介绍在卷积神经网络的发展历程中一些经典的网络模型。

LeNet5

  LeCun等将BP算法应用到多层神经网络中,提出LeNet-5模型[1](效果和paper见此处),并将其用于手写数字识别,卷积神经网络才算正式提出。LeNet-5的网络模型如图1所示。网络模型具体参数如图2所示。

阅读全文 »