东莞市盛裕绒艺玩具有限公司

东莞市盛裕绒艺玩具有限公司

大班BET备用注册页面

13681989358
联系方式
全国服务热线: 13681989358

咨询热线:13948833156
联系人:秀姐
地址:河北省任丘市建设中路

吴恩达深度学习笔记 course4 week2 深度卷积网络 实例探究

来源:大班BET备用注册页面   发布时间:2019-07-02   点击量:296

1.why look at case study

这周会讲一些典型的cnn模型,通过学习这些,我们能够对于cnn加深自己的理解,并且在实际的应用中有可能应用到这些,或从中获取灵感

2.Classic networks

LeNet-5模型是Yann LeCun教授于1998年提出来的,它是第一个成功应用于数字识别问题的卷积神经网络。在MNIST数据中,它的准确率达到大约99.2%。

 

它的结构如下:由conv layer - pool layer - conv layer - pool layer -full connected layer -full connected layer -soft max out put lay 组成

特点:只有6w多个参数,那个时候使用的还是sigmoid,tanh激活函数,池化使用的是平均池化,随着层数的增加,nH,nW减少,而nC增加.

 

 

 AlexNet

AlexNet与LeNet类似,其结构如下图,但是比LeNet更大,而且使用的是relu激活函数,它有6千万多个参数.

AlexNet在细节上使用了更多更复杂的东西,比如多个cpu训练,让这些cpu彼此联系

并且使用了LRN,不过后来被证实并没有多大作用

 

VCG-16

VCG是一个更加复杂的网络,他多达1.38亿个参数

特点:使用的filter都为3X3,stride=1,使用的是same padding;

  max-pool尺寸为2X2,stride=2

 

3.Residual Networks

当训练的神经网络的深度越来越深时,由于存在的梯度消失与梯度爆炸的影响(原因:https://www.cnblogs.com/Dar-/p/9379956.html),加大了模型训练的难度

ResNets 能够解决这一问题,训练非常深层的网络.它使得神经元之间隔层相连,弱化了每层之间的强联系

 

ReNets中使用了残差块(Residual block),有许多跳跃相连的神经元,具体如下:

 

由多个Residual block构成Residual Network,一般的神经网络随着layer的增加,性能可能会发生下降,虽然理论上性能不会下降,但实际上回会下降.

而使用ResNet能够有更好的performance.

 

 

4.Why ResNets Work

为什么ResNets 很有用?

假设X为输入,经过多个NN后到达l层,得到a[l],

a[l+2]=g(w[l+2]a[l+2]+b[l+2] +a[l]),假设发生了梯度消失,即w[l+2]与b[l+2]接近0,则a[l+2]=g(a[l]),当a[l]>=0,激活函数为relu时,a[l+2]=a[l],

这弱化削减了神经元层之间的联系,使得隔层相连,从效果上说,忽略了l层后的两层,模型本身便能够容忍更多的NN.

 且对于ResNets来说学习上面的恒等函数(a[l+2]=a[l])非常容易,所以尽管提升了网络的深度,但也不会影响性能

如果增加的网络结构学到了新的东西,就能提高网络性能.

 

当然,如果Residual blocks确实能训练得到非线性关系,那么也会忽略short cut,跟Plain Network起到同样的效果。

如果a[l+2]的维度与a[l]的维度不相同,就会引入一个Ws,让a[l]与Ws相乘得到一个维度与a[l+2]相同的维度,Ws可以通过训练得到,也可以直接固定

上图只在相同卷基层之间增加了skip connection,如上图实现部分的skip connection都是相同卷积层(前三个skip connection加在了 (3x3 conv, 64)上面,经过3x3 conv 128的时候,变为虚线(即没有添加),而后在后面连着都是3x3 conv 128的地方又连着做了三个skip connection,这样做的原因就是 保持 z(l+2) 与 a(l) 维度相同。

 5.Network in Network and 1x1 Convolutions

1X1 convolutions即filter为1x1,类似一个乘积操作,可以起到一个降低channels数目的效果,(这个不是很理解,只要改变filter的个数不就可以对channels的数目进行一个调整吗)

 

1X1 convolution还可以起到一个类似全连接的效果,它对原图片进行了一个切片操作,然后与1x1xnc 中的nc个参数卷积,乘以权重之后,在relu后得到输出结果

 

1x1卷积应用:

维度压缩:使用目标维度的1×1×1 的卷积核个数。增加非线性:保持与原维度相同的1×1×1 的卷积核个数。

6.Inception network motivation

在之前我们所学习的CNN中,filter的个数,size, pool的各种参数都是要由我们自己指定的, Inception能学习参数来帮助我们自动的去选择最好的filter,pool组合

 

如下图所示:我们可以将多个filter,pool组合进行一个same convolution

 

Inception也存在着一个问题:运算成本比较大,如下图,我们的运算量为5x5x192x28x28x32=1.2亿,为了解决这个问题,我们引入了之前所讲到的1x1 convolution

引入1x1 convolution之后运算量计算如下,结果为12.4百万,运算量比之前减少了接近1/10

具体看下其过程,第一步进行了一个1x1的convoltuion的得到的中间那一层叫做bottleneck layer(瓶颈层)

7.Inception network

 Inception module如下:

由多个Inception module组合得到Inception network

值得一提的是,中间层添加了很多的softmax分类器,用于防止过拟合,即:当进行inception network时候,各分支同样输出结果,旨在充分利用神经网络结构,在中间层即输出结果,最后对比各输出结果,从而寻找最佳输出结果对应的结构。

 

8.Using open-source Implementation

在训练所需要的模型过程中,我们可以从github上寻找已有的开源文件.....

9.Transfer Learning

之前以详细讲过,再补充一些:

我们可以freeze部分所需要的结构

然后将前面需要freeze的部分权重结构等保存到本地,然后对输入先走一遍这些部分,将最后层神经元输出结果作为训练集,来训练自己新架构的层。

10.Data  augamentation

数据增强           

深度学习在计算机视觉上所存在的问题往往是不能获取足够的样本,为此,我们可以对所存在的样本进行一个处理来得到更多的样本

 最常用的:可以对已经搜集到的样本进行一个mirroring,和random croping

用的很少基本不同的:对图片进行旋转,局部弯曲,修剪

还有一种比较常见的处理是Color shifting:即对图片的RGB通道数值进行随意增加或者减少,改变图片色调。

 

除了随意改变RGB通道数值外,还可以更有针对性地对图片的RGB通道进行PCA color augmentation,也就是对图片颜色进行主成分分析,

PCA颜色增强:对图片的主色的变化较大,图片的次色变化较小,使总体的颜色保持一致。

。具体的PCA color augmentation做法可以查阅AlexNet的相关论文。

 

在训练模型的时候我们可以分2个线程分别进行data argumentation和training

 

 11.The state of computer vsion

构建不同的模型需要的数据量一般也不同,一般来说是Objection detection ,Image recognization, speech recognization所需要的数据量越来越多

当我们拥有的数据越少,我们可能需要更多的手工工程,而当我们拥有的数据越多,我们可以用更加简单的算法以及更少的手工工程

 

一些有帮助你提高模型的性能的小技巧(可用与比赛):

Ensembling :训练几个独立的网络,然后用他们的平均输出来做一个预测,但这占用的内存比较多

Multi-crop at test time:裁取图片并镜像给分类器作为输入,计算结过的平均值作为预测.

 

但是由于这两种方法计算成本较大,一般不适用于实际项目开发。

 

 

 我们还可以使用开源代码来帮助我们的项目:

 

相关产品

COPYRIGHTS©2017 大班BET备用注册页面 ALL RIGHTS RESERVED 备案号:296