最简单的卷积神经网络

卷积神经网络CNN代码解析

deepLearnToolbox-master是一个深度学习matlab包，里面含有很多机器学习算法，如卷积神经网络CNN，深度信念网络DBN，自动编码AutoEncoder（堆栈SAE，卷积CAE）的作者是 Rasmus Berg Palm

代码下载：https://http://www.77cn.com.cn/rasmusbergpalm/DeepLearnToolbox

这里我们介绍deepLearnToolbox-master中的CNN部分。

DeepLearnToolbox-master中CNN内的 函数：

调用关系为：

该模型使用了mnist的数字mnist_uint8.mat作为训练样本，作为cnn的一个使用样例， 每个样本特征为一个28*28=的向量。

网络结构为：

让我们来看看各个函数：

一、Test_example_CNN: .................................................................................................................................................

cnnexamples.m

[plain] view plaincopy

1. clear all; close all; clc; 2. addpath('../data'); 3. addpath('../util'); 4. load mnist_uint8; 5.

6. train_x = double(reshape(train_x',28,28,60000))/255; 7. test_x = double(reshape(test_x',28,28,10000))/255; 8. train_y = double(train_y'); 9. test_y = double(test_y'); 10.

11. %% ex1

12. %will run 1 epoch in about 200 second and get around 11% error. 13. %With 100 epochs you'll get around 1.2% error 14.

15. cnn.layers = {

16. struct('type', 'i') %in

计算机研究与发展ＤＯＩ：１０．７５４４／ｉｓｓｎｌ０００

ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔ

１２３９．２０１４．２０１４０２６６

１９００，２０１４

５１（９）：１８９１

基于卷积神经网络的正则化方法

吕国豪

罗四维

黄雅平蒋欣兰

北京

１０００４４）

（北京交通大学交通数据分析与挖掘北京市重点实验室（１ｖｇｕｏｈａｏ＠ｂｊｔｕ．ｅｄｕ．ｃｎ）

ＡＮｏｖｅｌＲｅｇｕｌａｒｉｚａｔｉｏｎ

Ｍｅｔｈｏｄ

ａ

ａ

Ｂａｓｅｄ

ｏｎ

ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ

ＬｎＧｕｏｈａｏ，ＬｕｏＳｉｗｅｉ。ＨｕａｎｇＹ耐

Ｘ．¨ｄａｍ

诧ｇ

，

（ＢｅｉｊｉｎｇＫｅｙ

Ｌａｂｏｒａｔｏｒｙ

ｏｆＴｒａｆｆｉｃ

Ｄ以

嗜ｍ，以≯｜Ⅲｎ㈨盯ｄ曙Ｍ

ｉｓ

●Ｂｅ

ｇ

∞＿宝

ｇ

Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００４４）

ｉｎｖｅｒｓｅ

Ａｂｓｔｒａｃｔ

Ｒｅｇｕｌａｒｉｚａｔｉｏｎ

ｍｅｔｈｏｄ

ｗｉｄｅｌｙ

ｕｓｅｄｉｎ

ｓｏｌｖｉｎｇ

ｔｈｅ

ｐｒｏｂｌｅｍ．Ａｎ

ａｃｃｕｒａｔｅ

ｒｅｇｕｌａｒｉｚａｔｉｏｎｍｏｄｅｌ

ｐｌａｙｓｔｈｅｍｏｓｔ

ｉｍｐｏｒｔａｎｔｐａｒｔｉｎｓｏｌｖｉｎｇｔｈｅｉｎｖｅｒｓｅ

ｐｒｏｂｌｅｍ．Ｔｈｅｅｎｅｒｇｙ

ｃｏｎｓｔｒａｉｎｔｓ

cnnexamples.m

[plain] view plaincopy

1. clear all; close all; clc; 2. addpath('../data'); 3. addpath('../util'); 4. load mnist_uint8; 5.

6. train_x = double(reshape(train_x',28,28,60000))/255; 7. test_x = double(reshape(test_x',28,28,10000))/255; 8. train_y = double(train_y'); 9. test_y = double(test_y'); 10.

11. %% ex1

12. %will run 1 epoch in about 200 second and get around 11% error. 13. %With 100 epochs you'll get around 1.2% error 14.

15. cnn.layers = {

16. struct('type', 'i') %in

1 单层感知器

1.1 结构

单层感知器的结构如图1所示

x1ω1x2ω2ω3ω4x41（偏置）图1 单层感知器结构图

Σfyx3

最后的到的结果为y?f[(?xi?i?1)]，其中f函数一般为sgn函数用于二值分类。 1.2学习算法

单层感知器通常采用纠错学习规则得学习算法。一般将偏置作为一个固定的输入，这样输入矩阵是长度为N+1的向量，权值矩阵也是长度为N+1的向量。

设输入为x(n)、权值矩阵为ω(n)、偏置为b(n)、实际输出为y(n)、期望输出为d(n)、η为学习率。所以y(n)=sgn(ωT(n)x(n))。更新权值的算法为

?(n?1)??(n)??(d(n)?y(n))x(n)

一般认为设定收敛条件，例如：两次权值查小于0.01时收敛。

2 线性神经网络

2.1 结构

线性神经网络的结构与单层感知器很相似，只不过是线性神经网络的激励函数可以是线性函数，进而使输出可以为任意值，二单层感知器的激励函数为sgn(符号函数)，输出量为二值量。

x1ω1x2ω2ω3ω4x4b

图2 线性神经网络结构图

Σsgnyax+bx32.2 学习算法

线性神经网络的NB处在于其使用了LMS（Least Mean Square）算法进行学习网络

1 单层感知器

1.1 结构

单层感知器的结构如图1所示

x1ω1x2ω2ω3ω4x41（偏置）图1 单层感知器结构图

Σfyx3

最后的到的结果为y?f[(?xi?i?1)]，其中f函数一般为sgn函数用于二值分类。 1.2学习算法

单层感知器通常采用纠错学习规则得学习算法。一般将偏置作为一个固定的输入，这样输入矩阵是长度为N+1的向量，权值矩阵也是长度为N+1的向量。

设输入为x(n)、权值矩阵为ω(n)、偏置为b(n)、实际输出为y(n)、期望输出为d(n)、η为学习率。所以y(n)=sgn(ωT(n)x(n))。更新权值的算法为

?(n?1)??(n)??(d(n)?y(n))x(n)

一般认为设定收敛条件，例如：两次权值查小于0.01时收敛。

2 线性神经网络

2.1 结构

线性神经网络的结构与单层感知器很相似，只不过是线性神经网络的激励函数可以是线性函数，进而使输出可以为任意值，二单层感知器的激励函数为sgn(符号函数)，输出量为二值量。

x1ω1x2ω2ω3ω4x4b

图2 线性神经网络结构图

Σsgnyax+bx32.2 学习算法

线性神经网络的NB处在于其使用了LMS（Least Mean Square）算法进行学习网络

1 单层感知器

1.1 结构

单层感知器的结构如图1所示

x1ω1x2ω2ω3ω4x41（偏置）图1 单层感知器结构图

Σfyx3

最后的到的结果为y?f[(?xi?i?1)]，其中f函数一般为sgn函数用于二值分类。 1.2学习算法

单层感知器通常采用纠错学习规则得学习算法。一般将偏置作为一个固定的输入，这样输入矩阵是长度为N+1的向量，权值矩阵也是长度为N+1的向量。

设输入为x(n)、权值矩阵为ω(n)、偏置为b(n)、实际输出为y(n)、期望输出为d(n)、η为学习率。所以y(n)=sgn(ωT(n)x(n))。更新权值的算法为

?(n?1)??(n)??(d(n)?y(n))x(n)

一般认为设定收敛条件，例如：两次权值查小于0.01时收敛。

2 线性神经网络

2.1 结构

线性神经网络的结构与单层感知器很相似，只不过是线性神经网络的激励函数可以是线性函数，进而使输出可以为任意值，二单层感知器的激励函数为sgn(符号函数)，输出量为二值量。

x1ω1x2ω2ω3ω4x4b

图2 线性神经网络结构图

Σsgnyax+bx32.2 学习算法

线性神经网络的NB处在于其使用了LMS（Least Mean Square）算法进行学习网络

基于多级深度卷积网络的胰腺自动分割

摘要：器官自动分割是医学图像分析的一个重要而具有挑战性的问题。胰腺是腹部具有非常高的解剖变异性的器官。 用之前肝肾脏或者心脏的分割方法很难达到很高的精确度。在本文中，我们提出了一个用多级卷积网络基于概率的自下而上的方法对腹部CT图像的胰腺进行自动分割。我们提出并评估几个深度卷积网络在分层上的变异，在图像块和区域上的粗到细的分类器例如超像素。首先我们通过(P-ConvNet)卷积网络和近邻融合方法呈现出一个局部图像块的密集标签。然后我们描述一个局部卷积网络（R1-ConvNets）即在不同规模的缩小的区域中的围绕每一个图像超像素采集一系列边界框。（我们的卷积网络学会为每个胰腺的超像素区域分配类概率）。最后，我们利用CT强度的连接空间和P-ConvNet密度概率图学习一个堆叠的R2-ConvNets。3D的高斯去噪和2D的条件随机场用来后处理的预测。我们用4倍交叉验证评价82个病人的CT图像。我们实现了戴斯相似系数在训练时83.6±6.3%在测试时71.8±10.7%。 1、引言

胰腺的分割是计算机辅助诊断系统(CADx)的前提提供了器官单元的量化分析，例如糖尿病患者。精确分割对于计算机辅助诊断发现胰腺癌也是

基于多级深度卷积网络的胰腺自动分割

摘要：器官自动分割是医学图像分析的一个重要而具有挑战性的问题。胰腺是腹部具有非常高的解剖变异性的器官。 用之前肝肾脏或者心脏的分割方法很难达到很高的精确度。在本文中，我们提出了一个用多级卷积网络基于概率的自下而上的方法对腹部CT图像的胰腺进行自动分割。我们提出并评估几个深度卷积网络在分层上的变异，在图像块和区域上的粗到细的分类器例如超像素。首先我们通过(P-ConvNet)卷积网络和近邻融合方法呈现出一个局部图像块的密集标签。然后我们描述一个局部卷积网络（R1-ConvNets）即在不同规模的缩小的区域中的围绕每一个图像超像素采集一系列边界框。（我们的卷积网络学会为每个胰腺的超像素区域分配类概率）。最后，我们利用CT强度的连接空间和P-ConvNet密度概率图学习一个堆叠的R2-ConvNets。3D的高斯去噪和2D的条件随机场用来后处理的预测。我们用4倍交叉验证评价82个病人的CT图像。我们实现了戴斯相似系数在训练时83.6±6.3%在测试时71.8±10.7%。 1、引言

胰腺的分割是计算机辅助诊断系统(CADx)的前提提供了器官单元的量化分析，例如糖尿病患者。精确分割对于计算机辅助诊断发现胰腺癌也是

1对深度学习的国内外研究现状值得一看；2讲了神经网络和卷积神经网络的基础知识；3深度学习在车标上的应用基于卷积神经网络的深度学习算法与应用研究摘要深度学习（ＤＬ，ＤｅｅｐＬｅａｒｎｉｎｇ）是计算机科学机器学习（ＭＬ，ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ）领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标一人工智能（ＡＩ，ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。它在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。将深度学习与各种实际应用研究相结合也是一项很重要的工作。本文整理和总结了国内外关于深度学习的发展历程和最新的研究成果，对人工神经网络及经典的卷积神经网络所涉及到