bp神经网络手写体数字识别

摘 要

科技发展日新月异，智能识别推陈出新。如今是信息化时期，数字识别在很多智能领域上运用广泛，拥有普遍的使用远景，因此探索这项技术有其重要的实际意义。由于手写数字在写法上千差万别，且数字间字形差别相对较小，使得识别系统的开发具有很大的挑战性。

当前手写数字识别采用的技术有Bayes判别法、决策树法、神经网络和支持向量机（Support Vector Machines，SVM）等。诞生于20世纪90年代的SVM技术是机器学习研究的热点，因其良好的泛化性能成为了数字识别领域的热门方法。

本开发系统借助MATLAB平台实现完成SVM的手写数字识别功能，同时与BP神经网络的识别作对比，并利用了MNIST数据库作扩展与分析。对识别的结果进行探究，得出使识别精准度出现误差的主要因素有手写体数字的规范程度、笔画字迹粗细和清晰，以及训练样本的数量等。

关键词 手写数字识别；神经网络；SVM

Abstract

I

Technological development changes rapidly, and intelligent recognition innovates constantly. In the

HUNAN UNIVERSITY

课题

学学专学

生生业院

姓学班名

程 模式识别

目 基于知识库的手写体数字识别

名 号 级 称

2016 年6 月 25 日

基于知识库的手写体数字识别

1案例背景：

手写体数字识别是图像识别学科下的一个分支，是图像处理和模式识别研究领域的重要应用之一，并且具有很强的通用性。由于手写数字的随意性很大，如笔画粗细、字体大小、倾斜角度等因素都有可能直接影响到字符的识别准确率，所以手写体数字识别是一个很有挑战性的课题。在过去的数十年中，研究者们提出了许多识别方法，并取得了一定的成果。在大规模数据统计如例行年检、人口普查、财务、税务、邮件分拣等应用领域都有广阔的应用前景。 本案例实现了手写阿拉伯数字的识别过程，并对手写数字识别的基于统计的方法进行了简要介绍和分析。本文实现的手写字体识别程序具有手写数字图像读取、特征提取、数字模板特征库以及识别功能。

2理论基础：

2-1手写字体识别方法：

手写体数字识别是一个跨学科的复杂问题，综合了图像处理、模式识别、机器学习等多个领域的知识，其识别过程一般包含图像预处理、特征提取、分类器的设定及其后处理等组成。处理流程如图2-1所示。

图2-1手写体数子识别流程图

2-2 图像预处理

基于人工神经网络的MATLAB手写数字识别系统 一、函数MouseDraw实现手写识别系统GUI界面的建立和鼠标手写的实现。（使用时保存为MouseDraw.m)

function MouseDraw(action)

% MouseDraw 本例展示如何以Handle Graphics来设定滑鼠事件 % (MouseDraw Events)的反应指令(Callbacks) % 本程序在鼠标移动非常快时，不会造成画“断线” % global不能传矩阵

global InitialX InitialY FigHandle hb2 hb3 hb4 count hb5 hb6 hb7 count='E:\\im.jpg'; imSize = 50;

if nargin == 0, action = 'start'; end

switch(action)

%%开启图形视窗 case 'start', FigHandle = figure('WindowButtonDownFcn','MouseDraw down','DeleteFcn','save bpnet');

axis([1 imSize 1 imSize]); % 设定图轴范围%

HUNAN UNIVERSITY

课题

学学专学

生生业院

姓学班名

程 模式识别

目 基于知识库的手写体数字识别

名 号 级 称

2016 年6 月 25 日

基于知识库的手写体数字识别

1案例背景：

手写体数字识别是图像识别学科下的一个分支，是图像处理和模式识别研究领域的重要应用之一，并且具有很强的通用性。由于手写数字的随意性很大，如笔画粗细、字体大小、倾斜角度等因素都有可能直接影响到字符的识别准确率，所以手写体数字识别是一个很有挑战性的课题。在过去的数十年中，研究者们提出了许多识别方法，并取得了一定的成果。在大规模数据统计如例行年检、人口普查、财务、税务、邮件分拣等应用领域都有广阔的应用前景。 本案例实现了手写阿拉伯数字的识别过程，并对手写数字识别的基于统计的方法进行了简要介绍和分析。本文实现的手写字体识别程序具有手写数字图像读取、特征提取、数字模板特征库以及识别功能。

2理论基础：

2-1手写字体识别方法：

手写体数字识别是一个跨学科的复杂问题，综合了图像处理、模式识别、机器学习等多个领域的知识，其识别过程一般包含图像预处理、特征提取、分类器的设定及其后处理等组成。处理流程如图2-1所示。

图2-1手写体数子识别流程图

2-2 图像预处理

基于人工神经网络的MATLAB手写数字识别系统 一、函数MouseDraw实现手写识别系统GUI界面的建立和鼠标手写的实现。（使用时保存为MouseDraw.m)

function MouseDraw(action)

% MouseDraw 本例展示如何以Handle Graphics来设定滑鼠事件 % (MouseDraw Events)的反应指令(Callbacks) % 本程序在鼠标移动非常快时，不会造成画“断线” % global不能传矩阵

global InitialX InitialY FigHandle hb2 hb3 hb4 count hb5 hb6 hb7 count='E:\\im.jpg'; imSize = 50;

if nargin == 0, action = 'start'; end

switch(action)

%%开启图形视窗 case 'start', FigHandle = figure('WindowButtonDownFcn','MouseDraw down','DeleteFcn','save bpnet');

axis([1 imSize 1 imSize]); % 设定图轴范围%

HUNAN UNIVERSITY

课题

学学专学

生生业院

姓学班名

程 模式识别

目 基于知识库的手写体数字识别

名 号 级 称

2016 年6 月 25 日

基于知识库的手写体数字识别

1案例背景：

手写体数字识别是图像识别学科下的一个分支，是图像处理和模式识别研究领域的重要应用之一，并且具有很强的通用性。由于手写数字的随意性很大，如笔画粗细、字体大小、倾斜角度等因素都有可能直接影响到字符的识别准确率，所以手写体数字识别是一个很有挑战性的课题。在过去的数十年中，研究者们提出了许多识别方法，并取得了一定的成果。在大规模数据统计如例行年检、人口普查、财务、税务、邮件分拣等应用领域都有广阔的应用前景。 本案例实现了手写阿拉伯数字的识别过程，并对手写数字识别的基于统计的方法进行了简要介绍和分析。本文实现的手写字体识别程序具有手写数字图像读取、特征提取、数字模板特征库以及识别功能。

2理论基础：

2-1手写字体识别方法：

手写体数字识别是一个跨学科的复杂问题，综合了图像处理、模式识别、机器学习等多个领域的知识，其识别过程一般包含图像预处理、特征提取、分类器的设定及其后处理等组成。处理流程如图2-1所示。

图2-1手写体数子识别流程图

2-2 图像预处理

HUNAN UNIVERSITY

课题

学学专学

生生业院

姓学班名

程 模式识别

目 基于知识库的手写体数字识别

名 号 级 称

2016 年6 月 25 日

基于知识库的手写体数字识别

1案例背景：

手写体数字识别是图像识别学科下的一个分支，是图像处理和模式识别研究领域的重要应用之一，并且具有很强的通用性。由于手写数字的随意性很大，如笔画粗细、字体大小、倾斜角度等因素都有可能直接影响到字符的识别准确率，所以手写体数字识别是一个很有挑战性的课题。在过去的数十年中，研究者们提出了许多识别方法，并取得了一定的成果。在大规模数据统计如例行年检、人口普查、财务、税务、邮件分拣等应用领域都有广阔的应用前景。 本案例实现了手写阿拉伯数字的识别过程，并对手写数字识别的基于统计的方法进行了简要介绍和分析。本文实现的手写字体识别程序具有手写数字图像读取、特征提取、数字模板特征库以及识别功能。

2 理论基础：

2-1手写字体识别方法：

手写体数字识别是一个跨学科的复杂问题，综合了图像处理、模式识别、机器学习等多个领域的知识，其识别过程一般包含图像预处理、特征提取、分类器的设定及其后处理等组成。处理流程如图2-1所示。

图2-1 手写体数子识别流程图

2-2 图像预处

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

BP神经网络算法 三层BP神经网络如图：

传递函数g 目标输出向量

tk 输出层，输出向量

zk 权值为wjk 传递函数f yj 隐含层，隐含层输出向量

权值为wij 输入层，输入向量

x1x2x3 xn

设网络的输入模式为x?(x1,x2,...xn)T，隐含层有h个单元，隐含层的输出为

y?(y1,y2,...yh)T，输出层有m个单元，他们的输出为z?(z1,z2,...zm)T，目标输出为t?(t1,t2,...,tm)T设隐含层到输出层的传递函数为f，输出层的传递函数为g

于是：yj?f(?wxi?1niji??)?f(?wijxi)：隐含层第j个神经元的输出；其中

i?0nw0j???,hx0?1

zk?g(?wjkyj)：输出层第k个神经元的输出

j?01m2此时网络输出与目标输出的误差为???(tk?zk)，显然，它是wij和wjk的函数。

2k?1下面的步骤就是想办法调整权值，使?减小。

由高等数学的知识知道：负梯度方向是函数值减小最快的方向

因此，可以设定一个步长?，每次沿负梯度方向调整?个单位，即每次权值的调整为：

?wpq?????，?在神经网络中称为学习速率 ?wpq可以证明：按这个方法调整，误差会逐渐减

基于MATLAB的BP神经网络工具箱函数

最新版本的神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型，如感知器和BP网络等。对于各种不同的网络模型，神经网络工具箱集成了多种学习算法，为用户提供了极大的方便[16]。Matlab R2007神经网络工具箱中包含了许多用于BP网络分析与设计的函数，BP网络的常用函数如表3.1所示。

表3.1 BP网络的常用函数表 函数类型 前向网络创建函数 传递函数 学习函数 性能函数 显示函数 函数名称 newcf Newff logsig tansig purelin learngd learngdm mse msereg plotperf plotes plotep errsurf

3.1.1BP网络创建函数

1) newff

该函数用于创建一个BP网络。调用格式为： net=newff

net=newff(PR,[S1S2..SN1],{TF1TF2..TFN1},BTF,BLF,PF) 其中，

net=newff;用于在对话框中创建一个BP网络。 net为创建的新BP神经网络； PR为网络输入向量取值范围的矩阵；

[S1S2?SNl]表示网络隐含层和输出层神经元的个数；

{TFlTF2?TF