还剩1页未读,继续阅读
文本内容:
第七章人工神经网络
一、简述人工神经网络的定义人工神经网络(简称或)是对人脑或生物神经网络若干基本特性的抽象和模拟ANN NN它由多个相互连接的神经元构成,这些神经元从其他相连的神经元接收输入数据,通过计算产生输出数据人工神经网络为从样本中学习值为实数、离散值或向量值的函数提供了一种鲁棒性很强的解决方案,己经在解决人脸识别、汽车自动驾驶和光学字符识别()等诸多实际OCR问题中取得了惊人的成果对于一个分类问题,其目标就是学习一个决策函数()该函数的输出为离散值(类标签)h x,或者向量(经过编码的类标签),自然能够胜任这一任务此外,由于可学习实值函数,ANN也是函数拟合的利器ANN
二、什么是神经元模型神经网络中最基本的成分是神经元模型在生物神经网络中,每个神经元与其他神经元相连,当它“兴奋”时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位;如果某神经元的电位超过了一个“阈值”,那么它就会被激活,即“兴奋”起来,向其他神经元发送化学物质在人工神经网络中,神经元的作用与此类似年,和提出1943McCulloch Pitts了如图所示的神经元模型”在这个模型中,神经元接收的输入信号为向量
①=(如
7.1M-P如…也姓产,向量功—(蚀)1@2,m,为输入向量的组合权重,为位移,是一个标量神经元的作用是对输入向量的分量进行b加权求和并加上位移,最后经过函数f处理后产生输出m.y=f她g+b)写成向量形式为y=+即先计算输入向量与权重向量的内积并加上位移,再送入一个函数进行变换,最后得到输出这个函数称为“激活函数理想的激活函数是单位阶跃函数/(乃=
三、简述感知器模型以及训练线性单元的梯度下降算法感知器是一种只具有两种输出(对应于二分类任务)的简单的人工神经元,其工作方式与生物神经单元颇为相似感知器由两层神经元组成,如图所示,输入层接收外界输入信号
7.3后传递给输出层,输出层是神经元M-P接入原输出所感知器的运行原理用数学表达式表示如下以三个输入神经元为例1,11+W x+w x+60仅劣2233{o,w Xi+w x+W3X3+b0±22感知器的每个输入信号都有各自固有的权重,这些权重发挥着控制各个信号的重要性的作用也就是说,权重越大,对应该权重的信号的重要性就越高J算法随机选取一个初始权向量1计算所有训练样本经过线性单元的输出,然后根据式计算每个权值的
27.15/Wjo通过式来更新每个权值,然后重复这个过程
37.12
四、梯度下降法的问题以及解决方法收敛过程可能非常缓慢需要上千次的迭代1若误差曲面上存在多个局部极小值,算法不保证能够找到全局最小值与初始向量有关2为缓解这些问题,人们提出了随机梯度下降法,又称为增量梯度下降法标准梯度下降法在对训练集中的所有样本的平方误差求和后计算权值更新,式中D
7.15对所有中样本求和说明了这一点;而随机梯度下降法根据每个单独样本的误差增量计算权值D更新,得到近似的梯度下降搜索修改后的训练法则与式相似,只是在迭代计算每个训
7.15练样本时根据下面的公式来更新权值△仅=〃统一yi^ij
五、BP神经网络的MATLAB实现以及调用方式高版本的集成了深度学习工具箱它是原来的神经网络工MATLAB DeepLearningToolbox,具箱的升级版,封装了实现各类人工神经网络的函数供用户使用下面NeuralNetworkToolbox仅介绍工具箱中与神经网络有关的几个常用函数的使用方法BP创建一个网络,其调用方式为lnewff BPnet=newffP,T,S;创建一个网络,其调用方式为2feedforwardnet BPnet=f eedforwardnet hiddenSizes^trainFcn;配置网络,其一般调用方式为3configurenet-conf igurenetP T;3训练网络,其一般调用方式为4train[net,tr]=trainnet,P,T,xi,ai,EW;。