还剩15页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
MATLAB程序代码--BP神经网络的设计实例例1采纳动量梯度下降算法训练BP网络训练样本定义如下输入矢量为p=[-1-231-115-3]目标矢量为t=[-1-111]解本例的MATLAB程序如下close allclearecho onclc%NEWFF——生成一个新的前向神经网络%TRAIN——对BP神经网络进行训练%SIM——对BP神经网络进行仿真pause%敲随意键起先clc%定义训练样本%P为输入矢量P=[-l,-2,3,1;-1,1,5,-3%T为目标矢量%T为目标矢量randnseed’,78341223;T=sin2*pi*P+
0.l*randnsizeP;%绘制训练样本数据点plot P,T,;echo offholdon;plotP,sin2*pi*P,;%绘制不含噪声的正弦曲线echoonclc pause clc%定义验证样本val.P=[-
0.975:
0.05:
0.975];%验证样本的输入矢量val.T=sin2*pi*val.P+
0.l*randn sizeval.P;%验证样本的目标矢量pause clc%创建一个新的前向神经网络net=newff minmaxP,[5,1],{tansig,purelin,},‘traingdx;pause clc%设置训练参数net.trainParam.epochs=500;net=initnet;pauseclc%训练BP网络[net,tr]=trainnet,P,T,口,口,val;pauseclc%对BP网络进行仿真A=simnet,P;%计算仿真误差E二T-A;MSE=mseEpauseclc%绘制仿真拟合结果曲线close all;plot P,A,P,T,,P,sin2*pi*P,:;pause;clc echooff下面给出了网络的某次训练结果,可见,当训练至第136步时,训练提前停止,此时的网络误差为
0.0102565c给出了训练后的仿真数据拟合曲线,效果是相当满足的[net,tr]=train(net,P,T,口,口,val);TRAINGDX,Epoch0/500,MSE
0.504647/0,Gradient
2.1201/le-006TRAINGDX,Epoch25/500,MSE
0.163593/0,GradientTRAINGDX,Epoch50/500,MSE
0.130259/0,Gradient
0.158209/le-006MSE
0.086869/0,GradientTRAINGDX,Epoch75/500,
0.0883479/le-006TRAINGDX,Epoch100/500,MSE
0.0492511/0,Gradient
0.384793/le-006TRAINGDX,Epoch125/500,MSE
0.0110016/0,Gradient
0.0387894/le-006TRAINGDX,Epoch136/500,MSE
0.0102565/0,Gradient
0.017242/le-
0060.01203/le-006TRAINGDX,Validation stop.例3用BP网络估计胆固醇含量这是一个将神经网络用于医疗应用的例子我们设计一个器械,用于从血样的光谱组成的测量中得到血清的胆固醇含量级别,我们有261个病人的血样值,包括21种波长的谱线的数据,对于这些病人,我们得到了基于光谱分类的胆固醇含量级别hdl,ldl,vldl01样本数据的定义及预处理choles_all.mat文件中存储了网络训练所须要的全部样本数据利用load函数可以在工作空间中自动载入网络训练所需的输入数据P和目标数据t,即load choles_allsizeofp=size psizeofp=21264sizeoft=size tsizeoft=3264可见,样本集的大小为264为了提高神经网络的训练效率,通常要对样O本数据作适当的预处理首先,利用prestd函数对样本数据作归一化处理,使得归一化后的输入和目标数据均听从正态分布,即_pn,meanp,stdp,tn,meant,stdt]=prestd p,t;然后,利用prepca函数对归一化后的样本数据进行主元分析,从而消退样本数据中的冗余成份,起到数据降维的目的.ptrans,transMat]prepcapn,
0.001;二[R,Q]=size ptransR=4Q264二可见,主元分析之后的样本数据维数被大大降低,输入数据的维数由21变为42对训练样本、验证样本和测试样本进行划分为了提高网络的推广实力和识别实力,训练中采纳“提前停止”的方法,因此,在训练之前,须要将上面处理后的样本数据适当划分为训练样本集、验证样本集和测试样本集3网络生成及训练选用两层BP网络,其中网络输入维数为4,输出维数为3,输出值即为血清胆固醇的三个指标值大小网络中间层神经元数目预选为5,传递函数类型选为tansig函数,输出层传递函数选为线性函数purelin,训练函数设为trainlnio网络的生成语句如下net=newffminmaxptr,
[53],{tansigpurelin,trainlm,;利用train函数对所生成的神经网络进行训练,训练结果如下[net,tr]=train net,ptr,ttr,口,[],val,test;见,网络训练迭代至第20步时提前停止,这是由于验证误差已经起先变大利用下面语句可以绘制出训练误差、验证误差和测试误差的改变曲线,如图
4.50所示由图可见,验证误差和测试误差的改变趋势基本一样,说明样本集的划分基本合理由训练误差曲线可见,训练误差结果也是比较满足的4网络仿真为了进一步检验训练后网络的性能,下面对训练结果作进一步仿真分析利用postreg函数可以对网络仿真的输出结果和目标输出作线性回来分析,并得到两者的相关系数,从而可以作为网络训练结果优劣的判别依据仿真及线性回来分析如下an=simnet,ptrans;a=poststdan,meant,stdt;for i=1:3figure i[mi,bi,r i]=postregai,:,t i,:;end%导入原始测量数据load choles_all;%对原始数据进行规范化处理,prestd是对输入数据和输出数据进行规范化处理,%prepca可以删除一些数据,适当地保留了改变不小于
0.01的数据_pn,meanp,stdp,tn,meant,stdt]=prestd p,t;_ptrans,transMat]=prepcapn,
0.001;[R,Q]=sizeptrans%将原始数据分成几个部分作为不同用途四分已用于确证,四分一用于测试,二分一用于训练网络iitst=2:4:Q;iival=4:4:Q;iitr=[l:4:Q3:4:Q];%vv是确证向量,.P是输入,.T是输出,vt是测试向量vv.P=ptrans:,iival;vv.T=tn:,iival;vt.P=ptrans:,iitst;vt.T=tn:,iitst;ptr=ptrans:,iitr;ttr=tn:,iitr;%建立网络,隐层中设计5个神经元,由于须要得到的是3个目标,所以网络须要有3个输出net=newff minmaxptr,
[53],{tansigpurelin},trainlm;%训练网络net.trainParam.show=5;[net,tr]=trainnet,ptr,ttr,[],口,vv,vt;%绘出训练过程中各误差的改变曲线plot tr.epoch,tr.perf,r,tr.epoch,tr.vperf,:g,tr.epoch,tr.tperf,‘一.b’;legend训练,’确证,‘测试,-L;ylabelf平方误差;xlabel,时间’;pause;%将全部数据通过网络包括训练,确证,测试,然后得到网络输出和相应目标进行线性回来,%对网络输出进行反规范化变换,并绘出个各级别的线性回来结果曲线an=simnet,ptrans;a=poststdan,meant,stdt;%得到3组输出,所以进行3次线性回来for i=1:3figure i[mi,bi,ri]=postregai,:,t i,:;end网络输出数据和目标数据作线性回来后,前面两个输出对目标的跟踪比较好,相应的R值接近
0.9而第三个输出却并不志向,我们很可能须要在这点上做更多工作可能须要运用其它的网络结构运用更多的隐层神经元,或者是在训练技术上运用贝页斯规范华而不实运用早停的方法把隐层数目改为20个时,网络训练的3种误差特别接近,得到的结果R也相应提高但不代表神经元越多就越精确多层神经网络能够对随意的线性或者非线性函数进行靠近,其精度也是随意的但是BP网络不肯定能找到解训练时,学习速率太快可能引起不稳定,太慢则要花费太多时间,不同的训练算法也对网络的性能有很大影响BP网络对隐层的神经元数目也是很敏感的,太少则很难适应,太多则可能设计出超适应网络注例子均来自于互联网,本人的工作只是将多个例子整合在一起T=[-l,-1,1,1];pause;clc%创建一个新的前向神经网络net=newff minmaxP,[3,1],{tansigpurelintraingdm%当前输入层权值和阈值inputWeights=net.IW{1,1}inputbias=net.b{1}%当前网络层权值和阈值layerWeights=net.LW{2,1}layerbias=net.b{2}pauseclc%设置训练参数net.trainParam.show=50;net.trainParam.Ir=
0.05;net.trainParam.me=
0.9;bpnet=newff pr,
[124],{Togsig’,logsig5,‘traingdx,learngdm,;%建立BP神经网络,12个隐层神经元,4个输出神经元%tranferFcn属性logsig隐层采纳Sigmoid传输函数%tranferFcn属性logsig输出层采纳net.trainParam.epochs=1000;net.trainParam.goal=le-3;pauseclc%调用TRAINGDM算法训练BP网络[net,tr]=train net,P,T;pauseclc%对BP网络进行仿真A=simnet,P%计算仿真误差E=T-AMSE=mseE pauseclcecho off例2采纳贝叶斯正则化算法提高BP网络的推广实力在本例中,我们采纳两种训练方法,即L-M优化算法trainlm和贝叶斯正则化算法trainbr,用以训练BP网络,使其能够拟合某一附加有白噪声的正弦样本数据其中,样本数据可以采纳如下MATLAB语句生成输入矢量P=[-1:
0.05:1];目标矢量randn seed,,78341223;T=sin2*pi*P+
0.l*randnsizeP;解本例的MATLAB程序如下close allclearecho onclc%NEWFF——生成一个新的前向神经网络%TRAIN——对BP神经网络进行训练%SIM——对BP神经网络进行仿真pause%敲随意键起先clc%定义训练样本矢量%P为输入矢量P=[-1:
0.05:1];%T为目标矢量randn,seed,,78341223;T=sin2*pi*P+
0.l*randnsize P;%绘制样本数据点plot P,T,,+,;echo offholdon;plot P,sin2*pi*P,:;%绘制不含噪声的正弦曲线echo onclcpauseclc%创建一个新的前向神经网络net=newff minmaxP,[20,1],{tansig,purelin};pauseclcecho offclcdispC
1.L-M优化算法TRAINLM;disp
2.贝叶斯正则化算法TRAINBR;choice二input请选择训练算法1,2:;figure gcf;if choice==lecho onclc%采纳L-M优化算法TRAINLM net.trainFcn=,training;pauseclc%设置训练参数net.trainParam.epochs=500;net.trainParam.goal=le-6;net=init net;%重新初始化pauseclcelseifchoice==2echoonclc%采纳贝叶斯正则化算法TRAINBRnet.trainFcn=,trainbr’;clc%设置训练参数net.trainParam.epochs=500;randn,seed,,192736547;net=init net;%重新初始化pauseclcend%调用相应算法训练BP网络[net,tr]=train net,P,T;pauseclc%对BP网络进行仿真A=simnet,P;%计算仿真误差E=T-A;MSE=mse Epauseclc%绘制匹配结果曲线close all;plot P,A,P,T,,P,sin2*pi*P,:;pause;clc echooff通过采纳两种不同的训练算法,我们可以得到如图1和图2所示的两种拟合结果图中的实线表示拟合曲线,虚线代表不含白噪声的正弦曲线,“+”点为含有白噪声的正弦样本数据点明显,经trainlm函数训练后的神经网络对样本数据点实现了“过度匹配”,而经trainbr函数训练的神经网络对噪声不敏感,具有较好的推广实力值得指出的是,在利用trainbr函数训练BP网络时,若训练结果收敛,通常会给出提示信息“Maximum MUreached此外,用户还可以依据SSE和SSW的大小改变状况来推断训练是否收敛当SSE和SSW的值在经过若干步迭代后处于恒值时,则通常说明网络训练收敛,此时可以停止训练视察trainbr函数训练BP网络的误差改变曲线,可见,当训练迭代至320步时,网络训练收敛,此时SSE和SSW均为恒值,当前有效网络的参数(有效权值和阈值)个数为
11.7973o例3采纳“提前停止”方法提高BP网络的推广实力对于和例2相同的问题,在本例中我们将采纳训练函数traingdx和“提前停止”相结合的方法来训练BP网络,以提高BP网络的推广实力解在利用“提前停止”方法时,首先应分别定义训练样本、验证样本或测试样本,其中,验证样本是必不行少的在本例中,我们只定义并运用验证样本,即有验证样本输入矢量val.P=[-
0.975:.05:
0.975]验证样本目标矢量val.T=sin2*pi*val.P+
0.l*randnsizeval.P值得留意的是,尽管“提前停止”方法可以和任何一种BP网络训练函数一起运用,但是不适合同训练速度过快的算法联合运用,比如trainlm函数,所以本例中我们采纳训练速度相对较慢的变学习速率算法traingdx函数作为训练函数本例的MATLAB程序如下close allclearechoonclc%NEWFF——生成一个新的前向神经网络%TRAIN——对BP神经网络进行训练%SIM——对BP神经网络进行仿真pause%敲随意键起先clc%定义训练样本矢量%P为输入矢量P=[-1:
0.05:1];。