1.
简述
学习目标:建立精确的径向基神经网络
径向基神经网络特点:可以以任意精度逼近任意连续函数
径向基函数是一个取值仅仅依赖于离原点距离的实值函数,也就是Φ(x)=Φ(‖x‖),或者还可以是到任意一点c的距离,c点称为中心点,也就是Φ(x,c)=Φ(‖x-c‖)。任意一个满足Φ(x)=Φ(‖x‖)特性的函数Φ都叫做径向基函数,标准的一般使用欧氏距离(也叫做欧式径向基函数),尽管其他距离函数也是可以的。在神经网络结构中,可以作为全连接层和ReLU层的主要函数。
RBFNN全称为:Radial Basis Function Neyral Network。中文名为径向基函数神经网络。RBFNN是20世纪80年代末提出的一种单隐层、以函数逼近为基础的前馈神经网络。随着研究日渐成熟,RBFNN以其结构简单、非线性逼近能力强以及良好的推广能力,受到各领域研究者的极大关注,被广泛应用于模式分类、函数逼近和数据挖掘等众多研究领域。
简单地说,就是该点的函数值只与该店距离中心点的距离有关。
RBFNN的关键就在于径向基函数的确定,中心点在哪,径基宽度多大,多少个径向基函数,都是会影响神经网络的效果的。
径向基函数中心的确定方法有以下几种:
1.直接计算法(随机选取RBF中心):
隐含层神经元的中心是随机地在输入样本中选取,且中心固定。一旦中心固定下来,隐含层神经元的输出便是已知的,这样的神经网络的连接权就可以通过求解线性方程组来确定。适用于样本数据的分布具有明显代表性。
2.自组织学习选取RBF中心法:
RBF神经网络的中心可以变化,并通过自组织学习确定其位置。输出层的线性权重则是通过有监督的学习来确定的。这种方法是对神经网络资源的再分配,通过 学习,使RBF的隐含层神经元中心位于输入空间重要的区域。这种方法主要采用K-均值聚类法来选择RBF的中心,属于无监督(导师)的学习方法。
3.有监督学习选取RBF中心:
通过训练样本集来获得满足监督要求的网络中心和其他权重参数。常用方法是梯度下降法。
4.正交最小二乘法选取RBF中心法:
正交最小二乘法(Orthogoal least square)法的思想来源于线性回归模型。神经网络的输出实际上是隐含层神经元某种响应参数(回归因子)和隐含层至输出层间连接权重的线性组合。所有隐含层神经元上的回归因子构成回归向量。学习过程主要是回归向量正交化的过程。
训练:
其实,和普通的神经网络一样,只不过,普通的神经网络训练的只是神经网络之间的权重,而RBFNN训练的还有激活函数—-RBF的相关参数。这样理解起来就简单多了。
(1)建立精确的径向基神经网络
(2)画图
2.
代码
%% 可以以任意精度逼近任意连续函数
clear all;
close all;
P=1:10;
T=[2.523 2.434 3.356 4.115 5.834 6.967 7.098 8.315 9.387 9.928];
net=newrbe(P,T,2); %建立精确的径向基神经网络
y=sim(net,P)
figure;
plot(P,y-T,’:+’);
title(‘误差曲线’);
3.
运行结果