MATLAB R2016a神经网络设计与应用28个案例分析

本书是“精通MATLAB”丛书之一，以MATLAB R2016a为平台编写，通过28个案例介绍MATLAB在神经网络中的应用，应用性强，实用价值高。本书提供所有程序源代码。“精通MATLAB”相关书目如下：（1）MATLAB 8.X实战指南（2）数字图像处理高级应用——基于MATLAB和CUDA的实现（第2版）（3）MATLAB通信系统建模与仿真（4）MATLAB R2015a数字图像处理（5）MATLAB R2015b数学建模（6）MATLAB R2015a小波分析（7）MATLAB R2015b神经网络技术（8）MATLAB R2015b*化计算（9）MATLAB R2015b概率与数理统计（10）MATLAB R2015b数值计算方法（11）MATLAB R2016a智能计算25个案例分析（12）MATLAB R2016a在电子信息工程中仿真案例分析（13）MATLAB R2016a神经网络设计与应用28个案例分析 

本书以MATLAB R2016a为平台编写。全书共分28个案例，主要介绍神经网络工具箱函数、前向型神经网络、反馈型神经网络、竞争型神经网络、神经网络的控制系统预测及诊断、神经网络图形用户接口、神经网络的Simulink、自定义神经网络等内容，可使读者全面了解MATLAB在神经网络中的应用。
本书可以作为广大科研人员、学者、工程技术人员的参考用书，也可以作为高等理工科院校电子信息、通信工程及自动控制等学科的本科生与研究生的学习用书。

 

 

目录

 

 

第1章线性神经网络的工程应用

 

1.1系统辨识的MATLAB实现

 

1.2自适应系统辨识的MATLAB实现

 

1.3线性系统预测的MATLAB实现

 

1.4线性神经网络用于消噪处理的MATLAB实现

 

 

第2章神经网络预测的实例分析

 

2.1地震预报的MATLAB实现

 

2.1.1概述

 

2.1.2地震预报的MATLAB实例分析

 

2.2交通运输能力预测的MATLAB实现

 

2.2.1概述

 

2.2.2交通运输能力预测的MATLAB实例分析

 

2.3农作物虫情预测的MATLAB实现

 

2.3.1概述

 

2.3.2农作物虫情预测的MATLAB实例分析

 

2.4基于概率神经网络的故障诊断

 

2.4.1概述

 

2.4.2基于PNN的故障诊断实例分析

 

2.5基于BP网络和Elman网络的齿轮箱故障诊断

 

2.5.1概述

 

2.5.2基于BP网络的齿轮箱故障诊断实例分析

 

2.5.3基于Elman网络的齿轮箱故障诊断实例分析

 

2.6基于RBF网络的船用柴油机故障诊断

 

2.6.1概述

 

2.6.2基于RBF网络的船用柴油机故障诊断实例分析

 

 

第3章BP网络算法分析与工程应用

 

3.1数值优化的BP网络训练算法

 

3.1.1拟牛顿法

 

3.1.2共轭梯度法

 

3.1.3LevenbergMarquardt法

 

3.2BP网络的工程应用

 

3.2.1BP网络在分类中的应用

 

3.2.2函数逼近

 

3.2.3BP网络用于胆固醇含量的估计

 

3.2.4模式识别

 

 

第4章神经网络算法分析与实现

 

4.1Elman神经网络

 

4.1.1Elman神经网络结构

 

4.1.2Elman神经网络的训练

 

4.1.3Elman神经网络的MATLAB实现

 

4.2Boltzmann机网络

 

4.2.1BM网络结构

 

4.2.2BM网络的规则

 

4.2.3用BM网络解TSP

 

4.2.4BM网络的MATLAB实现

 

4.3BSB模型

 

4.3.1BSB神经模型概述

 

4.3.2BSB的MATLAB实现

 

 

第5章预测控制算法分析与实现

 

5.1系统辨识

 

5.2自校正控制

 

5.2.1单步输出预测

 

5.2.2最小方差控制

 

5.2.3最小方差间接自校正控制

 

5.2.4最小方差直接自校正控制

 

5.3自适应控制

 

5.3.1MIT自适应律

 

5.3.2MIT归一化算法

 

 

第6章改进的广义预测控制算法分析与实现

 

6.1预测控制

 

6.1.1基于CARIMA模型的JGPC

 

6.1.2基于CARMA模型的JGPC

 

6.2神经网络预测控制的MATLAB实现

 

 

第7章SOFM网络算法分析与应用

 

7.1SOFM网络的生物学基础

 

7.2SOFM网络的拓扑结构

 

7.3SOFM网络学习算法

 

7.4SOFM网络的训练过程

 

7.5SOFM网络的MATLAB实现

 

7.6SOFM网络在实际工程中的应用

 

7.6.1SOFM网络在人口分类中的应用

 

7.6.2SOFM网络在土壤分类中的应用

 

 

第8章几种网络算法分析与应用

 

8.1竞争型神经网络的概念与原理

 

8.1.1竞争型神经网络的概念

 

8.1.2竞争型神经网络的原理

 

8.2几种联想学习规则

 

8.2.1内星学习规则

 

8.2.2外星学习规则

 

8.2.3科荷伦学习规则

 

 

第9章Hopfield神经网络算法分析与实现

 

9.1离散Hopfield神经网络

 

9.1.1网络的结构与工作方式

 

9.1.2吸引子与能量函数

 

9.1.3网络的权值设计

 

9.2连续Hopfield神经网络

 

9.3联想记忆

 

9.3.1联想记忆网络

 

9.3.2联想记忆网络的改进

 

9.4Hopfield神经网络的MATLAB实现

 

 

第10章学习向量量化与对向传播网络算法分析与实现

 

10.1学习向量量化网络

 

10.1.1LVQ网络模型

 

10.1.2LVQ网络学习算法

 

10.1.3LVQ网络学习的MATLAB实现

 

10.2对向传播网络

 

10.2.1对向传播网络概述

 

10.2.2CPN网络学习及规则

 

10.2.3对向传播网络的实际应用

 

 

第11章NARMAL2控制算法分析与实现

 

11.1反馈线性化控制系统原理

 

11.2反馈线性控制的MATLAB实现

 

11.3NARMAL2控制器原理及实例分析

 

11.3.1NARMAL2控制器原理

 

11.3.2NARMAL2控制器实例分析

 

 

第12章神经网络函数及其导函数

 

12.1神经网络的学习函数

 

12.2神经网络的输入函数及其导函数

 

12.3神经网络的性能函数及其导函数

 

12.3.1性能函数

 

12.3.2性能函数的导函数

 

 

第13章Simulink神经网络设计

 

13.1Simulink交互式仿真集成环境

 

13.1.1Simulink模型创建

 

13.1.2Simulink建模操作

 

13.1.3Simulink参数设置

 

13.1.4简单的Simulink例子

 

13.2Simulink神经网络模块

 

13.2.1传递函数模块库

 

13.2.2网络输入模块库

 

13.2.3权值设置模块库

 

13.2.4处理模块库

 

13.2.5控制系统模块库

 

13.3Simulink神经网络设计

 

13.3.1模型构建

 

13.3.2模型仿真

 

13.3.3修改信号源

 

 

第14章BP神经元模型与应用案例

 

14.1BP神经元及其模型

 

14.2BP网络的学习

 

14.2.1BP网络学习算法

 

14.2.2BP网络学习算法的比较

 

14.3BP网络的局限性

 

14.4BP网络的MATLAB程序应用举例

 

14.4.1BP网络设计的基本方法

 

14.4.2BP网络应用举例

 

 

第15章自适应共振网络算法分析与应用

 

15.1ART1网络

 

15.1.1网络系统结构

 

15.1.2ATR1网络运行过程

 

15.1.3ATR1学习算法

 

15.1.4ART1网络应用

 

15.2ART2网络

 

15.2.1网络结构与运行原理

 

15.2.2网络的数学模型与学习算法

 

15.2.3ART2网络在系统辨识中的应用

 

 

第16章径向基网络算法分析与应用

 

16.1正则化理论及正则化RBF网络

 

16.1.1正则化理论

 

16.1.2正则化RBF网络

 

16.2径向基神经网络结构

 

16.2.1径向基神经元模型

 

16.2.2径向基神经网络模型

 

16.3径向基神经网络学习

 

16.4径向基神经网络的工程应用

 

16.4.1函数逼近

 

16.4.2散布常数对径向基网络的影响

 

16.5广义回归神经网络

 

16.5.1GRNN网络结构

 

16.5.2GRNN网络工作原理

 

16.6概率神经网络

 

16.6.1PNN网络结构

 

16.6.2PNN网络工作原理

 

16.6.3应用PNN进行变量分类

 

 

第17章感知器算法分析与实现

 

17.1单层感知器模型

 

17.2单层感知器的学习算法

 

17.3感知器的局限性

 

17.4单层感知器神经网络的MATLAB仿真

 

17.4.1感知器神经网络设计的基本方法

 

17.4.2单层感知器神经网络的应用举例

 

17.5多层感知器神经网络及其MATLAB仿真

 

17.5.1多层感知器神经网络的设计方法

 

17.5.2多层感知器神经网络的应用举例

 

17.6用于线性分类问题的进一步讨论

 

17.6.1决策函数与决策边界

 

17.6.2感知器的决策函数与决策边界

 

 

第18章线性网络与BP网络工具箱函数及其应用

 

18.1线性神经网络工具箱函数

 

18.1.1创建函数及其应用

 

18.1.2学习函数及其应用

 

18.1.3性能函数及其应用

 

18.1.4权积函数及其应用

 

18.1.5初始化函数

 

18.2BP神经网络工具箱函数

 

18.2.1创建函数及其应用

 

18.2.2传递函数及其应用

 

18.2.3学习函数及其应用

 

18.2.4性能函数及其应用

 

18.2.5训练函数及其应用

 

18.2.6显示函数及其应用

 

 

第19章BP网络算法分析与实现

 

19.1BP神经网络模型

 

19.2BP神经网络算法

 

19.2.1SDBP算法

 

19.2.2MOBP算法

 

19.2.3VLBP算法

 

19.2.4RPROP算法

 

19.2.5CGBP算法

 

19.3BP网络设计

 

19.4BP神经网络局限性

 

19.5BP神经网络算法改进

 

19.5.1附加动量法

 

19.5.2有自适应lr的梯度下降法

 

19.5.3弹性梯度下降法

 

 

第20章自组织网络工具箱函数及其应用

 

20.1创建函数

 

20.2传递函数

 

20.3距离函数

 

20.4学习函数

 

20.5初始化函数

 

20.6训练函数

 

20.7显示函数

 

20.8权值函数

 

20.9结构函数

 

 

第21章线性网络算法分析与实现

 

21.1线性神经网络结构

 

21.2线性神经网络学习

 

21.3线性神经网络训练

 

21.4线性神经网络的MATLAB实现

 

21.5线性神经网络的局限性

 

21.5.1超定系统

 

21.5.2不定系统

 

21.5.3线性相关向量

 

21.5.4学习速率过大

 

 

第22章神经网络工具箱函数及其应用

 

22.1径向基神经网络工具箱函数

 

22.1.1创建函数

 

22.1.2变换函数

 

22.1.3传递函数

 

22.1.4距离函数

 

22.2Hopfield神经网络工具箱函数

 

22.2.1传输函数

 

22.2.2学习函数

 

22.3Elman神经网络工具箱函数

 

22.4学习向量量化网络工具箱函数

 

22.4.1创建函数

 

22.4.2显示函数

 

 

第23章感知器网络算法分析与实现

 

23.1单层感知器

 

23.1.1单层感知器模型

 

23.1.2感知器功能

 

23.1.3网络结构

 

23.1.4感知器算法

 

23.1.5网络的训练

 

23.1.6单层感知器实现

 

23.1.7感知器局限性

 

23.2多层感知器

 

23.2.1多层感知器介绍

 

23.2.2多层感知器实现

 

23.3感知器神经网络的MATLAB实现

 

 

第24章神经网络工具箱函数分析与应用

 

24.1权值和阈值初始化函数

 

24.2训练和自适应调整函数

 

 

第25章自组织竞争网络算法分析与应用

 

25.1自组织竞争网络结构

 

25.2自组织竞争网络学习规则

 

25.2.1Kohonen权值学习规则

 

25.2.2阈值学习规则

 

25.3网络训练

 

25.4竞争型网络存在的问题

 

25.5竞争型网络的工程应用

 

 

第26章小波神经网络在交通流量预测中的应用

 

26.1小波变换概述

 

26.2小波神经网络的定义

 

26.3小波神经网络的理论

 

26.4小波神经网络的结构

 

26.5小波神经网络用于交通流量预测

 

 

第27章模糊神经网络算法分析与应用

 

27.1模糊神经网络

 

27.2几种常用模型的模糊神经网络

 

27.2.1Mamdani模型模糊神经网络

 

27.2.2TakagiSugeno模型模糊神经网络

 

27.2.3模糊神经网络的函数

 

27.2.4模糊神经网络的应用

 

27.2.5神经模糊系统的图形界面

 

 

第28章感知器网络工具箱函数及其应用

 

28.1创建函数

 

28.2初始化函数

 

28.3显示函数

 

28.4仿真函数

 

28.5性能函数

 

28.6训练函数

 

28.7学习函数

 

28.8传递函数

附录AMATLAB R2016a安装说明

参考文献

 

 

前言

 

 

人工神经网络(Artificial Neural Network，ANN)也简称为神经网络(NN)或连接模型(Connectionist
Model)，是对人脑或自然神经网络(Natural Neural Network)若干基本特性的抽象和模拟。人工神经网络以对大脑的生理研究成果为基础，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。国际著名的神经网络研究专家、第一家神经计算机公司的创立者Hecht Nielsen给人工神经网络下的定义是：
“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态响应而进行信息处理。”这一定义是恰当的。

目前神经网络研究方法已形成多个流派，最富有成果的研究工作包括多层网络BP算法、Hopfield网络模型、自适应共振理论、自组织特征映射理论等。人工神经网络是在现代神经科学的基础上提出来的。它虽然反映了人脑功能的基本特征，但远不是自然神经网络的逼真描写，而只是它的某种简化抽象和模拟。

MATLAB中所搭配的Neural Network
Toolbox，将神经网络领域研究的成果完整覆盖，它以人工神经网络理论为基础，用MATLAB语言构造出典型神经网络的激活函数，如S型、线性、竞争层、饱和线性等激活函数，使设计者对所选定网络输出的计算变成对激活函数的调用。另外，根据各种典型的修正网络权值的规则，加上网络的训练过程，用MATLAB编写出各种网络设计与训练的子程序，网络的设计者则可以根据自己的需要去调用工具箱中有关神经网络的设计训练程序，使自己能够从烦琐的编程中解脱出来，集中精力去思考问题和解决问题，从而提高效率和解题质量。

本书结合神经网络设计应用的实例，详细介绍了MATLAB在神经网络分析、设计中的方法与过程。本书具有以下特点：

(1) 内容翔实，实用性强，书中每介绍一个案例都给出了详细说明，使读者能快速掌握MATLAB在具体案例中的应用。

(2) 书中大量的例题均选自国内高校广泛使用的神经网络设计应用的经典案例，极具典型性与参考价值，还可供读者上机进行实践训练或实验使用。

(3) 文字叙述清楚，概念阐述准确，深入浅出，通俗易懂，方便自学。

全书分为28章，其主要内容概述如下：


线性神经网络的工程应用；


神经网络预测的实例分析；

  BP网络算法分析与工程应用；


神经网络算法分析与实现；


预测控制算法分析与实现；


改进的广义预测控制算法分析与实现；

 SOFM网络算法分析与应用；


几种网络算法分析与应用；

 Hopfield网络算法分析与实现；


学习向量量化与对向传播网络算法分析与实现；

 NARMAL2控制算法分析与实现；


神经网络工具箱函数及其应用；

 Simulink神经网络设计；

 BP神经元模型与应用案例；


自适应共振网络算法分析与应用等。

本书主要由方清城编写，参加编写的还有张基荣、陈华林、林彦佳、廖文辉、栾颖、周品、曾虹雁、邓俊辉、陈添威、邓耀隆、高永崇、李嘉乐、李锦涛、梁朗星、梁志成、许兴杰、赵书兰、张金林。

本书可以作为广大科研人员、学者、工程技术人员的参考用书，也可以作为高等院校电子信息、通信工程及自动控制等学科的本科生与研究生的学习用书。

由于时间仓促，加之作者水平有限，所以书中疏漏之处在所难免。在此，诚恳地期望得到各领域的专家和广大读者的批评指正。

 

作者

2017年9月

第5章预测控制算法分析与实现

在神经网络工具箱中，神经网络模型预测控制器应用非线性神经网络模型预测系统未来性能，然后控制器计算控制输入，在指定的时间内，控制输入使得系统性能最优。模型预测的第一步是要建立一个神经网络系统模型(系统辨识)； 第二步是控制器应用此系统模型来预测系统未来性能。神经网络模型预测控制有如下特点： (1) 控制器应用神经网络模型可以预测系统对所有可能控制信号的反应。(2) 选择一种优化算法计算控制信号，使得系统未来性能最优。(3) 神经网络系统模型的训练是离线的，训练方法可以选择前面介绍的任何一种批处理方式的算法。(4) 为了计算每一个采样步长下的最优控制输入，需要大量的在线计算数据。5.1系统辨识模型预测的第一步是训练神经网络，从而模拟系统的动力学特性。系统输出与神经网络输出之间的预测误差，用来作为神经网络的训练信号，该过程如图51所示。

图51神经网络训练过程

神经网络状态应用当前输入和当前系统输出来预测未来的系统输出，其系统模型结构如图52所示。

图52神经网络模型结构

该网络用批处理方式进行离线训练，训练样本采用系统运行数据。训练方法选用前面介绍过的任一种算法。5.2自校正控制自校正控制(SelfTuning Control，STC)是不同于模型参考自适应控制的另一类自适应控制，也是应用最为广泛的一类自适应控制方法。它的基本思想是： 将参数估计递推算法与不同类型的控制算法结合起来，形成一个能自动校正控制器参数的实时计算机控制系统。下面主要介绍几种常用的自校正控制。5.2.1单步输出预测设系统采用如下数学模型

A(z-1)y(k)=z-dB(z-1)u(k) C(z-1)ξ(k)(51)

式中，C(z-1)为Hurwitz多项式，即其零点完全位于Z平面的单位圆内； u(k)和y(k)表示系统的输入和输出； ξ(k)为方差为σ2的白噪声，d≥1为纯延时，且

A(z-1)=1 a1z-1 a2z-2 … anaz-naB(z-1)=1 b1z-1 b2z-2 … bnbz-nb,b0≠0C(z-1)=1 c1z-1 c2z-2 … cncz-nc

式(51)基于k时刻和以前时刻的输入/输出数据记为

{Yk,Uk}={y(k),y(k-1),…,u(k),u(k-1),…}

基于{Yk,Uk}对k d时刻输出的预测，记为

y^(k d|k)

输出预测误差记为

y～(k d|k)=y(k d)-y^(k d|k)

则关于提前d步最小方差预测输出可由以下定理给出。定理51(最优d步预测输出)使用如下性能指标(即预测误差的方差)