模式识别与人工智能（基于MATLAB）

《模式识别与人工智能（基于MATLAB）》以实用性、可操作性和实践性为宗旨，以酒瓶颜色分类的设计为例，将理论与实践相结合，介绍各种相关分类器设计。 

《模式识别与人工智能（基于MATLAB）》将模式识别与人工智能理论与实际应用相结合, 以酒瓶颜色分类为例, 介绍了各种算法理论及相应的 MATLAB实现程序。全书共分为10章, 包括模式识别概述、贝叶斯分类器的设计、判别函数分类器的设计、聚类分析、 模糊聚类、神经网络分类器设计、模拟退火算法的分类器设计、遗传算法聚类设计、蚁群算法聚类设计、粒子群算法聚类设计，覆盖了各种常用的模式识别技术。

周润景，内蒙古大学电信学院自动化系教授，中国电子学会高级会员，IEEE/EMBS会员。多年来一直从事EDA技术的研究。近五年主持参与航天部项目六项，在国内外出版EDA设计专著20多部，发表论文50多篇，其中EI检索30多篇，近五年来为国防科工局所属单位培训军工电子系统可靠性设计、EMC设计、高速PCB设计1000多人次。在本项目中负责系统仿真。承担国家自然基金项目2项，*春晖计划项目2项，自治区自然基金项目1项，自治区高校科研项目2项，军工企业项目4项等。

 目录

第1章模式识别概述

1.1模式识别的基本概念

1.1.1模式的描述方法

1.1.2模式识别系统

1.2模式识别的基本方法

1.3模式识别的应用

习题

第2章贝叶斯分类器设计

2.1贝叶斯决策及贝叶斯公式

2.1.1贝叶斯决策简介

2.1.2贝叶斯公式

2.2基于小错误率的贝叶斯决策

2.2.1基于小错误率的贝叶斯决策理论

2.2.2小错误率贝叶斯分类的计算过程

2.2.3小错误率贝叶斯分类的MATLAB实现

2.2.4结论

2.3小风险贝叶斯决策

2.3.1小风险贝叶斯决策理论

2.3.2小错误率与小风险的贝叶斯决策比较

2.3.3贝叶斯算法的计算过程

2.3.4小风险贝叶斯分类的MATLAB实现

2.3.5结论

习题

第3章判别函数分类器设计

3.1判别函数简介

3.2线性判别函数

3.3线性判别函数的实现

3.4基于LMSE的分类器设计

3.4.1LMSE分类法简介

3.4.2LMSE算法原理

3.4.3LMSE算法步骤

3.4.4LMSE算法的MATLAB实现

3.4.5结论

3.5基于Fisher的分类器设计

3.5.1Fisher判别法简介

3.5.2Fisher判别法的原理

3.5.3Fisher分类器设计

3.5.4Fisher算法的MATLAB实现

3.5.5识别待测样本类别

3.5.6结论

3.6基于支持向量机的分类法

3.6.1支持向量机简介

3.6.2支持向量机基本思想

3.6.3支持向量机的几个主要优点

3.6.4训练集为非线性情况

3.6.5核函数

3.6.6多类分类问题

3.6.7基于SVM的MATLAB实现

3.6.8结论

习题

第4章聚类分析

4.1聚类分析

4.1.1聚类的定义

4.1.2聚类准则

4.1.3基于试探法的聚类设计

4.2数据聚类——K均值聚类

4.2.1K均值聚类简介

4.2.2K均值聚类原理

4.2.3K均值算法的优缺点

4.2.4K均值聚类的MATLAB实现

4.2.5待聚类样本的分类结果

4.2.6结论

4.3数据聚类——基于取样思想的改进K均值聚类

4.3.1K均值改进算法的思想

4.3.2基于取样思想的改进K均值算法MATLAB实现

4.3.3结论

4.4数据聚类——K近邻法聚类

4.4.1K近邻法简介

4.4.2K近邻法的算法研究

4.4.3K近邻法数据分类器的MATLAB实现

4.4.4结论

4.5数据聚类——PAM聚类

4.5.1PAM算法简介

4.5.2PAM算法的主要流程

4.5.3PAM算法的MATLAB实现

4.5.4PAM算法的特点

4.5.5K均值算法和PAM算法分析比较

4.5.6结论

4.6数据聚类——层次聚类

4.6.1层次聚类方法简介

4.6.2凝聚的和分裂的层次聚类

4.6.3簇间距离度量方法

4.6.4层次聚类方法存在的不足

4.6.5层次聚类的MATLAB实现

4.6.6结论

4.7数据聚类——ISODATA算法概述

4.7.1ISODATA算法应用背景

4.7.2ISODATA算法的MATLAB实现

4.7.3结论

习题

第5章模糊聚类分析

5.1模糊逻辑的发展

5.2模糊集合

5.2.1由经典集合到模糊集合

5.2.2模糊集合的基本概念

5.2.3隶属度函数

5.3模糊集合的运算

5.3.1模糊集合的基本运算

5.3.2模糊集合的基本运算规律

5.3.3模糊集合与经典集合的联系

5.4模糊关系与模糊关系的合成

5.4.1模糊关系的基本概念

5.4.2模糊关系的合成

5.4.3模糊关系的性质

5.4.4模糊变换

5.5模糊逻辑及模糊推理

5.5.1模糊逻辑技术

5.5.2语言控制策略

5.5.3模糊语言变量

5.5.4模糊命题与模糊条件语句

5.5.5判断与推理

5.5.6模糊推理

5.6数据聚类——模糊聚类

5.6.1模糊聚类的应用背景

5.6.2基于MATLAB的GUI工具的模糊算法构建——数据模糊化

5.6.3基于MATLAB的GUI工具的模糊算法构建——FIS实现

5.6.4系统结果分析

5.6.5结论

5.7数据聚类——模糊C均值聚类

5.7.1模糊C均值聚类的应用背景

5.7.2模糊C均值算法

5.7.3模糊C均值聚类的MATLAB实现

5.7.4模糊C均值聚类结果分析

5.7.5结论

5.8数据聚类——模糊ISODATA聚类

5.8.1模糊ISODATA聚类的应用背景

5.8.2模糊ISODATA算法的基本原理

5.8.3模糊ISODATA算法的基本步骤

5.8.4模糊ISODATA算法的MATLAB程序实现

5.8.5结论

5.9模糊神经网络

5.9.1模糊神经网络的应用背景

5.9.2模糊神经网络算法的原理

5.9.3模糊神经网络分类器的MATLAB实现

5.9.4结论

习题

第6章神经网络聚类设计

6.1什么是神经网络

6.1.1神经网络的发展历程

6.1.2生物神经系统的结构及冲动的传递过程

6.1.3人工神经网络的定义

6.2人工神经网络模型

6.2.1人工神经元的基本模型

6.2.2人工神经网络基本构架

6.2.3人工神经网络的工作过程

6.2.4人工神经网络的特点

6.3前馈神经网络

6.3.1感知器网络

6.3.2BP网络

6.3.3BP网络的建立及执行

6.3.4BP网络分类器的MATLAB实现

6.3.5BP网络的其他学习算法的应用

6.4反馈神经网络

6.4.1离散Hopfield网络的结构

6.4.2离散Hopfield网络的工作方式

6.4.3离散Hopfield网络的稳定性和吸引子

6.4.4离散Hopfield网络的连接权设计

6.4.5离散Hopfield网络分类器的MATLAB实现

6.4.6结论

6.5径向基函数

6.5.1径向基函数的网络结构及工作方式

6.5.2径向基函数网络的特点及作用

6.5.3径向基函数网络参数选择

6.5.4RBF网络分类器的MATLAB实现

6.5.5结论

6.6广义回归神经网络

6.6.1GRNN的结构

6.6.2GRNN的理论基础

6.6.3GRNN的特点及作用

6.6.4GRNN分类器的MATLAB实现

6.6.5结论

6.7小波神经网络

6.7.1小波神经网络的基本结构

6.7.2小波神经网络的训练算法

6.7.3小波神经网络结构设计

6.7.4小波神经网络分类器的MATLAB实现

6.7.5结论

6.8其他形式的神经网络

6.8.1竞争型人工神经网络——自组织竞争

6.8.2竞争型人工神经网络——自组织特征映射神经网络

6.8.3竞争型人工神经网络——学习向量量化神经网络

6.8.4概率神经网络

6.8.5CPN神经网络分类器的MATLAB实现

习题

第7章模拟退火算法聚类设计

7.1模拟退火算法简介

7.1.1物理退火过程

7.1.2Metropolis准则

7.1.3模拟退火算法的基本原理

7.1.4模拟退火算法的组成

7.1.5模拟退火算法新解的产生和接受

7.1.6模拟退火算法的基本过程

7.1.7模拟退火算法的参数控制问题

7.2基于模拟退火思想的聚类算法

7.2.1K均值算法的局限性

7.2.2基于模拟退火思想的改进K均值聚类算法

7.2.3几个重要参数的选择

7.3算法实现

7.3.1实现步骤

7.3.2模拟退火实现模式分类的MATLAB程序

7.4结论

习题

第8章遗传算法聚类设计

8.1遗传算法简介

8.2遗传算法原理

8.2.1遗传算法的基本术语

8.2.2遗传算法进行问题求解的过程

8.2.3遗传算法的优缺点

8.2.4遗传算法的基本要素

8.3算法实现

8.3.1种群初始化

8.3.2适应度函数的设计

8.3.3选择操作

8.3.4交叉操作

8.3.5变异操作

8.3.6完整程序及仿真结果

8.4结论

习题

第9章蚁群算法聚类设计

9.1蚁群算法简介

9.2蚁群算法原理

9.2.1基本蚁群算法原理

9.2.2模型建立

9.2.3蚁群算法的特点

9.3基本蚁群算法的实现

9.4算法改进

9.4.1MMAS算法简介

9.4.2完整程序及仿真结果

9.5结论

习题

第10章粒子群算法聚类设计

10.1粒子群算法简介

10.2经典的粒子群算法的运算过程

10.3两种基本的进化模型

10.4改进的粒子群优化算法

10.4.1粒子群优化算法原理

10.4.2粒子群优化算法的基本流程

10.5粒子群算法与其他算法的比较

10.6粒子群算法分类器的MATLAB实现

10.6.1设定参数

10.6.2初始化

10.6.3完整程序及仿真结果

10.7结论

习题

参考文献

 

前言
随着模式识别技术的迅猛发展，目前该技术已经成为当代高科技研究的重要领域之一，不仅取得了丰富的理论成果，而且其应用范围越来越广泛，几乎遍及各个学科领域，如人工智能、机器人、系统控制、遥感数据分析、生物医学工程、军事目标识别等。由于其在国民经济、国防建设、社会发展的各个方面得到了广泛应用，因而越来越多的人认识到模式识别技术的重要性。本书以实用性为宗旨，以对酒瓶颜色的分类设计为主，将理论与实践相结合，介绍了各种相关分类器设计。第1章介绍模式识别的概念、模式识别的方法及其应用。第2章讨论贝叶斯分类器的设计。首先介绍贝叶斯决策的概念，让读者对贝叶斯理论有所了解，然后介绍基于小错误率和小风险的贝叶斯分类器的设计，将理论应用到实践，让读者真正学会运用该算法解决实际问题。第3章讨论判别函数分类器的设计。判别函数包括线性判别函数和非线性判别函数，本章首先介绍判别函数的相关概念，然后介绍线性判别函数LMSE和Fisher分类器的设计及非线性判别函数SVM分类器的设计。第4章讨论聚类分析。聚类分析作为基础的分类方法，涵盖了大量经典的聚类算法及衍生出来的改进算法。本章首先介绍相关理论知识，然后依次介绍K均值聚类、K均值改进算法、KNN聚类、PAM聚类、层次聚类及ISODATA分类器设计。第5章讨论模糊聚类分析。首先介绍模糊逻辑的发展、模糊数学理论、模糊逻辑与模糊推理等一整套模糊控制理论，然后介绍模糊分类器、模糊C均值分类器、模糊ISODATA分类器及模糊神经网络分类器的设计。第6章讨论神经网络聚类设计。首先介绍神经网络的概念及其模型等理论知识，然后介绍基于BP网络、Hopfield网络、RBF网络、GRNN、小波神经网络、自组织竞争网络、SOM网络、LVQ网络、PNN、CPN的分类器设计。第7章讨论模拟退火算法聚类设计。首先介绍模拟退火算法的基本原理、基本过程，然后介绍其分类器的设计。第8章介绍遗传算法聚类设计，包括遗传算法原理及遗传算法分类器设计的详细过程。第9章介绍蚁群算法聚类设计，包括蚁群算法的基本原理、基于蚁群基本算法的分类器设计和改进的蚁群算法MMAS的分类器设计。第10章介绍粒子群算法聚类设计，包括粒子群算法的运算过程、进化模型、原理及其模式分类的设计过程。本书没有像大多数模式识别的书那样讲解烦琐的理论，而是简明扼要地介绍每一种算法的核心，并通过大量的实例介绍模式识别知识。书中针对每一种模式识别算法,按理论基础和实例操作两部分进行介绍。在读者掌握基础理论后,通过实例可以了解算法的实现思路和方法; 进一步掌握核心代码编写,就可以很快掌握模式识别技术。本书内容来自作者的科研与教学实践。读者在学会各种理论和方法后,可将书中的不同算法加以改造应用于自己的实际工作。本书第1～3章由李楠编写,其余由周润景完成并统稿、定稿。参加本书编写的还有邵盟、南志贤、刘波、李艳、邵绪晨、冯震、崔婧、任自鑫、谢亚楠、祖晓玮、张赫、丁岩、井探亮、邢婧、陈萌。在本书的编写过程中,作者力求完美,但由于水平有限,书中难免有不足之处,敬请指正。作者2018年3月

第3章判别函数分类器设计3.1判别函数简介
判别函数是统计模式识别中用以对模式进行分类的一种较简单的函数。在特征空间中，通过学习，不同的类别可以得到不同的判别函数，比较不同类别的判别函数值的大小，就可以进行分类。统计模式识别方法把特征空间划分为决策区对模式进行分类，一个模式类同一个或几个决策区相对应。
设有c个类别，对于每一个类别ωi(i=1，2，…，c)定义一个关于特征向量X的单值函数gi(X)： ①如果X属于第i类，那么gi(X)>gj(X)(i，j=1，2，…，c，j≠i)； ②如果X在第i类和第j类的分界面上，那么gi(X)=gj(X)(i，j=1，2，…，c，j≠i)。人们已研究出多种求取决策边界的算法,线性判别函数的决策边界是一个超平面方程式，其中的系数可以从已知类别的学习样本集求得。F.罗森布拉特的错误修正训练程序是求取两类线性可分分类器决策边界的早期方法之一。在用线性判别函数不可能对所有学习样本正确分类的情况下，可以规定一个准则函数（例如对学习样本的错分数少）并用使准则函数达到的算法求取决策边界。用线性判别函数的模式分类器也称为线性分类器或线性机，这种分类器计算简单，不要求估计特征向量的类条件概率密度，是一种非参数分类方法。当用贝叶斯决策理论进行分类器设计时，在一定的假设下也可以得到线性判别函数，这无论对于线性可分或线性不可分的情况都是适用的。在问题比较复杂的情况下可以用多段线性判别函数（见近邻法分类、小距离分类）或多项式判别函数对模式进行分类。一个二阶的多项式判别函数可以表示为与它相应的决策边界是一个超二次曲面。本章介绍线性判别函数和非线性判别函数，用以对酒瓶的颜色进行分类，其中实现线性判别函数分类的方法有LMSE分类算法和Fisher分类，实现非线性判别函数分类的方法有基于核的Fisher分类和支持向量机。3.2线性判别函数

判别函数分为线性判别函数和非线性判别函数。简单的判别函数是线性判别函数，它是由所有特征量的线性组合构成的。我们现在对两类问题和多类问题分别进行讨论。1. 两类问题对于两类问题，也就是Wi=(ω1,ω2)T。1) 二维情况取二维特征向量X=(x1,x2)T，这种情况下的判别函数g(x)=ω1×1 ω2×2 ω3，其中，ωi(i=1,2,3)为参数； x1和x2为坐标值，判别函数g(x)具有以下性质： 当x∈ω1时，gi(x)>0； 当x∈ω2时，gi(x)<0； 当x不定时，gi(x)=0。这是二维情况下由判别边界分类。2) n维情况对于n维情况，现抽取n维特征向量： X=(x1,x2,…,xn)T，判别函数为g(x)=W0X ωn 1。其中，W0=(ω1,ω2,…,ωn)T为权向量； X=(x1,x2,…,xn)T为模式向量。另外一种表示方法是g(x)=WTX。其中，W=(ω1,ω2,…,ωn,ωn 1)T为增值权向量； X=(x1,x2,…,xn,1)T为增值模式向量。在这种情况下，当x∈ω1时，g(x)>0； 当x∈ω2时，g(x)<0； g1(x)=0为边界，当n=2时，边界为一条直线，当n=3时，边界为一个平面，当n>3时，边界为超平面。2. 多类问题对于多类问题，模式有ω1,ω2,…,ωM个类别，可以分为下面三种情况。1) 种情况每个模式类与其他模式可用单个判别平面分开，这时M个类有M个判别函数，且具有性质 
gi(x)=WTiX（31）
式中,Wi=(ωi1,ωi2,…,ωin 1)T为第i个判别函数的权向量。当x∈ωi时，gi(x)>0，其他情况下gi(x)<0，也就是每一个类别可以用单个判别边界与其他类别相分开。2) 第二种情况每个模式类和其他模式类之间可以用判别平面分开，这样就有M(M－1)2个平面，对于两类问题，M=2，则有1个判别平面，同理对于三类问题，就有3个判别平面。判别函数为
gij(x)=WTijX(32)
式中,i≠j，判别边界为gij(x)=0，条件为： 当x∈ωi时，gij(x)>0； 当x∈ωj时，gij(x)<0。3) 第三种情况每类都有一个判别函数，存在M个判别函数： gk(x)=WkX（k=1，2，…，M），边界为gi(x)=gj(x)，条件为： 当x∈ωi时，gi(x)； 其他情况下gi(x)小。也就是说，要判别X属于哪一个类，先把X代入M个判别函数，判别函数的那个类就是X所属类别。3.3线性判别函数的实现

对于给定的样本集X，要确定线性判别函数g(x)=WTx ω0的各项系数W和ω0，可以通过以下步骤来实现： ① 收集一组具有类别标志的样本X={x1,x2,…,xN};② 按照需要确定准则函数J； ③ 用化技术求准则函数J的极值解ω*和ω*0，从而确定判别函数，完成分类器的设计。对于未知样本x，计算g(x)，判断其类别。即对于一个线性判别函数，主要任务是确定线性方程的两个参数，一个是权向量W，另一个是阈值ω0。在计算机中想要实现线性判别函数，可以通过“训练”和“学习”的方式，将已知样本放入到计算机的“训练”程序，经过多次迭代，从而得到准确函数。下面具体介绍各种分类器的设计。
3.4基于LMSE的分类器设计
3.4.1LMSE分类法简介
LMSE是Least Mean Square Error的英文缩写，中文的意思是小均方误差，常称作LMSE算法。提到LMSE分类算法就不能不提感知器算法和自适应算法，因为LMSE算法本身就是自适应算法中常用的方法，而感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似，它们都是基于纠错学习规则的学习算法。感知器算法存在如下问题： 不能推广到一般的前向网络中； 函数不是线性可分时，得不出任何结果。而由美国斯坦福大学的WidrowHoff在研究自适应理论时提出的LMSE算法，由于其易实现因而很快得到了广泛应用，成为自适应滤波的标准算法。下面介绍自适应过程。自适应过程是一个不断逼近目标的过程。它所遵循的途径以数学模型表示，称为自适应算法。通常采用基于梯度的算法，其中LMSE算法尤为常用。自适应算法可以用硬件(处理电路)或软件(程序控制)两种办法实现。前者依据算法的数学模型设计电路，后者则将算法的数学模型编制成程序并用计算机实现。算法有很多种，选择算法很重要，它决定了处理系统的性能质量和可行性。自适应均衡器的原理就是按照某种准则和算法对其系数进行调整，终使自适应均衡器的代价(目标)函数小化，达到均衡的目的。而各种调整系数的算法就称为自适应算法，自适应算法是根据某个准则来设计的。常用的自适应算法有逼零算法、陡下降算法、LMSE算法、RLS算法以及各种盲均衡算法等。自适应算法所采用的准则有小均方误差准则、小二乘准则、信噪比准则和统计检测准则等，其中小均方误差准则和小二乘准则是目前为流行的自适应算法准则。LMSE算法和RLS算法由于采用的准则不同，因此这两种算法在性能、复杂度等方面均有许多差别。一种算法性能的好坏可以通过几个常用的指标来衡量，例如收敛速度——通常用算法达到稳定状态(即与值的接近程度达到一定值)的迭代次数表示； 误调比——实际均方误差相对于算法的小均方误差的平均偏差； 运算复杂度——完成一次完整迭代所需的运算次数； 跟踪性能——对信道时变统计特性的自适应能力。3.4.2LMSE算法原理LMSE算法是针对准则函数引进小均方误差这一条件而建立起来的。这种算法的主要特点是在训练过程中判定训练集是否线性可分，从而可对结果的收敛性做出判断。LMSE算法属于监督学习的类型,而且是“模型无关”的，它是通过小化输出和期望目标值之间的偏差来实现的。LMSE算法属于自适应算法中常用的算法，它不同于C均值算法和ISODATA算法，后两种属于基于距离度量的算法，直观且容易理解。LMSE算法通过调整权值函数求出判别函数，进而将待测样本代入判别函数求值，终做出判定，得出答案。1. 准则函数LMSE算法以小均方差作为准则，因均方差为
E{［ri(X)－WTiX］2}(33)