人工智能与信息感知

在人工智能火热的大背景下，本书着眼于人工智能与信息感知的交叉领域，涵盖了信息感知、数据融合、神经计算、深度学习、支持向量机、模糊计算、遗传算法和粒群智能等内容，为人工智能未来的发展提供了新的方向。本书逻辑清晰、内容严谨、算例丰富，具有极高的学术价值，堪称本领域不可多得的佳作。 

本书系统全面地介绍了人工智能与信息感知理论与实践的内容。依据信息感知系统的组成、特点以及信息感知过程，以感知、融合、智能处理为主线，重点介绍了面向信息感知处理背景下的人工智能前沿理论与方法。内容包括：信息感知与数据融合基本原理与方法；神经计算基本方法，神经计算实现技术以及支持向量机；深度学习中典型神经网络实现及其应用；模糊逻辑计算中模糊逻辑与模糊推理、模糊计算实现和应用；进化计算中遗传算法、粒群智能、蚁群智能等方法和实例。
本书可作为高等院校电子、计算机、测控技术、自动化等相关专业本科生、研究生的教材，也可作为工程技术人员开展人工智能与信息感知实践的重要参考书。

第1章概述

 

1．1智能信息感知的产生及其发展

 

1．1．1智能感知系统的组成与特点

 

1．1．2智能计算的产生与发展

 

1．2人工智能信息感知技术关键

 

1．2．1神经计算技术

 

1．2．2深度学习

 

1．2．3模糊计算技术

 

1．2．4进化计算技术

 

参考文献

 

第2章信息感知与数据融合

 

2．1概述

 

2．2协作感知与数据融合

 

2．2．1网络化智能协作感知

 

2．2．2多传感器数据融合

 

2．3多传感数据融合基本原理

 

2．3．1多传感器数据融合目标

 

2．3．2多传感器数据融合的层次与结构

 

2．3．3数据融合中的检测、分类与识别算法

 

2．3．4典型的数据融合方法

 

2．3．5多传感器数据融合方法的特点

 

2．4自适应动态数据融合方法

 

2．4．1测量模型与方法简述

 

2．4．2测量数据范围的推导

 

2．4．3范围的确定

 

参考文献

 

第3章神经计算基础

 

3.1人工神经网络基础

 

3.1.1人工神经网络的提出

 

3.1.2人工神经网络的特点

 

3.1.3历史回顾

 

3.1.4生物神经网络

 

3.1.5人工神经元

 

3.1.6人工神经网络的拓扑特性

 

3.1.7存储与映射

 

3.1.8人工神经网络的训练

 

3.2感知器

 

3.2.1感知器与人工神经网络的早期发展

 

3.2.2感知器的学习算法

 

3.2.3线性不可分问题

 

参考文献

 

第4章神经计算基本方法

 

4.1BP网络

 

4.1.1BP网络简介

 

4.1.2基本BP算法

 

4.1.3BP算法的实现

 

4.1.4BP算法的理论基础

 

4.1.5几个问题的讨论

 

4.2径向基函数神经网络

 

4.2.1函数逼近与内插

 

4.2.2正规化理论

 

4.2.3RBF网络的学习

 

4.2.4RBF网络的一些变形

 

4.3Hopfield反馈神经网络

 

4.3.1联想存储器

 

4.3.2反馈网络

 

4.3.3用反馈网络作联想存储器

 

4.3.4相关学习算法

 

4.3.5反馈网络用于优化计算

 

4.4随机型神经网络

 

4.4.1模拟退火算法

 

4.4.2Boltzmann机

 

4.4.3Gaussian机

 

4.5自组织竞争网络

 

4.5.1SOFM网络结构

 

4.5.2SOFM网络的应用

 

4.5.3ART神经网络

 

4.6神经网络计算的组织

 

4.6.1输入层和输出层设计

 

4.6.2网络数据的准备

 

4.6.3网络初始权值的选择

 

4.6.4隐层数及隐层节点设计

 

4.6.5网络的训练、检测及性能评价

 

参考文献

 

第5章深度学习

 

5．1深度学习概述

 

5．1．1深度学习定义

 

5．1．2深度学习特点

 

5．1．3深度学习平台

 

5．2自编码器

 

5．2．1稀疏自编码器

 

5．2．2多层自编码器表示

 

5．2．3各类自编码器介绍

 

5．3深度神经网络

 

5．3．1多层神经网络近似定理

 

5．3．2深度置信网络

 

5．3．3深层玻尔兹曼机

 

5．3．4深度神经网络结构分析

 

5．4卷积神经网络

 

5．4．1卷积与池化

 

5．4．2卷积核

 

5．4．3卷积神经网络结构

 

5．5递归神经网络

 

5．5．1展开计算图

 

5．5．2回声状态网络

 

5．5．3门控增强单元

 

5．5．4长短时记忆单元

 

5．6深度增强学习

 

5．6．1增强学习

 

5．6．2马尔可夫决策

 

5．6．3决策迭代

 

5．6．4QLearning算法

 

5．6．5深度增强网络

 

5．7深度学习应用

 

5．7．1视觉感知

 

5．7．2语音识别

 

5．7．3自然语言处理

 

5．7．4生物信息处理

 

参考文献

 

第6章支持向量机

 

6.1统计学习理论的基本内容

 

6.1.1机器学习的基本问题

 

6.1.2学习机的复杂性与推广能力

 

6.1.3统计学习的基本理论

 

6.2支持向量机

 

6.2.1间隔分类支持向量机

 

6.2.2软间隔分类支持向量机

 

6.2.3基于核的支持向量机

 

6.3多分类支持向量机

 

6.3.1直接法

 

6.3.2分解法

 

6.4基于SVM的机械设备故障诊断

 

6.4.1实验平台及故障信号获取

 

6.4.2基于小波包变换的故障特征提取

 

6.4.3基于多类分类SVM的故障诊断识别

 

参考文献

 

第7章模糊逻辑与模糊推理基本方法

 

7.1模糊逻辑的历史

 

7.2模糊集

 

7.3隶属函数

 

7.3.1隶属函数的几种确定方法

 

7.3.2几种常用的隶属函数

 

7.3.3模糊逻辑工具箱内置的隶属函数

 

7.4模糊运算与模糊推理

 

7.4.1模糊运算

 

7.4.2模糊规则与模糊推理

 

7.4.3Mamdani型推理与Sugeno型推理

 

7.5模糊系统

 

7.5.1模糊系统的结构

 

7.5.2模糊控制器的设计

 

7.5.3神经模糊系统

 

7.5.4自适应模糊模型

 

7.5.5自适应模糊控制系统

 

 

第8章模糊计算实现

 

8.1模糊推理过程

 

8.1.1模糊推理过程的步骤

 

8.1.2自定义模糊推理

 

8.2模糊逻辑工具箱的图形界面工具

 

8.2.1FIS编辑器

 

8.2.2隶属函数编辑器

 

8.2.3模糊规则编辑器

 

8.2.4模糊规则观察器

 

8.2.5输出曲面观察器

 

8.2.6自定义模糊推理系统

 

8.3模糊逻辑工具箱的命令行工作方式

 

8.3.1系统结构函数

 

8.3.2系统显示函数

 

8.3.3在命令行中建立系统

 

8.3.4FIS求解

 

8.3.5FIS结构

 

8.4神经模糊推理编辑器ANFIS

 

8.4.1神经模糊推理

 

8.4.2ANFIS编辑器

 

8.4.3应用ANFIS编辑器的步骤

 

参考文献

 

第9章遗传算法

 

9.1遗传优化算法基础

 

9.1.1遗传算法的产生与发展

 

9.1.2遗传算法概要

 

9.1.3遗传算法的应用情况

 

9.1.4基本遗传算法

 

9.1.5模式定理

 

9.1.6遗传算法的改进

 

9.1.7遗传算法与函数化

 

9.1.8遗传算法与系统辨识

 

9.1.9遗传算法与神经控制

 

9.2遗传优化算法的工程应用

 

9.2.1遗传算法在无约束优化中的应用

 

9.2.2遗传算法在非线性规划中的应用

 

参考文献

 

第10章粒群智能

 

10.1引言

 

10.1.1微粒群算法综述

 

10.1.2微粒群算法的研究方向

 

10.2微粒群算法的基本原理

 

10.2.1引言

 

10.2.2基本微粒群算法

 

10.2.3基本微粒群算法的社会行为分析

 

10.2.4带惯性权重的微粒群算法

 

10.3改进微粒群算法

 

10.3.1基本微粒群算法进化方程的改进

 

10.3.2收敛性改进

 

10.4微粒群算法的实验设计与参数选择

 

10.4.1设计微粒群算法的基本原则与步骤

 

10.4.2几种典型的微粒群模型及参数选择

 

10.5基于微粒群算法的人工神经网络优化

 

10.5.1神经网络的微粒群算法优化策略

 

10.5.2协同微粒群算法优化神经网络

 

10.6蚁群智能

 

10.6.1双桥实验与随机模型

 

10.6.2人工蚂蚁模型

 

10.6.3蚁群优化元启发式算法

 

参考文献

人工智能研究正迅速发展，无论是学术界还是产业界都竞相关注。创新人工智能领域，探寻人工智能的根源，理解人类智能是未来人工智能领域的重大科学挑战。2006 年以来，以深度学习为代表的机器学习算法在机器视觉和语音识别等领域取得了极大的成功，使人工智能再次受到学术界和产业界的广泛关注。人工智能是国际竞争的新焦点。作为引领未来的战略性技术之一，发展人工智能是提升国家核心竞争力、维护国家安全的重大战略。我国相继出台规划政策，围绕技术、人才、标准等进行部署，希望在新一轮科技领域中掌握主导权。人工智能是经济发展的新引擎。作为新一轮产业变革的核心驱动力，人工智能释放历次科技革命和产业变革积蓄的巨大能量，并创造新的经济发展引擎，引发经济结构重大变革，深刻改变人类生产生活方式，实现社会生产力的整体跃升。人工智能发展将从知识表达到大数据驱动知识学习，转向数据驱动和知识指导相结合； 从数据分类处理迈向跨媒体认知、学习和推理； 从智能机器、人机协同融合到增强智能； 从个体智能到网络群体智能； 从机器人走向引领社会和工业等领域的深度智能。信息感知利用传感系统对被测对象变化进行测量，是信息处理的首要环节。信息感知测量系统具有“感、知、联”一体化的功能，涉及数据采集、数据传输与信息处理，具有包括信息采集、过滤、压缩、融合等环节。信息采集是获取测量信息，提高信息的准确性；信息过滤是对采集到的信息进行有效特征提取；信息压缩是实现冗余数据去除；信息融合是对多传感器感知的信息进行融合处理、识别或判别。信息感知是人工智能与现实世界交互的基础和关键，是人工智能服务于工业社会的重要桥梁。人工智能通过对感知的信号与信息进行识别、判断、预测和决策，对不确定信息进行整理挖掘，实现高效的信息感知，让物理系统更加智能。人工智能与信息感知作为高度关注的热门领域，将两者进行有机结合具有重要的理论与应用价值。本书作者于2008年出版了《测试智能信息处理》（清华大学出版社）一书，在此基础上根据当前国内外人工智能与信息感知领域发展趋势和研究成果进行了全面的拓展和修订，增加了信息感知与数据融合、深度学习等人工智能与信息感知技术。本书以信息感知系统的感知、融合、人工智能处理为主线，介绍了人工智能与信息感知领域的前沿理论与方法。本书共分为10章。第1章是人工智能信息感知概述； 第2章是信息感知与数据融合； 第3章是神经计算基础； 第4章是神经计算基本方法； 第5章是深度学习； 第6章是支持向量机； 第7章是模糊逻辑与模糊推理基本方法； 第8章是模糊计算实现； 第9章是遗传算法；  第10章是粒群智能。本书基本框架如下页图所示。

戴鹏、张鹏博、毕道伟、刘佑达、戴逸翔、刘晏池、张蔚航、游伟等参与讨论和部分内容的撰写及后期的文字录入、校对、绘图与实例验证工作。本书还参考和引用了相关的论文和书籍等资料，在此一并对上述人员和文献作者表示衷心的感谢。特别感谢我的妻子和女儿的鼓励与支持，还要感谢我的父母和所有给予我支持和帮助的朋友，谨以此书献给他们。后还要特别感谢清华大学出版社的张秋玲老师、刘嘉一老师，在本书的编写过程中他们给予了很多富有建设性的意见和建议。衷心感谢清华大学出版社的支持。本书的出版得到了国家搞技术研究发展计划（“863”）、国家重点基础研究发展计划（“973”）、 “十三五”国家重点研发计划等相关项目和国家自然科学基金项目（61272428、61472216）的支持，在此表示衷心感谢。《人工智能与信息感知》涉及多个新兴交叉学科，新的理论、方法与应用层出不穷，有待进一步深入研究和探索，书中一些内容仅供读者参考。由于水平有限，时间仓促，书中不妥之处在所难免，希望读者朋友不吝赐教。
王雪2018年2月于清华园

第1章概述

1．1智能信息感知的产生及其发展1．1．1智能感知系统的组成与特点
当前科技界普遍认为，信息技术由四大部分组成，即信息获取、信息传输、信息处理与信息应用。这四部分组成了一个如图1．1所示的信息链。信息链的源头——信息获取，属于测试与检测技术的研究范畴。

图1．1信息技术的四个组成部分及其信息链

测试与检测技术的基本任务是研究信息获取技术及信息相关物理量的测量方法，并解决如何准确获得和处理信息问题，为被测信号(或数据)正确、可靠的传输提供必要的技术支持。同时针对信息获取、变送传输、数据处理和执行控制等部分的需要，研究在相关的信号产生、对象追踪、状态反馈、信息传送、动作控制、结果输出等技术环节中应用的控制技术与方法。
测试与检测技术是一门工程应用技术，具有鲜明的时代性，其内涵随着科学技术的发展与时俱进。仪器已从单纯机械结构、机电结构发展成为集传感器技术、计算机技术、电子技术、现代光学、精密机械等多种高新技术于一身的产品，其用途也从单纯数据采集发展为集数据采集、信号传输、信号处理以及控制为一体的测控过程。进入21世纪以来，随着计算机网络技术、软件技术、微纳米技术的发展，仪器技术出现了智能化、虚拟化、远程化和微型化的发展趋势。测试与检测技术主要从信息获取技术上掌握相关物理量的测量方法并解决如何准确获得信息的信号与数据处理方法问题，为被测信号(或数据)正确、可靠的传输提供必要的技术支持。测试与检测技术所涉及的控制是针对信息获取、变送传输、数据处理和执行控制等部分的需要，研究在相关的信号产生、对象跟踪、状态反馈、信息传送、动作控制、结果输出等技术环节中应用的控制技术与方法。仪器测试技术则体现了该学科系统性、完整性、集成性的特征。测试与检测技术的实质是信息获取、信息处理、信息利用的工具，是研究以获取信息为目的的信息转换、处理、传输、存储、显示与应用等技术与装置的应用科学。著名科学家钱学森明确指出： “发展高新技术信息技术是关键，信息技术包括测量技术、计算机技术和通信技术。测量技术是关键和基础。”而测试与检测技术是其中的一项重要内容。智能感知系统是对物质世界的信息进行测量与控制的基础手段和设备，因而美国商务部报告在关于新兴数字经济部分提出，信息产业包括计算机软硬件行业、通信设备制造及服务行业、仪器仪表测试行业。信息技术包括信息获取、信息处理、信息传输与信息应用四部分内容。其中，信息的获取是靠仪器测试来实现的。测试技术中的传感器、信号采集系统就是完成这一任务的具体器件。如果不能获取信息，或信息获取不准确，那么信息的存储、处理、传输都是毫无意义的。因而，信息获取是信息技术的基础，是信息处理、信息传输和信息应用的前提。测试与检测技术是获取信息的工具，没有仪器测试，进入信息时代将是不可能的。因而，测试与检测技术是信息技术中“信息获取—信息处理—信息传输—信息应用”的源头技术，也是信息技术中的关键技术。
一般来说，感知测量系统由传感器、中间变换装置和显示记录存储装置三部分组成，如图1.2所示。

图1.2信息信号的转换、传输与处理过程

感知测量系统中的记录存储部分主要以计算机为主体构成。若想对测量的数据进行处理，首先要进行信号分析，如通常采用快速傅里叶变换(FFT)、频谱分析、小波分析等； 感知测量系统要对来自多个传感器检测到的信号进行数据处理，需要进行数据融合完成对信号的深入分析，在此基础上采用智能计算方法进行信息处理，进而实现感知测量系统的终测量目标。

感知是人类认识自然、掌握自然规律的实践途径之一，是科学研究中获得感性材料、接受自然信息的途径，是形成、发展和检验自然科学理论的实践基础。测试属于信息科学范畴，又被称为信息探测工程学。信息，一般可理解为消息、情报或知识，例如语言文字是社会信息，商品报道是经济信息，遗传密码是生物信息等。然而，从物理学观点出发来考察，信息是物质所固有的，是其客观存在或运动状态的特征。信息本身不是物质，不具有能量，但信息的传输却依靠物质能量。一般来说，传输信息的载体称为信号，信息蕴涵于信号之中。人类认识世界，是以感官感知自然信息开始的。物质的颜色、形状、声响、温度变化，可以由人的视觉、听觉、触觉等器官感知，但人的感官感知事物的变化有局限性，人类感官的延伸——传感器，是近代信息探测工程学中的重要内容，传感技术的发展，扩展了人类感知信息的智能。信息感知涉及任何一项工程领域，无论是生物、海洋、气象、地质、雷达、通信以及机械、电子等工程，都离不开信息感知与处理。按照信号变化的物理性质，可分为非电信号与电信号。例如，随时间变化的力、位移、加速度等，称为非电信号； 而随时间变化的电压、电流、电荷等，则称为电信号。电信号与非电信号可以比较方便地互相转换，因此，在工程中常常将各种非电物理量变换为电信号，以利于信息的传输、存储和处理。工程中的信息感知与处理，是指从传感器次敏感元件获得初始信息，采用一定设备手段进行分析处理的过程，包括了信息的获取、传输、转换、分析、变换、处理、检测、显示及应用等过程。通常又把研究信号的构成和特征值的过程称为信号分析； 把信号再经过必要的加工变换，以期获得有用信息的过程称为信号处理。信号分析对信号本身的信息结构没有影响，而信号处理过程中，往往有可能使信号本身的信息结构有所改变。传感器是感知测量系统中的信息敏感和检测部件，它直接感受被测信息并输出与其成一定比例关系的物理量(信号)，以满足系统对信息传输、处理、记录、显示和控制的要求。人们常常习惯于把传感器比作人的感官，计算机比作人的大脑。因此，信息感知与计算机技术的发展促进了信息感知系统的智能化。从信息化角度出发，“智能”应体现在三个方面，即： 感知，信息的获取； 思维，信息的处理； 行为，信息的利用。

人工智能与信息感知如图1.3所示，由应用层、感知层与信息层三个层次组成。其中，应用层面向实际应用对象，涵盖了安防监控、环境监测、智能制造、智慧城市等被测的物理环境对象； 感知层基于传感网与物联网对应用层的物理环境对象进行信息的感知，信息感知涵盖了数据融合的基础理论，采用了协作感知、自适应融合、统计与估计、特征推理的理论和方法； 信息层基于信息感知的数据，采用神经网络、深度学习、进化计算、粒群智能、模糊逻辑、支持向量机等人工智能的理论和方法，实现了智慧感知。

图1.3人工智能与信息感知框架

1．1．2智能计算的产生与发展智能计算是人工智能信息感知的核心技术。20世纪90年代以来，在人工智能与信息感知研究的纵深发展过程中，人们特别关注到精确处理与非精确处理的双重性，强调符号物理机制与连接机制的综合，倾向于冲破“物理学式”框架的“进化论”新路，一门称为智能计算(computational intelligence，CI)的新学科分支被概括地提出并以更加明确的目标蓬勃发展。
美国的James C．Bezdek教授首次提出了智能计算的定义。他在《国际近似推理杂志》上论道： 智能计算依靠生产者提供的数字材料，而不是依赖于知识，而人工智能使用的是知识精华。Bezdek还说： 人工神经网络应称为计算神经网络，即“人工”两字应改为“计算”。在人工智能(artificial intelligence，AI)和智能计算CI的关系上，Bezdek认为CI是AI的子集，即CI∈AI。J．C．Bezdek在题为“什么是智能计算”的报告中讲到： 智能有三个层次，层是生物智能(biological intelligence，BI)，它是由人脑的物理化学过程反映出来的，人脑是有机物，它是智能的物质基础。第二层是人工智能，它是非生物的，是人造的，常用符号表示，AI的来源是人的知识精华和传感器数据。第三层是智能计算，它是由数学方法和计算机实现的，CI的来源是数值计算和传感器。以上三者个英文字符取出来称之为ABC。显然，从复杂性看有三个层次，即B(有机)、A(符号)、C(数值)，而且BI包含了AI，AI又包含了CI。根据Bezdek的看法，AI是CI－BI的中间过渡，因为AI中除了计算算法外，还包含符号表示和数值信息处理。模糊集和模糊逻辑是CI—AI的平滑过渡，因为它包含了数值信息和语义信息。他还认为： 计算神经网络是一个底层基本的环节，也是CI的一个重要基石，主要用于模式识别，由以下四个点决定： 功能、结构(联接拓扑和更新策略)、形式(集成和传递的节点函数式)、数据(用于训练／测试的数据)。按以上几点，计算神经网络有多种形式，如前馈、自组织以及与模糊结合的模糊神经网络等。目前国际上提出智能计算就是以人工神经网络为主导，与模糊逻辑系统、进化计算以及信号与信息处理学科的综合集成。新一代的智能计算信息处理技术应是神经网络、模糊系统、进化计算、混沌动力学、分形理论、小波变换、人工生命等交叉学科的综合集成。尽管对智能计算的定义、内容以及与其他智能学科分支的关系尚没有统一的看法，但智能计算的下列两个重要特征却是人们比较共同的认识： 智能计算与传统人工智能不同，主要依赖的是生产者提供的数字材料，而不是依赖于知识； 它主要借助数学计算方法(特别是与数值相联系的计算方法)的使用。这就是说，一方面，CI的内容本身具有明显的数值计算信息处理特征； 另一方面，CI强调用“计算”的方法来研究和处理智能问题。需强调的是，CI中计算的概念在内涵上已经加以拓广和加深。一般地，在解空间进行搜索的过程都被称为计算。深度学习近年来的发展，深度学习拓宽了神经网络的应用范围，特别是面向大数据的信息挖掘与分析，包括图像处理、自动驾驶以及自然语言处理等领域。智能计算发展的重要方向之一就是不断引进深入的数学理论和方法，以“计算”和“集成”作为学术指导思想，进行更高层次的综合集成研究。目前的研究方向不仅突破了模型及算法层次的综合集成的模式，而且已经进入了感知层与认知层的综合集成。智能信息感知可以划分为两大类，一类为基于传统计算机的信息处理，另一类为基于神经网络和深度学习的智能信息感知。基于传统计算机的信息处理系统包括智能仪器、自动跟踪监测仪器系统、自动控制制导系统、自动故障诊断系统等。在人工智能系统中，它们具有模仿或代替与人的思维有关的功能，通过逻辑符号处理系统的推理规则来实现自动诊断、问题求解以及专家系统的智能。这种智能实际上体现了人类的逻辑思维方式，主要应用串行工作程序按照一些推理规则一步一步进行计算和操作，目前应用领域很广。人工神经网络是模仿延伸人脑认知功能的新型智能信息处理系统。由于大脑是人的智能、思维、意识等一切高级活动的物质基础，构造具有脑智能的人工智能信息处理系统，可以解决传统方法所不能或难以解决的问题。以联接机制为基础的神经网络具有大量的并行性、巨量的互连性、存储的分布性、高度的非线性、高度的容错性、结构的可变性、计算的非精确性等特点，它是由大量的简单处理单元(人工神经元)广泛互连而成的一个具有自学习自适应和自组织性的非线性动力系统，也是一个具有全新计算结构模型的智能信息处理系统。它可以模仿人脑处理不完整的、不准确的信息，甚至具有处理非常模糊的信息的能力。这种系统能联想记忆和从部分信息中获得全部信息。由于其非线性，当不同模式在模式特征空间的分界面极为复杂时，仍能进行分类和识别。由于其自适应自学习功能，系统能从环境及输入中获取信息来自动修改网络结构及其连接强度，以适应各种需要而用于知识推广及知识分类。由于分布式存储和自组织性，而使系统连接线即使被破坏了50％，它仍能处在优化工作状态，这在军事电子系统设备中有着特别重要的意义。因此，基于神经计算的智能信息处理是模拟人类形象思维、联想记忆等高级精神活动的人工智能信息处理系统。以概率统计为基础的支持向量机理论和主分量分析方法已经迅速得到发展和应用，成为神经计算中一个崭新的研究热点和应用方法。深度学习，也是重要的人工智能实现方法之一。深度学习将特征与分类器结合到一个框架中，是一种自动学习特征的方法。它是基于数据特征的自学习性，提高了特征提取的效率，具有更强的特征表达能力，可实现大规模数据的学习和表达。模糊逻辑及其模糊推理得到迅速发展和应用，为模糊计算提供了新的扩展空间和处理知识的方法。进化计算作为人工智能中的另一重要发展分支迅速发展，在传统遗传算法的基础上又在群智能的理论和方法方面有所突破。粒群智能和蚁群智能已经建立了较为完整的理论方法体系，为大数据环境下的分析和决策起到重要作用。1．2人工智能信息感知技术关键1．2．1神经计算技术
脑神经系统是以离子电流机构为基础的由神经细胞组成的非线性的(nonlinear)、适应的(adaptive)、并行的(parallel)和模拟的(analog)网络(network)，简称NAPAN。在脑神经系统中，信息的收集、处理和传送都在细胞上进行。各个细胞基本上只有兴奋与抑制两种状态。神经细胞的响应速度是毫秒级，比半导体器件要慢得多。神经细胞主要依靠网络的超并行性来实现高度的实时信息处理和信息表现的多样性。神经细胞上的突触机构具有很好的可塑性。这种可塑性使神经网络具有记忆和学习功能。突触结合的连接形成了自组织特性，并随学习而变化，使神经网络具有强大的自适应功能。由于脑神经系统的复杂性，至今还没有可用于分析和设计NAPAN的理论。尽管人们早已经知道在人的大脑中存在着NAPAN，但由于研究NAPAN的难度很大，而且电子计算机的功能已经十分强大，因而人们一直未能对它进行深入的研究。只有在开始注重到数字计算机的局限性的今天，人们才感到必须研究NAPAN，希望通过它能实现崭新的超并行模拟计算机。神经科学已经从分子水平到细胞水平分析了神经元的详细构造和功能，对脑神经系统所实现的信息处理的基本性质的理解也逐步深入。然而，即使细胞的结构以及生理的和物理的机理都弄清楚了，但对涉及140亿个神经细胞所组成的脑神经系统的超并行性、层次和分布式构造所形成的系统本质特性人们还知之甚少。目前，需要从系统论的立场出发来研究复杂的NAPAN。在网络层次上弄清其功能和信息处理原理，确定使其体系化的理论。神经网络模型和学习算法的研究把许多简单的神经细胞模型并行分层相互结合成网络模型，提供了信息处理的有效手段，为建立NAPAN理论提供了新途径。人工神经网络是对真实脑神经系统构造和功能予以简化的模型。对神经网络的研究，有助于人类对NAPAN的理解，有助于探明大脑的信息处理方式，建立脑的模型，进一步弄清脑的并行信息处理的基本原则，并从应用角度寻求其工程实现的方法。神经网络的主要特征是大规模的并行处理、分布式的信息存储、良好的自适应性、自组织性以及很强的学习功能、联想功能和容错功能。与冯·诺依曼计算机相比，神经网络的信息处理模式更加接近人脑。主要表现在以下7个方面： （1) 能够处理连续的模拟信号(例如连续变换的图像信号)；（2) 能够处理不精确的、不完全的模糊信息；（3) 冯·诺依曼计算机给出的是精确解，神经网络给出的是次的逼近解；（4) 神经网络并行分布工作，各组成部分同时参与运算，单个神经元的动作速度不快，但网络总体的处理速度极快；（5) 神经网络具有鲁棒性，即信息分布于整个网络各个权重变换之中，某些单元的障碍不会影响网络的整体信息处理功能；（6) 神经网络具有较好的容错性，即在只有部分输入条件，甚至包含了错误输入条件的情况下，网络也能给出正确的解；（7) 神经网络在处理自然语言理解、图像识别、智能机器人控制等疑难问题方面具有独到的优势。神经网络以联接主义为基础，是人工智能研究领域的一个分支。从微观角度，符号是不存在的，认知的基本元素是神经细胞。认知过程是大量神经细胞的连接引起神经细胞不同兴奋状态和系统表现出的总体行为。传统的符号主义与其不同。符号主义认为，认知的基本元素是符号，认知过程是对符号表示的运算。人类的语言、文字、思维均可用符号来描述，而且思维过程只不过是这些符号的存储、变换和输入、输出而已。以这种方法实现的系统具有串行、线性、准确、易于表达的特点，体现了逻辑思维的基本特性。20世纪70年代的专家系统和20世纪80年代日本的第五代计算机研制计划就体现了典型的符号主义思想。基于符号主义的传统人工智能和基于联接主义的神经网络分别描述了人脑左、右半脑的功能，反映了人类智能的两重性： 一方面是精确处理，另一方面是非精确处理，分别对应认知过程的理性和感性两个方面。两者的关系是互补的，不可替代。理想的智能系统及其表现的智能行为应是两者相互结合的结果。支持向量机(support vector machine,SVM)是建立统计学习理论基础上的一种人工智能方法。统计学习理论是针对小样本情况研究统计学习规律的理论，是传统统计学的重要发展和补充，为研究有限样本情况下机器学习的理论和方法提供了理论框架，其核心思想是通过控制学习机器的容量实现对推广能力的控制。支持向量机方法是一种通用学习机器，较以往方法表现出很多理论和实践上的优势。统计学在解决机器学习问题中起着基础性的作用。传统的统计学所研究的主要是渐近理论，即当样本趋向于无穷多时的统计性质。在实际问题中，样本数目通常是有限的。然而传统计算理论仍以样本数目无穷多为前提假设来推导各种算法，期望该类算法在样本较少时也能获得较好的表现。然而，当样本数有限时，传统的人工智能方法表现出较差的泛化能力。基于统计与估计理论框架的支持向量机方法，为有限样本情况下的机器学习问题提供了有力的理论基础，在此基础上支持向量机方法表现出优良特性。统计学习理论具有较完备的理论基础，更符合在有限样本情况下的智能感知应用场景的需求。1．2．2深度学习深度学习作为机器学习算法研究中的一个新技术，其目的是建立、模拟人脑分析学习的神经网络。深度学习是人工神经网络研究的前沿方向，也是重要的人工智能实现方法之一。深度学习框架将特征与分类器结合到一个框架中，是一种自动学习特征的方法。深度学习基于数据特征自学习，减少了人工提取特征的工作量，其包含的深层模型使特征具有更强的表达能力，从而实现对大规模数据的学习与表达。深度学习的概念由Hinton等人于2006年提出。该研究组基于深度置信网络提出非监督贪心逐层训练算法，为解决深层结构相关的优化问题提供了解决方案，后续研究中栈式自编码器、卷积神经网络、递归神经网络、深度增强学习技术被相继提出。深度学习方法包含监督学习与无监督学习两类，不同的学习框架建立的学习模型存在差异。例如，卷积神经网络是一种深度监督学习框架下的机器学习模型； 深度置信网络是无监督框架下的机器学习模型。深度学习立足于经典有监督学习算法和深度模型，充分利用大型标注数据集提取对象的复杂抽象特征，同时也发展无监督学习技术和深度模型在小数据集的泛化能力。深度学习是当前的研究热点，深度学习平台资源也非常丰富，包括： TensorFlow、Caffe、Caffe2、Pytorch、CNTK、Keras、Torch7、Leaf、DeepLearning4等。深度学习与浅学习相比具有以下优点： （1) 在网络表达复杂目标函数的能力方面，浅结构神经网络有时无法很好地实现高变函数等复杂高维函数的表示，而用深度结构神经网络能够较好地表征。（2) 深度学习网络结构是对人类大脑皮层的好模拟。与大脑皮层一样，深度学习对输入数据的处理是分层进行的，用每一层神经网络提取原始数据不同水平的特征。（3) 在信息共享方面，深度学习获得的多重水平的提取特征可以在类似的不同任务中重复使用，相当于对任务求解提供了一些无监督的数据，可以获得更多的有用信息。（4) 深度学习比浅层学习具有更强的表示能力，而由于深度的增加使得非凸目标函数产生的局部解是造成学习困难的主要因素。（5) 深度学习方法试图找到数据的内部结构，发现变量之间的真正关系形式。数据表示方式对训练学习的成功产生很大的影响，高效的表示能够消除输入数据中与学习任务无关因素的改变对学习性能的影响，同时保留对学习任务有用的信息。自编码器是深度学习框架中的典型结构，可用作表达转换的途径，也可作为非线性降维方法。自编码器是一种无监督的机器学习技术，其采用神经网络产生的低维输出表征高维输入。传统线性降维方法，如主成分分析，通过在高维空间中寻求方差方向，以减少数据维度； 线性度限制了可提取的特征维度。自编码器用神经网络的非线性特点，克服了该限制。自编码器通常有单层与多层的编码器与解码器，通常多层结构具有更强的学习能力。自编码器是一种前馈网络，多层网络结构可提高特征提取效率。通用近似定理能够保证至少一个隐藏层，且隐藏单元足够多的前馈神经网络能以任意精度近似逼近任意函数。多层编码器(至少有一个隐藏层)的主要优点是其中的各隐藏层的自编码器在数据域内能表示任意近似数据的恒等函数，不会丢失输入信息。同时，该结构还可以有效降低表示某些函数的计算成本，以及学习函数所需的训练数据量。多层自编码器能比响应的浅层或线性自编码器具有更好的压缩效率。训练多层自编码器的方法是通过启发式贪婪算法对各层自编码器进行逐层预训练，优化多层自编码器隐层的权值矩阵。深度置信网络是在自编码器基础上发展而来的类深度非卷积模型之一。深度置信网络的出现标志着深度学习的兴起。在该网络模型被提出之前，深层神经网络被认为难以优化。深度置信网络在多个数据集上的学习效率已经超过了核化支持向量机，证明了该模型的有效性。深度置信网络是具有若干浅变量层的模型。深度置信网络与传统神经网络的区别主要体现在网络结构与训练算法方面。深度置信网络后两层是一个受限玻尔兹曼机，其他层均为TopDown的有向结构； 在训练过程中，深度置信网络是作为栈式受限玻尔兹曼机进行预训练，完成预训练过程后，进一步增加一个输出层，采用反向传播算法进行训练。卷积神经网络是一种前馈神经网络，受生物自然视觉认知机制启发而来，其人工神经元可以响应一部分覆盖范围内的周围单元，在大型图像处理等方面具有卓越性能。1959年，Hubel等人发现动物视觉皮层细胞负责检测光学信号，受此启发，20世纪90年代，LeCun提出了卷积神经网络的现代架构，其卷积运算大致包含下述过程： 首先，采用三个可训练的滤波器组对输入图像进行卷积，卷积后在每一层产生特征映射图； 然后，对特征映射图中每组四个像素进行求和、加权值、加偏置运算； 后，对处理后的像素进行池化处理，得到终输出值。卷积神经网络应用广泛，对多维数组信号、强局部关联性强信号、图像视频信号、时序信号等具有很强的处理能力，在文本分类、语音识别、人脸检测识别、视频识别/理解、生物医学图像分析等领域具有广泛应用。递归神经网络是一种具有固定权值、外部输入和内部状态的神经网络，可将其看作以权值和外部输入为参数的，关于内部状态的行为动力学模型。递归神经网络针对时序数据进行分析，在时间上展开深层结构，挖掘长时间跨度数据的特征。近年来不断涌现出递归神经网络的深层结构，包括门增强单元(gate reinforcement unit，GRU)、长短时记忆单元(longshort term memory,LSTM)等，有效提高了不同时间粒度的数据特征融合性能，在自然语言处理、文本分析、语音识别等领域已得到充分应用。深度增强学习是面向开放式问题提出的自主学习方法。深度增强学习通过主动尝试不同策略，获取环境反馈，对选取策略进行迭代评估，模拟人的自主学习探索过程，实现对开放式问题的策略优化。2016年AlphaGo在围棋比赛中击败人类选手，充分体现了深度增强学习的学习能力。近年来深度增强学习相关研究发展迅速，有广阔的应用前景。深度学习已在很多领域得到广泛应用和发展，包括语音和音频识别、图像分类及识别、人脸识别、视频分类、行为识别、图像超分辨率重建、纹理识别、行人检测、场景标记、门牌识别、手写体字符识别、图像检索、人体运行行为识别等。深层神经网络—隐马尔可夫混合模型成功应用于大词汇量语音识别，基准测试字词错误率为18．5%，与之前领先的常规系统相比，相对错误率减少了33%。基于递归神经网络的向量化定长表示模型，可应用于机器翻译。该模型在翻译每个单词时，根据该单词在源文本中相关信息的位置以及已翻译出的其他单词，预测对应于该单词的目标单词。深度卷积神经网络在“ILSVRC—2012挑战赛”中，取得了图像分类和目标定位任务的。同样，基于卷积神经网络的学习方法的户外人脸识别正确率分别达97．45%和97．35%，只比人类识别97．5%的正确率略低。深度学习目前存在的问题阻碍了其进一步发展。深度学习在理论方面存在的困难主要有两个，个是关于统计学习，另一个和计算量相关。相对浅层学习模型来说，深度学习模型对非线性函数的表示能力更好。根据通用的神经网络逼近理论，对任何一个非线性函数来说，都可以由一个浅层模型和一个深度学习模型很好的表示，但相对浅层模型，深度学习模型需要较少的参数。深度学习训练的计算复杂度也是需要关心的问题，即我们需要多大参数规模和深度的神经网络模型去解决相应的问题，在对构建好的网络进行训练时，需要多少训练样本才能足以使网络满足拟合状态。另外，网络模型训练所需要消耗的计算资源很难预估，对网络的优化技术仍有待进步。由于深度学习模型的代价函数都是非凸的，这也造成理论研究方面的困难。1．2．3模糊计算技术美国加州大学伯克利分校L．Zadeh教授发表了著名的论文Fuzzy Sets(模糊集)，开创了模糊理论，该方法已得到广泛应用。Zadeh也被国际上誉为“模糊之父”。模糊理论已成为信息科学中的重要组成部分之一。Zadeh教授当初曾提出过一个著名的不相容原理： “随着系统复杂性增加，人们对系统进行精确而有效地描述的能力会降低，直至一个阈值，精确和有效成为互斥”。其实质在于： 真实世界中的问题，概念往往没有明确的界限，而传统数学的分类总试图定义清晰的界限，这是一种矛盾，一定条件下会变成对立的东西。从而引出一个极其简单而又重要的思想： 任何事情都离不开隶属程度这样一个概念。这就是模糊理论的基本出发点。随着系统复杂度提高，当复杂性达到与人类思维系统可比拟时，传统的数学分析方法就不适用了。模糊数学或模糊逻辑更接近于人类思维和自然语言，因此模糊理论为复杂系统分析、人工智能研究提供了一种有效的方法。1．2．4进化计算技术进化计算是智能计算的重要组成部分，已在各领域得到较为广泛的应用。基于仿生学理论，科学家从生物中寻求构建人工智能系统的灵感。从生物进化的机理中发展出适合于现实世界复杂问题优化的模拟进化算法(simulated evolutionary optimization)，主要有Holland，Bremermann等创立的遗传算法，Rechenberg和Schwfel等创立的进化策略以及Fogel，Owens，Walsh等创立的进化规则。同时还有一些生物学家Fraser，Baricelli等做了生物系统进化的计算机仿真。1． 遗传算法的发展过程密歇根大学教授Holland研究了自然和人工系统的自适应行为。该研究发展了一种用于创造通用程序和机器的理论。通用程序和机器具有适应任意环境的能力。采用群体搜索方法，基于二进制编码，实现了复制、交换、突变、显性、倒位的模式。2． 遗传算法的基本理论研究遗传算法理论主要研究遗传算法的编码策略、全局收敛和搜索效率的基础理论、遗传算法的新结构、基因操作策略、参数的优化选择以及与其他算法的综合应用。遗传算法主要模拟达尔文生物进化优胜劣汰过程，通过群体迭代选择、杂交和变异，体现适应性的过程，由随机状态向寻优状态进化。3． 进化计算与遗传算法的关系进化计算(evolutionary computation，EC)体现了生物进化中的4个要素，即： 繁殖、变异、竞争和自然选择。目前进化计算包括： 遗传算法(genetic algorithm，GA)、进化策略(evolution strategy)、进化规划(evolutionary programming)等。现有进化式计算的方法与模型可分为以下9种：（1) 有代表性、基本的遗传算法；（2) 较偏数值分析的进化策略；（3) 介于数值分析和人工智能的进化规划；（4) 偏向进化的自组织和系统动力学特性的进化动力学；（5) 偏向以程式表现人工智能行为的遗传规划；（6) 适应动态环境学习的分类元系统；（7) 用以观察复杂系统互动的各种生态模拟系统；