描述
开 本: 16开纸 张: 胶版纸包 装: 平装是否套装: 否国际标准书号ISBN: 9787121267154丛书名: 经典译丛·人工智能与智能系统
编辑推荐
内容编排合理，符合知识学习的基本逻辑；知识层次设计合理，大多数数学推导都伴以几何演示，便于学生理解和掌握；例题丰富；内容涵盖全面。
内容简介
内容简介本书是一本关于*化技术的入门教材，全书共分为四部分。部分是预备知识。第二部分主要介绍无约束的优化问题，并介绍线性方程的求解方法、神经网络方法和全局搜索方法。第三部分介绍线性优化问题，包括线性优化问题的模型、单纯形法、对偶理论以及一些非单纯形法，简单介绍了整数线性优化问题。第四部分介绍有约束非线性优化问题，包括纯等式约束下和不等式约束下的优化问题的*性条件、凸优化问题、有约束非线性优化问题的求解算法和多目标优化问题。中文版已根据作者提供的勘误表进行了内容更正。
目 录
部分数学知识回顾
第1章证明方法与相关记法
1.1证明方法
1.2记法
习题第2章向量空间与矩阵
2.1向量与矩阵
2.2矩阵的秩
2.3线性方程组
2.4内积和范数
习题第3章变换
3.1线性变换
3.2特征值与特征向量
3.3正交投影
3.4二次型函数
3.5矩阵范数
习题第4章有关几何概念
4.1线段
4.2超平面与线性簇
4.3凸集
4.4邻域
4.5多面体和多胞形
习题第5章微积分基础
5.1序列与极限
5.2可微性
5.3导数矩阵
5.4微分法则
5.5水平集与梯度
5.6泰勒级数
习题
第二部分无约束优化问题
第6章集合约束和无约束优化问题的基础知识
6.1引言
6.2局部极小点的条件
习题第7章一维搜索方法
7.1引言
7.2黄金分割法
7.3斐波那契数列法
7.4二分法
7.5牛顿法
7.6割线法
7.7划界法
7.8多维优化问题中的一维搜索
习题第8章梯度方法
8.1引言
8.2速下降法
8.3梯度方法性质分析
习题第9章牛顿法
9.1引言
9.2牛顿法性质分析
9.3LevenbergMarquardt修正
9.4牛顿法在非线性小二乘问题中的应用
习题第10章共轭方向法
10.1引言
10.2基本的共轭方向算法
10.3共轭梯度法
10.4非二次型问题中的共轭梯度法
习题第11章拟牛顿法
11.1引言
11.2黑塞矩阵逆矩阵的近似
11.3秩1修正公式
11.4DFP算法
11.5BFGS算法
习题第12章求解线性方程组
12.1小二乘分析
12.2递推小二乘算法
12.3线性方程组的小范数解
12.4Kaczmarz算法
12.5一般意义下的线性方程组的求解
习题第13章无约束优化问题和神经网络
13.1引言
13.2单个神经元训练
13.3反向传播算法
习题第14章全局搜索算法
14.1引言
14.2NelderMead单纯形法
14.3模拟退火法
14.4粒子群优化算法
14.5遗传算法
习题
第三部分线 性 规 划
第15章线性规划概述
15.1线性规划简史
15.2线性规划的简单例子
15.3二维线性规划
15.4凸多面体和线性规划
15.5线性规划问题的标准型
15.6基本解
15.7基本解的性质
15.8几何视角下的线性规划
习题第16章单纯形法
16.1利用行变换求解线性方程组
16.2增广矩阵的规范型
16.3更新增广矩阵
16.4单纯形法
16.5单纯形法的矩阵形式
16.6两阶段单纯形法
16.7修正单纯形法
习题第17章对偶
17.1对偶线性规划
17.2对偶问题的性质
习题第18章非单纯形法
18.1引言
18.2Khachiyan算法
18.3仿射尺度法
18.4Karmarkar算法
习题第19章整数规划
19.1概述
19.2幺模矩阵
19.3Gomory割平面法
习题
第四部分有约束的非线性优化问题
第20章仅含等式约束的优化问题
20.1引言
20.2问题描述
20.3切线空间和法线空间
20.4拉格朗日条件
20.5二阶条件
20.6线性约束下二次型函数的极小化
习题第21章含不等式约束的优化问题
21.1卡罗需库恩塔克(KarushKuhnTucker)条件
21.2二阶条件
习题第22章凸优化问题
22.1引言
22.2凸函数
22.3凸优化问题
22.4半定规划
习题第23章有约束优化问题的求解算法
23.1引言
23.2投影法
23.3求解含线性约束优化问题的投影梯度法
23.4拉格朗日法
23.5罚函数法
习题第24章多目标优化
24.1引言
24.2帕累托解
24.3帕累托前沿的求解
24.4多目标优化到单目标优化的转换
24.5存在不确定性的线性规划
习题参考文献
第1章证明方法与相关记法
1.1证明方法
1.2记法
习题第2章向量空间与矩阵
2.1向量与矩阵
2.2矩阵的秩
2.3线性方程组
2.4内积和范数
习题第3章变换
3.1线性变换
3.2特征值与特征向量
3.3正交投影
3.4二次型函数
3.5矩阵范数
习题第4章有关几何概念
4.1线段
4.2超平面与线性簇
4.3凸集
4.4邻域
4.5多面体和多胞形
习题第5章微积分基础
5.1序列与极限
5.2可微性
5.3导数矩阵
5.4微分法则
5.5水平集与梯度
5.6泰勒级数
习题
第二部分无约束优化问题
第6章集合约束和无约束优化问题的基础知识
6.1引言
6.2局部极小点的条件
习题第7章一维搜索方法
7.1引言
7.2黄金分割法
7.3斐波那契数列法
7.4二分法
7.5牛顿法
7.6割线法
7.7划界法
7.8多维优化问题中的一维搜索
习题第8章梯度方法
8.1引言
8.2速下降法
8.3梯度方法性质分析
习题第9章牛顿法
9.1引言
9.2牛顿法性质分析
9.3LevenbergMarquardt修正
9.4牛顿法在非线性小二乘问题中的应用
习题第10章共轭方向法
10.1引言
10.2基本的共轭方向算法
10.3共轭梯度法
10.4非二次型问题中的共轭梯度法
习题第11章拟牛顿法
11.1引言
11.2黑塞矩阵逆矩阵的近似
11.3秩1修正公式
11.4DFP算法
11.5BFGS算法
习题第12章求解线性方程组
12.1小二乘分析
12.2递推小二乘算法
12.3线性方程组的小范数解
12.4Kaczmarz算法
12.5一般意义下的线性方程组的求解
习题第13章无约束优化问题和神经网络
13.1引言
13.2单个神经元训练
13.3反向传播算法
习题第14章全局搜索算法
14.1引言
14.2NelderMead单纯形法
14.3模拟退火法
14.4粒子群优化算法
14.5遗传算法
习题
第三部分线 性 规 划
第15章线性规划概述
15.1线性规划简史
15.2线性规划的简单例子
15.3二维线性规划
15.4凸多面体和线性规划
15.5线性规划问题的标准型
15.6基本解
15.7基本解的性质
15.8几何视角下的线性规划
习题第16章单纯形法
16.1利用行变换求解线性方程组
16.2增广矩阵的规范型
16.3更新增广矩阵
16.4单纯形法
16.5单纯形法的矩阵形式
16.6两阶段单纯形法
16.7修正单纯形法
习题第17章对偶
17.1对偶线性规划
17.2对偶问题的性质
习题第18章非单纯形法
18.1引言
18.2Khachiyan算法
18.3仿射尺度法
18.4Karmarkar算法
习题第19章整数规划
19.1概述
19.2幺模矩阵
19.3Gomory割平面法
习题
第四部分有约束的非线性优化问题
第20章仅含等式约束的优化问题
20.1引言
20.2问题描述
20.3切线空间和法线空间
20.4拉格朗日条件
20.5二阶条件
20.6线性约束下二次型函数的极小化
习题第21章含不等式约束的优化问题
21.1卡罗需库恩塔克(KarushKuhnTucker)条件
21.2二阶条件
习题第22章凸优化问题
22.1引言
22.2凸函数
22.3凸优化问题
22.4半定规划
习题第23章有约束优化问题的求解算法
23.1引言
23.2投影法
23.3求解含线性约束优化问题的投影梯度法
23.4拉格朗日法
23.5罚函数法
习题第24章多目标优化
24.1引言
24.2帕累托解
24.3帕累托前沿的求解
24.4多目标优化到单目标优化的转换
24.5存在不确定性的线性规划
习题参考文献
前 言
译者序
2010年春季， 我怀着忐忑不安的心情接下“化技术”这门本科生课程， 次作为大学教师走上讲台。共36个学时的课程， 我却觉得无比漫长。当后一次课的下课铃声响起， 我如释重负地问学生： “你们觉得这门课怎么样？”学生们异口同声地说： “难！”。这并没有出乎我的意料， 接下来的考试成绩也证明了这一点。2011年， 我对着一批新的学生再次问这个问题， 学生们给了我同样的答复。我开始深入思考这些问题， 结合教学过程中学生们的表现， 以及课后与学生们的交流， 慢慢地找出了这门课的难点所在。难点可以分为两个方面。一方面是整个课程的知识基础， 这门课涉及线性代数、 向量微分、 多元函数、 数值分析等知识， 学生们在大学本科的一年级和二年级课程里已学过， 但大部分知识点已经忘得差不多了。由于课时的限制， 在课堂上无法重温这些内容。另一方面， 相关算法的推导过程确实存在一定的难度， 大部分教材往往偏重于从数学的角度进行推导， 每个定理的证明都对应着一长串符号和公式， 容易让学生望而生畏。从那时起， 我开始着手为这门课程寻找一本更为合适的教材。一个偶然的机会， 发现了An Introduction to Optimization, Second Edition， 当时的心情可谓如获至宝， 花了一周的时间把书详细地阅读了一遍， 庆幸自己淘到了一本合适的教材。
与市面上绝大部分化方面的教材不同， 本书内容格外翔实， 推导过程更为清晰易懂； 尤为特别的是， 本书还专门辟出一部分内容， 用于介绍相关的基础知识， 包括线性代数、 微积分、 空间和集合、 多元函数等。因此， 要想温习这些基础知识， 就不用再去翻那些大部头的教材了。本书的内容组织也更为合理， 按照无约束问题、 有约束问题的顺序进行组织； 有约束优化问题按照线性规划、 仅含等式约束的优化问题和含不等式约束的优化问题的顺序开展讨论， 中间穿插相关理论， 如对偶等。如此布局， 真正做到了由浅入深， 更好地起到了对学习过程的引导作用。本书图文并茂， 擅长从几何角度进行推导， 但也不回避必要的理论推导， 适合不同层次的学生进行学习。此外， 本书介绍了一些新的随机搜索算法， 包括遗传算法、 模拟退火算法、 粒子群算法等， 体现了化领域的一些新进展。 书中还简单介绍了神经网络理论。
本书的这些优点， 使得其特别适合作为本科生教材。丰富的内容和合理的组织结构使得本书的适用面非常广， 适合作为控制科学、 信息科学、 经济学等专业的本科生教材。针对不同的专业和课时， 可对知识内容进行适当剪裁。对于30个学时左右的化课程， 建议讲授第二部分的第6章至第11章、 第三部分的第15章至第18章、 第四部分的第20章至第23章， 适当介绍部分的有关知识内容和全局搜索方法（第二部分的第14章）。建议以讲授算法为主， 尽量避免详细的数学推导， 如应避开算法的收敛性分析、 半定规划等比较难以理解的内容。对于60个学时左右的课程， 建议讲授全书的内容（部分可供自学）， 选择某些经典算法（如梯度方法、 单纯形法）或理论（如KKT理论）等进行详细讨论分析。
2012年春， 本书确定为我校“化技术”的课程教材。在教学过程中， 我与共同承担本门课程教学的白圣建博士、 郑永斌博士多次讨论， 深感将其翻译为中文教材的重要性和必要性。在授课过程中， 我和两位博士陆续开展了一些翻译工作。2015年1月份， 正式启动了本书第四版的翻译工作。按照分工， 刘伟博士承担了部分的翻译工作， 本人翻译了第二部分， 白圣建博士翻译了第三部分， 郑永斌博士翻译了第四部分。经过4个月的努力工作， 几易其稿， 终于完成了全部的翻译工作。统稿工作由本人负责， 宫二玲副教授对全书进行了审校。
特别指出， optimization一词可以翻译为“优化”或“化”， 按照惯常的做法， 在正文中， 将其翻译为“优化”， 而在书名中翻译为“化”。在翻译过程中， 我们尽可能做到术语准确， 语句通顺； 在忠于原著的基础上， 调整了某些说法， 使之符合中文的表达习惯， 还纠正了原书的一些错误。尽管如此， 书中仍有可能存在一些翻译不当甚至是错误之处。欢迎读者提出宝贵建议。本书涉及到较多外国科学家的姓名。在翻译过程中， 对于一些常见的人名， 已经有成熟公认的中文译名的， 我们都将其译为中文， 如黎卡提、 牛顿、 高斯、 柯西施瓦茨不等式中的两个人名等； 对于一些不常见的人名， 如Karmarkar、 Spendly、 Hext等， 则保留英文原名。下面给出全书中英文人名对照表。Ricatti黎卡提
Gram格拉姆
Schmidt施密特
Beltrami贝尔特拉米
Courant库朗
Bland布兰德
Boltzmann玻尔兹曼
Bolzano波尔查诺
Weierstrass魏尔斯特拉斯
Brent布伦特
Cauchy柯西
Schwarz施瓦茨
Clairaut克莱罗
Cramer克莱姆
Dantzig丹齐格
DeMorgan德摩根
Fourier傅里叶
Karush卡罗需
Kuhn库恩
Tucker塔克
Fibonacci斐波那契
Jacobi雅可比
Gauss高斯
Newton牛顿
Lyapunov李雅普诺夫
Markov马尔可夫
Jordan约当
Sylvester西尔维斯特
Raphson拉弗森
Pareto帕累托
Rayleigh瑞利
Sherman谢尔曼
Morrison莫里森
Woodbury伍德伯里孙志强2015年6月
前言
无论是在工程技术领域还是经济领域， 化技术在决策过程中都起着至关重要的作用。所谓决策， 指的是在多个不同的备选项中做出选择。我们期望能够做出“好的”选择。备选项的好坏程度可以采用目标函数或性能指标进行度量。化理论和方法解决的就是如何在给定的目标函数下做出“好的”选择的问题。
近年来， 化技术相关领域的关注度非常高， 这主要得益于计算机技术， 包括用户友好软件、 高速并行处理器和人工神经网络等技术的快速发展。涌现出了如MATLAB优化工具箱以及很多其他商用软件包等大量优化软件工具， 这也是化技术关注度高这一现象的鲜活例证。
目前， 有一些非常优秀的关于化理论和方法的研究生教材（如参考文献[3]， [39]， [43]， [51]， [87]， [88]， [104]， [129]）； 同时， 也有一些本科生教材侧重于介绍工程设计中的化技术（如参考文献[1]和[109]）。但是， 仍然缺乏一本针对高年级本科生或低年级研究生的关于化理论和方法的入门教材。本书的初衷正是填补这一空白。我们在美国印第安纳州的普渡大学西拉法叶校区西拉法叶校区是普渡大学的主校区， 通常所说的普渡大学就是指这一校区——译者注。开设了单学期的面向高年级本科生和低年级研究生的化课程。课程的讲义材料就是本书的素材。本书需要用到线性代数和多变量微积分方面的基础知识。为了便于读者理解， 本书专门拿出部分， 概要介绍一些的数学背景知识。本书还绘制了大量图片， 作为文字材料的补充。每章的后都提供了大量习题。采用本书作为教材的教师， 可向邮箱[email protected]发送邮件索取习题答案手册， 手册中包括所有习题的答案。部分习题需要利用MATLAB编程实现， 基于MATLAB学生版足以完成本书中全部MATLAB习题。习题答案手册中给出了这部分习题的MATLAB源代码。
本书旨在为读者提供有关优化理论和方法的实用知识。为此， 引入了大量实例来演示书中介绍的理论和算法。但是， 本书并非关于的数字优化算法的使用指南， 而是为读者提供足够的化技术的基础知识背景， 为深入学习化领域中的一些高级主题奠定基础。
目前， 化仍是一个非常活跃的研究领域。近年来， 研究人员提出了很多新的优化算法。本书涵盖了该领域中部分热点算法。比如， 讨论了粒子群优化算法、 遗传算法等随机搜索算法， 它们在复杂自适应系统的学习过程中的作用越来越重要。针对化方法在各种新问题中的广泛应用， 本书也展开了相关讨论。比如， 梯度下降方法可用于前馈神经网络的训练。本书专门开辟一章讨论这一主题。神经网络是当前非常活跃的一个研究领域， 相关书籍非常多。神经网络训练这一主题恰好与无约束优化算法框架完美契合。因此， 关于前馈神经网络训练的这一章不仅是无约束优化算法的应用实例， 还是当前得到广泛关注的一个热点话题的概述。
本书内容分为四个部分。部分概要介绍线性代数、 几何学和微积分中的一些基本定义、 表示方法和关系式， 这些内容在本书中将频繁用到。第二部分讨论无约束优化问题。首先， 介绍集合约束下优化问题和无约束优化问题的有关理论基础， 包括极大点和极小点的充分条件和必要条件； 接下来， 讨论多种迭代优化算法及其性质， 包括线性搜索算法。在这一部分中， 还会讨论全局优化搜索算法， 讨论小二乘优化问题以及递推小二乘方法。第三部分和第四部分讨论的是有约束优化问题。第三部分对应的是线性规划问题， 这是有约束优化问题中非常重要的一类问题。在这一部分中， 利用一些具体示例分析了线性规划问题的性质， 讨论求解线性规划问题的单纯形法； 简单介绍对偶线性规划问题； 讨论求解线性规划问题的一些非单纯形法， 包括Khachiyan方法、 仿射尺度方法和Karmarkar方法。在该部分的后， 讨论整数线性规划问题。第四部分讨论有约束非线性优化问题。类似于第二部分， 首先讨论有约束非线性优化问题， 包括凸优化问题的一些基础理论； 然后讨论有约束非线性优化问题的不同求解方法； 后讨论多目标优化问题。
尽管我们尽努力避免出现错误， 但可能书中仍存在一些未被发现的错误。中文版已根据我们提供的勘误表进行了内容更正。
感谢所有为本书写作提供帮助的人。特别感谢劳伦斯·利弗莫尔国家实验室(Lawrence Livermore National Laboratories)的Dennis Goodman， 他为本书第二部分的早期版本提出了非常宝贵的意见， 并为我们提供了非线性优化问题的讲义。感谢德雷塞尔大学（Drexel University）的Moshe Kam， 他为我们罗列了一些关于非单纯形法的参考书， 这些参考书非常有帮助。感谢Ed Silverman和Russell Quong为本书版的部分提出的宝贵意见。感谢选修普渡大学ECE 580课程和选修科罗拉多州立大学ECE 520课程或MATH 520课程的所有同学，他们为本书提供了非常有益的帮助和建议。特别感谢Christopher Taylor对本书初稿的认真校对。本书第四版吸收了读者们对前三版中的众多宝贵建议，在此一并致谢。
2010年春季， 我怀着忐忑不安的心情接下“化技术”这门本科生课程， 次作为大学教师走上讲台。共36个学时的课程， 我却觉得无比漫长。当后一次课的下课铃声响起， 我如释重负地问学生： “你们觉得这门课怎么样？”学生们异口同声地说： “难！”。这并没有出乎我的意料， 接下来的考试成绩也证明了这一点。2011年， 我对着一批新的学生再次问这个问题， 学生们给了我同样的答复。我开始深入思考这些问题， 结合教学过程中学生们的表现， 以及课后与学生们的交流， 慢慢地找出了这门课的难点所在。难点可以分为两个方面。一方面是整个课程的知识基础， 这门课涉及线性代数、 向量微分、 多元函数、 数值分析等知识， 学生们在大学本科的一年级和二年级课程里已学过， 但大部分知识点已经忘得差不多了。由于课时的限制， 在课堂上无法重温这些内容。另一方面， 相关算法的推导过程确实存在一定的难度， 大部分教材往往偏重于从数学的角度进行推导， 每个定理的证明都对应着一长串符号和公式， 容易让学生望而生畏。从那时起， 我开始着手为这门课程寻找一本更为合适的教材。一个偶然的机会， 发现了An Introduction to Optimization, Second Edition， 当时的心情可谓如获至宝， 花了一周的时间把书详细地阅读了一遍， 庆幸自己淘到了一本合适的教材。
与市面上绝大部分化方面的教材不同， 本书内容格外翔实， 推导过程更为清晰易懂； 尤为特别的是， 本书还专门辟出一部分内容， 用于介绍相关的基础知识， 包括线性代数、 微积分、 空间和集合、 多元函数等。因此， 要想温习这些基础知识， 就不用再去翻那些大部头的教材了。本书的内容组织也更为合理， 按照无约束问题、 有约束问题的顺序进行组织； 有约束优化问题按照线性规划、 仅含等式约束的优化问题和含不等式约束的优化问题的顺序开展讨论， 中间穿插相关理论， 如对偶等。如此布局， 真正做到了由浅入深， 更好地起到了对学习过程的引导作用。本书图文并茂， 擅长从几何角度进行推导， 但也不回避必要的理论推导， 适合不同层次的学生进行学习。此外， 本书介绍了一些新的随机搜索算法， 包括遗传算法、 模拟退火算法、 粒子群算法等， 体现了化领域的一些新进展。 书中还简单介绍了神经网络理论。
本书的这些优点， 使得其特别适合作为本科生教材。丰富的内容和合理的组织结构使得本书的适用面非常广， 适合作为控制科学、 信息科学、 经济学等专业的本科生教材。针对不同的专业和课时， 可对知识内容进行适当剪裁。对于30个学时左右的化课程， 建议讲授第二部分的第6章至第11章、 第三部分的第15章至第18章、 第四部分的第20章至第23章， 适当介绍部分的有关知识内容和全局搜索方法（第二部分的第14章）。建议以讲授算法为主， 尽量避免详细的数学推导， 如应避开算法的收敛性分析、 半定规划等比较难以理解的内容。对于60个学时左右的课程， 建议讲授全书的内容（部分可供自学）， 选择某些经典算法（如梯度方法、 单纯形法）或理论（如KKT理论）等进行详细讨论分析。
2012年春， 本书确定为我校“化技术”的课程教材。在教学过程中， 我与共同承担本门课程教学的白圣建博士、 郑永斌博士多次讨论， 深感将其翻译为中文教材的重要性和必要性。在授课过程中， 我和两位博士陆续开展了一些翻译工作。2015年1月份， 正式启动了本书第四版的翻译工作。按照分工， 刘伟博士承担了部分的翻译工作， 本人翻译了第二部分， 白圣建博士翻译了第三部分， 郑永斌博士翻译了第四部分。经过4个月的努力工作， 几易其稿， 终于完成了全部的翻译工作。统稿工作由本人负责， 宫二玲副教授对全书进行了审校。
特别指出， optimization一词可以翻译为“优化”或“化”， 按照惯常的做法， 在正文中， 将其翻译为“优化”， 而在书名中翻译为“化”。在翻译过程中， 我们尽可能做到术语准确， 语句通顺； 在忠于原著的基础上， 调整了某些说法， 使之符合中文的表达习惯， 还纠正了原书的一些错误。尽管如此， 书中仍有可能存在一些翻译不当甚至是错误之处。欢迎读者提出宝贵建议。本书涉及到较多外国科学家的姓名。在翻译过程中， 对于一些常见的人名， 已经有成熟公认的中文译名的， 我们都将其译为中文， 如黎卡提、 牛顿、 高斯、 柯西施瓦茨不等式中的两个人名等； 对于一些不常见的人名， 如Karmarkar、 Spendly、 Hext等， 则保留英文原名。下面给出全书中英文人名对照表。Ricatti黎卡提
Gram格拉姆
Schmidt施密特
Beltrami贝尔特拉米
Courant库朗
Bland布兰德
Boltzmann玻尔兹曼
Bolzano波尔查诺
Weierstrass魏尔斯特拉斯
Brent布伦特
Cauchy柯西
Schwarz施瓦茨
Clairaut克莱罗
Cramer克莱姆
Dantzig丹齐格
DeMorgan德摩根
Fourier傅里叶
Karush卡罗需
Kuhn库恩
Tucker塔克
Fibonacci斐波那契
Jacobi雅可比
Gauss高斯
Newton牛顿
Lyapunov李雅普诺夫
Markov马尔可夫
Jordan约当
Sylvester西尔维斯特
Raphson拉弗森
Pareto帕累托
Rayleigh瑞利
Sherman谢尔曼
Morrison莫里森
Woodbury伍德伯里孙志强2015年6月
前言
无论是在工程技术领域还是经济领域， 化技术在决策过程中都起着至关重要的作用。所谓决策， 指的是在多个不同的备选项中做出选择。我们期望能够做出“好的”选择。备选项的好坏程度可以采用目标函数或性能指标进行度量。化理论和方法解决的就是如何在给定的目标函数下做出“好的”选择的问题。
近年来， 化技术相关领域的关注度非常高， 这主要得益于计算机技术， 包括用户友好软件、 高速并行处理器和人工神经网络等技术的快速发展。涌现出了如MATLAB优化工具箱以及很多其他商用软件包等大量优化软件工具， 这也是化技术关注度高这一现象的鲜活例证。
目前， 有一些非常优秀的关于化理论和方法的研究生教材（如参考文献[3]， [39]， [43]， [51]， [87]， [88]， [104]， [129]）； 同时， 也有一些本科生教材侧重于介绍工程设计中的化技术（如参考文献[1]和[109]）。但是， 仍然缺乏一本针对高年级本科生或低年级研究生的关于化理论和方法的入门教材。本书的初衷正是填补这一空白。我们在美国印第安纳州的普渡大学西拉法叶校区西拉法叶校区是普渡大学的主校区， 通常所说的普渡大学就是指这一校区——译者注。开设了单学期的面向高年级本科生和低年级研究生的化课程。课程的讲义材料就是本书的素材。本书需要用到线性代数和多变量微积分方面的基础知识。为了便于读者理解， 本书专门拿出部分， 概要介绍一些的数学背景知识。本书还绘制了大量图片， 作为文字材料的补充。每章的后都提供了大量习题。采用本书作为教材的教师， 可向邮箱[email protected]发送邮件索取习题答案手册， 手册中包括所有习题的答案。部分习题需要利用MATLAB编程实现， 基于MATLAB学生版足以完成本书中全部MATLAB习题。习题答案手册中给出了这部分习题的MATLAB源代码。
本书旨在为读者提供有关优化理论和方法的实用知识。为此， 引入了大量实例来演示书中介绍的理论和算法。但是， 本书并非关于的数字优化算法的使用指南， 而是为读者提供足够的化技术的基础知识背景， 为深入学习化领域中的一些高级主题奠定基础。
目前， 化仍是一个非常活跃的研究领域。近年来， 研究人员提出了很多新的优化算法。本书涵盖了该领域中部分热点算法。比如， 讨论了粒子群优化算法、 遗传算法等随机搜索算法， 它们在复杂自适应系统的学习过程中的作用越来越重要。针对化方法在各种新问题中的广泛应用， 本书也展开了相关讨论。比如， 梯度下降方法可用于前馈神经网络的训练。本书专门开辟一章讨论这一主题。神经网络是当前非常活跃的一个研究领域， 相关书籍非常多。神经网络训练这一主题恰好与无约束优化算法框架完美契合。因此， 关于前馈神经网络训练的这一章不仅是无约束优化算法的应用实例， 还是当前得到广泛关注的一个热点话题的概述。
本书内容分为四个部分。部分概要介绍线性代数、 几何学和微积分中的一些基本定义、 表示方法和关系式， 这些内容在本书中将频繁用到。第二部分讨论无约束优化问题。首先， 介绍集合约束下优化问题和无约束优化问题的有关理论基础， 包括极大点和极小点的充分条件和必要条件； 接下来， 讨论多种迭代优化算法及其性质， 包括线性搜索算法。在这一部分中， 还会讨论全局优化搜索算法， 讨论小二乘优化问题以及递推小二乘方法。第三部分和第四部分讨论的是有约束优化问题。第三部分对应的是线性规划问题， 这是有约束优化问题中非常重要的一类问题。在这一部分中， 利用一些具体示例分析了线性规划问题的性质， 讨论求解线性规划问题的单纯形法； 简单介绍对偶线性规划问题； 讨论求解线性规划问题的一些非单纯形法， 包括Khachiyan方法、 仿射尺度方法和Karmarkar方法。在该部分的后， 讨论整数线性规划问题。第四部分讨论有约束非线性优化问题。类似于第二部分， 首先讨论有约束非线性优化问题， 包括凸优化问题的一些基础理论； 然后讨论有约束非线性优化问题的不同求解方法； 后讨论多目标优化问题。
尽管我们尽努力避免出现错误， 但可能书中仍存在一些未被发现的错误。中文版已根据我们提供的勘误表进行了内容更正。
感谢所有为本书写作提供帮助的人。特别感谢劳伦斯·利弗莫尔国家实验室(Lawrence Livermore National Laboratories)的Dennis Goodman， 他为本书第二部分的早期版本提出了非常宝贵的意见， 并为我们提供了非线性优化问题的讲义。感谢德雷塞尔大学（Drexel University）的Moshe Kam， 他为我们罗列了一些关于非单纯形法的参考书， 这些参考书非常有帮助。感谢Ed Silverman和Russell Quong为本书版的部分提出的宝贵意见。感谢选修普渡大学ECE 580课程和选修科罗拉多州立大学ECE 520课程或MATH 520课程的所有同学，他们为本书提供了非常有益的帮助和建议。特别感谢Christopher Taylor对本书初稿的认真校对。本书第四版吸收了读者们对前三版中的众多宝贵建议，在此一并致谢。
E. K. P. Chong美国， 科罗拉多州， 科林斯堡
S. H. Z·ak美国， 印第安纳州， 西拉法叶
评论
还没有评论。