多智能体系统及应用(卷二）

本书的内容遴选自2015年、2016年度中国智能体及多智能体系统研讨会的特邀报告并收集了部分学者的*研究进展。全书共计11个专题，每个专题讨论一个技术主题或者应用，并兼顾该主题的综述和特邀报告人自身的研究成果。书中章节涉及多智能体学习、多智能体协调协商、多智能体规划、多智能体应用框架及工具以及交叉应用基础问题研究。 

智能体与多智能体系统是人工智能领域活跃的研究分支，其涉及的基本研究问题包括合作协调、推理规划、学习、工具框架、模型等。本书的内容遴选自2015年及2016年度“中国智能体及多智能体系统”研讨会的特邀报告，同时收集了部分学者的*研究进展。全书共计11个专题，每个专题均是智能体领域的重点及热点问题，分别涉及：多智能体学习、多智能体协调协商、多智能体规划、多智能体应用框架及工具以及交叉应用基础问题研究。本书可供高等院校、科研院所计算机、自动化及相关专业的师生、科技工作者及相关企业的工程技术人员阅读参考。

1概述

2动机理论

3动机学习

4基于动机的强化学习

5小结

参考文献

 

专题2多智能体强化学习中的博弈、均衡和知识迁移胡裕靖，高阳

1绪论

2背景知识

3不共享值函数的多智能体强化学习

4基于均衡迁移的多智能体强化学习

5稀疏交互的多智能体系统中的知识迁移和博弈约简

6小结

参考文献

 

专题3一种基于中介agent的强化学习优化协商方法陈利红，董红斌

1引言

2基于强化学习的双边多议题优化协商模型

3基于中介agent自适应学习的协调协商

4实验设计与分析

5小结

参考文献

 

专题4多智能体协调技术综述郝建业

1引言

2固定对手重复博弈

3合作式群体博弈

4非合作式群体博弈

5小结

参考文献

 

专题5基于决策理论的多智能体规划吴锋

1引言

2分布式局部可观察马尔可夫决策过程(DECPOMDP)

3DECPOMDP的离线规划算法

4DECPOMDP的在线规划算法

5小结

参考文献

 

目录多智能体系统及应用（卷二）专题6部分可观察环境中的序贯决策理论及方法研究章宗长

1引言

2部分可观察马尔可夫决策过程

3离线规划方法

4在线规划方法

5基于覆盖数的规划理论

6小结

参考文献

 

专题7基于Landmark的启发式搜索规划张雷，吴骏，王崇骏

1引言

2STRIPS规划问题

3STRIPS问题的启发式函数设计

4多值Landmark规划

5小结

参考文献

 

专题8AutoRobot：
基于多主体系统的自主机器人软件框架

毛新军，杨硕，杨森

1引言

2自主机器人及其软件特点

3机器人软件技术分析

4基于多主体系统的自主机器人软件体系结构

5自主机器人软件框架AutoRobot

6案例分析

7小结

参考文献专题9计算经济学与机制设计问题唐平中

1计算经济学简介

2机制设计问题：单件商品

3机制设计：多件商品

4小结

参考文献

 

专题10基于计算博弈论的出租车服务定价研究甘家瑞，安波

1研究背景与相关工作

2博弈建模

3模型求解——紧凑表达法

4ASM算法——基于元时间表的紧凑表达

5解决任意约束下的问题

6实验

7小结

参考文献

 

专题11云计算中定价机制的研究秦涛

1云计算简介

2云计算中的定价模型

3市场竞争、演变与定价策略优化

4小结

参考文献

前言

智能体（agent）与多智能体系统（multiagent systems）是人工智能领域一个活跃的研究分支。20世纪90年代，随着计算机网络、计算机通信等技术的发展，对于智能体与多智能体系统的研究不仅成为分布式人工智能研究的一个热点，而且也成为信息技术关注的一个热点。智能体是一种处于一定环境下的系统，它能在那种环境下灵活、自主地活动。智能体提供了一种新的计算和问题求解风范。人们在研究人类智能行为中发现：人类绝大部分的活动都涉及由多个人构成的社会群体，大型复杂问题的求解需要多个专业人员或组织协作完成。重要的和复杂的智能是在由众多个体构成的社会中进行各种活动时体现出来的。“协作”“竞争”“谈判”“博弈”等是人类智能行为的重要表现形式。智能体与多智能体系统的研究与逻辑学、运筹学、经济学、博弈论、社会学等学科均有密切的联系，有着精彩、深厚的理论积淀。

近十多年来，智能体和多智能体技术在世界上获得了广泛应用，如AlphaGo、
德州扑克、星际争霸（StarCraft）、无人机协同、反恐等。国际学术界陆续创办了专门面向智能体及多智能体系统研究的国际学术期刊Autonomous Agents and MultiAgent Systems和国际学术会议“The
International Conference on Autonomous Agents and MultiAgent
Systems”。除此而外，在人工智能领域的主要国际学术期刊（如Artificial Intelligence, Journal of Artificial Intelligence Research）和会议（如IJCAI和AAAI）上，关于智能体与多智能体系统的研究论文也占据了非常高的比例。

2006年，中国计算机学会人工智能与模式识别专业委员会发起组织了两年一度的“全国Agent理论与应用学术会议”，并从2006年至2012年分别在烟台大学、南京大学、国防科技大学和吉林大学一共举办了四届。2013年起，该会议并入人工智能与模式识别专业委员会在当年开始举办的两年一度的“中国计算机学会人工智能会议（CCFAI）”。为了更好地推动中国智能体和多智能体系统理论、技术和应用的发展，2014年3月由史忠植研究员、安波副研究员主持，在中国科学院计算技术研究所举办了首届“中国智能体及多智能体系统”研讨会，该会议采用了不征文、不收费、报告人由组织者邀请的新方式。在首届会议中，与会者一致同意在中国计算机学会人工智能与模式识别专业委员会指导下，申请成立“多智能体与智能系统学组”，决定每年由该学组组织一次“中国智能体及多智能体系统研讨会”，并对邀请的报告进一步扩充、润色后结集出版。

2015年，由高阳教授、安波副研究员、陈小平教授、毛新军教授主编的《多智能体系统与应用》就是在2014年度的部分特邀报告基础上结集出版的。

本书的内容遴选自2015年、2016年度中国智能体及多智能体系统研讨会的特邀报告并收集了部分学者的研究进展。全书共计11个专题，每个专题讨论一个技术主题或者应用，并兼顾该主题的综述和特邀报告人自身的研究成果。书中章节涉及多智能体学习、多智能体协调协商、多智能体规划、多智能体应用框架及工具以及交叉应用基础问题研究。

前言多智能体系统及应用（卷二）本书的出版得到了中国计算机学会人工智能与模式识别专业委员会的支持和指导，在此表示衷心的感谢。本书的编写和出版还得益于各个章节的各位作者的无私支持和帮助，在此表示特别的感谢。中国科学院计算研究所的安波副研究员、南京大学的高阳教授、燕山大学的张大鹏教授、山东科技大学的纪淑娟副教授为本书的出版提出了很多的宝贵意见，再次对他们表示感谢。还要感谢南京大学的吴骏博士、张雷博士以及宋岳、许磊、唐思雨、乔羽、陈港、李博、叶康、经纬等同学，在本书编撰及整理润色的过程中，他们给予了极大的帮助。

由于水平有限以及知识观及价值观的狭隘，书中的疏漏和不足之处在所难免，敬请各位专家和读者批评指正。

 

编者[]2017年5月

专题1智能体动机学习史忠植，马刚，李建清中国科学院计算技术研究所智能信息处理重点实验室，北京 100190摘要动机是直接驱动智能体行为以达到一定目的的内在动力和主观原因。动机为激活、引导和维护智能体行为随着时间推移的内部过程。动机触发多智能体协同工作。本文提出了一种基于环境感知的动机学习算法，也讨论了基于动机的强化学习方法。关键词智能体；强化学习1概述动机（motivation）是直接驱动智能体行为以达到一定目的的内在动力和主观原因。动机与激活、引导和维护的行为一样都是随着时间变化的内部过程。在文献[1]中穆克（D.G.Mook）简单地定义动机是“行动的起因”。1943年，马斯洛（A.H.Maslow）提出动机的需求理论[2]。马斯洛假定，人的需要，即人的动机顺序发生，从基础的生理和安全的需要，通过一系列的爱和尊重的需要，发展为自我实现的复杂需求，而需要层次有着巨大的直观吸引力[5]。多年来，人们提出许多动机理论，每种理论都在某种程度上有着不同的关注点。这些理论尽管在许多方面十分不同，但它们都出自相似的考虑，即对行为的唤起、指向和维持，这三点是任何一种动机分析的核心。格林（R.G.Green）等人将动机理论分为生理、行为和社会的3类[3]。梅里克(K.E.Merrick)将动机理论分为4大类，即生物学理论、认知理论、社会理论和组合动机理论[4]。生物学动机理论试图依据自然体系生物学层面的工作过程解释动机。这些理论的机理经常采用能量和运动方式解释行为，使得生物体朝向一定行为。现有的人工系统研究已经使用生物学动机理论创建软件智能体和进行自然系统的模拟。饥饿和口渴可被看作体内驱动的运动或者标志的唤醒理论，意味着吃喝或者探查是生理状态监控变化被起动。不过，除发生响应生理的变化之外， 类似馈送和喝水的行为也与这种体内运动有关。由此可见，认知动力理论集中于怎样确定行为，结果怎样影响行为和影响到什么程度，根据不同的行动步骤的费用和效益，解释个人行为将来很可能的结果。基于抽象的机器学习和人工智能概念，例如目标、规划、策略，动机的认知理论可以为动机计算模型提供一个初始点。社会动机理论涉及个体与他人接触过程中的行为。动机的社会理论是生物学和认知理论的交叉。例如采用适合度和文化效应描述认知现象，而进化论可以被认为是生物学社会理论。社会动机理论可以从小组态势下的个人到更大的社会、文化和进化系统。这些理论为多智能体系统动机计算模型的设计提供重要的初始状态。组合动机理论尝试综合生物学、认知和社会动机理论，例如，马斯洛的需求层次学说[5]、奥尔德弗的ERG理论[6]以及斯塔格纳的稳态模型[7]。对于人工系统动机综合模型也是研究的重点，这种模型在硬件、抽象推理和多智能体层面提供描述行为过程的综合算法。专题1智能体动机学习多智能体系统及应用（卷二）人的各种行为和活动都离不开动机，动机有下列功能：  唤起行动的起动功能。就个人来说，他的行动的一切动力，都一定要通过他的头脑，一定要转变为他的愿望的动机，才能使他行动起来。 维持活动达到目标的志向功能。动机一旦引起行为和活动，并能使这种活动具有稳固而完整的内容，使人表现出极大的积极性，朝思暮想，茶饭不香，思维敏捷，能持久而顽强地进行这种活动。 动机的强化功能。一个人在活动上的成功和失败的体验，对他的活动志向有一定的影响。或者说，行为的结果如何，影响着人的动机。由此可知，动机对人的行为起着以正负强化形式出现的调节控制作用。2动机理论动机研究大致上可以分为三个阶段：20世纪60年代之前，主要以行为主义和精神分析理论为主导，强调本能、冲动、驱力、体内平衡等生物性的因素在决定人的动机和行为方面的直接作用。20世纪60年代以后，认知的观点逐步介入到动机研究中来，研究的课题发生了很大的变化，出现了归因理论等强调认知因素的动机理论，并使传统的基于行为主义观点的自我效能理论、习得无助理论在内容上发生了巨大的变化。20世纪80年代后的动机研究，已经逐步走向整合，构建一个具有普遍意义的动机理论。下面重点讨论几种动机理论。