智能制造人机交互：需求、原理、技术及应用 吴晓莉

本书侧重于智能制造中的人机交互设计，属于智能制造和人因工程、交互设计的交叉领域，具有创新性和先进性。

在数字工业新生态愿景下,工业智能、工业互联网、工业元宇宙等新技术、新理念正成为智能制造协同融合的关键驱动力。本书从人机交互视角解读智能制造的内在需求和技术瓶颈,充分融合认知机理、可视化与交互的耦合性,展开智能制造人机交互的需求、原理、技术及应用研究,通过工业集成化信息系统的人机交互实现人、机、物全要素互联的智能生产。
本书可为工业大数据与智能系统方向的研究人员,处于或面临智能化转型的大中型制造企业提供人机融合思路、人机交互设计理论及系统测评方法,也可供智能制造工程、工业工程和工业设计工程等专业的学生参考学习。

吴晓莉，南京理工大学教授、博士生导师，于2015年获得东南大学博士学位。拉夫堡大学客座教授，伦敦大学学院、澳大利亚国立大学、伯明翰大学等访问学者。入选江苏省第六期“333高层次人才”、江苏省紫金文化社科优青。任中国人类工效学学会常务理事，中国机械工程学会工业大数据与智能系统专委会委员、中国指挥与控制学会多域态势感知与认知专委会委员、中国计算机学会高级会员。长期从事智能制造、航空装备、核电监控等复杂系统的人机交互、工业信息可视化、生理认知测评技术等，以及面向智能协同的人机融合研究。出版有《智能制造人机系统的信息呈现与认知绩效》《复杂信息任务界面的出错-认知机理：由出错因子导入系统界面设计的新方式》《设计认知：研究方法与可视化表征》等专著。

序
前言
需求篇:智能制造的人机交互需求
第1章 工业智能转型中的人机交互需求
1.1 智能制造与人机交互的关系
1.1.1 智能制造发展需求
1.1.2 从工业互联视角看智能制造
1.1.3 从人机交互视角看智能制造
1.1.4 智能制造人机交互需求解析
1.2 智能制造人机交互研究进展
1.2.1 工业智能转型的内涵、需求及研究进展
1.2.2 智能制造中的人机交互
1.2.3 人机交互相关的认知理论、测评方法
1.3 本书内容总体概览
1.4 本章小结
第2章 智能制造人机交互的提出
2.1 智能化进程中的人机交互
2.1.1 信息时代的发展
2.1.2 人机智能协同的兴起
2.1.3 智能化设计创新发展需求
2.1.4 智能协同下的人机交互
2.2 智能制造的人、信息系统、物理系统
2.3 人-信息-物理系统的协同融合
2.4 多元空间的系统协同融合
2.5 协同融合需求下的智能制造人机交互
2.6 本章小结
原理篇:智能制造人机交互原理与认知机理
第3章 智能制造系统的人机交互设计原则
3.1 人机交互界面设计原则
3.1.1 人机交互界面布局设计原则
3.1.2 人机交互界面动效设计原则
3.1.3 人机交互界面图符设计原则
3.1.4 人机交互界面数据信息编码设计原则
3.2 工业信息布局设计原则
3.2.1 工业信息布局分类
3.2.2 工业信息布局特征分析
3.2.3 工业信息布局的一般设计原则
3.3 工业信息布局与视觉感知的关联
3.3.1 视觉感知过程
3.3.2 视觉流程
3.3.3 工业信息布局与视觉感知过程的关联
3.4 工业信息动效设计原则
3.4.1 工业信息动效分类
3.4.2 工业信息动效特征
3.4.3 工业信息动效的一般设计原则
3.5 工业信息图符设计原则
3.5.1 工业信息图符风格分类
3.5.2 工业信息图符特征分类
3.5.3 工业信息图符语义分类
3.5.4 工业信息图符的一般设计原则
3.6 工业数据信息编码设计原则
3.6.1 工业数据信息编码的分类
3.6.2 工业数据信息呈现与视觉编码关系
3.6.3 工业数据信息编码的一般设计原则
3.7 本章小结
第4章 视觉认知原理及相关实验范式
4.1 视觉反应机理
4.1.1 视觉的行为与生理特性
4.1.2 凝视与扫视
4.2 视觉感知理论
4.2.1 人的感知觉
4.2.2 视觉感知相关理论
4.3 视觉搜索模型
4.3.1 视觉搜索过程
4.3.2 现有的视觉搜索模型
4.4 视觉注意理论
4.4.1 注意理论模型
4.4.2 注意对多感觉整合的影响
4.4.3 选择性注意范式
4.4.4 信息特征对选择性注意的影响
4.5 注意捕获机制
4.5.1 注意捕获
4.5.2 注意捕获的实验范式
4.5.3 注意捕获和多感觉整合的交互作用机制
4.6 视觉标记机制
4.6.1 视觉标记
4.6.2 视觉标记的实验范式
4.6.3 视觉标记的抑制机制
4.6.4 视觉标记的其他解释
4.7 知觉广度内信息引导视觉搜索的有效性
4.7.1 视觉搜索与注意力引导
4.7.2 知觉广度引导有效性的视觉搜索实验
4.7.3 视觉搜索中信息处理的眼动模型
4.7.4 知觉广度帮助感知的视觉搜索实验
4.7.5 讨论与结论
4.8 本章小结
技术篇:智能制造人机交互测评技术和实验
第5章 智能制造人机交互的测评技术
5.1 人机交互测评技术研究现状
5.1.1 测评技术与方法研究
5.1.2 人机交互相关的评估模型
5.1.3 智能协同的人机交互生理测评
5.2 认知绩效测评相关理论
5.2.1 认知负荷理论
5.2.2 态势感知理论
5.3 人机交互相关的测评方法与流程
5.3.1 测评方法
5.3.2 测评流程
5.4 认知测评实验设计与实施
5.4.1 实验设计
5.4.2 模拟任务具体情境设定
5.4.3 被试样本
5.4.4 实验流程
5.5 本章小结
第6章 人机交互工作负荷测评实验
6.1 工作负荷测评实验范式
6.1.1 认知抑制实验范式
6.1.2 行为抑制实验范式
6.1.3 认知灵活性实验范式
6.1.4 工作记忆实验范式
6.1.5 其他认知控制实验范式
6.2 工业制造人机交互认知任务操作难度的脑力负荷检测
6.2.1 脑力负荷检测
6.2.2 认知任务操作难度的脑力负荷实验设计
6.2.3 测量方法与指标
6.2.4 脑力负荷测评实验
6.3 本章小结
第7章 基于注意捕获范式的认知测评实验
7.1 工业数据图符编码认知的注意捕获实验
7.1.1 工业数据图符特征分析
7.1.2 工业数据图符色彩编码的注意捕获实验
7.1.3 工业数据图符色彩编码优化设计
7.2 工业信息色彩编码的注意捕获实验
7.2.1 监控界面的色彩层级编码
7.2.2 监控界面信息色彩编码的注意捕获实验
7.3 本章小结
应用篇:智能制造人机交互应用案例
第8章 MES的人机交互设计
8.1 MES的人机交互
8.1.1 MES
8.1.2 MES信息元提取——生产界面
8.1.3 MES信息元提取——报表看板
8.2 MES人机交互过程的用户研究
8.2.1 MES人机交互的用户分类
8.2.2 MES人机交互的用户行为分析
8.2.3 MES人机交互的用户需求分析
8.3 构建信息元和信息链
8.3.1 MES中的信息元
8.3.2 MES中的信息链
8.3.3 建立MES人机交互的信息链
8.4 信息元的引力算法
8.4.1 信息元间距离
8.4.2 信息元的起始重要度
8.5 信息元间的引力
8.5.1 P4用户的信息元引力
8.5.2 P3用户的信息元引力
8.5.3 P2用户的信息元引力
8.6 MES人机交互的信息呈现
8.7 本章小结
第9章 工业制造SAP系统的人机交互设计
9.1 SAP系统的

前言|Preface|
工业智能转型作为新一轮产业革命,以数据驱动、智能技术、万物互联和虚实结合作为核心支撑,推动着信息科技带动相关产业发生巨变。新一代信息通信网络技术与工业制造深度融合的全新工业生态、新型应用模式愿景描绘出了工业全要素链、全产业链、全价值链智慧、协同开放、服务、互联的未来工业元宇宙模式。面对工业场景生产任务繁多、场景多变和层次多样等特点,全面推进工业智能转型面临的重大难题和严峻挑战是人、信息系统、物理系统的人机协同共生问题。
通过人机交互与信息可视化来提升工业场景协同融合的技术,是全面推动工业制造深度融合的关键技术。本书围绕工业智能转型中的制造系统可视化与交互问题,以生产、运营和监管流程看板,多屏显示信息等可视化的智能交互模式为视角,充分融合认知机理、可视化表征的耦合性,展开智能制造人机交互的需求、原理、技术及应用研究,通过车间管理集成化信息平台的人机交互实现人、机、物全要素互联的智能生产。从多学科交叉融通,建立智能制造人机交互方法论,探索该方法在工业制造数据智能管控、人机协同交互中的应用,实现对智能化生产过程的实时交互与绩效评估。
本书分为需求、原理、技术、应用和展望篇,共11章。
需求篇提出了智能制造的人机交互需求,从智能制造的人、信息系统、物理系统与人机交互协同的研究进展及发展的角度,提出多元空间系统的协同融合需求,并探讨如何推进工业制造信息集成化及人机协同的发展。
原理篇梳理了智能制造人机交互原理与认知机理,内容包括规范工业信息布局、动效、图符、数据编码等方面的设计原则,建立与人机交互相关联的视觉搜索、注意捕获和视觉标记等典型实验范式,将相关认知原理与智能制造人机交互嫁接起来。
技术篇构建了智能制造人机交互的测评技术、人机交互工作负荷测评实验和基于注意捕获范式的认知测评实验,形成系统的认知测评方法、工具并开展相关实验。
应用篇呈现了多个智能制造人机交互应用案例,从典型的智能制造系统入手展开人机交互设计,并基于典型智能车间集成化工业物联网需求,提出集成多层展示的工业数据集成化信息中心方案。
展望篇展现了复杂数字工业新生态下的智能制造。智能制造的未来需要通过人机交互的全面提升,让读者看到以虚促实、以虚强实的协同开放、服务、互联的工业新业态,走向工业元宇宙。
本书得到国家自然科学基金“时序性结构信息流与多模态生理认知耦合的工业信息可视化表征机制”(52175469)、江苏省重点研发计划“智能制造实时监控下信息交互界面可视化方法及其产业化”(BE2019647)、国家社会科学基金后期资助项目“智能制造的人机系统交互与认知绩效”(20FGLB046)及中央高校基本科研重大研究基础专项(30920041114)的共同资助。
在本书的撰写过程中,来自人因与信息系统交互研究团队的张蓝、晏彪、王琳琳、张伟伟、李奇志、邹义瑶、徐盼盼、严寒、吴新兵、唐雨欣、徐璐璐、黄晓丽、齐增斌、张科、方泽茜、牛佳然、陈玉风、韩炜毅、刘潇、杜婧银、江晓曼和武愈涵等研究学者和同学们在资料收集、分析论证、案例研究、图表制作等方面提供了大量帮助。本书案例中部分引用了天合光能股份有限公司、梅特勒-托利多测量技术有限公司等相关企业的MES、SAP等制造系统界面。同时,书中部分内容参考了有关专家、学者的著作,谨在此一并表示衷心的感谢。
受人力、水平和其他条件所限,书中难免有疏忽遗漏之处,敬请各位同仁、读者批评指正。
吴晓莉