面向盲人触觉认知的触觉显示与体验研究

“清华大学优秀博士学位论文丛书”（以下简称“优博丛书”）精选自2014年以来入选的清华大学校级优秀博士学位论文（Top 5%）。每篇论文经作者进一步修改、充实并增加导师序言后，以专著形式呈现在读者面前。“优博丛书”选题范围涉及自然科学和人文社会科学各主要领域，覆盖清华大学开设的全部一级学科，代表了清华大学各学科*秀的博士学位论文的水平，反映了相关领域*的科研进展，具有较强的前沿性、系统性和可读性，是广大博硕士研究生开题及撰写学位论文的必备参考，也是科研人员快速和系统了解某一细分领域发展概况、*进展以及创新思路的有效途径。 

全球视力受损患者共有2.53亿，包括3600万全盲患者。在互联网时代，盲人通过触觉对图形图像的认知需求越来越强烈。本书首先从理论角度研究触觉，然后通过盲人用户研究和实验分析，探索盲人的触觉认知特点和影响触觉认知的关键因素。之后本书从设计角度建立理论框架，探索了盲人的触觉认知及交互体验的设计理论与方法，并以此设计开发了触觉图形显示器。该设备能渲染盲文和图形信息，可以作为教育资源广泛应用于学校、公共场所及盲人家庭。

目录
第1章引言
1.1选题背景
1.1.1信息时代，盲人面临的困难
1.1.2触觉交互——盲人的重大需求
1.1.3多样化的人机交互界面
1.1.4人机交互中的设计驱动
1.2研究内容
1.2.1问题的提出
1.2.2关键术语的界定
1.3研究意义与创新点
1.3.1研究意义
1.3.2创新点
1.4文献综述
1.4.1信息源与文献检索
1.4.2国内文献综述
1.4.3国外文献综述
1.5研究方法及本书结构
1.5.1研究方法
1.5.2本书结构

第2章触觉交互设计的理论基础和研究路径
2.1触觉的生理解析
2.1.1皮肤的触觉感受器
2.1.2温度感受器
2.1.3痛觉感受器
2.1.4肌肉及关节感受器
2.1.5人体表皮的触觉敏感度分布
2.2触觉的情感解析
2.2.1触觉的情感表达
2.2.2触觉情感的多感官传达
2.3触觉的心理解析
2.3.1心理物理学概述
2.3.2触觉心理物理学实验及结论
2.4触觉引入信息交互设计
2.5交互界面演进与多通道交互趋势
2.5.1信息设计驱动的自然交互
2.5.2信息交互设计的多通道趋势
2.5.3实体用户界面TUI的触觉需求
2.6触觉交互设计的研究路径
2.6.1用户群体
2.6.2触觉体验
2.6.3交互范式
2.7本章小结

第3章盲人的触觉认知与交互设计
3.1盲人用户研究及触觉交互可用性
3.1.1盲人群体数量统计
3.1.2信息时代下的盲人群体
3.1.3信息时代下盲人认知与交互现状调查
3.2盲人触觉辅助设备及其交互
3.2.1盲文及实物模型
3.2.2“TVSS”触视觉替代系统
3.2.3“Optacon”视触觉转换器
3.2.4电脑外设触觉辅助设备
3.2.5触觉图形显示器
3.3盲人的触觉认知
3.3.1盲人的触觉认知概述
3.3.2fMRI实验: 盲人与明眼人的脑差异
3.3.3触觉图形图像认知: 三维转二维的认知映射
3.3.4触觉带宽显著小于视觉
3.4触觉图形图像认知实验规划
3.5实验3.1:  不同图像尺寸的认知实验
3.5.1实验目的
3.5.2实验设计与方法
3.5.3实验结果、分析与结论
3.6实验3.2:  静态图像/动态图像的认知实验
3.6.1实验目的
3.6.2实验设计与方法
3.6.3实验结果、分析与结论
3.7图像的主动/被动认知交互方式与触听觉多通道认知
3.7.1图像的多通道认知设计
3.7.2图像的主动/被动认知设计
3.7.3实验3.3:  图像的主动/被动认知交互方式与
触听觉多通道认知方式
3.7.4实验3.3的结果、分析与结论
3.8文献研究及设计建议的提出
3.9本章小结

第4章盲人触觉交互的用户体验
4.1用户体验概述
4.2触觉体验
4.2.1何谓触觉体验
4.2.2触觉体验的特征
4.2.3触觉体验的本质
4.3盲人用户触觉交互体验的特征和影响因素
4.3.1从盲人的触觉认知到交互体验
4.3.2皮肤感觉与本体运动知觉
4.3.3力的输出与力反馈量度
4.3.4触觉认知窗口
4.3.5触觉的主动/被动认知
4.3.6多通道认知
4.4本章小结第5章基于盲人用户体验的触觉交互设计理论与方法
5.1设计原则
5.1.1符合盲人用户的具身认知
5.1.2合理使用隐喻
5.1.3动态示能与动态限制的统一
5.1.4成本控制
5.2设计目标: 信息无障碍
5.3设计要素
5.3.1信息时间和空间
5.3.2产品功能与数字内容
5.3.3信息架构与交互逻辑
5.3.4产品造型和用户界面
5.4设计方法
5.4.1以盲人用户为中心
5.4.2以自然交互为方式
5.4.3以内容意义为根本
5.4.4以信息转化为导向
5.5本章小结

第6章盲人触觉图形显示器设计实践
6.1盲人“上网读图”现状与需求
6.2以用户为中心的场景和功能设计
6.2.1应用场景设计
6.2.2功能设计
6.3信息架构与交互设计
6.3.1图像生成设计
6.3.2触觉交互设计
6.4显示终端的硬件设计与开发
6.5本章小结结论参考文献后记

导师序言
超大规模集成电路的制造工艺已经步入了纳米阶段，与此同时，芯片的高性能、低功耗和成品率问题成为本领域备受关注的研究热点。电路性能、系统功耗和参数成品率非常依赖于芯片的供电系统，高性能芯片对供电网络设计提出了非常高的设计需求，要求供电网络能够提供更大的功率、更小的供电压噪声、更快的瞬态响应以及更低的供电系统设计成本。这给供电网络设计、分析和验证带来了巨大的挑战。首先，在纳米工艺下的集成电路设计中，由于芯片功耗急剧增加以及芯片供电电压不断降低，导致供电网络的工作电流越来越大，而噪声容限越来越低，很小的供电噪声就会造成电路工作失常，迫使供电网络设计的分析精度不断提高，需要在0.1mV以下。第二，供电网络规模越来越大，结构越来越复杂，整个供电网络的建模及分析效率面临严峻的挑战。第三，大规模供电网络的仿真，其对内存的消耗是极大的，不仅传统的电路分析工具（如SPICE）无法应对，即使是现有的一些商用工具（如FastSPICE）也难以胜任。第四，随着芯片工作频率的不断提高，供电网络上的寄生电容（C）、寄生电感（L）对噪声的影响日益增大，供电网络分析已从较简单的以电阻（R）为主的静态分析变为复杂的RLC瞬态分析。
供电网络的设计通常有几个重要的性能指标。首先，是芯片全负荷工作时供电网上的最大电压降，最大电压降越小代表供电性能越好，否则将由于供电不足引起芯片性能下降；其次，是供电网上的电流分布要尽可能均匀，各个供电分支上的最大电流密度不能超过规定的阈值,否则将使芯片产生局部发热点，甚至出现金属电迁移现象，导致集成电路寿命降低甚至失效；第三，在瞬态工作的情况下，供电瞬态噪声必须低于一定的噪声阈值,否则将导致电路逻辑错误；最后，在满足性能要求的前提下，应优化供电网的面积，减小对布线资源的占用率，降低设计成本。总的来讲，对供电网络进行更加精细的分析和验证，对于仿真精度的要求越来越高，同时由于供电网的规模日益庞大，对供电网进行精细的分析在时间和空间方面开销巨大。对于仿真算法和工具而言，迫切需要能够快速分析含有千兆量级节点的供电网络。
在供电网的仿真分析中，一般可将供电网等效为一个线性系统，工业界广泛采用直接求解的方法进行求解分析，但是直接求解算法的内存开销随着供电网规模的增大而急剧地增加，不适用于大规模供电网络仿真的需求。从20世纪90年代开始，国际上开始有不少研究小组致力于研究新的供电网仿真方法。首先出现了不少模型降阶方面的研究工作，如Carnegie Mellon大学，IBM公司等。这些方法将大规模供电网络视为一个多端口的网络，采用了多种正交子空间逼近的方法对原有系统进行近似处理，通过降低求解方程的阶数以达到简化求解时间的目的。2000年前后，Wisconsin大学的研究小组将Krylov子空间迭代方法引入到大规模供电网的仿真分析中，迭代法的引入大大增强了仿真器的求解能力，使其能够处理大规模的供电网络，这极大地促进了供电网瞬态分析技术的发展，供电网络设计也从静态分析进入到了考虑瞬态分析的时代。随着供电网规模的进一步增加，迭代法也出现了收敛性逐渐变差的问题。 2002年左右，供电网络仿真的研究工作主要集中在如何开发一种不受网络规模限制的求解算法上，这些算法的一大特点就是非常的稳定，计算复杂度随着规模的变化并没有明显的增长，于是分而治之的策略应运而生，并被应用到大规模供电网的分析求解中，把整体供电网络划分成为若干小的子网进行求解，并通过一定的处理方法保证边界上的精度。分治策略的成功应用推动了学术界对供电网特殊性质的研究，不少层次化的仿真方法先后出现，然而这些方法都没有完全解决供电网络划分之后子网络之间存在强烈耦合的问题，要么分块计算相当繁杂，要么求解精度受到影响。2004年，Intel公司CAD战略发展研究室的Eli. Chiprout 等人提出了在FlipChip封装模型下供电网存在局部性的概念，并直接采用了局部性原理对Pentumn Ⅳ芯片进行了大规模的仿真，获得了很好的结果，在学术界引起了不小的反响。此后不少研究人员把局部性原理引入供电网的设计中，结合宏模型的方法对供电网进行分析，获得了很好的仿真效果。由于局部性原理只存在于FlipChip封装的供电网络中，在WireBond封装下的供电网没有很好的局部性，这限制了局部性原理的应用。
对于目前的高端微处理器等芯片设计来说，其供电网络系统规模达到数百兆，因此对仿真求解的性能有着更高的要求，主要体现在对求解精度、效率、内存以及算法稳定性几个方面。从供电网络系统形式化后的矩阵方程特性上分析，其方程系数矩阵具有稀疏、对称、正定以及对角占优等良好性质，针对这些特点已经研究和发展出了一系列的高效仿真方法，包括：矩阵分解、多重网格方法、预条件共轭梯度法、区域分解、层次式矩阵、快速泊松求解器、网络节点等效电阻、层次化方法和随机行走方法等。上述方法中高效的预处理迭代型算法适用于静态分析，因为其只需进行一次求解；而对于瞬态分析，由于其对同一电路需进行多次仿真求解，所以高效的矩阵分解技术将更加有效。
本论文作者针对供电网络形式化矩阵方程的数学特点，结合供电网络物理结构，利用局部性原理，研究了大规模供电网络的快速分析方法，探讨了大规模复杂供电网络的静态分析、瞬态分析以及与无向量验证相关的理论和实验分析方法。首先，提出一种基于泊松预条件的快速静态仿真算法。该算法依据电路局部性原理，采用网格近似思想，用快速泊松求解器构造一种解析的预条件子，大大提高了非结构化供电网络仿真中共轭梯度迭代算法的收敛率和稳定性。第二，提出一种接近线性复杂度的代数多重网格预条件共轭梯度静态分析算法。该算法采用双重网格聚合方法，提高多层次网格间粗化的效率，采用Krylov 子空间加速循环策略，提高误差平滑化效率。第三，提出一种线网级并行加速的瞬态仿真方法。该方法通过消除电感支路电流变量并重新形式化为对称正定矩阵方程的方法，可以解决RLC模型下由于封装电感导致的瞬态仿真矩阵失去对称正定性的问题；在此基础上，提出了基于AMGPCG求解器和Cholmod求解器的线网级并行加速的瞬态仿真方法。第四，提出一种基于选择性求逆算法的无向量验证方法。该方法根据电路局部性原理，选择性地构造稀疏矩阵近似逆，并提出全局电流约束局部性的概念，保证无向量验证的精度。
我们推出此书，希望书中所述的算法、方法和实验能够给读者一些有益的启示和借鉴。
以上，权作序言。

蔡懿慈
清华大学计算机科学与技术系
2016年8月18日

1.1.2触觉交互——盲人的重大需求
人自古以来就会利用触觉感受物质与自然，触觉是人作为生物体的本能感觉。亚里士多德在《论灵魂》和《感官与感觉》中，把感觉分为五种: 视觉、听觉、触觉、味觉和嗅觉，并认为，“没有触觉就不可能有其他的感觉”、“触觉是动物所唯一必备的感觉”亚里士多德. 亚里士多德全集[M]. 苗力田，主编. 北京:  中国人民大学出版社,2016.。触摸在我们日常生活中无处不在，如抚、按、摸、点、捏、压、划、拽、抓、拉、吻、亲等接触性的动作行为，能以最直接的方式感知周围事物。从我们呱呱坠地的那一刻起，便开始用触觉去感受世界。触觉是人类认知最早、最基本的途径，帮助人们在成长的过程中逐步建立对世界的理解和认知。
因此，在盲人用户的信息获取和交互时，相比于听觉的抽象语言文字信息，触觉的实体信息具有更直观、更具象的特点。在面对具象的信息或概念时，采用触觉的方式触摸三维模型或二维的触觉图像是知识学习非常有效的方法。事实上目前在盲人学校中，对图形图像和三维空间的知识教学，也通常采用实体模型和纸质触觉图像等方法，利用触觉的实体认知进行具象的知识学习。
实体模型是实物按一定大小比例缩小的模型复刻版，多用于一些基础的概念学习。但因为其制作过程相对复杂，在盲人学校中实体模型的资源较少，盲人学生使用更多的是纸质的触觉图像。
触觉图形图像是利用材质的凹凸高度、纹理等触觉特点，在二维平面上显示的图形图像，通常由热敏、塑胶印刷、热塑和Tiger盲点打印等方式制作，如图1.1所示。
图1.1盲人纸质触觉辅助教具举例
左： 热敏纸； 中： Tiger打印； 右： 塑胶印刷
目前，这类纸质的触觉图像大多用于盲校的教科书和考试卷中，作为文字的配图和数学、几何学习之用。然而，这些静态的纸质触觉图像在使用上存在诸多不便。它们作为学习用具极易损坏，成本高昂，大量的纸质图像非常笨重且不易保存。最重要的是，在当今互联网时代，以纸质承载方式存在的静态图像无法帮助盲人用户理解动态的图形图像信息，不能交互。
有鉴于此，从20世纪开始，相关的业界和研究机构着手探索针对盲人用户的动态图形图像显示方式，比如触觉图形显示器。它的主要功能是通过实时的表面形变，动态地渲染触觉图像。由于涉及动态的实体形变，这给触觉图形显示器的结构设计和制造增加了极大的难度，目前一些原型设备的售价非常昂贵，比如德国MetecAG公司的Display 7200（见图1.2）METECAG. Hyperbraille Display 7200 Users Manual[M]. Stuttgart:  METECAG, 2014.，在2016年价格为5万欧元，而且其功能性、易用性和整体的交互体验都有待提高，因此也没有在市场上真正有效地推广使用。
图1.2Display 7200触觉图形显示器
虽然目前既有的触觉图形显示器原型研究还没有达到盲人用户的要求，但基于盲人用户理解图形图像的重大需求，它仍然代表着利用触觉通道进行图形图像认知和交互，以及互联网信息学习的未来方向。这也是目前多家学术机构和产业界的研究重点。
1.1.3多样化的人机交互界面
自从人类开始使用石头、木棍，并制作斧子、轮子等工具时，便开始思考人与外界环境及生产工具的交流方式。18世纪中叶，工业革命开创了机器生产的时代，机器设备解放了简单的人工劳动，显著提升了生产力。与此同时，机器也越来越多地进入人类的生产与生活。随着第二、第三次工业革命的开展，生产力进一步提高，1946年美国研制出第一台电子计算机保罗·莱文森．软利器: 信息革命的自然历史与未来[M]．何道宽，译．上海:  复旦大学出版社,2011:  732.，打开了人类进入信息时代之门。机器除了机械属性，又加入了电子属性和计算属性，变成了更庞大的系统。因此，如何使机器更友好地为人服务，满足人的需求，逐渐从问题变成了学科。
1959年美国人沙克尔从人在操纵计算机时如何能减轻疲劳出发，发表了关于计算机控制台设计的人机工程学的论文B. Shackel. Ergonomics for a computer[J]. Design, 120(1959):  3639.B. Shackel. A Note on Panel Layout for Numbers of Identical Items[J]. Ergonomics, 2(1959):  247251.，从此开创了探寻人与机器交流方式的新学科，即人机交互(humancomputerinteraction)。
用户在使用计算机的过程中，信息流不断地从计算机端和用户端交互往来。复杂庞大的信息量需要以设计的方式整理，并有效地传递，此为信息设计孙皓琼. 图形对话: 什么是信息设计[M]. 北京: 清华大学出版社，2011.。在计算机科学初期，设计和开发人员对软硬件产品的可用性或“用户友好性”关注甚少。然而，随着越来越多的用户期望设备易用，终于把研究者的注意力聚焦到可用性（usability）Jakob Nielsen. Usability Inspection Methods[C]//Proceedings of CHI94 Conference Companion on Human Factors in Computing Systems. 1994:  413414.上。可用性的提升，正是因为科技和信息设计的进步。
经过几十年的发展和演变，计算机和广义的机器在功能上突飞猛进，复杂度越来越高，因此给使用者也带来了更高的要求。相应地，为了克服用户使用及操作机器的问题，通过信息设计，人机交互领域在交互界面上和交互通道上也有了显著的更新和迭代。在界面上，从最早的单独命令识别的命令行界面（CLI）CLI: Command Line Interface，命令行界面，早期电子计算机的交互方式，比如微软的Dos操作系统。，到目前最常用的图形用户界面（GUI）GUI: Graphics User Interface，图形用户界面，比如微软的Windows操作系统、苹果的MacOS等。，以及虚拟现实、增强现实等虚实融合的界面；在交互通道上，从基础的视觉命令文字，到高分辨率图形界面，以及融入触觉、听觉等多通道的交互方式。Bolt RA. “Putthatthere”:  Voice and Gesture at the Graphics Interface[M]. California:  Life Time Learning Press, 1984.这些界面、通道上的演进是为了实现人能更好地利用机器，并完成人设定的任务，同时耗费使用者最少的精力和成本。
21世纪又是移动互联网的时代，自从2007年苹果公司发布iPhone以来，智能手机普及率快速上升。伴随着无线通信的发展，以及3G、4G无线网络的覆盖，移动终端的处理能力和信息的传输能力都有质的提升。在移动智能终端，人机交互又呈现了新的特点和方式。用户需要随时随地获取实时信息，且可能同时进行多个任务。复杂的人机交互需求推动着业界和本领域的研究机构的探索，人机交互的发展正在迈向多样化的新时代，寻求更智能、高效、自然的人—机—环境的交互体验。我国的《国家中长期科学和技术发展规划纲要》将人机交互列为国家重大战略需求的关键技术中华人民共和国科学技术部. 国家中长期科学和技术发展规划纲要（2006—2020年）[OL]. http://www.most.gov.cn/kjgh/.，《麦肯锡2013年报告》也提到，人机交互在2025年将对全球经济产生13.3万~28.2万亿美元的影响麦肯锡. 2013年中国电子零售业革命报告[OL]. http://www.199it.com/archives/116657.html.。
然而在一般用户的日常生活中，我们只利用了有限的感官通道进行输入输出，并获取信息: 视觉屏幕作为主要的信息获取方式，键盘、鼠标和触摸屏作为控制通道。其中，键盘鼠标只给用户提供了机械的回弹和移动属性，而触摸屏则只有玻璃屏幕的触感和有限的震动反馈。我们在进行信息获取和交换的过程中，没有充分利用触觉和实体的交互。
正因为此，目前针对实体交互界面、多感官、多通道交互界面的研究一直是学术界的前沿领域。比如针对触觉的研究，引入力/触觉反馈机制，使用户不仅能看见虚拟对象，还可以触摸到它的几何性状和物理特征，从而使虚拟的交互更加真实和易于理解。赵沁平. 虚拟现实综述[J]. 中国科学（F辑:  信息科学），2009，39(1):  246.
总之，多样化的人机交互界面能充分利用人的多个感官通道，在增加沉浸感、实现更自然的交互的同时，也为某种感官受损的用户提供了其他途径的交互方式，从而实现通用设计、无障碍设计。这是未来交互界面的设计方向。
1.1.4人机交互中的设计驱动
“设计”作为人类社会发展进程中自觉性的创造活动，必然会受到社会、经济、技术等多方面因素的影响。~⑤陈志刚,鲁晓波. 大数据背景下信息与交互设计的变革和发展[J]. 包装工程，2015，36(8):  69.在大批量生产的工业化时代，设计通常意在通过物理设计、合理的尺度、质感及造型，以改进人与机器接触时对人的友好反馈，让工业文明的成果更好地造福于人。而在信息社会，尤其是计算机技术的进步，大数据背景下的数字化生产、虚拟设计制造、数字化“操作”等“信息化”的生产生活方式已经成为国民经济的重要组成部分，深入到生活的方方面面。②因此，信息设计推动着以上进步，在互联网、大数据、人工智能的社会发展趋势下，整个设计学科在发生根本性的变革。计算机中非物质的信息成为设计的本体之一，需要建构新的设计理论、设计思维、设计方法和程序，以及设计美学范式和设计评价准则，形成一个适合非物质社会发展趋势的新的设计学科体系。同时，由于设计本身及其服务对象的复杂性，设计的多学科融合成为必然要求。因此，未来设计的重心已经从工业化时代关注有形的产品，过渡到关注“人产品社会环境”之间的“相关关系”。③
而在信息与交互设计的实践层面，其侧重点不再停留于表现层次，而更多的是基于自身艺术形态的特点，从单纯技术性的应用转变成对社会、人文、环境的关怀；从技术理性转向人文感性；从宏观的场景感受过渡到微观的细节体验。信息艺术设计产品改变的不仅仅是人们与社会信息交流和交换的方式，更多的是借助于这些产品或者系统，去感受日常生活中的方方面面，改善人们对于习以为常的生活、工作、学习和娱乐的体验。④
信息设计发展的必然结果是多学科的融合。在跨学科的交叉创新方面，不能抱着工业化时代分工明确的思维，过分重视相互间的接线与差别。⑤徐芳. 交互设计与政府网站信息服务优化研究[J]. 电子政务，2012(112):  2732.而艺术与科学的融合，使二者的便捷变得模糊而不明确胡晓琛. 中国语境下的交互设计研究[J]. 科技传播,2014.，借助网络性的分配模式，促进了艺术和知识的流通，创造了一个知识和艺术的互文结构。陈志刚,鲁晓波. 大数据背景下信息与交互设计的变革和发展[J]. 包装工程,2015,36(8):  69.刘毅. 工作室体系下的交互设计教学初探——以广美交互设计工作室为例[J]. 装饰，2013(239):  143144. 1999年美国学者西多夫提出由“信息设计”“交互设计”“感知设计”三个层面交叉组成的信息与交互设计的概念。陈志刚,鲁晓波. 大数据背景下信息与交互设计的变革和发展[J]. 包装工程，2015，36(8):  69.行为、内容和形式成为交互设计的三要素。
交互设计诞生在工业设计、传达设计、人机交互、认知心理学、人类学和社会学等学科交叉的领域，是一门新兴的、解决如何使用信息化产品的、交叉性很强的设计学科。~⑥吴琼. 交互设计的域与界[J]. 装饰，2010(201):  3437.
作为面向使用设计的学科，交互设计的任务就是设定用户的使用行为，并通过规划信息的内容、结构和呈现方式来引导用户的使用。因此说，行为、内容和形式是交互过程的三个要素，也是交互设计要解决的三个核心问题。其中，行为的序列是交互过程的框架，也决定了交互的模式，是交互设计的核心；内容是交互过程中所提供的功能，包含了具体的信息和信息的组织结构，是交互设计的基础；形式是交互过程实现的依托，包含了视觉、听觉和触觉等界面表现形式，是交互设计的具体内容。⑤
数字技术已经改变了人和产品之间的交互方式，信息时代中交互产品的设计不再是一个以造型为主的活动，不再只是设计出精美或实用的物体，设计应更关注人们使用产品的过程⑥，特别是与虚拟的数字信息的交互过程。最终，以设计的力量影响科技的发展、社会及市场的走向，以及人们的生活方式。
1.2研 究 内 容〖*1〗1.2.1问题的提出本书题目为“面向盲人触觉认知的触觉显示与体验研究”。