人机交互系统

人机交互系统（HCI），又称交互系统、用户界面、人机界面、人机接口等。，是一门研究人、计算机和其他设备之间的通信以最大程度地为人们完成信息管理、服务和处理的技术科学，可以使计算机和其他设备真正成为人们工作、学习和生活的助手。人机交互系统具有鲁棒性、友好性、灵活性和透明性的特点。

人机交互系统是以计算机为基础的系统，由软件系统和硬件系统组成。其中，软件是人机交互系统的核心，相应的硬件系统设备为软件的正常运行提供了基础保障和运行环境。人机交互系统的工作原理是将事物的信息转换为数字信息，然后通过人与人之间的交互获得人与物之间的联系。人机交互系统的关键技术包括触摸屏技术、语音处理技术和体感动作识别技术。到2024年，人机交互的主要类型是语音交互、视觉交互、可穿戴交互、脑电交互和触觉交互。未来，研究如何实现自然、便捷和无处不在的人机交互是现代信息技术和人工智能技术研究的最高目标，也是数学、信息科学、智能科学、神经科学、生理学和心理学的新交叉领域，将引导21世纪初信息和计算机研究的热点方向。

人机交互系统的发展与计算机的发展基本同步，主要经历人工操作与命令行交互、图形用户界面交互和自然人机交互三个阶段。1946年，第一台通用计算机Eniac在美国宾夕法尼亚州诞生。操作员根据不同功能面板上的开关键输入数据。

从20世纪60年代中期到80年代，计算机使用基于键盘的命令行界面。20世纪70年代，施乐公司首次在奥拓计算机中开发出位图像的图形显示技术，为第一代人机界面即WIMP界面奠定了基础。

1984年，苹果将WIMP技术引入微型计算机领域。次年，微软推出了Windows操作系统。此后，直接操作界面和WIMP模式被广泛使用。1995年，利诺伊斯大学开发了“洞穴”虚拟现实系统，实现了身临其境的体验。2006年，以色列PrimeSense公司推出了基于光编码技术的3D传感器PrimeSense。2011年，Tobii推出了一款具有眼球追踪技术的产品，该技术允许用户仅通过眼球运动来控制系统。同年，Culus公司推出了体验良好的头戴式显示设备0cuusRi。从2015年到2022年，随着大量虚拟现实产品的出现，推动了VR技术的发展和创新，同时也在无形中促进了用户体验更好的产品的研发，人机交互也进入了自然人机交互阶段。

1946年，第一台通用计算机——电子数字积分器和计算器（ENIAC）在美国宾夕法尼亚州诞生。Eniac是一台巨大的机器，有30多个控制台。输入是操作员手动打开或关闭计算机上的电路板，输出是电路板上灯的亮度。Eniac中的每个功能仪表都有多个开关，操作员可以根据不同功能面板上的开关键输入数据。20世纪50年代，信息被记录在穿孔卡片上，然后批量输入计算机。当计算机完成处理后，结果以字符终端结合指示灯的形式输出给用户。在计算机输出最终结果之前，用户不能中断计算机的操作进行任何其他形式的输入，因此这种方法也称为批处理。然而，这种方法由于速度慢、稳定性差而逐渐被淘汰。

1956年，麻省理工学院开始使用键盘向计算机输入数据。自20世纪60年代中期以来，大多数计算机都使用基于键盘的命令行界面。用户在指令行界面上键入指令，界面接收指令并将其转换为相应的系统函数。从20世纪70年代到80年代，人们继续采用这种互动模式。众所周知，UNIX、微软DOS和苹果DOS都是通过命令行指令实现的。

20世纪60年代，图形用户界面的出现极大地改变了人机交互的方式。GUI简单易学，键盘操作少，不懂电脑的普通用户也能熟练使用。这增加了用户基础，并使计算机技术得到广泛应用。1963年，斯坦福研究所的科学家恩格尔巴特发明了鼠标。此后，经过不断改进，该鼠标已成功应用于苹果和微软等公司的图形界面系统中。鼠标和键盘一起成为计算机系统中必不可少的输入设备。自20世纪90年代以来，随着全球网络热的升温，鼠标已成为必备的人机交互工具。

20世纪70年代，施乐首次在Alto computer中开发了位图图形显示技术，使开发重叠窗口、弹出菜单和菜单栏成为可能。这些工作奠定了图形用户界面的基础，并形成了基于窗口、图标、菜单和定点设备的第一代人机界面，即WIMP界面。1984年，苹果公司模仿PARC技术开发了新的麦金塔个人电脑，并将WIMP技术引入微型计算机领域。这种基于鼠标和下拉菜单的操作方式和直观的图形界面引发了微机人机界面的历史性变革。1985年，微软推出了Windows操作系统。此后，directmanipulation Interface（DM）和WIMP（窗口、图标、菜单和指针，即窗口、图标、菜单和指示器）得到了广泛应用。与此同时，用户界面管理开始从应用程序功能中分离出来，人机交互的研究重点转向用户中心化设计，所见即所得（WYSIWYC）的概念成为界面设计的流行指导原则。

1972年，诺兰·布什内尔发明了第一台交互式电子游戏Pong，并首次将控制技术应用于人机交互系统。1977年，托拉·德芬蒂和丹尼尔·桑丁开发了一种手套传感器系统SayreClove。用户只需要戴上这种特殊的手套就可以向计算机输入特定的指令。1983年，格里姆斯设计了一种数据手套，可以让计算机获得手的位置和手指的伸展等信息，并最早获得了“数据手套”的专利。1985年，美国国家航空航天局开发了一种LCD光学头戴式显示器，它结合了头部和手部跟踪功能，以实现更身临其境的体验。它主要用于太空作战的模拟训练。1995年，利诺伊斯大学开发了“洞穴”虚拟现实系统，通过三面墙的投影空间和立体液晶快门眼镜实现了身临其境的体验。2002年，日本三洋电机开发了一种不戴眼镜就能观看立体图像的显示器，这种显示器被称为裸眼立体显示器。2020年，MIT数据手套、5DT数据手套、CyberClove等数据手套进入商用领域，并在电子游戏、体能训练和体能康复训练等各种场景中投入使用。

2005年，以色列的PrimeSense公司启动了一个项目，开发能够使数字设备获得现实世界三维感知的技术。次年，该公司推出了基于光编码技术的3D传感器PrimeSense。2006年，任天堂开发了Wii遥控游戏机，使用简单的手持设备来检测控制器在空间中的旋转和移动，并通过这种方式让玩家体验体感游戏中的交互方式。2007年，苹果发布了第一代触摸屏和显示屏同屏的iPhone，标志着人机交互第二次革命的开始。

2010年6月，微软宣布与PrimeSense合作开发的体感交互设备Kinect，这样体感交互就不需要任何手持或可穿戴设备，传感器可以主动感知用户的三维姿势并理解用户的交互意图。这款设备一问世，就打破了消费电子产品最快销售的吉尼斯世界纪录。2011年，Tobii推出了两款具有眼球跟踪技术（跟踪眼球运动）的产品，使用户能够仅使用眼球运动来控制他们的系统。这种眼球追踪技术最早出现在笔记本电脑上，后来它也被应用到可以与PC连接的独立设备上。这项技术已被纳入更多的系统。

2013年2月，Leap公司发布的LeapMotion设备将手势交互提升到了一个新的高度，并通过视觉处理识别徒手交互，推动了虚拟现实的发展速度。同年，Culus公司推出了体验良好的头戴式显示设备0cuusRi。2014年，Faeebook以20亿美元的价格收购了0culus公司及其开发团队，这让VR再次升温，虚拟现实技术迎来了爆发期。

从2015年到2022年，在0cuusRi问世后，HTC与Valve合作推出了Vive，微软推出了HoloLens，谷歌投资了Magic Leap，索尼推出了Play Station VR。各大行业巨头在虚拟现实行业的布局引发了其全球火爆的局面，国内也出现了暴风魔镜、Idealense、3Class 3等一大批虚拟现实设备制造商和内容提供商，推动了VR技术的发展和创新，但也在无形中促进了它的发展。到2022年底，人类常用的自然交互方法研究取得重大成果，包括手写识别、笔式交互、语音识别、语音合成和DigitalInk等。

人机交互的原理是将事物的信息转换为数字信息，然后通过人机交互获得人与事物之间的联系。人与计算机使用一定的对话语言，以一定的交互方式完成具有一定任务的人与计算机之间的信息交换过程。但是，对于事物之间的连接，它还没有大规模部署。主要“瓶颈”在于构建“物物连接”网络的成本较高，技术有待进一步研发。

基本组成

人机交互系统是一个基于计算机的系统，由软件系统和硬件系统组成。其中，软件是人机交互系统的核心，相应的硬件系统设备为软件的正常运行提供了基础保障和运行环境。此外，任何强大的人机交互系统都只是辅助工具，系统的运行离不开系统使用者的创造性思维活动。因此，使用人机交互系统的技术人员也是系统的一部分。软件、硬件和人的有效融合是发挥人机交互系统强大功能的前提。

硬件部分：人机交互的硬件系统通常是指用户可以相互交互的独立硬件环境。人机交互的硬件主要包括主机、输入设备（键盘、鼠标、扫描仪等。）、输出设备（显示器、绘图仪、打印机等）。）、信息存储设备（主要是外部存储器，如硬盘、软盘、光盘等。）、网络设备和多媒体，如下图所示。

软件组成：人机交互系统的软件分为三个层次，即系统软件、支撑软件和应用软件。系统软件是与计算机硬件直接相关的软件，一般由专业软件开发商开发。它起到了扩展计算机功能、合理调度和使用计算机的作用。系统软件有两个特点:第一，它是公共的，它应该用于任何应用领域；二是基础性，各种配套软件和应用软件都需要在系统软件的支持下运行。

互动类型

人机交互系统的典型类型包括语音交互、视觉交互、可穿戴交互和脑电交互。

语音交互：语音交互是通过自然语音或机器合成语音与计算机进行交互的综合技术。通过识别和理解，机器将语音信号转换为相应的文本或命令，人们通过语音与机器进行交流，使机器能够理解用户的交互意图。语音交互是一种高效的交互方式，解放了人们的双手，广泛应用于智能机器人、智能家居、驾驶导航等场合。语音交互的典型产品包括语音助手苹果Siri、谷歌助手和微软Cortana；语音音箱亚马逊Echo、苹果HomePod、谷歌Home、微软Invoke和阿里天猫精灵。

视觉互动：视觉交互是通过拍摄或扫描物理世界中的人和物体来获得数字图像或图像序列，并利用模式识别和机器学习技术来识别其物体的运动。典型应用包括生物识别、计算机视觉、手势识别、人体跟踪、字符识别等。视觉交互的典型产品是谷歌眼镜，它通过智能语音交互功能解放用户的双手，其虚拟显示屏为用户带来全新的视觉体验。

可穿戴交互：可穿戴交互是指可穿戴计算机是一种超微型、可穿戴的人机“最佳组合与协作”。可穿戴交互是通过附着在人体上的微型计算机系统实现的。该系统始终处于工作、待机和可访问状态，增强了人的感知能力，主动感知佩戴者的情况、环境和需求，并独立做出适当的响应，从而弱化“人操作机器”，强化“机器辅助人”。可穿戴交互主要包括智能眼镜、智能手表、智能腕带、智能跑鞋、智能戒指、智能臂带、智能腰带、智能头盔和智能按钮。

脑电图相互作用：脑电交互基于脑电信号分析，可以提供人机交互的直接方式，即依靠人类的脑电波信号来识别并将其翻译为机器的指令。脑电识别和脑电交互将对人机交互产生革命性的影响。脑电交互是人机交互的一个重要方向。在世界范围内，对人脑和类脑的研究引起了极大的关注。2013年，《科学》杂志提出了六个值得关注的科学领域，人脑互联项目就是其中之一。欧盟也启动了人脑工程项目。2013年，欧盟公布了“未来和新兴技术（FET）旗舰项目”竞赛结果。石墨烯和人脑工程从21个候选项目中脱颖而出，获得最终大奖，未来十年将分别获得10亿欧元的科研资助。

触觉互动：触觉交互是指用户用手指或数字笔在触摸屏、图形板或手写板上点击或书写，电子墨水形成的笔迹被识别为书写内容或手势命令。

触摸屏技术

触摸屏技术允许用户通过触摸屏幕输入信息，包括电阻、电容、红外、表面声波等技术。目前，移动终端主要采用电容式技术触摸屏。2018年底，电容技术成为主流。这项技术的历史可以追溯到苹果公司的第一台PDA，它开启了触摸屏在移动终端中的应用，尤其是iPhone的推出，彻底改变了触摸屏技术的应用范围和用户交互方式，使触摸不再局限于简单的点击和滑动，也促进了触摸屏应用的广泛发展。触摸屏技术不仅改变了设备的操作习惯，而且在软件支持和人体工程学方面也有巨大的潜力有待开发。

语音处理技术

语音处理技术可以对移动终端接收到的语音信号进行简单处理，语音拨号和语音控制是移动终端的配置之一。典型的语音处理应用是iPhone的Siri，它可以识别从移动终端接收的语音，并通过网络将信息发送回计算中心进行匹配处理，然后将其发送回移动终端以给用户相应的反馈。

体感动作识别技术

2009年，微软发布了Xbox360的外设Kinect。Kinect可以在没有任何控制器的情况下捕捉玩家在三维空间中的动作并完成指令输入。Kinect使用连续光（近红外）对测量空间的光斑进行编码，通过传感器读取编码后的散射光，然后对其进行解码以生成具有深度的3D图像。然后它对连续的3D图像进行分析，过滤掉干扰噪声，提取人体模型，记录人体动作，并通过机器学习理解用户的肢体动作，最终生成具有20个关节的人体骨架，从而理解人体动作。体感运动识别技术不仅用于运动检测，还可以在细化后解读面部表情、肌肉和唇语，还可以与面部识别技术、虚拟现实结合甚至用于外部环境感知。尽管Kinect对于移动终端来说仍然功耗过大，暂时只能在笔记本中使用，但这并不妨碍它被纳入移动终端的人机交互技术中，体感识别技术也将进入移动终端领域。

人机交互的简化模型：人机交互的简化模型如下图所示。左边的人和右边的电脑在交互过程中形成了一个闭环。左边的人通过特定的输入设备向右边的计算机输入信息，右边的计算机对输入的信息进行一定程度的处理和加工，然后通过特定的输出设备将结果反馈给左边的人。左边的人根据从计算机接收到的信息判断是否执行下一个任务或操作。这个循环形成了一个闭环。

人机交互系统

人机交互的心理模型：今天，人机交互主要是在占主导地位的图形用户界面的帮助下进行的。细化后可以得到如下图所示的人机交互心理模型。到2019年，图形用户界面是人机交互的主要媒介。用户手动操作鼠标或键盘，通过击键或点击向计算机输入信息。计算机系统收到信息后进行处理，并反馈和输出不同形式的多媒体内容，如文本、图形、图像、音频、视频、动画等。通过界面上的窗口、图标、菜单等载体传递给用户。用户通过眼睛和耳朵等不同渠道感知计算机的输出信息，并在大脑中对信息进行加工和处理。

人机交互的信息流模型：人机交互的信息处理模型如下图所示。在人机信息交换过程中，左边的人和右边的计算机构成了两个独立的认知主体，人机界面起到了媒介的作用。从仿生学的角度来看，右边计算机的信息感知、认知和处理过程实际上是在模拟左边人的信息感知、认知和处理过程。该人机交互信息流模型可用于指导人机交互系统和界面的设计。