人与数字世界的交互巨变

互联网时代，电脑是计算平台的核心，而鼠标和键盘作为互联网第一代交互方式，曾彻底引燃了电脑时代。到了移动互联网时代，智能手机开始站上计算平台的核心位置，多点触摸操作成为第二代革命性交互方式的标志。

交互方式从一维的按键、点击交互，演变到了二维的多点触摸交互。我们看到，正在迈向的万物互联数字世界，三维多模交互手段必将在新的计算平台XR（AR/VR/MR的统称）中扮演极其重要的角色，为智能世界打造极致的超现实用户体验。如果说，Windows系统的图形化界面把人们从Dos系统下解放出来，用更符合直觉和人性的方法让人们对电脑进行操作是一次新技术的跨越的话，多模交互超现实体验则是另外一次意义更为深远的腾跃。网络和电脑技术，终于使得数字世界和现实世界全面融合，人类升级为真正意义上的数位人。

实现超现实体验的前提是什么？

多模交互的超现实体验，需要虚拟世界与真实世界的无缝融合，并能够准确感知、还原世界，在虚实结合的混合现实世界中理解用户的意图。此外，多模交互需要打通视觉、听觉、触觉、嗅觉等多种感官体验，实现人与成千上万种边缘设备之间的交互。为实现这个目标，需要将用户所处的整体环境作为一个超级数字世界来对待，依托语言、肢体、触觉、光感、脑机、表情、意识等，进行信息采集和传输，并识别用户意图、再通过裸眼3D、全息投影、AR眼镜、数字嗅觉和数字触觉等科技呈现给用户，从而实现超现实的交互体验。

在超现实体验里，传统的鼠标、键盘和多点触摸交互已经无法满足XR设备的交互要求。简单的说，在没有实体屏幕和物理控制设备的前提下，人类无法在一个虚拟三维环境里，通过简单的键盘、鼠标或多点触摸来完成复杂的命令输出。以手势操控为例，终端设备需要捕捉到三维空间内手指的动作，同时完成对时间和空间的判断，并同步发出指令以完成用户的意图。终端设备还必须清晰判断出用户发出的语音指令，甚至根据用户的行为习惯来判断用户的下一步意图是什么。这种交互方式，就是我们常说的本能交互--最大化以用户心智模型出发，使用共识或易学、易用的操作，让用户少点思考、少点疑惑、少点反复。

真正的挑战来了

虽然超现实体验未来可期，但现有的交互设备和交互环境，还不能实现较高的操作精度，面向一般消费者的产品，仍然需要技术和商业上的不断突破。

- 面向移动

对移动位置的控制来说，设备需要完成用户在三维空间上的原始解放。置身于近乎无限的在虚拟空间中，用户可以在虚拟的三维空间中不受任何限制的移动。这种不受限的行动，虽然使用户的感官上已经从现实世界里脱离了出来，但自身仍然无法脱离物理世界。绝对的行动自由，是对环境规则的否定。所以物理世界与数字世界仍然需要进一步的融合，才能让用户摆脱现实世界的束缚真正进入虚拟世界里去。这种融合的前提是：通过一种外部的框架来实现的支撑和随动。

- 面向手部操作

用户的手部操作一般占日常整体动作的八成以上，如果没有精准的手部动作捕捉、特征追踪、动作识别、空间定位系统，整个基于手部的操作环境都难以建立。手部操作的功能性体现在终端的业务执行；手部操作表达性体现在窗口文字内容输出；手部操作的社交性体现在肢体语言上，由手势和肢体动作共同构成。

因此，手部交互设备除了要符合以上的基础条件之外还要遵循轻量级、可拓展、开放性强等特点。

- 面向数据输入

从某种程度上来说，XR是人类真正数据化自身的开始。在这个起点，用户的一切行为都可以被数据采集。同时，数据监测的范围也有效扩大了，可以预见，未来一定是行为心理学和统计学的胜利。除去用户肢体行为形成的数据，用户在任何位置的停留、视觉选择、手部操作，都可以成为用户个人数据的采集范畴。而当务之急，能否形成一套基于动作、语言的数据输入交互系统，对现阶段继续有效推进XR发展演进具有重要意义。有了高效的数据输入系统，用户才能提高表达效率，高效的输入意味着用户可以遵循更加可靠的输入交互逻辑。

写在最后

MR(混合现实)、VR(虚拟现实)、AR（增强现实）是构成未来数字世界的三个重要组织部分。依托新的计算平台以及更先进的5G/6G技术，物理世界与虚拟数字世界的界限在不断模糊，而XR技术的发展带给从业者巨大的发展机遇和前所未有的挑战。

展锐作为数字世界的生态承载者，数字世界底层建筑的构建者，担负着构建未来数字世界底座的重任。在多模交互领域，展锐的智能手机平台通过Sensor Hub传感器系统，支持手势操作、体感动作、面部动作等多种交互模式。另外，展锐在语音识别、语义理解、多语言系统等自然语言处理方面也有深度布局。基于展锐芯的终端品类从手机、平板手表、翻译笔等，不断向更丰富的物联网领域扩展。在5G、短距连接、高性能计算平台等创新成果的基础上，展锐正在不断突破边界，向更广阔的空间探索……

人与数字世界的交互巨变相关推荐

系统，工具，源码，语言组成的数字世界-2021-
最近一些时间,主要阅读代码,包括题中所涉及的,常常思考"0"和"1"的奇妙之处,但无奈过于愚钝,未能开悟. 几乎所有现实中的人,沉溺于数字产品的时间越来越久,无 ...
3D数据---未来数字世界的物质基础
技术的发展历来遵循解放生产力.提高生产力的基本原则,不断拓展人类视觉.听觉和各项生理机能,人机交互也向更直观.更简洁.更本能的方向发展.在元宇宙科技浪潮的推动下,人类已经进入到数字世界与真实物理世 ...
数字世界里的足球——数研院探索多智能体足球AI并取得新突破
世界杯终于回来了,经历了疫情的三年时光,全世界的球迷都尤其期盼着这个也许是人类历史上意义仅次于1948年伦敦奥运会的盛大赛事--2022卡塔尔世界杯. 1863年,英国足球协会在伦敦正式成立,标志着真 ...
开放数字世界中的复杂图数据挑战 —— 以教育与开源场景为例
摘要:开源开放的数字世界开始成为时代的潮流,云原生.数据中台.智能PRA开始成为数字世界中的新一代中流砥柱.随着第四范式的普遍流行,各个行业中的数字化转型都会带了海量的具有无限关联的复杂图数据.本报告 ...
把数字世界带入每一辆车的华为
作者:中国软件网陈杨校对:中国软件网赵满满 2017年5月,浙江桐乡,随着AlphaGo以3:0大胜世界围棋冠军柯洁,人工智能一词真正进入普罗大众的视野.时隔半年后,华为确定了公司新的愿景:把数 ...
连接物理和数字世界，以数据驱动企业持续增长
数字化转型变得重要且紧急数据驱动型企业的概念以数据生产要素驱动经营管理,实现持续增长和创新发展从农业经济到工业经济,生产要素经历了由土地.劳动力向资本.技术及管理等的演进.数字经济时代催生了以大 ...
携手数字人、数字空间、XR平台，阿里云与伙伴共同建设“新视界”
引言:2022年互联网行业里XR.数字孪生.虚拟现实等领域再次"翻红".新旧概念频出,不少人相信这些技术将给当下的互联网行业乃至传统行业带来翻天覆地的变化.虽然XR的应用场景广泛, ...
IOT数字世界价值论（上）
世界初始,鸿蒙未判,混沌初开.......随着世界诞生并且缓慢而又漫长的演化发展,生物产生并从生物世界进化到生命世界后,在一定的机缘和条件下就产生出了文明.在文明逐步从低级向高级演进的进程中,会经历不 ...
在数字世界复刻现实：与5G同频共振的XR远景
"新基建"一锤定音,5G也争分夺秒地向现实世界中加速涌来. 正如华为中国区副总裁董明在"5G创造新价值"产业高峰论坛上所说,联接的密度乘以计算的精度,正相关于数 ...

人与数字世界的交互巨变

人与数字世界的交互巨变相关推荐

最新文章

热门文章