: 人机交互模式的应用 ----初探 3D 全息影像技术在展示空间 中的价值 学 院

: 服装 ? 艺术设计学院 专 业

: 会展技术与艺术 0801 姓 名

: 卫梦婷 学 号

: 080670114 指 导 教

师 : 唐强

2012 年 04月 20日

(会展艺术与技术)

人机交互模式的应用

----初探 3D 全息影像技术在展示空间中的价值

摘要

“水晶宫”迎来了经济、科技与文化界的“奥林匹克”盛会,同时也实现了 商品信息交流方式质的飞跃。展示空间成为了经济贸易相互交流与合作的纽带, 也是科学技术及文化宣传的窗口,在当今社会、 信息、 商业等领域中扮演着其它 行业或媒体不可替代的角色。 展示空间是信息传递的终端表现形式之一, 并随着 时代发展而不断衍生出新的表现模式。 正是由于这样的发展趋势, 决定了展示行 业将要发生的变化。

随着互联网和移动互联技术作为载体,人机交互模式逐渐成为一种被人们 所青睐的展示形式。 3D 全息影像技术作为人机交互模式的一大特色之一已经逐 步在展示空间中得到越来越多的运用。 人们交互体验的重心正慢慢偏移, 不再满 足于从前的普通影像技术,而是对科技的, 未来的, 能带来新奇感的技术充满幻 想。 3D 全息影像技术切实的结合了人类的感官需求,同时又能够依靠简单的环 境条件,增添展示的趣味性、科技性、功能性和展示形式的丰富度。可见这种展 示形式是值得探讨的,它将成为时代的革新。

而在这个思想的基础上,我们更需要去挖掘人机交互模式、展示空间与体 验者三者之间的深层联系,使得人机交互模式展示真正实现其价值。

关键词:人机交互, 3D 全息影像技术,展示空间的丰富度,感官需求 , 多元化

The application of interactive mode

—— Research on the value of 3D holographic technology in display space

ABSTRACT

“ Crystal Palace ” in economy, science, technology and cultural has enormous influence just like “ Olympic ” event, but also the realization of the commodity information exchange way qualitative leap. Exhibition space has become the link of economic and trade mutual exchanges and cooperation, but also scientific and technological and cultural propaganda window. In today's society, information, business and other fields play in other industries or media irreplaceable role. Exhibition space is a messaging terminal and one of the forms of expression. And with the development of the times, more and more new performance pattern were be constantly created. It is because of this trend, determines the display industry will change a lot.

With the advent of the Internet and mobile Internet technology as the carrier, man-machine interaction mode has gradually become a kind of people favored display form. 3D holographic imaging technology as a large interactive mode features has already gradually in the exhibition space to obtain more and more utilization. The interactive experience’s center of gravity is slowly offset. No longer satisfied with the former common imaging technology, but science and technology, future, can bring

novelty technology full of fantasy. 3D holographic imaging technology has combined of the human senses, but also can depend on environmental conditions, show interest, science and technology, functional and display form richness. The form of exhibition is worth exploring, it will become the era of innovation.

And on the basis of the thought, we need to tap human-computer interaction mode, exhibition space and experience the three forms’ deep link, make human-computer interaction mode display truly realize its value.

Key words: Human-computer interaction

3D holographic imaging technology

The exhibition space of the richness

Sensory needs

Diversification

目 录

1. 绪论 . ............................................................ 6 1.1 引言 . ........................................................ 6 1.2 目前国内外 3D 全息影像技术的现状 . ............................. 6

1.3 课题研究内容及创新点 . ........................................ 7

2. 3D全息影像技术的概念 ............................................ 8 2.1 3D全息影像技术的定义 . ....................................... 8 2.1.1 3D全息影像技术的应用范围 .............................. 8

2.1.2 3D全息影像技术的特点及利弊 ............................ 9

3. 3D全息影像技术在展示空间中的趋势定位 ........................... 10 3.1 融合 3D 全息影像技术的展示空间与传统展示空间的区别 .......... 10 3.1.1 现阶段 3D 全息影像技术在展示空间中可实现的效果 . ........ 11 3.2 3D全息影像技术在展示空间中的作用 . .......................... 12 3.2.1 人们对于交互体验的需求 . ............................... 12 3.2.2 3D全息影像技术为人们带来的交互体验 ................... 13 3.3 3D全息影像技术的多元化融合对于展示空间的意义及方式探讨 . .... 13 3.3.1 对于 3D 全息影像技术进行多元化融合的必要性思考 . ........ 14 3.3.2 3D全息影像技术在展示空间资源上的整合 ................. 14

3.3.3 技术重组——实现展示空间效果多样化、功能多元化 ...... 15

4. 3D全息影像技术在社会文化领域的应用前景 ......................... 15 4.1 促使 3D 全息影像技术扩大应用范围的思考 ...................... 16 4.2 在社会文化领域中推广 3D 全息影像技术的意义 . .................. 16 总结 . .............................................................. 17 致谢 . .............................................................. 18 参考文献 . .......................................................... 19

1绪论

1.1 引言

随着科技的不断发展,信息时代逐渐走向巅峰。科学技术的巨大进步,工 业生产的迅速发展, 不仅使企业的规模越来越大, 还直接导致了经济全球化浪潮 扑面袭来。 人们的物质文化生活水平的转变,消费观念的转变, 都是使得新兴的 科技,新兴的产品得以生存和发展。近年来,政府也提出了一切“以人为本”的 政策方针,以及对可持续发展理念的期望。

这种种的转变,无一不说明了未来中国经济的发展,这种发展的趋势要求 未来的设计需要能够满足社会变化的进程,有利于社会,产业的良性健康发展, 切实满足人们的需求。 而作为在第三产业的展览行业, 实际上这样的变化也将势 在必行。

展览行业的迅速发展是迅速适应社会各界需求的最好证明。这一领域时时 刻刻受到新的艺术思潮的影像, 现代的展示可以做到在轻松愉悦中, 将随性自由 的艺术与变化万千的技术结合在一起, 从而拓展了展示固有的认知界限。 而这一 切的变化无疑在一定程度上释放了我们的未知经验。

此中的一项经验,值得一提的就是将 3D 全息影像技术在展示中的应用以及 它所能够实现的效果与人们的需求相结合而产生的人机交互的展示模式。 这种模 式在展览行业的舞台上展露头脚的那天, 我们便预知到这种将传统空间转换为新 奇互动空间的模式将带来一个时代的革新。

1.2目前国内外 3D 全息影像技术的现状

随着国内会展业的逐步发展和会展运作水平的逐渐提高,通过观察和实践, 对会展的认识也趋于科学化。

早在激光出现以前,伽伯为了提高电子显微镜的分辨本领而提出了全息的 概念,并开始全息照相的研究工作。 1960年以后出现了激光,为全息照相提供 了一个高亮度高度相干的光源, 从此以后全息照相技术进入一个崭新的阶段。 相 继出现了多种全息的方法,不断开辟全息应用的新领域。在国外,通过 3D 全息

影像技术而实现人机交互这样一种模式的应用已经形成了许多多样化的形式。 对于国内研究领域而言,这种模式则是一个较为新兴的研究领域。它是伴 随着人类活动越来越全球化, 越来越密切, 越来越注重需求而产生的一种新的行 为模式和思维方式。

目前国内最常见的 3D 全息影像技术,基本停留在瞬间展示,或者是小范围 的展示方式, 这两种方式在一定程度上丰富了我们现有的展示方式, 加强了展示 的丰富度,扩大了产品的宣传范围。但国内的研究领域只是在一个探索的阶段。 一方面要考虑这种展示模式如何满足不断变化的社会环境和人们的需求; 另一方 面这种展示模式受到客观环境的约束,如空间, 光线等方面的局限, 同时在形式 上也不够多元化。这不仅仅是理论支持的匮乏,同样也是实际经验的缺失。

1.3 课题研究内容及创新点

本课题对 3D 全息影像技术如何结合实际形势中其他的新兴技术,在展示空 间中得到更好的应用及起到更佳的效果进行分析以及对于新型的人机交互体验 模式所产生的效果进行探讨。 讨论其在未来的展示设计领域里可以被借鉴和参考。 从内在根本上挖掘人机交互模式的意义, 从其为人们带来的全新感官体验是否可 运用于别的领域以及未来发展的趋势的探究出发, 围绕其最终目的, 进行符合其 特征及规律的融合与再创造。

同时,加强展示空间与社会文化环境的联系性,增强其文化内涵及精神内 涵, 从外在到内涵都能够切实的做到对现有资源的有效利用, 寻找到一个能够让 3D 全息影像技术更好的被应用与各种不同的环境中,发挥其积极作用的人机交 互模式。 更多的为人们的需求, 社会环境的需求出发, 使得将来的展示方式不仅 仅是视觉上的新奇体验,更加从展示功能, 展示内容上达到亲近人们的感官, 融 合展示环境的作用。

对于如何实现这种新型的交互模式展示方式,其中技术的融合,现有结构 的改良的方式都是我们可以探讨的方向, 而作为一个目前在国内尚不成熟同时又 符合社会发展方向的领域,交互体验的展示模式与发展值得我们更深入的探讨。

23D 全息影像技术的概念

人们通常广义的理解中,由于位置的偏差导致视觉立体的即使 3D 全息影像 技术,其实并不然。

2.1 3D全息影像技术的定义

3D 全息投影技术是全息摄影技术的逆向展示,本质上是通过在空气或者特 殊的立体镜片上形成立体的影像。 不同于平面银幕投影仅仅在二维表面通过透视、 阴影等效果实现立体感,全息投影技术是真正呈现 3D 的影像,可以从 360°的 任何角度观看影像的不同侧面。 换句话说, 人们观看全息像时会得到与观看原物 时完全相同的视觉效果,其中包括各种位置视差,这也是 3D 全息影像技术的原 理。

2.1.1 3D全息影像技术的应用范围

在生活中,也常常能看到全息影像技术的运用。比如,把一些珍贵的文物 用这项技术拍摄下来,展出时可以真实地立体再现文物,供参观者欣赏, 而原物 妥善保存,防失窃,大型全息图既可展示轿车、卫星以及各种三维广告,亦可采 用脉冲全息术再现人物肖像、 结婚纪念照。 小型全息图可以戴在颈项上形成美丽 装饰,它可再现人们喜爱的动物,多彩的花朵与蝴蝶等。

如大家所熟悉的, 3D 全息影像技术在立体电影、电视、展览等常见的展示 形式中被广泛应用。但其应用范围其实是可被拓展的,如显微术、投影光刻、军 事侦察监视、保存珍贵的历史文物、艺术品、信息存储、遥感,研究和记录物理 状态变化极快的瞬时现象、瞬时过程等,它可在各个方面获得广泛应用。

3D 全息投影技术突破了传统声、光、电局限,将美轮美奂的画面带到观众 面前,给人一种虚拟与现实并存的双重世界感觉。无疑,未来 3D 全息投影技术 市场发展潜力将是无可估量的。

2.1.2 3D全息影像技术的特点及利弊

3D 全息投影技术实现了与观众的互动,成功将影像与实物结合,给人一种完 美的立体体验。 它无需配戴眼镜便可以看到立体的虚拟画面。 具有强烈的纵深感, 使画面真假难辩。 3D 全息影像技术的传播力强,传播范围广,且富有趣味性。 但事实上,它也受诸多客观环境所约束。开放的明亮空间则是 3D 全息投影 技术实现的弊端。开放的明亮空间无法提供 3D 全息投影技术实现的光环境。巨 大的光亮给影像造成无法实现的必要因素之一便是光害。 要避免这一问题, 便要 求 3D 全息投影技术要在一个相对封闭或者光线较弱的环境下实现。这便一定程 度上缩减了 3D 全息投影技术的应用范围。

33D 全息影像技术在展示空间中的趋势定位

人类社会的发展和文明的进步促进了会展中心的兴起。 如今, 展示业的发展 已经不仅限于自身行业, 它已作为整个会展行业乃至会展经济链条中的重要环节, 带动着当地经济文化的发展。 而展示空间正扮演着这行业中的主角。 从总体上讲, 展示空间是一种人为的空间。 由于是供众多人进行观览、 欣赏与贸易交流的场所, 所以具有公共空间的共同特点。 但由于展示目的的多元化,展品类别、 展出形式 的多样化,展示空间又具有灵活多样的组合变化特征——不拘一格,多姿多彩。 展示空间借助于实物陈列、道具、灯光、音像等综合媒介来有效地传递信息,因 此,展示空间的实质是在于人与人、人与物、 人与社会之间营造出彼此交往的场 地空间环境。

在诸多的媒介中, 3D 全息影像技术是近年来兴起的一种独特的表现形式。 3D 全息影像技术给设计师们提供了一个全新的本领去展现自我情感,传播品牌 文化的渠道。 展示空间作为引领时尚潮流的趋势体现, 未来的展现空间也一定用 其最先进的本领去迎合市场的变化。

3.1融合 3D 全息影像技术的展示空间与传统展示空间的区别

展现空间也跟随时代的发展而进行更新换代。 传统的展现空间是经过联合风 格特征对产品,灯光,音乐,海报,通道进行相关系列有意识的规划,应用陈设 装饰和商品展现本领, 让商品在一定范围的可行空间内最大价值化。 使用玻璃橱 柜展示新产品,已经陈旧过时, 也失去了对观众的吸引力。高强度的依附设计来 弥补展示空间。 相比以往的展现, 灯光, 陈设, 结构是展现空间的三大基本要素, 但究其根源都是针对商品。

现代商业产品包含的内容越来越丰富, 商家需要告知给大众消费者的信息同 样也要增加,显然普通的展示空间已经不能满足各项人群的需求。

3D全息影像技术,是一种全新的展示手段。它通过动态的空间演示,更全面 的诠释产品, 尤其是在展会这一平台。 人们看到的栩栩如生的产品动态影像是虚

拟的,这种看得见摸不到的感受对于他们来说是奇妙的。当配以声、光、电,展 示效果更加惟妙惟肖。

由此可见,传统空间表现形式的局限性将彻底被融合 3D 全息影像技术的新 展示空间而突破。

3.1.1 现阶段 3D 全息影像技术在展示空间中可实现的效果

考虑到 3D 全息影像技术对展示空间的要求,人们把焦点转向了其在展示空 间中可实现的效果。

2010年 4月,英国著名品牌 Burberry 的创意总监 Christopher Bailey主 导了 Burberry 品牌有史以来最具技术创新精神的活动, 采用户外立体 3D 全息影 像技术将 Burberry 的走秀舞台延伸为一场叹为观止的视觉盛宴,灯光,音乐, 场地的巧妙联合, 3D 全息影像的魅力让整个秀场别出心裁,看似完整的一场时 装秀, 从头至尾为有六位模特, 其余全部由虚拟的 3D 全息影像技术, 用环景 360°的投影创造一个完全亲自到了那个境地的品牌体验。 现场目眩神迷的音乐, 伸展 台上的模特在相互交错的瞬间,迸发出纷纷白雪,而又随即变装大步向前; 接着 又使出摄影定格画面,一切都在真实与虚拟中交替变化,栩栩如生。

就在前不久,英国经典品牌 Alfred Dunhill在 Silver Hall举办了一场别 开生面的秋冬时装大秀。此次男装秀的呈现方式,打破了一般既定模式,利用 3D 全息影像技术将一年四季的气候更迭浓缩于一日之中,透过 64位男模以静态 呈现视觉,而值得一提的是,随着 3D 动画的起伏变化,秀场上特地喷洒了如雨 后般的特调气味,让整场时装秀在视觉、 听觉及嗅觉上, 皆充分的给观众带来了 强烈的刺激与震撼感。

以上无一不说明 3D 全息影像技术的巧妙运用将给整个展示锦上添花。展示 行业已经嗅到了这块巨大的潜在市场。全新的 3D 全息影像技术解决了传统立体 影像的诸多瑕疵,色彩艳丽、细节清晰、立体感强,让人看到的是一个完美真实 身临其境的现场画面, 而不是早期立体影像刻意营造空间感又有缺憾的画面。 对 于观众而言, 3D 全息影像技术可实现的立体画面所带来的视觉冲击力和真实观 感更容易获得认可, 尤其是年轻一代的人群更积极愿意成为这一新技术应用发展 的追随者。

Burberry 秀

Dunhill 秀

3.23D 全息影像技术在展示空间中的作用

通过 3D 全息影像来进行展示能表现出鲜明的个性, 创造新闻与舆论的焦点, 使各种媒体争相报道,并结合自身的宣传手段形成整体广告效果。成功的 3D 全 息影像展示空间能有效地宣传自身形象,促进交流,增强产品向社会渗透力, 当 然最重要的是增强了人们的体验感。

3.2.1 人们对于交互体验的需求

体验就是一种创造难忘的经历的活动, 在商业上是企业以服务为舞台、 商品 为道具, 围绕消费者创造值得消费者记忆的活动。 一旦这种活动成为经济活动的 中心, 体验经济时代就到来了。 体验经济理论的出发点是人们需求变化的新趋势。 体验需求, 是消费者通过亲身体验和感受来认知商品并决定接受与否的一种市场 需求。体验需求是人类进步的标志, 是社会经济发展到一定阶段的必然产物。 在 生产力水平低下、消费者购买力十分有限的条件下,人们最关心的是满足温饱, 而无心去体会感受。在短缺经济条件下, 人们追求的是能够买到商品, 实现商品 数量的满足,而不可能有体验的需求。

从消费目标上来讲,从注重产品本身向注重产品感受转移进入新经济时代, 随着物质生活条件的根本性改变, 生活水平的极大提高, 人们的消费观念发生了 巨大变化, 消费追求的目标正在从传统的注重产品本身向注重接受产品时的感受 转移。人们不再更多地注重产品的消费结果,而是更多地注重产品的消费过程。 例如, 在休闲业, 消费者从过去的观光旅游逐渐变为体验旅游, 像野外生存训练、 挑战极限等都受到人们的青睐。 人们消费目标的变化, 预示消费者产品消费方式 将发生重大变革,向企业提出了严峻挑战:在产品经营上, 仅满足于消费者的生 理需要, 即物有所值已经远远不够了。 还必须保证消费者在产品消费的全过程获 得最大的心理满足。 这实际上向产品提出了更高的要求, 是以人为核心的现代营 销理念的进一步深化和拓展。

从产品接受方式上来说, 人们不再满足企业的诱导和操纵, 而要求直接参与 设计和制造支付能力的增强和文化素质的提高, 是消费者产生这一欲望的根本原 因。 人们越来越希望和企业一起按照自己的新的生活意识和消费需求开发能与其 产生共鸣的“生活共感型” 产品, 开拓反应消费者创造新的生活价值观和生活方 式的 “生活共创型” 市场。 在这一过程中, 人们充分发挥自身的想象力和创造力, 积极主动地参与产品的设计、 制造和再加工。 通过创造性消费来体现独特的个性、 自身价值,进而获得更大的成就感和满足感。这足以证明紧紧抓住交互这一点, 并有效利用这一需求趋势的极端重要性和必要性。

10年日本世嘉公司举办了一场名为 “初音未来日的感谢祭” “初音之日” (Miku's Day)的初音未来全息影像演唱会。这场演唱会使得初音未来成为

第一个使用全息影像技术举办演唱会的虚拟偶像。演唱会异常火爆, 2500张演唱会门票在瞬间被抢购一空,演唱日当晚更有超过 3万名忠实拥簇者 通过付费网络直播观看了整场演唱会。当 3D 虚拟人物的完美出场的那一刻 引起全场欢呼。显然,在当代社会,生产力迅速发展并有了极大提高,人们生 活有了极大改善,社会产品空前丰富,人们对于交互体验的需求也极度膨胀。 交 互体验需求便成了一种不可或缺的考虑因素。

初音未来全息影像演唱会现场

3.2.2 3D全息影像技术为人们带来的交互体验

3D 全息影像技术的发展是注重了人与物之间的交互性与体验性。这里的交 互性是指人与社会交往活动。 体验性只是一种纯主观的用户应用一个产品的整个 过程中创建起来的心理体会。人们体验主要由四种原因构成,印象即感官, 功能 性,应用性,内容。这些原因相互关联,不行分割,体验后的印象最后归结为一 个品牌的形象和文化。如今人们的消费已经不再是限制于商品本身的应用价值, 而是注重物质背面带来的附加值,如标记价值,精神价值,娱乐价值等等。苹果 公司的旗舰店摆放着各类苹果最新产品, 整个店铺空间销售区域设计仅占十分之 一不到, 顾客的产品体验环节是旗舰店所要创建的重要部分。 曾经的产品介绍环

节由以往商家的主动变更为被动。随着 3D 全息影像技术的产生及发展,这一种 特殊的被动介绍形式使人们真正从感官上, 情感表现上去进行体验。 而这种形式 才是适应了人们的根本需求及社会要求的产物。

纽约第五大道苹果旗舰店

3.3 3D全息影像技术的多元化融合对于展示空间的意义及方式探讨 如何使 3D 全息影像从技术上更多元化的融合,使在这种新的时代特征的召 唤下的展示方式得到了愈加广泛的应用成了我们所需要探讨的问题。

展示空间离不开它所处的时代, 以计算机, 网络为特征的信息产品正在越来

越多地改变着我们的生活方式。 电脑微型处理器的运用, 解放了机械化时代对产 品形式的束缚,从而使得信息助力手段更加多元化,形成 “图像→文字→三维环 境→虚拟展示”等多种手段并存。由于文字图像很难说明事物变化的动态过程, 以前人们可以采用三维环境的方式, 制作一个现实的实体, 来表现运动着的事物 变化。其表现虽然很充分,但要受到空间、时间、材料、加工工艺的诸多限制。 借助于当今快速发展的 3D 全息影像技术,人们可以在模拟的三维环境中感 受身临其境的环境体验。 将其应用到我们的展示中, 进而创造出更具有时代感的 空间。如使用或操纵某个系统中的某一对象,亦可同时感受到听觉、触觉、嗅觉

的多媒体功能。 这不仅从功能上对展示空间进行了释放, 同时也从资源上对展示 空间进行了整合。如可口可乐 3D 展柜利用绚丽的视觉效果,强烈的刺激着感官 的每根神经。越来越注重人们的丰富内心层次和传达的互动展示效果。

全息影像技术应用于媒体报道, 商业橱窗展示等领域, 充分发挥了立体影像 显示的优势。而未来, 全息影像技术将会在我们的生活中更为普及。而现今许多 高科技的技术层出不穷,当今流行的 3D 互动虚拟技术主要由三个方面组成:3D 科技、增强现实、体感技术。这三大科技领域的集合,加上互联网和移动互联技 术作为载体,成为了 3D 互动虚拟技术的商业化的关键。

可口可乐 3D 展柜

3.3.1 对于 3D 全息影像技术进行多元化融合的必要性思考 我们为什么要对 3D 全息影像技术进行多元化的融合?这是因为,随着人们 逐渐不满足普通的 3D 立体成像带来的视觉效果,以及更多的数字全息技术和成 像介质的研究成果的出现, 一批利用数字全息技术的产品, 并在各行业得到了广 泛应用。

如类似于“

3D

虚拟互动试衣间”这样的产品出现,预示着 3d 虚拟技术慢慢 延伸至民用服务领域。因为它真正集成了 3D 科技、增强现实、体感技术三大核 心领域,让使用者对于购物有了更真实、更直观、更便捷的切身感,以自然之手 势动作, 可以轻易的替换出不同的服装, 达成十分良好的用户体验, 从而提高购 物效率、 提升客户满意度。显然, 在互联网的推波助澜和移动互联的大普及的背 景下,经过多重技术融合后的展示技术对人们更具有吸引力。

3D 虚拟互动试衣间

3.3.23D 全息影像技术在展示空间资源上的整合

好的展示空间就是能合理运用空间上的资源,尽可能的创造出一个功能性 和美学都令人满意的空间。 对空间的合理规划随着科学技术的发展便有了更高的 要求。

众所周知,时间、材料、工艺等因素都会影响一个展示空间所需要呈现的 效果。但随着 3D 全息影像技术的出现,如何从空间、视觉等方面来进行产品的 展示将不再是一个难题。 它能巧妙的与任何空间中所需展示的东西融合, 并且能

够创造出适应人们感官的影像。 当别人还在运用海报, 灯光等造成大量成本浪费 的物料时, 全息影像技术便能形成鲜明的对比, 它的可反复利用占据了很大程度 的优势。

在我们的展示空间可以达到的范围内,使得其内容丰富,除了满足展示形 式的丰富外, 同时也是一种空间资源的节约, 我们可以减少在这些空间规划上的 付出和投入,将 3D 全息影像技术有机的结合进一个展示空间,便可实现效益的 最大化。

3.3.3 技术重组——实现展示空间效果多样化、功能多元化

要实现展示空间的效果多样化,功能多元化,我们则需要将 3D 全息影像技 术与其他技术重组的方法。这里所说的重组, 基本为技术上的叠加。 是使各项技 术的特点充分展现, 这种重组的有点在于能使展示达到更好的效果以及空间具有 更多的功能。可以说是 3D 全息影像技术在今后的发展道路上必经之途。如之前 提到的三大核心领域之一的体感技术。体感技术结合了世界上最先进的 MEMS 加 速度 /角速度检测技术, 地磁感应技术, 红外深度图像追踪识别技术, 模式识别, 图像处理及人脸识别技术,不仅可以准确识别多人的头,胳膊,腰,腿部,或者 全身运动大范围的三维空间的移动方式, 判定移动速度和追踪运动轨迹, 而且可 以在 360°的范围内精确识别到个体手臂和手腕的包括旋转在内的全方位运动方 式和追踪运动轨迹。而且在商业化应用实现上,也具有成本低,实现简单,实时 性强, 对系统资源要求低和适应于不同层次的模块化结构等特点。 这是一种在基 础阶段需要精心设计和规划的展示模式, 但是在空间中却可以发挥极大的能动性, 起到良好的效果。

43D 全息影像技术在社会文化领域的应用前景 我们总以为, 3D 全息影像技术是展示行业里的专利,其实并不然。 3D 全息 影像技术已经在很多领域颇有成效。比如医疗领域,医生可以利用该技术, 轻易 地进行手术部位的精确定位;而军事领域, 则用其进行方位的识别, 获得目前所 在地点的地理数据等重要军事数据。 让其在社会文化领域如何更充分的被应用是 值得我们关注的。

4.1 促使 3D 全息影像技术扩大应用范围的思考

在我们将来的日常生活中, 3D 全息影像将是触手可及的技术。如我们熟悉 的汽车。带全息影像系统的汽车“全息座舱”是已经被提出的概念,它带你感受 新的科技力量。 车内所拥有的智能化多功能显示系统和智能化绿色节能辅助系统 组成的高科技智能界面、数字式多层次仪表盘、 3辐多功能运动型方向盘、包裹 式座椅和环绕式中控台。驾驶者不仅在发动机启动前就能感到赏心悦目, “智能 化多功能显示系统”在显示车辆状况、时钟、油耗等车辆信息外,还能显示家人 的照片、通过多元化的接口,与 AUX 、 iPod 、 CD 、 USB 和蓝牙系统连接全息立体 影像,在屏幕中可以清晰显示娱乐信息, 甚至起到倒车影像显示仪的作用。 可以

说,这样一个 3D

全息影像所形成的驾驶座舱,将智能、科技与人性化设计实现

了近乎完美的结合, 所有的行车信息都被高度整合呈现在眼前, 所有操作都唾手 可得。

大范围且直观化的传播方式可以弥补传统的公共文化空间的不足, 使得公共 文化的传播更深入社会生活。由此可见,这种 3D 全息影像技术展示的方式是适 应国内公共文化产业发展,人民群众的需求得到满足的新选择。

车前玻璃 3D全息影像导航

4.2在社会文化领域中推广 3D 全息影像技术的意义

在社会物质财富大发展大繁荣、而精神被抑制的今天, 3D 全息影像技术对 推动社会文化的发展有着重要的意义。显然 3D 全息影像技术是回归到人们的根 本的需求, 适应现代文化的一种视觉文化。 这不但标志着一种文化形态的转变和 形成,而且意味着人类思维范式的一种转换。 在当今社会文化领域,这种思维模 式的转换, 就是从价值转向了意义。人们更加愿意绕过迂回概念, 通过全息影像 直接进入意义的世界。

3D 全息影像技术的发展正深刻地影响和改变人们的观看习惯和沟通方式。 它为我们提供了一个更高效便捷的沟通平台和体验手段, 在人们生活中实践着各 种视觉观赏、模拟演示、互动体验等多种可视化需求及社会文化价值。

5总结

3D 影像技术在展示空间展现方向的发展是多元化的, 展示空间作为时尚视觉 文化的一员, 是创建展示与人们之间的一座桥梁。 经过全面运用当下高新科技手 法——虚拟的场景化演示和加以艺术化的展现方法, 不停强化自身展示的特色和 风格以吸引人们的关注度,让人们深入了解、记忆和信赖, 这才是展示的终极目 标。 3D 影像未来的走向,是连接展示空间和人们生活的纽带,是一种全新的生 活方式、 生活理念和价值观地表现。这种展示方式并不会取代传统展示方式, 但 是却会和传统的展示方式进行融合, 甚至是现在的一些文化设施或其他产业设施 所受到的客观局限性,从而取得更高效的发展。

随着科技的发展,我们的社会文化步入了以视觉图像为主导的时期。在信 息技术推动下, 人类文化日益摆脱以语言文字为主导的文化形态, 面向图像文化 转变。 图像比文字更加深刻, 因此立体影像给我们带来的冲击将决不亚于从单声 道到立体声的转变, 甚至是另一场革命, 和从黑白画面到彩色画面所带给我们的 视觉冲击一样的技术革命。

- 21 -

致谢

衷心地感谢导师唐强老师对我的认真指导,他的言教将使我终身受益。 感谢会展艺术与技术专业的各位老师与同学对我的关心与支持!

感谢所有帮助过我的人们!

- 22 -

参考文献

[01] 张俭峰 . 周韧 . 展示设计精品评析 . 上海:学林出版社 .2004

[02] 张立 . 展示设计 . 北京:中国纺织出版社 .2006

[03] 尹书倩 . 展示设计 . 哈尔滨:哈尔滨工程大学出版社 .2008

[04] 安晓波 . 展示空间分析与结构设计 . 上海:上海交通大学出版社 .2011 [05] 文建 . 娄健新 . 王强 . 展示空间设计与表达 . 北京:清华大学出版社 .2011 [06] 度本图书 . 艺术空间——展示 . 华中科技大学出版社 .2011

[07] 董建明 . 人机交互:以用户为中的设计和评估(第 2版) . 北京:清华 大学出版社 .2007

[08] 林荫生 . 静谧的视觉空间——世界著名橱窗设计 . 大连:大连理工大学 出版社 .2007

[09] 朱国勤 . 会展视觉系统设计 . 化学工业出版社 .2009

[10] 田中さんの光 .IKKO TANAKA.广西:广西师范大学出版社 .2009

[12] Gilles Deleuze.Francis Bacon - Logic De La Sensation.2011 [11] Steven Skov Holt.Blobjects and Beyond: The New Fluidity in Design.2011

[13] Subrata Dasgupta.Creativity in Invention and Design.Cambridge University Press.2008

[14] ARTPOWER.SPACE & ART.Artpower International Publish Co.2009 [15] ARTPOWER.WALK & WATCH.Artpower International Publish Co.2011

- 23 -

人机交互技术及其应用(科普)

人机交互技术及其应用（科普）

信息技术的高速发展对人类生产、生活带来了广泛而深刻的影响。高科技成果为人们带来便捷、快乐的同时，也促进着人机交互技术的发展。作为信息技术的重要内容，人机交互技术比计算机硬件和软件技术的发展要滞后许多，已成为人类运用信息技术深入探索和认识客观世界的瓶颈。因此，人机交互技术已成为21世纪信息领域亟需解决的重大课题和当前信息产业竞争的一个焦点，世界各国都将人机交互技术作为重点研究的一项关键技术，例如，在美国21世纪信息技术计划中，将软件、人机交互、网络、高性能计算列为基础研究内容，美国国防关键技术计划也把人机交互列为软件技术发展的重要内容之一，在我国的“863”、“973”和自然科学基金等项目中，也将人机自然交互理论与方法作为信息技术中需要解决的关键科学问题。

一、 人机交互的概念

人机交互（Human-Computer Interaction，HCI ）是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面主要现象进行研究的科学， 狭义的讲，人机交互技术主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人的信息交换两部分。人们可以借助键盘、鼠标、操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息，同时，计算机通过打印机、绘图仪、显示器、头盔式显示器、音箱等输出或显示设备给人提供信息。

人机交互与计算机科学、人机工程学、多媒体技术和虚拟现实技术、心理学、认知科学和社会学以及人类学等诸多学科领域有密切的联系，其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实技术与人机交互技术相互交叉和渗透。作为是信息技术的一个重要组成部分，人机交互将继续对信息技术的发展产生巨大的影响。

二、 人机交互的研究内容

人机交互的研究内容十分广泛，涵盖了建模、设计、评估等理论和方法以及在移动计算、虚拟现实等方面的应用研究与开发，在此列出几个主要的方向： ● 人机交互界面表示模型与设计方法（Model and Methodology）

一个交互界面的好坏，直接影响到软件开发的成败。友好人机交互界面的开发离不开好的交互模型与设计方法。因此，研究人机交互界面的表示模型与设计方法，是人机交互的重要研究内容之一。

● 可用性分析与评估（Usability and Evaluation）

可用性是人机交互系统的重要内容，它关系到人机交互能否达到用户期待的目标，以及实现这一目标的效率与便捷性。人机交互系统的可用性分析与评估的研究主要涉及到支持可用性的设计原则和可用性的评估方法等。

● 多通道交互技术（Multi-Modal ）

在多通道交互中，用户可以使用语音、手势、眼神、表情等自然的交互方式与计算机系统进行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的评估方法以及多通道信息的融合等。其中，多通道整合是多通道用户界面研究的重点和难点。

● 认知与智能用户界面（Recognition and Intelligent User Interface）

智能用户界面（Intelligent User Interface，IUI ）的最终目标是使人机交互和人－人交互一样自然、方便。上下文感知、眼动跟踪、手势识别、三维输入、语音识别、表情识别、手写识别、自然语言理解等都是认知与智能用户界面需要解决的重要问题。

● 虚拟环境（Virtual Environment）中的人机交互

“以人为本”的、自然和谐的人机交互理论和方法是虚拟现实的主要研究内容之一。通过研究视觉、听觉、触觉等多通道信息融合的理论和方法、协同交互技术以及三维交互技术等，建立具有高度真实感的虚拟环境，使人产生“身临其境”的感觉。

● 移动界面设计（Mobile and Ubicomp）

移动计算（Mobile Computing）、普适计算（Ubiquitous Computing）等对人机交互技术提出了更高的要求，面向移动应用的界面设计问题已成为人机交互技术研究的一个重要应用领域。针对移动设备的便携性、位置不固定性和计算能力有

限性以及无线网络的低带宽高延迟等诸多的限制，研究移动界面的设计方法，移动界面可用性与评估原则，移动界面导航技术，以及移动界面的实现技术和开发工具，是当前的人机交互技术的研究热点之一。

三、 人机交互技术的发展

自1946年世界上第一台数字计算机诞生以来，计算机为人的能力的扩展提供了巨大的帮助，作为计算机系统的一个重要组成部分，人机交互一直伴随着计算机的发展而发展。人机交互的发展过程，也是人适应计算机到计算机不断地适应人的发展过程。

从人机界面（Interface ）的到人机交互（Interaction ），从1969年第一次人机系统国际大会，到2010年的中国人机交互研讨会，人机交互理论和技术经历了多个阶段的发展。特别是20世纪90年代后期以来，人机交互的研究重点放在了智能化交互，多模态（多通道）-多媒体交互，虚拟交互以及人机协同交互等方面，也就是放在以人为在中心的人机交互技术方面。 概括地讲，人机交互的发展经历了以下几个阶段：（1）早期的手工作业阶段 ；（2）作业控制语言及交互命令语言阶段 ；（3）图形用户界面（GUI ）阶段 ；（4）网络用户界面的出现 ；（5）多通道、多媒体的智能人机交互阶段 ；（6）虚拟交互界面。

鼠标的出现，使人们更流畅地进行人机交互。与键盘中的方向键相比，它显然更加符合人的自然习惯。这是人机交互的第一次革命。键盘与鼠标的人机交互组合，从PC 时代一直延续到互联网时代，并无太大改变，直到智能手机和多点触摸的出现。迅速普及的多点触摸技术，是人机交互史上的第二次革命，而引领它的又是苹果公司与它的革命性手机iPhone 。多点触摸打开了另外一扇窗户，它让所有人意识到其实键盘可以成为触摸的一部分，而很多命令其实能通过多个手指在触摸屏上划动方式的不同来完成，比如放大和缩小图片。问世不久的Kinect 则可以称得上人机交互的引领新潮流的第三次革命。它整合了具有革命性的技术—3D 图片识别与视频捕捉，加上硬件体验的不断优化，再加上对应其特性的专属游戏开发，在游戏这一特定的应用场景对技术的强化，最终塑造了Kinect 这一人机互动的革命性产品。

四、 自然和谐的人机交互

当前，虚拟现实、移动计算、普适计算等新技术发展迅速，对人机交互技术提出了新的挑战和更高的要求，同时也提供了许多新的机遇。在这一阶段，自然和谐的人机交互方式得到了一定的发展，其主要特点是基于语音、手写体、姿势或者跟踪、表情等输入手段进行多通道交互，其目的是使人能以声音、动作、表情等自然方式进行交互操作，这正是理想的人机交互所强调的“用户自由”之所在。

在自然和谐的人机交互的发展过程中，人们除了致力于研究开发友好的逼真的三维用户界面，基于声音、动作、表情等多种通道的自然交互方式，还发明了大量的新交互设备，如头盔式立体显示器，数据手套等。目前，对于人类重要的自然交互方式——语音和笔的交互技术，包括手写识别、笔式交互、语音识别、语音合成、数字墨水（Digital Ink）等，其发展已经有了很大的成效，如中科院自动化所开发的“汉王笔”手写汉字识别系统，经过近20年的研究和开发，已能识别27000汉字，当用非草写汉字、以每分钟12个汉字的速度书写时，识别率可达99.8%；微软亚洲研究院多通道用户界面组发明的数字墨水技术，采用全新易操纵的笔交互设备、高质量的墨水绘制技术、智慧的墨迹分析技术等，使它不仅可用作为文字识别、图形绘制的输入，而且作为一种全新的“Ink ”数据模型，使手写笔记更易阅读、获取、组织和使用。数字墨水技术已作为产品，结合在微软的Tablet PC 操作系统中，产生了巨大的社会影响。它还将继续发展，有可能成为新一代优秀的自然交互设备 ；在笔式交互技术研究中，中国科学院软件所人机交互技术与智能信息处理实验室在笔式交互软件开发平台、面向教学的笔式办公套件（包括课件制作、笔式授课、笔式数学公式计算器、笔式简谱制作等）、面向儿童的神笔马良系统的开发应用方面均有出色的工作，其中不少已经实用化、产品化；IBM 公司的Via Voice，中国科学院自动化所“汉语连续语音听写系统”等等。

虚拟现实（Virtual Reality，VR ）技术的发展和进步极大的推动了人机交互技术的发展。虚拟现实是借助于计算机技术及硬件设备，建立高度

真实感的虚拟环境，使人们通过视觉、听觉、触觉、味觉、嗅觉等感官在其中看、听、触、闻起来像真实的，以产生身临其境的感觉的一种技术。虚拟现实技术有三个鲜明特征：真实感、沉浸感和交互性。其中，自然和谐的交互方式也是虚拟现实技术的一个重要研究内容，其目的是使人能以声音、动作、表情等自然方式与虚拟世界中的对象进行交互, 人们除了致力于研究开发虚拟友好的用户界面，还发明了大量的三维交互设备，如立体眼镜、WorkBench 、头盔式显示器、洞穴式立体显示器（CAVE ）、墙式大屏幕立体显示器、数据服装、位置跟踪器、眼动跟踪器、触觉和力反馈装置、三维扫描设备、三维鼠标、三维跟踪球、三维游戏杆等等。虽然人机交互并不是虚拟现实的全部，但虚拟现实为人机交互的研究提供了很好的契机和媒介。

五、 基于人手的人机交互技术与应用

自然人机交互模式是以直接操纵为主的的人机交互形式，而理想的人机交互模式就是要充分体现“用户自由”。现在很多人使用触摸屏是因为触摸屏更容易得心应手，而在人的身体构成上，人手是最为灵活的部件，具有高度的自由度，所以基于人手的交互，体现了人机交互的和谐自然所在。

手势是一种自然、直观、易于学习的人机交互手段 ,手势输入是实现自然、直接人机交互不可缺少的关键技术。目前的手势识别技术主要分为基于数据手套和基于视觉两种。这两种方法各有自己的长处，也都取得了一些研究成果，但都还不成熟。手势输入作为一种自然、丰富、直接的交互手段在人机交互技术中占有重要的地位。其研究内容包括手势的定义、手势分割、手势建模、手势分析、手势识别以及基于手势的人机交互等。

由于人手是一个复杂的非刚性的多链接物体, 且手势本身具有多义性、多样性以及在时间和空间上存在差异性的特点，手势的这种高维状态表达是姿态估计中有效全局搜索真实手势的最大障碍。济南大学xx 重点实验室结合计算机科学和认知心理学等相关学科, 对3D 运动人手跟踪进行多学科的交叉讨论和研究，提出了基于认知模型的运动人手的三维跟踪方法，并对涉及的关键问题进行了研究。下面主要对基于人手的人机交互的应用进行概括和总结。

（1）手语识别和合成

中国科学院计算所研制成功了基于多功能感知的中国手语识别与合成系统，它采用数据手套可识别大词汇量（5177个）的手语词。该系统建立了中国手语词库。对于给定文本句子(可由正常人话语转换而成) ，自动合成相应的人体运动数据。最后用计算机人体动画技术，将运动数据应用于虚拟人，由虚拟人完成合成的手语运动。它可输出大词汇量的手语词，为中国聋哑人的教育、生活提供了有用的辅助工具，使他们用手语与正常人的交流成为可能。

（2）手势遥控器

澳大利亚、台湾、日本的一些科学家和公司已经发明了手势遥控装置，能够使用简单的手势进行家用电器，如电视、DVD 、音响等的操作，进行开关、音量调节、换频道等。例如，握紧拳头表示“开始”，将手掌舒展开表示“开机”，用Ｖ字形手势，再将手掌横过来表示“选择频道”，翘起大拇指则表示“向上调频道”等。日本松下公司已经试制了电视机用手势输入遥控器，遥控器在功能上类似于游戏手柄，用户拿着它通过挥动就可实现对3D 电视的控制。种手势装置的工作原理并不复杂，用户将内置有摄像头的遥控装置安装在与电视和使用者均无视线阻隔的书架或桌子上即可，装置内的软件可识别用户事先储存的简单手势，然后向一个可操控多种电器的遥控器发出信号，最终电器将按照使用者手势“行事”。

（3）教育领域：

人机交互技术在教育领域的应用正在兴起，特别是基于人手的交互应用，如虚拟白板，虚拟实验，以及方便课堂教学的其他应用，例如腾讯的QQ 手势达人，它可以通过普通摄像头来进行手势控制，抛弃了从电脑诞生之日起就一直使用的键盘和鼠标，完全由手势控制PPT 的演示，提供了PPT 的启动播放、上翻页、下翻页、结束播放等四个常用手势命令。

（4）游戏控制：

该类应用主要是通过对手势的识别进行游戏的控制，例如基于微软Kinect 的体感游戏控制等。

（5）医学领域应用

? 外科手术操作学习/模拟

可以通过构建“手眼协调、实时交互、双手操作”的虚拟现实系统提供通用的医学外科手术模拟与操作学习。这些技术将可以用到需要双手协同、手眼协调的各类精细操作任务中，例如医疗领域的牙科手术、腹腔镜微创手术、眼科手术等，当然也可以还可以用到军事、航天等训练领域。这样可以节约学习成本，提高学习的效率与准确性。

? 人手运动功能虚拟康复

依据康复医学发展的需要和趋势，可以将触觉人机交互技术与人手运动功能相结合进行人手虚拟康复。例如，可以将具有力反馈功能的、能够提供主动运动、被动运动、助力运动和阻抗运动等多种康复训练模式的人手康复交互装置的设计理论和方法与传感器进行集成，对人手运动技能进行建模，模拟人手虚拟康复，从而通过视频捕获病人的人手运动，进行康复监督和建议。

（5）工业领域：虚拟制造与设计

在工业领域，可以通过基于人手的人机交互进行虚拟装配、产品设计等工作，从而可以节约成本，提高熟练度和便利。

（6）商业领域：

包括娱乐产品设计，商业展览，交互式橱窗，KTV 点歌等领域都可以通过基于人手的交互设计提高互动性和新颖性、便利性。例如，非接触式互动橱窗，该个系统有四个摄像头，两个用于追踪手部的动作，两个用来追踪脸部和眼睛。经过该橱窗的行人，可以通过手势来获取商品信息

六、 人机交互的未来

在人机交互领域，更加大胆的创新精神正在被唤醒，视频捕捉技术、

语音识别技术、红外遥感技术、多通道等等技术的整合发展，必然给人机交互技术的带来前所未有的突破。新的技术层出不穷，人机交互技术的发展将带给人们更多的科技技术的期盼和惊喜。

在未来的计算机系统中，将更加强调“以人为本”、“自然、和谐”的交互方式，以实现人机高效合作。概括的讲，新一代的人机交互技术的发展将主要围绕以下几个方面：

1. 集成化 ：

人机交互将呈现出多样化、多通道交互的特点。桌面和非桌面界面，可见和不可见界面，二维与三维输入，直接与间接操纵，语音、手势、表情、眼动、唇动、头动、肢体姿势、触觉、嗅觉、味觉以及键盘、鼠标等交互手段将集成在一起，是新一代自然、高效的交互技术的一个发展方向。

2. 网络化 ：

无线互联网、移动通信网的快速发展，对人机交互技术提出了更高的要求。新一代的人机交互技术需要考虑在不同设备、不同网络、不同平台之间的无缝过渡和扩展，支持人们通过跨地域的网络（有线与无线、电信网与互联网等）在世界上任何地方用多种简单的自然方式进行人机交互，而且包括支持多个用户之间以协作的方式进行交互。另外，网格技术的发展也为人机交互技术的发展提供了很好的机遇。

3. 智能化 ：

目前，用户使用键盘和鼠标等设备进行的交互输入都是精确的输入，但人们的动作或思想等往往并不很精确，人类语言本身也具有高度模糊性，人们在生活中常常习惯于使用大量的非精确的信息交流。因此，在人机交互中，使计算机更好地自动捕捉人的姿态、手势、语音和上下文等信息，了解人的意图，并做出合适的反馈或动作，提高交互活动的自然性和高效性，使人－机之间的交互像人－人交互一样自然、方便，是计算机科学家正在积极探索的新一代交互技术的一个重要内容。

4. 标准化 ：

目前，在人机交互领域，ISO 已正式发布了许多的国际标准，以指导产品设计、测试和可用性评估等。但人机交互标准的设定是一项长期而艰巨

的任务，并随着社会需求的变化而不断变化。

人机交互技术的现代应用

人机交互技术的现代应用

计科1304班 梁玮 13281091

在机器设备的发展中，它们不断实现了与人类的交互，人们可以看到显示器显示的内容，可以用触控板对笔记本电脑的内容进行反馈，可以用播放器听歌等等，在此我将介绍沿用至今或刚刚兴起的、适用于我们生活的一些人机交互的设备。

在最初键盘和鼠标诞生，我们可以通过敲击键盘告诉DOS计算机应该计算的内容，而图形界面的产生使得我们可以通过鼠标的点击和选择将我们的想法反馈给计算机，这些技术我们沿用至今；但是，普适计算认为计算机会融入网络，融入环境，融入生活。为此，计算机会更小，更廉价，有网络连接，有超越图形界面的，可以和环境和人做更多的交互的手段。在各项识别技术、人工智能计算机图形等等发展起来之后，人和机的交互会渐渐回归到人和自然物理世界惯有的交流方式来，而不再受限于器材本身。简单地说比如拿东西就是拿东西，不再是不自然的点击鼠标或触屏。

人类的感觉包括触觉、视觉、听觉、嗅觉和味觉，间接来说，其实人是通过眼睛、手势、语音来与外界进行交流的，现代人机交互设备的发展基本也是基于这三项而来，我们很少发现太多的嗅觉和味觉交互设备。

从视觉来说，VR/AR技术会给我们带来很大的影响，它不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。如今Retina Display技术也逐渐在智能手机和平板电脑上应用开来，它利用人的视觉暂留原理，让激光快速地按指定顺序在水平和垂直两个方向上循环扫描，撞击视网膜的一小块区域使其产生光感，人们就感觉到图像的存在。实际上，我们正在追求从二维到三维的视感变化，视觉是人类最丰富的信息来源，无论是输入输出，其数据量都远非其他方式可比。3D眼镜、360度幻影成像使我们的视觉变得三维化，让我们在观看泰坦尼克号3D电影时身临其境，在美国Billboard音乐盛典再现的迈克尔杰克逊舞台上一睹天王

巨星的风采。当然，也由于人与计算机的交互一直受到输入/输出之间信息不平衡的制约，使得用户到计算机的输入带宽不足，在此基础上催生了诸如视线追踪、语音输入等许多新的输入技术。

我们经常可以见到苹果语音助手Siri、微软小冰和微软小娜等一系列的智能聊天机器人，单从微软小冰来看，她集合了中国近7亿网民多年来积累的、全部公开的文献记录，凭借微软在大数据、自然语义分析、机器学习和深度神经网络方面的技术积累，精炼为几千万条真实而有趣的语料库，通过理解对话的语境与语义，不断更新添加的催眠功能、图像识别功能、天气播报功能和语音识别聊天功能等，让人几乎感觉不出是和机器在交谈，实现了超越简单人机问答的自然交互。此外，语音识别功能也逐渐应用于了各品牌的手机平台和譬如各大银行的预约服务机器人等方面。

在手势输入方面，多点触控技术已经广泛应用到了我们生活的方方面面，银行的提款机具有触控技术，医院银行大厅的电脑也支持触控，但是这些其实都是原始的单点触控；如今我们所使用的多点触控技术，可以通过滑动、放大缩小、旋转等在智能手机、平板电脑上实现更自然的操作，微软也开发了win8、win10等操作系统来兼容和支持日渐盛行的多点触控技术和设备；当然，手势输入也娱乐了我们的生活，ps4、wiiu、xbox one等游戏机逐渐兴起，对人动作的识别已经从手势扩展到了整个身体，体感游戏机依靠了高科技的视频动作捕捉技术，令人的身体动作能即时反映到游戏系统中，通过感应人体运动来推动游戏的进行。因为我们的生活并不是传统游戏手柄那样数字化的，我们需要一种模拟现实生活的更为自然的人机交互。

当然，贯穿在我们生活中的并不止以上这些，当我们去餐厅点餐付账时，用指纹识别解锁了自己的手机，然后点开微信支付、支付宝或者Apple Pay；当我们跑步锻炼时，用小米手环记录自己的步速，检测心率是否正常；当我们去影院时，可能想着体验一下新奇的喷水摇椅子的4D电影；生物特征识别、NFC等技术也已不知不觉的渗透到了我们的生活中，它们让人机交互变得便捷、自然。

新兴的谷歌眼镜综合了语音指令识别、眼动识别和触控技术，仅仅通过一个眼镜便可以上网、看视频、获取定位等功能，虽然成本高售价高并不被大众所广泛使用，但是我相信这是一个必然的趋势，再如脑电波控制轮椅的出现，它仅仅

使用脑电波控制轮椅，让使用这种轮椅的残疾人无需动用肌肉力量或是发出声音指令，即可让轮椅载着自己行动自如，这并不需要刻意的操作或意识。人机交互未来的发展会让人和机的界限越发的模糊，不仅仅限于机械化的便利，计算机的设计因为人机交互的发展越来越考虑人的需求和情感方面，使得人类可以依赖计算机来帮助自己做事情的程度也大大提高。

浅谈手势识别在人机交互中的应用

ISSN 10093044 -E-mail: eduf@cccc.net.cn Computer Knowledge and Technology 电脑知识与技术 第7 卷第35 期 (2011 年12 月) Computer Knowledge and Technology电脑知识 与技术http://www.dnzs.net.cn Vol.7, No.35, December2011. Tel:+86-551-5690963 5690964

浅谈手势识别在人机交互中的应用

潘建生

(南通大学 计算机科学与技术学院，江苏 南通 226019)

摘要:为满足人机交互系统中手势识别的需要,提出了一种基于视觉的多点手势识别方法及其人机交互技术框, 架利用 USB 摄像头 获取手势图像，采用自适应阈值二值化法进行手势分割，再通过空间向量模型得到特征向量，最后用隐马尔可夫模型进行识别，实 验结果表明，该手势识别法在人机交互中的应用是可行的且性能稳定。

关键词:人机交互;手势识别;计算机视觉;隐马尔可夫模型

中图分类号:TP18 文献标识码:A 文章编号:1009-3044(2011)35-9216-03

The Application of Hand Gesture Recognitionin Human Computer Interaction

PAN Jian-sheng

(School of Computer Science& Technolog y，Nantong University, Nantong226019，China)

Abstract: To satisfy the demands of hand recognition in computer interaction A framework system, of human -computer interaction based

on multi-point gesture recognition is presente，the Methodduses USB camera to obtain a gesture image and Adaptive Two- vathresholdl? ue method to handle gesture segmentation, and then it get the feature vector through theHMM vector is used space repras model,e? finally sentations for hand gesture recognition, The experiments showed that the algorithm for dynamic performance gestures was feasible and its was stable. the vectormodel space to.

Key words: human computer interaction; handrecognition;computer gesture vision;HHM

手势是一种自然而直观的人际交流模式，广泛应用于日常生活中，随着信息技术的迅猛发展，人机交互活动变得余越来越多，传统的人机交互存在各种缺陷，如:必须使用键盘、鼠标或操纵杆方能完成人机交互，手势作为人们与外界交流的重要方,逐渐式成 为人机交互中一种新兴的交互方式，在人机交互过程中发挥越来越重要的作用，但由于手势本身固有的特点，如:多义性、多样性以 及时空上的差异性等，当前，基于视觉的手势识别系统存在识别率比较低，实时性较差等缺点，基于此，提出了一种新型基于视觉的 手势识别设计方案, 系统通过摄像头采集用户的图像，采用自适应阈值二值化法进行手势分割，再通过空间向量模型得到特征向 量，最后用隐马尔可夫模型进行识别，实验结果表明，该交互方式可以较好地定位屏幕和判断用户的操作，实现自然、友好的远距离 人机交互。

1 手势识别系统分析

基于视觉的手势识别系统主要由手势输入、

手势图像预处理、手势分割、特征提取、手势建模

及手势识别等组成，其框架图如1 所示。

1) 手势输入 目前人们采用了不同手段来实

现手势输入，

最常见使用 USB摄像头获取 ，可以通过一个或多

个摄像头获取视频数据流，也可以使用微软的 Ki?

nect 实现。

2) 手势图像预处理 手势图像预处理是为了

去除图像中噪声，当 获取到的手势信息转换成可用计算机处理的数字图1 基于视觉的手势识别系统框架图 图像时，手势图像质量会受到各种因素如:成像元

器件缺陷，环境影响，电磁干扰及噪声干扰等，画

质会因干扰与噪声而出现不同程度的畸变，因此必须对手势进行图像预处理，图像预处理包括图像平滑去噪处理和图像的锐化处

理及图像二值化等。

3) 手势分割 手势分割就是从视频流图像中识别出手势目标，以便下一步提取手势特征参数;常见手势分割方法有基于肤色

模型法、轮廓跟

踪方法、建立手势形状数据库的方法、增加限制方法、基于运动与肤色结合的方法和基于深度信息的方法等。

4) 特征提取 手势特征的提取是在手势定位技术的基础上进行的，手势图像经过分割，会得到手势的边缘和区域，进而获得

手势的形状，常

用的特征包括边缘、剪影/轮廓、梯度方向直方图、Haar 特征、指尖位置、手指位置和手势方向等。

5) 手势建模 手势模型对于手势识别系统至关重要，其直接影响到人机交互接口性能好坏的关键;手势建模方法通常分为表

观手势模型和

3D 手势模型，其中，表观手势模型包括基于灰度图像本身的表观模型、基于二维变形模板的表观模型、基于图像属性的表观模型和 基于图像运动的表观模型3，D 手势模型包括纹理模型、网格模型、几何模型和骨架模型。

6) 手势识别 手势识别是一个手势轨迹空间分类的过程，手势分为静态手势和动态手势，静态手势对应着模型参数空间里一

个点，常用静态

手势识别算法包括支持向量机算法，人工神经网络算法，模板匹配算法等;而动态手势则对应着模型参数空间里的一条轨迹，常用 动态手势识别算法包括隐马尔可夫模型HM(M)和DTW 匹配算法等。

2 关键技术研究

2.1 手势分割

手势分割就是将将手势准确而快速地从图像序列中分割出来，是手势识别的基,图像阈值分割是一种广泛使用的图像分割方法。

对彩色图像进行灰度化转换:

? H = 0.2993 × R + 0.4331 × G+ 0.2093 × B 式中R、G 、B 分别表示红、绿、蓝三个颜色分量H， 为转换后的图像灰度值。 为了得到理想的二值图像，用图像二值化变换的函数表达式进行阈值分割:

f (x,y)T?1 i f g(x,y) = ? { 1 o th erwise < t="">

g(x,y) f (x,y) f (x,y) 式中 为二值化后新的像素值T， 为分割阈值，为原灰度图像素值，可由?计算:

| x |?[3N, +?]ì0 ? 2 229N - x? x ?[2N,3N]| | f (x,y) = ? í2 2 2 2 2(9N - x-4N - x) x [N,2N]?| | ? ?2 2 2 2 2 2 4N - x-N - x)| x |?[0,N]2( 9N - x- ?

式中N 为肤色点的个数，改进的自适应阈值二值化算法为:

S giM= ? i g iSg?[0,25]5 g式中 ，为 像素个数，满足:g iii

max g= MAXg,M1?? { } i ii

2.2 手势特征提取

手势的特征提取是手势识别的关键步骤，手势特征提取可由空间向量表示:

ìW = L,L,θ,θ,θ,v{} cj c11j 2j 3j j ?n n ? 1 (C,C) = ( x,y)xy ??ii ? n i = 1 i = 1 ? 22 (x- C) + (y- C)L= cj ?j + 1 xj + 1 y ? 22 (x- x)+ (y- y)L= c1 j + 1 1j + 1 1 ? ?y - C j + 1 y ? íθ= arctan( )1j ?x - C j + 1 x ? y - y j + 1 j ?)θ= arctan( 2j x- x? j + 1 j ?y - y j + 1 1 θ= arctan() ?3j x- x j + 1 1 ?22 ?v= x(- x) + (y- y)j j + 1 j j + 1 j ?

θθLLθ其中，与 分别是手势中心到手势轨迹各点的距离及到起始点的距离，，，分别是手势轨迹各点与中心，与前一点 cj 1j 2j 3j c1

v的方向角，与起始点的方向角，是运动速率。j

2.3 手势识别

手势特征提取与匹配是基于计算机视觉的手势识别系统的最为关键的组成部,是当前使用的最为广泛的一种动态手势识分别 模型。

第7 卷第35 期 (2011 年12 月) Computer Knowledge and Technology 电脑知识与技术

HMM模型可以表示为 :λ = {π , A, B}来表示，HMM 模型在实际运用中涉及 Baum Welch 观察序列 到三个基本问题:评价问题，解码问题，训练问,题其中，评价问题主要解决分类问O=[o,o,L,o]12 n 算法 O = [o,o,...o] 题，从观察序列 及模型参数 λ= {π , A,B}，求出观察序列的概率 12T

P(O/λ) ，文中可采用前向递推算法，解码问题找出产生观察结果的隐状O态， 训练 问题是从(已知集合中)获取观察序列，从而找到最匹配的HMM ，在 HMM模 型 观察序列 前向-后 HMM模型 O=[o ,o ,L,o ] 中，三个基本问题的解法(前向-后向算法、Viterbi 算法、Baum Welch算 法)之间的 1 2 n 向算法 关系如图2 所示。

3 实验分析 Viterbi状态值序列 1)硬件环境: 计算机配置:CPU:Q=[q,q,L,q] 12 n算法E7500，内存:2G。 图2 三个基本问题算法之间的关系视频采集设备:极速 3D 摄像头，其感光元件为CMOS ， 1200 万像素，最大分辨 率为640×480， USB2(0 接口，免驱动,最大帧频30fps。 表1 手势测试结果 2)软件环境:

操作系统为 WindowsXP ，在 Microsoft VisualC++6.0 环境下开发，图像处理的编程调用 Intel 的开源计算机视觉库OpenCV。 实验中，势约定为手掌可自由旋转，手指自由伸缩，手指不

交叉，五指伸出且并拢，手掌正

对摄像头等 10 种手势，每个手势分别在复杂背景和简单背景下 取50 个样本进行测试识别率， 测试结果如表1 所示。

从实验结果可以看出，简单背景下手势识别率较高且稳定，而在复杂背景下，手势识别效 果相对较差，识别偏低，可能是由于摄像头自带的白平衡功能对视场内颜色变化比较敏感或背 景中存在大面积肤色干扰等原因，总体上看，手势识别系统都能够得到较好的识别效果。 4 结束语

手势作为一种直观、自然的人机交互输入信号，将其应用到计算机视觉中具有无可比拟的 优势，尽管我国己经在手势识别系统的研究方面取得了很大的进展，但仍面临许多困难，如:如 何提研究词汇量可扩展的识别、实现非特定人的手势识别、取手势的旋转不变特征方法等一直 都是阻碍手势识别技术大步前进的课题，因此，对手势识别的探索研究还有很长的路要走，如 语音等多模式、手势结合表情、多目视觉下的动态手势识别系统的研究的人机交互系统的研究 等都是今后要研究的主要方向。

参考文献: [1] 刘曼曼,冯嘉礼.基于属性计算网络的动态手势识别的研究[J].电脑知识与技术,2010(7).

[2] 李文生,解梅,邓春健.基于多点手势识别的人机交互技术框架[J].计算机工程与设计 2011(6).

[3] 刘珠峰,周良,丁秋林.基于隐性马尔可夫模型的手势识别设计和优化[J].计算机应用研究,2011(6).

[4] 李文生,姚琼,邓春健.粒子群优化神经网络在动态手势识别中的应用[J].计算机工程与科学,2011(5).

人机交互技术在游戏中的应用

人机交互技术在游戏中的应用 FEATURE本期特稿

计算机游戏是.种基于计弊机技术ifii迅砬发展起来的艺术与娱 乐形式涉度艺术与技术两个范畴从技术范畴柬看,计算机 游戏足将几乎所有不同计算机科学{皿域结台在一起的少数应用 之一(堪称最折计算机技术的"试验田")技术所完成的是固 化游戏内容,提供输入/输出的交互手段.井向游戏者有效地 展示游戏内窖现令.游戏匮面和声响效果愈米愈绚丽逼真. 各种新型游戏平台和操控设备亦不断涌现.这其中.最能棱玩 家直接盛受到变化的,当属不断发展中的人机交互【Huma砷一 COIIlPUterIriteracti0n.简称为HCI)技术.因为,人机交互 拄术决定着游礁的输入和输出方式,乃至楚个游戏内部的运行 机制

本文首先简要回顾人机交互拄_术的发展

过程,进而对其在蒜戏中的应用进行介绍随

之与大家分享笔者所在的团队(中科院自动

化研究所交互娱乐研究组)往此领域所龇的

工作和取得的成果,最后对未来的人机交互

技术和游戏进行展望.

一

,人机交互技术的发展

人机交互是研究人,计算机以及它们

相互影响的技术.是指用与计算机系统

之的通信,是人与计算机之唧各种符号

和动作的双向信息交换,即可由人向计葬

机输入信息,也可由计算机向使用者反馈

信息.在计算机出现的半个世纪中,人觇

交互技术经历了巨大的变化,井梭认为是 21世纪信息领域需解决的重大课题美国 2l世纪信息技术计划中的基础研究内容 有4项:软件,人机交互,网络,高性能 计算我国973.S一863,十五及十一五计 划均将人扎交互列为重要内容.人机交互 技术的重要性不言而喻,因为它影响着最 终用户的使用方式,计算机的推广.7,至 人们的工作和生活,同时人机交互界面也 是仆算机系统的重要组成部分和研制最同 准的一个部分.

人机l尘互系统包括交互设备,交互 软件以及人的因素三项要素.对于人机 交互技术的发展过程和趋势,我们町从迷 三个方面来总结和展望(1】交互设备是 人与计算机进行交换信息的媒介和手段: 就其具体形式而言,过去经历了字符输人 输出设备,图形图像输八输出设备,声音, 姿势触觉设备以及多通道交互设备等. (2)交互软件是交互系统的核心.目前的 计算机操作系统,办公及娱乐戟作功能不 断强大,种类也不断丰富,其中以游戏软 件最为显着.(3)人的因素指的是用户操 作模型与用户的各种特征有关.任务 将用户和计算机系统的行为有凯地结台起 来.人机交互发展的趋势体现了对"人的 因素的不断重视,使人机交互更接近干 自然的形式,使用户最大I鞋度利用自身的 日常技能.从而降低认知负荷,提高工作

效率.这种以人为中心(User.Centered)

的思想,特别是自上个世纪80年代以来, 在人机交互技术的研究中得到明显的体 现.

下面按时间先后顺序舟绍人机交互技 术的发展过程井对其趋势进行分析

I.期的人机交互

世界L第一台数字计算札"ENIAC (ElectronicsNumberIntegratorAndComputer)

在I943一l946年由美国寅州大学摩尔学院开 发,【946年用于计算弹道方程的积分当时 计算札的程序采用联线的方法在小接线板上 相互连接,后来用穿孔卡片和穿孔纸带,由专 门的阅读器输入程序和数据对计算机的操 作和调试是通过计算机控制面板上的开关. 按键和指示灯来进行.当时人机界面的主要 特点是由设计者本人(或本部门同事)来使用 计算机,他们采用手工操作和依中Il札器f二进 离髓捌叠

2006年5月号

制机器代码)的方法去适应现存看来是十分 笨拙的计算.达个时代人机交兀的代表就是 穿孔卡.

2.命令i.'川

_卜个世纪50年代中期,通用程序设计语 言的出现为计算机的广泛应用提供了极为重要 的工具,也改善r人与计算机的交互.在人机 界面上则出现了用于多任务批处理的作业控制

语言(JCL,JobControlLanguage).1963年由 美国麻省理工学院成功地开发r第一个分时系 统CTSS,炸采用多个终端和正文编辑程序,它 比以往的片或纸带输入更加方便和易于修 改.尤其是在出现交互显示终端后,广泛采用 了"命令行"作业语言,极大地方便了程序员. 这一阶段的人机界面特点是计算机的主要使用 者——程序员可采用正文和命令的方式和计算 机打交道,虽然要记忆许多命令和熟练地敲键 盘,但已经可用较多的手段来调试程序并了解 计算机执行的情况.这阶段人机交互的代表是 以键盘}守制的DOS系统.

3.}冬1彤川

1963年美国麻省理』_=学院伊几?苏泽兰 (ISutherland)的"Sketchpad"系统开创了交互 计算机图形学的新阶段.70年代Xerox公司在 Alto计算机j先开发r"Smalltalk一80"(开 始为一76)的多窗口程序设汁环境,它采用高 分辨率的图形显示器和新型的鼠标输入设备, 应用了重替型窗口,弹出型菜单,图符和剪贴 等功能.80年代乃至90年代,苹果公司的 Macintosh计算机,微软公的MS—Windows系 统和麻省理工学院X—Window系统,正是这类 人机界面广泛应用的代表.从此,人机界面进 入了图形用户界面的新阶段,即所谓的WIMP (Window,Icon,Menu,PointingDevices),这 个时代交7设备的代表就是鼠标.

图形用户界面的主要特点是人们不需要去 记忆和敲打繁琐的命令,只需通过鼠标直接

操纵界面,就可以在窗口中"所见即所 得".由丁图形用户界面在使用上的简便 性,使不懂计算机程序的普通用户也可以熟 练地使用计算机,因而极大地拓展了计算机 的使用人群.它的出现使信息产业得到空前 的发展,人们深刻地认识到人机界面的重要 性:仟何工具(包括计算机)都必须不断 适应人们的需求.

1.多迎逝人机交

以虚拟现实(Virtua1reality)为代表

的计算机系统的拟人化和以掌}:电脑为代表 的计算机的微型化和随身化,是当前计算机 两个重要的应用趋势.目前以鼠标和键盘为 代表的人机界面技术是影响它们发展的瓶颈, 因而多通道人机交互(Multi—modalHCI)技术 被提上了日程.它利用人的多种感觉通道和 动作通道(如语音,手写,表情,姿势,视 线等输入),以并行,非精确的方式与计算机 系统进行交互,可以提高人机交互的自然性 和高效性.以三维,沉浸感的逼真输出为标 志的虚拟现实技术是多媒体,多通道界面的 重要应用目标.它依赖于多种技术的进展,如 模式识别,全息图像,自然语言理解和新的 传感技术等.目前,语音和手写输入实用化 的目标已经有很大进展.

二人机交互技术在游戏中的应用

由于游戏软件的普及性,普通大众直 观地感受到了渗透在游戏及各种外设中的 最新人机交互技术.更自然的控制方式,更

逼真的视听乃至触觉反馈和游戏体验,足 人机交互技术在游戏中应用的目标,也是 玩家不断提出的需求和期望.比如,玩家期 望在拳击游戏中用真正的拳击动作代替按 键,或是直接用语音对所}守制的游戏角色 下命令,或是真实地感受到游戏中场景和 敌人所给予的力度冲击,或是将自身形体 逼真的展示在游戏世界中以及看到真实的 三维显示而非二:维显示等.

目前已经有很多人机交互技术在游戏 中得到_『成功应用,例如晤音识别技术,图 像识别技术,力反馈技术,立体显示技术 等.但仍有一些最新的技术得不到有效应 用,这主要是由于技术本身有限制因素而 难以在游戏产品中推广,这些限制因素包 括:(1)价格过于昂贵.通常,新的交互技 术往往代表了最新科技的发展,因而产品 的价格都很高,只有专业的大公司才有能 力购买.(2)体积过大.如立体显示系统, 体积往往比常见的游戏主机大很多,甚至 有的三维显示墙根本就不可能在一般家庭 内安装.(3)使用和安装繁琐.有些交互技 术需要在用户身上安装大量的传感器,与 设备之间还需要大量的连线,这些都会让 用户感觉不适.(4)准确性和稳定性不足. 由于技术本身还不够准确和稳定且易受外 界环境干扰,冈而限制了其应用.但随着交 互技术的发展,普通玩家将会在游戏中获 得越来越多的新体验.

下面我们将从控制(输入)和显示(输 出)两个方面分别介绍交互技术在游戏中 的一些最新的典型应用.

I.托制技术

除了以键盘,鼠标为代表的传统输入控 制设备外,市面已有多种通用型和专用型游 戏控制设备出现,如射击光线枪,赛车方向 盘,飞行手柄,跳舞毯,运动滑板等等.

图02.陀螺仪和感应手套

图03.LifeLine的Pc演示版界面

这着重介绍几类新型的游戏控制技术. 1.1动作感应技术和力反馈技术

动作感应技术主要用在动感游戏控制器 中,是一种能感受重力,摆动,振动和运 动的传感器.传感器把重力和压力转换为信 号,再由游戏手柄进一步将其"翻译"并 输入游戏能识别的常规指令.比如你只要在 游戏时不断倾斜移动摇杆,就能完成飞机的 上下起伏或左右摇摆,从而使用户可以用更 加自然和直觉的方式来控制游戏的进行.而 力反馈则是提供更加真实的体验,让玩家感 受到跑道上鹅卵石的颠簸,飞翔中猛烈的撞 击以及导弹发射的强大后坐力等.2005年初 法国Bigben公司推出一种用1:PS2的新型控 制器BodyPAD,该控制器可装备在玩家身上, 感知玩家身体的位置和动作等信息,并根据 这些数据以无线的方式控制常见的格斗类游 戏(FTG)(如图01).

任天堂在2004年底发布了GBA游戏《回 转瓦里奥制造》(Wari0Ware:TWiSted!),

该游戏卡带内藏陀螺传感器(GyroSensor),能 够感应倾斜,旋转和晃动操作.游戏中基本不 需按键,只要旋转或晃动游戏机即可,这使掌 机的游戏方法又多了一种.此外,任天堂曾发 布一种可以套在手上,用手代替手柄控制游 戏的感应手套"PowerGlove"(如图02). 1,2语音识别技术

语音识别是实现自然人机交互的一个重 要发展方向,目前的语音识别技术已经比较 成熟并被广泛的用于各种应用中,目前PS2, N64等主流视频游戏主机上也已推出数款使 用语音识别技术的游戏.2004年Konami公司 推出了第一个全程语音互动的游戏

"LifeLine"(PS2平台),该游戏的语音识别系 统可以识别超过5000个英语单词和l0万个短 语.例如可以识别的命令有"Shoot","Dodge",

"Reload",

"Hurryup!","Canyouhearme?"等

(如图03).

1.3视频交互技术

视频交互技术一直以来都是人机交互 的研究热点,但由于图像数据的信息量太 大导致处理较困难.随着近年硬件的发展, 视频捕捉设备越来越普及,摄像头等已经 称为个人电脑的标准配置,因而也出现了 一

些以视频进行交互的新型游戏,比较典

型的就是索尼公司基于PS2的EyeToy游戏. 2003年索尼公司发布了PS2专用摄像头 "EyeToy".通过EyeToy,玩家的影像被投 影到游戏画面中,玩家直接成为游戏的主 角,可与游戏中虚拟元素进行真实互动. EyeToy游戏在欧美和日韩已经成为一种很 受欢迎的新型游戏形式.目前游戏中应用 最多的互动技术主要是各种初级的视频运 动检测和分析技术(如图04).

图04:EyeToy及其游戏画面

产品,例如广州英狮数码科技有限公司,上海 超澜数码科技有限公司,北京盛开交互娱乐 科技有限公司以及香港智能互动多媒体有限 公司和德国游戏开发公司bhkSoftwareGmbH

&Co.KG等,都在开发基于PC的视频交互游 戏.拥有摄像头的普通玩家可方便的体验视 频游戏带来的娱乐和健身乐趣.例如,由北京 盛开交互娱乐科技有限公司自主开发的视频 交互游戏《海之星》就充分融合了视频交互和 传统消除类游戏(如《泡泡龙,《祖玛系列》 等)的特点,强调玩家左右手,双眼以及脑力 的协调,玩家需要用双手"触发"两侧下落的 海洋球,以便将中间区域不断向外生长的海 洋球消除(如图05).

1.4触摸屏交互

触摸屏技术已经出现了多年,技术已经 很成熟,价格也相对比较低廉.当今很多产 品如笔记本电脑,手机,PDA,数码摄像机中 都有触摸屏的应用.在2004年的E3大会上,

任天堂发布了新一代掌机NDS,它采用了触 摸屏设计,使游戏的操作方式更灵活.虽然 从商业运作上NDs不如索尼的PSP成功,但 NDS的游戏性却远远超出PSP.由此可以预 见,在未来开发基于PDA,手机的游戏时,使 用触摸屏的操作方式将是很有潜力的发展方 向(如图06).

1,5视线跟踪技术

视线跟踪系统也称为眼标,因为这种系 统通常是用来实现类似鼠标的定位,移动,选 择等功能.目前视线系统还没有具体应用到 游戏系统中,但它能达到自然交互的效果,因 而将是未来游戏交互技术的主要发展方向之 一

.LCTechnologies公司的"Eyegaze"是一种 较为成功的视线跟踪系统,目前已有较为成 功的商业产品,比如用于残疾人控制电脑等 游戏翻蕾

2006年5月号

图05盛开娱乐的视频游戏《海之星》图06NDS及其专用触摸屏控制游戏

方面.视线分析系统可以测量,i己录和播放视 线数据许分析用户的视觉行为(如图07). 2.,J技术

所谓的计算机三维显示技术是利用透视 投影原理将立体图形经过光栅化绘制到CRT 或液晶示器的表面上,在一定程度上模拟 出纵深信启.,但实际上在效果上与人的真实 视觉感受还是有很大差别的.一些新型的立

体显示技术,如基于视觉原理的立体显示技 术,三维全景显示器,空间三维显示技术等 正逐步被应用到游戏娱乐中.

21基于视觉原理的立体显示技术

这类显示技术的基本原理来自于人的 视差原理.即对于空间三维物体,人的两眼 看到的影像是有差别的.根据这个原理,如 果让人的双眼看到不同的影像,就能够产 生立体的效果.这类产品有立体眼镜和立 体显示器等.

显示不同的影像.任天常于l995年推出双屏 立体眼镜"VirtualBoy",将三维立体眼镜与游 戏机相结合,具有相当大的刨新性.但由于售 价太高,软件开发较少和处理饥能限制等原 因,并没有取得商业上的成功.但立体眼镜本 身还是在军事,帆天等方面得到了大量的应 用(如图08).

2)立体显示器

与双屏立体显示技术不同,在立体显 示器上,只要用肉眼就能观察到突出的立 体显示效果,不需佩戴任何立体眼镜设备. 同时,它也可以实现视频图像(如立体电 影)的立体显示和立体观察.Opticalty公 司(原X3D公司,总部位于纽约)在这一领 域处于领先地位.立体显示器的原理是在 液晶中精确配置用来遮挡光线行进的"视 差屏障".视差屏障通过准确控制每一个像 素遮住透过液晶的光线,只让右眼或左眼 图07:EYEGAZE的原理图08:VirtualBoy及其游戏画面

哪EC硼堋

MAY2006

图09:立体显示器

图10:TransPoft的显示效果

面中,由于观看液晶的角

度大体确定,因此比较容

易实现3D画面.在个人

电脑及电视等大型显示

器中应用该技术还需要

解决很多问题,比如显示

亮度太暗,分辨率较低以

及存在一定的三维盲区等

(如图09).

3.2三维全景显示技术

El立公司于2004年

开发出了全景3D显示器

原型"TransPort".这种

三维显示系统外观呈圆柱体,在其底部和 顶部分别有一台投影仪和一面镜子,两者 呈对立放置.圆柱体显示器的中间则分布 有24块镜面,它们环绕圆柱体的内面排列 开来.24块镜面的中央还有一块显示3D图 像的旋转屏幕.在这个三维显示器开始工 作时,内置照相机会首先从24个方向对需 要成像的物体(静态或动态)进行拍照,然后 显示器底部的投影仪会将这些照好的图像 投射到顶部的镜子上去.图像再按照一定 的角度反射到24块镜面,最后到达中央显

示屏以形成3D图像,其图像的旋转速率为 1秒30次(如图l0).

这种屏幕能够依次显示一个图像的 24个反射画面.由于其显示屏为双面设 计,因此,观众在特定的角度(为了不会产 生图像重叠,该显示屏具有较大的视角 限制)上就能够看到l160秒的图像,这样, 在观众的眼里就形成了三维画面.目前, El立正在对这种三维显示器的商业前景 做可行性研究.它可能被用于广告或者 街机游戏的显示,能够同时显示全彩的 静止和运动图像,日立表示,这种技术将 很有希望取代现在的全景显示技术.全 景显示技术曾被认为是显示三维图像的 最佳渠道,但它在显示运动图像时还需 要解决很多技术难题.

3.3三维全景显示技术

在2004年8月举行的SIGGRAPH2004 (2004年全球计算机图形学年会)上,美 国ActualitySYstems公司展示了其研发代 号为"PerSPeCta"的空间三维显示系统. "Perspecta"是全球第一台可以直接和电脑 连接的商用空间三维显示器,该空间三维 显示器可以用于彩色和动态场景的展示, 用户还可以对所展现的空间三维图像进行 控制.由于在成像速度和准确性上的优势, 空间三维显示技术已经开始在医疗成像, 石油和天然气以及边防安全上得到应用 图11:Perspecta系统的显示效果

三,自然交互式游戏

各种新形式的人机交互技术方兴未艾, 它们更加接近人类的习性,更加自然,随着 技术的进步,这种自然的人机交互方式在游 戏中将占据重要的位置.以用户为中心的多 通道交互方式是未来人机技术的发展方向, 国内外在这方面的学术研究很多,但研究与 开发多通道游戏交互技术在国内外目前都处 于起步阶段.如前所述,微软,索尼,任天 堂等一些领先游戏企业已陆续推出了应用新 型互动技术的游戏产品.

笔者所在的中科院自动化所交互娱乐 研究组(以下简称交互组)进行互动娱乐 应用技术研究已有4年历史,很多技术如 人睑识别和建模以及视频跟踪和分析等是 以往长期研究成果的积累和转化.与国内 外同行相比,自动化所在视频分析和语音 识别方面的技术位居同等或领先水平. 2005年4月,中科院自动化所将由交互组 开发的"自然交互娱乐技术"授权给盛大 网络,盛大网络对其实现娱乐化运用,推 出适合家庭客厅文化的健康自然互动游 戏,配合盛大家庭战略的实施.在现在和 将来,交互组将不断推出可实用化的技术 成果,并希望通过所提出新理念引领数字 娱乐技术和产品开发的一支新方向,具体 成果介绍如下.

1.rI然幼姒乐

在深入研究国内外数字娱乐内容和技术

现状与趋势,尤其是我国在网络游戏现存问 题基础上,交互组提出了"自然互动,健康 娱乐"(naturalinteraCtiOnandfit

entertainment)的娱乐新理念.在这种新型 的娱乐方式中,通过技术手段,参与者自身 的行为被作为了"输入设备",而非局限于传 统上用于操作键盘鼠标的双手,配合健康或 益智的娱乐内容,参与者将获得全新的,健 游髓翻童

2006年5月号

康的蠼乐体验

2.多通道受

在游戏中融合井应用了语音【只剐技 术和姿态识别技术例如,在垃组开发 的《模拟驾驶游戏中.玩家只需撮起 拳头,在摄像头前做出类似真实开车的 动怍,模拟双手放到方向盘.游战程 序冉动检测刘玩家的拳头l艟其运动方 向使方向盘敝相应运动.从而控制赛 车的方向同时.玩家通过语音命令来切 换汽车挡位或者改变速度,可以利用启 动加速.加油,倒车",后退

等命夸控翩赛车在该组开发的拍拍 球磷戏中.通过从视频图像中分析玩家 的肢体运动.使玩家可与游_艘中的球进 行互动(如国12)

3.个州化醒人

个性化是愈来愈多各种娱乐载体

用户的强烈需求.交互组开发了适用 干游戏和即时通讯软件的个性化置人 (j?dividuaIimmersion)技术(1】应 用模式识别和计算机视觉前沿技术: 人睑检洲.定位髓识别技术在研究 组开发的贴面具》游戏插件中.玩 家在}见频图像中的人睑被自动检洲井 定能,一瞥虚拟的胡子牯"到玩家 嘴上,且会实时地随着玩家脸部的运 动而运动.(2)应用计算机图形学前 沿技术:三维人脸建摸和动画技术. 在交互组开发的变脸游戏插伴中, 通过摄像头获取玩家的正面照片.就 可以重建出玩家的三维人脸模型,并 将其置人到游戏角色中.使玩家所控 制的角色拥有自己的面孔,这将使过 去大型网络游戏千人一面的游戏蟠最 成为历史(如图l3).

四未来的人机交互技术和游戏 人机交互和十算机用户界面剐剐走 过基于字符方式的命令语言式界面,目 前正处于图形用户界面时代但是,计算 机科学京并不满足于这种现状,他们正 积极探索新型的人机交互技术当前语 音识别技术手写识别技术的商业成功 以硬姿态识别技术的崭露头角让人们看 到了自然几机交互的曙光虚拟现实和 多通道人机交互的迅速发展垃示出未来 人机交互技术的发展趋势是以'用户为

中."的自然交互模式.

伴随人机交互技术的发展.未来的 计算札游_墁也将具有更逼真的表现和 震撼力.给予玩家更大的挺控自由和 更强的沉浸感.L

甩12横鸳驻和E拍拍球游琏 窭13耍脸游戏播件

雌嘲l一

转载请注明出处范文大全网 » 人机交互模式应用