当前位置:主页 > 期刊 > 印刷技术

基于增强现实的 印刷广告互动展示技术开发

时间:2018-06-24 22:08:54来源:科印网作者:薛延学 白云松 薛 萌 刘 敏

  增强现实技术(简称AR),是一种实时计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。基于增强现实技术的印刷广告为广告主和消费者提供了能够互动的“新平台”,吸引了消费者的注意。例如VIRE团队利用2017年6月苹果推出的ARkit工具,制作了一个星巴克咖啡广告,消费者将手机等移动终端的摄像头对准星巴克咖啡纸杯外表面的广告图片,通过点击小咖啡杯,便可以触发广告板,同时旁边还漂浮着一个广告板,上面标示着一些优惠信息。该作品在增强品牌识别度的基础上,增加了该产品的销量。

  但在采用上述技术进行的印刷广告AR类应用开发中,由于其设计和开发涉及到图像处理技术、跟踪注册技术、虚实融合技术、多媒体控制技术等多种技术的融合,对开发人员的技术要求较高,开发周期长、开发效率低,大大限制了AR类印刷广告三维互动展示化的普及。本文在分析基于Maya的三维建模技术、基于Unity3D的虚实融合技术和基于Vuforia的跟踪注册技术的基础上,完成了基于Unity3D+Vuforia的AR应用系统快速开发流程的研究,使传统印刷广告能够快速简单地拥有3D互动的呈现形态,大大降低开发难度和开发成本。

 

  系统开发技术

  图1展示的是印刷广告的AR开发系统框架。由图可知,进入AR系统后,首先开启移动终端的摄像头,此时移动终端的屏幕一直显示摄像头抓取到的画面;当摄像头拍摄到预制的标识信息时,经过视频处理和跟踪注册,得到虚拟信息在真实世界的正确位姿信息;之后通过三维渲染和虚实融合将相应的虚拟信息以正确的位姿与真实世界叠加,呈现在移动终端的屏幕上;最后用户通过移动终端可以与虚拟目标进行包括视觉、听觉、触觉的多感官交互操作。

  上述系统框架中涉及到的关键技术有:三维建模技术、跟踪注册技术和虚实融合技术等,具体如下。

  1.三维建模技术

  AR技术的最终表现形式是虚拟信息和真实场景的融合显示,其中虚拟信息可以是文字、视频、图片、三维模型等。由于印刷广告中以图片宣传为主,因此虚拟信息以三维模型为主,三维模型的逼真度和细腻程度是增加AR广告宣传真实感的重要环节,很大程度上影响着AR三维广告展示的价值。与3ds Max广泛应用于建筑设计不同,Maya主要服务于角色动画、专业影视等,在特效方面的功能十分齐全,本文选择使用Maya进行三维模型的建模。

  由于Maya的建模工具众多,常用的有Nurbs曲面建模、Subdiv细分建模以及Polygan多边形建模,三者各有优缺点。本文通过比较,主要使用Polygan多边形建模,其建模速度快、使用灵活性高且占用资源低。

  要使三维模型的逼真度较高,在建模时需要对模型的形状和比例有严格的要求,此外模型的贴图加工和UV展开等细节也都不可忽视。

  2.跟踪注册技术

  为了使众多研发者更加方便地开发AR应用,国内外一些研究机构已经开发了许多成熟的AR开发工具,主要完成AR技术中的跟踪注册功能。目前广泛应用的是基于标识物的AR开发工具,例如HitLab实验室的ARToolKi、哥伦比亚大学的ARTag等。但是在广告印刷品中,过多的使用特制的标识物不仅会影响用户的阅读感受,而且会增加印刷成本,降低应用价值。基于自然特征的AR技术的出现很好地解决了这个问题,能实现以纸质印刷品上图片等自然特征来实现跟踪注册功能,具有更宽广的应用场景。Metaio公司的Metaio SDK、PTC公司的Vuforia,以及国内首款投入应用的EasyAR等AR SDK,都实现了基于真实场景中某些自然特征的跟踪注册功能,可以识别跟踪真实世界中的自然图片物体等。

 

  Vuforia是目前主流的AR开发工具之一,可以完成AR技术中基于自然特征的跟踪注册功能,不仅支持 IOS和Android平台下的原生开发,还提供Unity 3D引擎可使用的开发包。它采用基于局部特征跟踪注册的AR技术实时识别和跟踪预制标识图。主要分为3个步骤。①注册:由开发者上传想要跟踪的标识图片,经Vuforia预处理后完成标识图的注册。②识别:由应用程序对标识图片进行识别。Vuforia除了能识别类似杂志封面、印刷广告、照片等平面二维物体,还支持对三维物体的识别。③跟踪:识别出标识图片后实时计算虚拟信息在真实场景中的位姿信息,将位姿信息传递给Unity完成虚拟信息的实时渲染。

  Vuforia提供了许多开发组件,例如Camera、Image Converter、Tracker等,其内部工作流程如图2所示。Camera调用移动终端的摄像头拍摄真实世界,将获取到的每一帧画面数据传递给Image Converter(像素格式转换器)。Image Converter负责将画面帧转换为适合OpenGL ES跟踪和渲染的图像格式,转换后的图像帧和Target数据库中存储的特征信息被传递给Tracker。在Tracker中实时将处理过的图像帧与目标图像的特征点进行匹配识别,完成对真实世界中标识图的识别和跟踪,将识别结果存储在State Object。State Object中的内容既可以直接用于视频背景渲染,也可被应用程序的代码访问。AR应用在启动前需要完成上述组件的初始化,之后根据不断更新的State Object的状态为新增加的连续图像数据不断更新程序逻辑,一旦匹配状态成功,就在真实场景中渲染相应的虚拟信息。

  在Vuforia中,Target是一个非常重要的概念,其是指Vuforia能够识别和跟踪到的真实世界的对象,常见的有Image Target、Word Target、Cylinder Target等。本文主要使用Image Target即二维平面图像标识物作为识别跟踪的对象。

  3.基于Unity 3D虚实融合原理的技术

  Unity 3D是由Unity Technologies开发的一个能够轻松创建三维视频游戏、建筑可视化以及实时三维动画等互动内容的、多平台的综合开发工具。Unity 3D发布的应用目前支持市面上绝大多数主流的平台,例如PC、Mac、Android、iphone等,并且Unity 3D拥有数量庞大的开发包,通过Unity 3D引擎可以很方便地开发各种平台的AR应用。

  开发AR应用首先要在Unity 3D中完成三维虚拟信息设计,随后,还需要将虚拟信息以正确的位姿投影在真实世界中才能完成虚实融合。当摄像头识别到标识图片,完成标识图片的跟踪注册时,能给Unity 3D提供足够的信息完成虚拟信息的位姿设置。在Unity 3D中实现虚实融合的原理如图3所示。

  基于Unity 3D+Vuforia的AR应用开发实例

 

  图4为Vuforia SDK for Unity 3D系统架构图,可以看到Unity引擎和Vuforia引擎为整个AR应用提供了强大的系统支持和算法支持。在应用开发时,让开发者和Vuforia有明确的分工:开发者的主要工作在于目标图像的选取和制作、软件逻辑的设计以及交互方式的创新,这部分主要在Unity 3D中完成;Vuforia则是提供底层开发引擎和目标图像管理系统,完成底层目标图像的识别跟踪以及实时的信息反馈。让开发者不需要过多地关注底层识别算法,只需将精力集中在上层应用的逻辑和内容中。这一开发路线使AR应用开发的门槛大大降低,让传统印刷广告与AR的结合更加简单容易,对推广AR印刷广告有积极良好的影响。

  本文基于Unity+Vuforia开发印刷广告AR类应用主要包括以下3个步骤:目标识别图制作;目标识别图管理;AR应用开发。详细开发流程如图5所示。

  在目标识别图制作阶段,开发者首先选定想要跟踪的目标物体,根据目标物体制作出相应的目标识别图。在目标识别图管理阶段,将目标识别图上传至在线管理工具Target Manager中进行分析及预处理,其结果会存储到对应的Device Databases中,我们会得到一个特定的识别Unity资源文件包。在应用开发阶段,将开发者下载的Vuforia SDK for Unity开发包及相应目标识别图资源包,与准备好的模型资源包、特效资源包一同导入到Unity 3D,在Unity 3D中搭建场景,进行AR应用的设计与开发,最后生成移动APP,可以发布在多个移动平台上。

  在AR应用中一张质量好的目标识别图是被系统识别和跟踪的基础。Vuforia的在线管理工具Target Manager可以完成对识别图可识别度的评级,以评定的星级高低来描述目标图片可以被追踪识别的难易程度。星级范围从0星到5星,星级越高,说明图片越容易被识别和跟踪。而星级的评定标准就是识别图中的特征点,识别图中包含的特征点越多,分布越均匀,重复度越低,其星级评定就越高,系统运行时识别跟踪就越容易。

  本文采用上述技术开发的家具产品广告互动体验AR应用,仅用一个月就完成应用研发,其AR互动展示效果图如图6所示。其技术创新点包括以下几点。①三维虚实融合技术:通过移动终端实现了在真实环境下摆放虚拟三维家具产品的虚实融合,加强了用户沉浸感。②景物的交互体验技术:实现了用户可以通过移动终端将所选虚拟家具产品与真实室内场景互动体验。包括家具产品进行自由摆放交互体验以及效果图保存功能,增加了用户的参与度。③基于Unity 3D+Vuforia的AR快速开发流程,使传统印刷广告能够快速简单地拥有AR的呈现形态,大大降低开发难度和开发成本。

  在科技迅速发展的今天,传统纸质广告印刷品的信息传递方式已经不能满足用户的需求。AR技术的出现为传统纸质媒体注入了新的活力,其通过移动终端的显示屏实时地将虚拟信息与广告的纸面内容融合呈现,打破了以往静态被动的阅读方式。随着我们对AR技术中交互融合技术的深入研究,能够将广告宣传品的阅读体验与用户的听觉、触觉等感官建立起紧密的联系,大大提高用户的阅读兴趣和认知能力。可以预计,AR技术在广告印刷品中将会有更广阔的应用前景。


#news_tuijian#