本文是一篇计算机论文,本文采用的立体显示左右眼视图颜色编码能改善视觉舒适度,若将该编码方式运用于立体显示技术中,或将能提高人们观看三维立体显示的视觉舒适度,对于改善立体显示技术视觉舒适度有一定的借鉴意义。
第1章 绪论
1.1 研究背景
随着显示器件的不断进步,三维(3D)立体显示技术已广泛应用于电影、娱乐、视频游戏、远程操作、虚拟现实(Virtual Reality, VR)和增强现实(Augmented Reality, AR)等诸多方面[1-3]。三维立体显示技术相对于二维(2D)显示技术,可以为观众提供一种具有深度感的三维场景,进而带来沉浸式的临场体验感,能够大大提高观众的视觉感受品质[4]。然而,彩色三维场景重现需要采集、传输和处理两幅彩色图像,与二维图像相比,传输和处理的信息量很大,无形中增加了人类视觉感知系统的压力。
颜色和深度感知是人类日常活动和许多需要人类监督或控制的应用中所需要的重要能力[5]。在真实场景中,图像颜色会受到各种电子、几何和辐射因素的影响,导致视频左右视图之间出现失真,严重的失真甚至还会引起视觉疲劳以及视觉不舒适[6]。当双目颜色信息不对称时,会同时出现颜色融合和立体视融合,增加视觉系统对颜色信息的处理量,造成视觉疲劳[7]。有研究表明[8]颜色交错的立体显示方式相对于时间交错的立体显示方式来说,能有效减小甚至是消除深度扭曲。也有研究发现[5] 仅给一只眼睛呈现彩色图像,另一只眼睛呈现灰色图像,人的大脑也可将这种单彩色立体图像对融合为彩色三维场景且深度感不受影响。这样的混合图像对能够减少颜色信息的冗余量,到达视觉系统的信息量也相应减少,自然就能减轻视觉系统对颜色信息的处理压力。
综上,三维立体显示技术发展迅速,立体彩色图像对能够给人带来沉浸式的体验,让人们尽情地享受视觉盛宴。视觉系统主要是通过接收来自双眼的左右两幅具有轻微差异的图像来产生立体深度感知。相对于二维图像,三维立体场景采集、传输和处理图片的工作量就会变得很大。左右两幅图之间只存在轻微差异,视觉系统在接收来自左右两只眼睛的信息时,会出现颜色信息的冗余。这些冗余信息会增加视觉感知系统的压力,进而带来视觉上的不舒适。而视觉不舒适又是制约立体显示技术发展的重要因素,如果这一问题不能得到很好地改善和解决,那么近年兴起的诸如增强现实、虚拟现实、混合现实(Mixed Reality, MR)、元宇宙(Metaverse)等诸多领域的应用也仅是昙花一现。
1.2 研究现状
1.2.1 立体显示视觉舒适度
在观看立体图像或视频时,造成视觉不舒适的原因是多方面的,主要包括观看环境、立体显示技术以及立体显示内容三类。其中,观看环境是指实验环境的照明情况,受试者的观看位置、观看距离以及显示屏的大小、分辨率等。立体显示技术和立体显示内容方面的影响因素也是多样的,国内外有众多学者对影响立体显示内容视觉舒适的原因做了大量的实验研究,以力求能够有效的改善立体显示技术中的视觉舒适度。
当视觉舒适度的影响因素超过一定的界限时,会降低视觉舒适度[9]。影响立体显示视觉舒适度的因素是多方面的,主要包括视差、颜色信息、亮度、观看环境、立体内容和立体显示技术等。研究认为景深对视觉舒适度会造成一定的影响,可以用其改善视觉不适[10]。Torii等人研究发现人工调节图像模糊能够减少图像的辐辏-调节冲突,从而改善视觉舒适度[11]。不适当的拍摄参数和相机与立体图像对应点未对准会造成视疲劳[12]。Sohn于2011年提出了基于视觉的立体感知舒适度评价模型[13]。Jung 等人提出用视觉舒适客观评价指标来调整视差的方法,能够有效改善视觉舒适度[14]。Shon在此基础上提出了一种新的视差重映射模型,该模型可以解决视差过大而导致的视觉不舒适[15]。2010年,刘沁等人以韦伯-费希纳定律为基础建立了视觉舒适度的理论模型,该理论模型能够较好地反应视觉舒适度的客观规律[16]。王小雨等人提出了一种基于特征区域分割的立体视频视觉舒适度的评价方法,对于视觉舒适度的研究具有重要的参考价值[17]。邵枫等人提出了一种更加符合人眼视觉特性的视觉舒适度客观预测模型[18]。王晓燕等人结合亮度信息探究,并对视觉舒适度评价模型优化,为立体视频舒适度的评价提供了一定的参考[19]。
第2章 相关基础理论
2.1 立体显示技术
人眼对周围环境的感知,是一种信息加工的过程[41]。人眼首先能区别明暗,其次能区别颜色。为什么人眼可以看到从外面进来的东西,这是由于人的眼睛是一个透明的折射系统,对于物体本身发出的光,或者是被物体反射的光,都会被人眼的视觉系统进行识别和处理。人眼对色彩的感知主要是通过各种视锥细胞完成,这些视锥细胞主要分为3种,它们分别对红光、蓝光和绿光做出反应。人眼有着复杂的内部结构,配备有各种光学组件,包括角膜,虹膜,瞳孔,水性和玻璃体液,变焦镜头和视网膜。这些元素一起用于形成落入每只眼睛的视野中的物体的图像。当观察物体时,首先通过凸面角膜和透镜元件聚焦,在视网膜表面形成倒置图像,这是一个包含数百万个光敏细胞的多层膜。为了到达视网膜,由角膜聚焦的光线必须在它们到达锥形和棒状细胞的光敏外部区段之前连续穿过房水(在前房中)、晶状体、凝胶状玻璃体、以及视网膜的血管和神经元层。这些光敏细胞检测图像并将其转换成一系列电信号以传输到大脑。人眼的解剖结构与照相机的设计结构相比较,可以将虹膜视为一个光圈,角膜和晶状体构成物镜,视网膜视为一个感光元件,而大脑则看做是一个具有智能算法的非常复杂的图像处理计算机[42]。
立体显示技术以双目立体视觉原理为基础,近年来,以3D电影和VR为代表的三维显示技术以其独特的沉浸体验得到了快速发展。三维立体显示器给人们带来了空前的视觉冲击力,也带动了3D显示器的快速发展。随着3D投影技术的普及,人们对这个世界的感知也有了更多的了解,因此立体显示技术的发展丰富了人类对现实世界的认知,也使得人们对真实世界的认识更加真实和全面。
2.2 立体显示下的颜色感知
在视觉感知系统中,人眼可以通过明度、色调、饱和度等三个特征来感知颜色信息。颜色的这三个特性,又被称为颜色的心理三属性。明度又叫做亮度,指的是颜色的明亮程度。不同色调的明度也会有差异,由于受物体表面特性和光线强弱不同的影响,色调也会产生明暗、深浅的差别。对于自带光源的物体来说,因其本身自带光源,明度自然更高;而对于非自带光源(即不发光)的物体来说,其它光源对物体的反射比越高,则这个物体明度越高。例如同样是红色,可以有深红、中红和浅红等。色调又称为色相,是指不同的颜色感知,如红、黄、蓝等,它与光的波长有关。饱和度也叫彩度,指的是颜色的纯度,又称为彩色的纯度、鲜艳的程度。这个比例越大,说明它的饱和度就越高,也就是说其掺入的白光越少,颜色看起来就越深(浓)。颜色中的有色成分所占比重越小,就表明其饱和度越低,也就是说,当光谱色中掺入的白光越多,其颜色就会越不饱和,甚至不再显示彩色,变为白色。如图2.1所示,可以用一个颜色空间表示颜色的三属性[46] ,其中立体空间中的纵轴表示的是黑白的变化;中间的圆代表的是色调,周围的圆形代表着色调的变化;圆中的半径是指饱和度(也就是彩度),越是靠近圆心,饱和度就会越低。
第3章 基于颜色信息压缩比的立体视频视觉舒适度评价 ................ 15
3.1 立体视频颜色信息压缩比 ........................... 15
3.2 舒适度评价实验 ............................. 16
第4章 相同颜色信息压缩比的立体视频双目颜色分配方案 ............ 27
4.1 设计依据 ........................... 27
4.2 颜色分配方案设计 ................................... 27
第5章 基于双目感知功能差异的颜色分配方案设计 ........................ 36
5.1 设计依据 ............................ 36
5.2 颜色分配方案 ................................. 36
第5章 基于双目感知功能差异的颜色分配方案设计
5.1 设计依据
在上个章节中提出了在保证左右眼亮度相同的条件下,只把颜色信息呈现给一只眼睛的双目颜色优化分配方案。该方案既可以避免立体显示时的左右颜色不对称,又可以减少双目的颜色接收处理需求,降低了视觉系统负荷,所以应该在某种程度上可改进立体显示的视觉舒适度。普遍认为,视觉系统中的双眼分为主导眼和非主导眼,而主导眼主要用于定位和分析目标,非主导眼主要用于处理颜色信息。基于此,我们猜想这样一个颜色编码方案:将图像或视频中的彩色信息呈现给用于处理颜色信息的非主导眼,使得主导眼专注于定位和分析目标,并探究该颜色编码方案是否能改善视觉舒适度。
第6章 总结与展望
左右眼颜色不对称是立体显示技术中不可避免的现象。当将两幅左右略微不同的图像分别呈现给左右眼时,视觉大脑能够将两幅图进行立体结合,形成一个单个的图像,从而产生出立体视觉,带来立体深度感和沉浸式体验,但左右图像差异造成的视觉不舒适是限制立体显示技术发展的关键因素。
在现有研究理论的基础上,结合颜色信息影响视觉不舒适的问题,本文在保证视觉舒适在可接受的范围内且深度感知不受影响的条件下,探讨了多种可能影响立体视觉舒适度的颜色编码方案,通过对立体视频进行不同的颜色编码,采用心理物理学实验方法,研究分析了不同的颜色编码方案对立体显示视觉舒适度的影响,具体研究内容如下:
(1)开展基于颜色信息压缩比的立体视频视觉舒适度评价实验,得到能改善视觉舒适度的颜色信息压缩比。根据不同的颜色信息压缩比开展主观评价实验,对收集到的数据进行可信度检验和方差分析,得出不同颜色信息压缩比对视觉舒适度有显著影响。建立了基于颜色信息压缩比立体内容视觉舒适度评价模型,模型的拟合结果表示,当R≈2.03时,可获得可接受的视觉舒适度。当R >2.03时,视觉舒适度评分小于60,表明此时观看的立体视频已经让大脑感觉到了视觉上的不舒适。因此,想要在保证视觉舒适度的同时对视频压缩的话,应该将R控制在2.03以内。
(2)在相同颜色信息压缩比下(R =2),提出了三种双目颜色分配方案,并分别进行视觉舒适度评价实验。对实验数据进行处理与分析后得到结论,三种颜色分配方案均对视觉舒适度有显著的影响。其中,立体视频所有帧的左半部分均为彩色,所有帧的右半部分均为灰色的双目颜色分配方案能有效提高视觉舒适度。
(3)对于双目感知功能的差异,提出将颜色信息呈现给非主导眼,非颜色信息呈现给主导眼的颜色编码方案。本文分别选取了5位主导眼为左眼和5位主导眼为右眼的受试者参加实验,结果表明,无论是主导眼为左眼还是主导眼为右眼的人群,将颜色信息分别呈现给主导眼和非主导眼的不同颜色分配方案对视觉舒适度有显著影响。其中,将颜色信息呈现给非主导眼,非颜色信息呈现给主导眼的颜色编码方案相对于将颜色信息呈现给主导眼,非颜色信息呈现给非主导眼的颜色编码方案,能有效改善视觉舒适度。
参考文献(略)