| 成果名称: | 基于区域选择性视觉冗余的多视点视频编码方法研究 |
| 完成单位: | 中国科学院深圳先进技术研究院 |
| 主要人员: | 张云、邝得互、毛丹、刘畅、王旭、权奕铭 |
| 介绍: | 三维视频系统能提供立体感、视点交互性等全新视觉体验，是未来视频系统发展的方向；立体/多视点视频编码技术是其走向应用的关键。传统多视点视频编码方法主要基于信息理论，消除时、空、视域的相关性，需要进一步挖掘视觉等冗余提升压缩效果与效率。 本项目从研究3D立体视觉和3D虚拟视点绘制机理等因素出发，设计主、客观实验分析，建立了人眼视觉注意计算模型以及视觉敏感度模型；然后，以视觉机理模型为基础，研究将信息论与人类立体视觉中的区域选择特性及其视觉冗余原理相结合的高效多视点视频编码理论，提出了面向高效多视点视频码率控制与优化技术，基于区域选择和绘制冗余的码率分配系列方法，高效的多视点深度视频编码方法以及低复杂多视点视频编码方法等，有效提高编码效率与编码重构图像的主客观质量，降低了编解码系统的计算复杂度。具体研究成果如下: 1)视觉注意模型及其检测方法研究: 基于字典的全局与局部视觉注意检测方法，课题组利用图像中的全局和局部特征信息，研究基于字典表达方式的视觉注；基于前背景先验知识的视觉注意检测方法，针对视频和图像中的存在的先验信息以及多媒体交互式应用，获得大致视频或图像的前背景先验知识。基于此大致前背景先验知识，我们研究视觉注意检测方法，并提出基于前背景先验知识的视觉注意检测方法。意检测方法。 2)高效多视点视频编码方法: 面向三维视频深度编码的率失真优化与码率控制，我们提出一种面向三维视频的码率控制与码率分配优化方法。我们不仅分析了已编码视点的彩色视频和深度视频的率失真特性，还分析三维视频虚拟视点与编码视点的质量以来关系；基于区域性绘制失真模型的三维深度视频编码方法，本文三维视频虚拟视点绘制过程中深度失真与虚拟图像失真的关系，针对深度视频的不同区域对绘制图像质量的差异化影响，提出基于区域的虚拟视点图像失真数学模型；基于绘制可容忍失真的 3D 深度视频编码方法，3D 视频系统中的深度视频主要作为 3D 场景的位置几何信息，这些深度视频需要被压缩并传输至解码端，用于重建 3D 虚拟视点场景；面向视觉质量优化的码率控制优化方法；基于博弈论的码率控制方法；3D 视频的码率控制与传输优化方法；多视点深度视频编码中的帧级码率控制方法。 3)低复杂度多视点编码方法:提出基于区域特性和相关性的低复杂度多视点视频编码算法，分析多视点视频各宏块的区域性特性，主要包括率失真代价和模式概率分布特性等，建立率失真代价的拉普拉斯模型，提出SKIP模式后的早期终止策略和自适应阈值， 有效减少不必要的运动和视差估计计算；基于深度与彩色视频相关性的低复杂度三维视频编码，课题组主要基于彩色视频与深度视频的可变尺寸块模式相关性，运动相关性以及编码块模式，提出一种深度视频的快速模式选择算法。 4)应用于 3D 视频编码的滤波与绘制后处理方法: 提出基于失真优化与错误隐藏的三维视频滤波方法；提出了基于时、空、视相关性的虚拟视点绘制与后处理方法；提出了基于虚拟视点绘制的深度视频编码与预处理方法。 |
| 批准登记号: | 粤科成登（2）字【2018】0195 |
| 登记日期: | 2018-05-03 |
| 研究起止时间: | 2012.01 至2014.12 |
| 所属行业: | 信息传输、软件和信息技术服务业 |
| 所属高新技术类别: | |
| 评价单位名称: | 国家自然科学基金委员会 |
| 评价日期: | 2015.04.24 |
