基于视频传感器的自动关注区检测
2020-01-14

基于视频传感器的自动关注区检测

本发明针对基于视频序列的视频帧内的低复杂性自动关注区(ROI)检测的ROI视频处理的技术。所述低复杂性自动ROI检测可基于视频通信装置内的视频传感器的特性。在其它情况下,所述低复杂性自动ROI检测可基于所述视频序列的一视频帧和一不同视频帧的运动信息。所述揭示的技术包含视频处理技术,其能够基于特定视频传感器的特性而调谐并增强视频通信装置内的视频传感器校准、相机处理、ROI检测和ROI视频处理。所述揭示的技术还包含基于传感器的ROI检测技术,其使用视频传感器统计资料和相机处理侧信息来改进ROI检测准确性。所述揭示的技术还包含基于运动的ROI检测技术,其使用视频处理中运动估计期间获得的运动信息。

图7是说明视频通信装置10中所包含的ROI视频处理系统14的基于视频传感器12的特性的操作的流程图。传感器校准模块30基于视频传感器12的肤色反射谱和测试目标(例如麦克贝斯色彩测试标板表)的反射谱而执行传感器校准(46)。传感器校准模块30接着基于校准过程而产生视频传感器12的传感器统计资料32(48)。如先前所述,在一些实施例中,传感器统计资料可包含均值向量μ,和从为视频传感器12准备的CbCr色彩图中的点的坐标计算出的协方差矩阵Λ。针对每个亮度范围,μ和λ的对由传感器校准模块30存储,作为视频传感器12的传感器统计资料32。

图2A和图2B是说明视频序列的视频帧20内的ROI24和非ROI区26的定义的图。在图2B的实例中,将ROI描绘为人脸ROI24。在其它实施例中,ROI可包括矩形ROI或可能具有圆形或不规则形状的另一非矩形R0I。ROI24含有出现在视频帧20中的人的脸部22。在图2B中通过阴影法来突出显示非ROI区26(即,背景)。

上文的假定是允许的,因为对于给定的传感器和某一反射谱,相应的相机原始RGB信号理论上可由以下等式来计算:

如上文所述,为了考虑施照体对肤色图的影响,传感器校准模块30在三种施照体(例如,日光一CIED65,钨丝灯一CIEΑ,和荧光灯一TL84)下使用麦克贝斯色彩测试标板,且以标准化标度以的亮度级范围针对每种施照体获得一个肤色区域。相机处理模块34接着估计接收到的视频帧的施照体,且将估计的施照体分类成三种施照体类型中的一种。以此方式,相机处理模块34为视频帧选择施照体。ROI检测模块36内的皮肤区域检测器38接着可在检测视频帧内的肤色区域时使用对应于选定施照体的传感器统计资料。

所揭示的技术还包含基于传感器的ROI检测技术,其使用视频传感器统计资料和相机处理侧信息来改进ROI检测准确性,其直接增强了ROI视频处理性能。举例来说,皮肤区域检测器使用视频传感器统计资料来准确地检测视频帧内的皮肤图,且面部检测器使用所述皮肤图来检测所述视频帧内的一个或一个以上面部。所揭示的技术还包含基于运动的ROI检测技术,其使用视频处理中的运动估计期间获得的运动信息。举例来说,面部检测器使用皮肤图和运动信息(例如,运动向量)来执行低复杂性面部检测,所述低复杂性面部检测基于运动信息而有效地提取所述皮肤图内的一个或一个以上面部(即,R0I)。

ROI视频处理模块42可通过使用基于建模的位分配途径来对等式(13)求解。自然图像的AC系数的分布可由拉普拉斯分布(Laplaciandistribution)最佳地近似,

ROI视频处理模块42可通过使用基于建模的位分配途径来对等式(13)求解。自然图像的AC系数的分布可由拉普拉斯分布(Laplaciandistribution)最佳地近似,

皮肤区域检测器38在接收由传感器校准模块30产生的传感器统计资料32之后,可执行相对简单的检测过程。在此情况下,皮肤区域检测器32检查色度(CbCr)值是否在由传感器相关统计资料32表征的椭圆内。如上文所述,从传感器校准模块30获得视频帧的椭圆的参数。另外,椭圆的参数是以照明度和亮度定向的,且与传感器相关。因此,与在毫不知情的情况下由大量图像训练的常规肤色训练途径相比,本文所描述的皮肤区域检测过程可能更准确。皮肤区域检测器38接着从视频帧的所检测的肤色区域产生皮肤图。

ROI视频处理系统14可包含许多组件,例如视频传感器校准模块、相机处理模块、ROI检测模块和ROI视频处理模块,可基于视频传感器12的传感器特定特性来调谐上述模块中的每一者,以增强ROI视频处理性能。因此,ROI视频处理系统14可基于各种视频传感器的物理特性和处理能力,来准确地处理由不同视频俘获装置产生的视频帧。在一些情况下,ROI视频处理系统14可以是ROI视频编码系统。在其它情况下,ROI视频处理系统14可包括ROI视频增强系统或另一类型的视频处理系统。

在移动应用中,具体地说,可用于对视频帧进行编码的编码位的数目可能较低,且根据无线信道条件而变化。因此,编码位到ROI的择优分配可能有助于改进ROI的视觉质量,同时有效地符合可应用的位速率要求。因此,有了检测到的ROI的择优编码,与视频帧的非ROI区相比,接受者能够更清楚地观看到视频帧的R0I。视频通信装置10接着可通过有线或无线通信信道将经编码的视频帧传输到另一通信装置。

特征检测和检验模块66接着接合所述两个眼部图,以找出最终眼部特征候选物。图9C说明由特征检测和检验模块66检测到的示范性面部特征候选物,例如眼部特征候选物。显然,其它面部特征(例如嘴、眉毛、鼻孔和下巴)也可被检测为是找出候选区域内的面部的提示。在检测视频帧内的ROI或面部时,尤其在眼部在视频帧中不可见或模糊时,这些额外面部特征可能非常有用。