个性化视频生成方法及系统
2020-01-11

个性化视频生成方法及系统

本发明公开一种个性化视频生成方法及系统,该方法包括:获取包含人脸的用户图像;提取所述用户图像中的人脸图像;获取目标视频;将所述人脸图像替换掉所述目标视频中待匹配人物的人脸,并根据视频场景的变化动态调整替换后的人脸图像,得到个性化视频。利用本发明,可以提高个性化视频与用户的互动性和娱乐性,提升用户体验度。

人脸图像提取模块502,用于提取所述用户图像中的人脸图像。

本发明实施例提供的个性化视频生成方法及系统,在进行人脸替换时,根据视频场景的变化动态调整替换后的人脸图像,比如,调整替换后人脸的姿态、光照及表情的变化等情况,从而使替换后的人脸可以随着视频场景的变化而变化,使生成的个性化视频给用户一种即时感和代入感,大大提高了个性化视频与用户的互动性和娱乐性,提升了用户体验度。

(2)根据用户图像中的人脸图像及人脸通用模型构建用户图像中人脸的三维人脸模型;

具体地,根据目标视频中待匹配人物的人脸朝向与表情变化情况,在待匹配人物所在视频中选择一张弱表情正脸图像作为所述待匹配人物的人脸基础图像。

如果待匹配人物的光照发生变化,则构建待匹配人物所在当前帧的人脸纹理蒙版,并将所述人脸纹理蒙版叠加到替换后的图像中的目标三维人脸模型上;

在本发明实施例中,假设三维人脸空间为线性子空间,即任意三维模型可以由其他多个三维人脸模型线性组合而成。那么匹配替换模型可以通过人脸通用模型与预先采集的大量三维人脸模型线性组合而成,线性组合的权重可以根据通用模型和待匹配人物的人脸基础图像估计得到。

如图3所示,是本发明实施例中纹理平滑示意图。其中左侧为匹配替换模型,右侧为目标三维人脸模型。方框内A’区域为目标三维人脸模型的待平滑区域,方框内A区域为匹配替换模型中与目标三维人脸模型中A’区域对应的待平滑区域。类似地,方框外B’区域为目标三维人脸模型的非待平滑区域,方框外B区域为匹配替换模型中与目标三维人脸模型中方框外B’区域对应的非待平滑区域。

分别划分所述目标三维人脸模型和所述匹配替换模型的非待平滑区域和待平滑区域;

目标视频获取模块503,用于获取目标视频。

如图3所示,是本发明实施例中纹理平滑示意图。其中左侧为匹配替换模型,右侧为目标三维人脸模型。方框内A’区域为目标三维人脸模型的待平滑区域,方框内A区域为匹配替换模型中与目标三维人脸模型中A’区域对应的待平滑区域。类似地,方框外B’区域为目标三维人脸模型的非待平滑区域,方框外B区域为匹配替换模型中与目标三维人脸模型中方框外B’区域对应的非待平滑区域。

进一步地,如果用户图像中有大面积缺失的人脸,可以直接去除该人脸。

在前面提到,本发明实施例的个性化视频生成系统,不仅要由图像替换模块将所述人脸图像替换掉所述目标视频中待匹配人物的人脸,而且要由图像调整模块根据视频场景的变化动态调整替换后的人脸图像。由于每段视频都是由多帧图像组成的,并且不同帧图像匹配人物的视频场景均可能发生变化,因此,在本发明实施例的系统中,所述图像替换模块541和图像调整模块542可以逐帧进行替换及调整;也可以先由图像替换模块541将所有帧图像中的待匹配人物的人脸进行替换后,再由图像调整模块542逐帧调整替换后的人脸图像,对此本发明实施例不做限定。

相应地,在该实施例中,目标视频获取模块503根据所述特征提取模块603提取的图像特征信息从视频库中获取目标视频。