基于人脸建模及表情追踪的VR会议控制系统及方法
技术领域
本发明属于虚拟场景技术领域，尤其涉及一种基于人脸建模及表情追踪的VR会议控制系统及方法。
背景技术
目前，已有的VR系统主要是采用虚拟现实技术在现有的情景化会议系统上进行场景3D化，结合视频会议和3D技术实现在语音、视频系统与3D虚拟画面的全面结合下进行网络视频会议，缩短人与人之间的距离，实现跨地域的连接与互动。可通过屏幕上虚拟世界内的交互展示。然而在人与人的交流过程中，多以传达声音为主，真实感较差。
因此，现有技术有待于改善。
发明内容
本发明的主要目的在于提出一种基于人脸建模及表情追踪的VR会议控制系统及方法，以解决背景技术中所提及的技术问题。
本发明的一种基于人脸建模及表情追踪的VR会议控制系统，包括会议场景选择模块、人脸检测模块、特征点提取模块、3D人脸模型生成模块、面部表情跟踪模块和交互模块，会议场景选择模块用于根据用户选择进入会议场景，人脸检测模块用于识别佩戴者的人脸信息，特征点提取模块用于获取人脸信息并提取若干特征点的相对位置信息，3D人脸模型生成模块用于根据位置信息确定3D人脸模型，面部表情跟踪模块用于每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型中，交互模块输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。
优选地，交互模块包括VR头显设备。
优选地，VR头显设备内置有显示模块、摄像头和存储模块。
优选地，存储模块存储有至少两个会议场景和至少两个经ASM算法计算出的3D人脸模型。
本发明还提供了一种基于人脸建模及表情追踪的VR会议控制方法，包括以下步骤：
步骤S10，佩戴者佩戴交互模块后，接收佩戴者的选择并进入会议场景；
步骤S20，交互模块中的摄像头获取设备内的实时照片，从实时照片中识别佩戴者的人脸信息；
步骤S30，从人脸信息中识别至少三个特征点，并计算相对位置信息；
步骤S40，根据相对位置信息确定3D人脸模型；
步骤S50，每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型。
优选地，还包括步骤：
步骤S60，交互模块输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。
优选地，人脸信息包括实时照片中的人脸区域部分，特征点至少包括鼻、嘴、左眼、右眼和耳朵。
优选地，相对位置信息包括第一相对距离和第二相对距离，步骤S30具体包括：
步骤S31，从人脸信息中识别出鼻、左眼和右眼；
步骤S32，以鼻为坐标中心，建立坐标系，获取左眼坐标信息和右眼坐标信息；
步骤S33，根据鼻坐标信息、左眼坐标信息和右眼坐标信息所在位置计算第一相对距离和第二相对距离，其中，第一相对距离表示左眼和鼻之间的距离，第二相对距离表示左眼和右眼之间距离。
优选地，步骤S40具体包括：
步骤S41，根据第一相对距离从存储模块中选择出若干第一相关模型；
步骤S42，根据第二相对距离从若干第一相关模型中确定3D人脸模型。
本发明的基于人脸建模及表情追踪的VR会议控制系统及方法，能够准确、实时将人脸信息中各特征点实时变化更新至3D人脸模型中，即能够在虚拟场景中观察到会议中各参与者的表情变化，更加逼真以及能够清楚了解到除了声音之外的信息。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于人脸建模及表情追踪的VR会议控制方法的流程示意图；
图2为基于人脸建模及表情追踪的VR会议控制方法中步骤S30的细化流程示意图；
图3为基于人脸建模及表情追踪的VR会议控制方法中步骤S40的细化流程示意图；
图4为本发明基于人脸建模及表情追踪的VR会议控制系统的框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要注意的是，相关术语如“第一”、“第二”等可以用于描述各种组件，但是这些术语并不限制该组件。这些术语仅用于区分一个组件和另一组件。例如，不脱离本发明的范围，第一组件可以被称为第二组件，并且第二组件类似地也可以被称为第一组件。术语“和/或”是指相关项和描述项的任何一个或多个的组合。
如图4所示，图4为本发明基于人脸建模及表情追踪的VR会议控制系统的框图。本发明的一种基于人脸建模及表情追踪的VR会议控制系统，包括会议场景选择模块、人脸检测模块、特征点提取模块、3D人脸模型生成模块、面部表情跟踪模块和交互模块，会议场景选择模块用于根据用户选择进入会议场景，人脸检测模块用于识别佩戴者的人脸信息，特征点提取模块用于获取人脸信息并提取若干特征点的相对位置信息，3D人脸模型生成模块用于根据位置信息确定3D人脸模型，面部表情跟踪模块用于每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型中，交互模块用于输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。本发明的基于人脸建模及表情追踪的VR会议控制系统及方法，能够准确、实时将人脸信息中各特征点实时变化更新至3D人脸模型中，即能够在虚拟场景中观察到会议中各参与者的表情变化，更加逼真以及能够清楚了解到除了声音之外的信息。
其中，交互模块包括VR头显设备，以便于需要参与会议的佩戴者进行佩戴。VR头显设备内置有显示模块、摄像头和存储模块；还包括与VR头显设备连接的手部设备；手部设备上设置有传感器和键盘，以获取用户的手部指令；显示模块用于播放VR视频。
优选地，存储模块存储有至少两个会议场景和至少两个经ASM算法计算出的3D人脸模型；会议场景可以根据人数多少来选择，会议场景包括虚拟会议场景，显示模块用于输出虚拟会议场景以及参与虚拟会议场景的每个佩戴者所对应的3D人脸模型。ASM算法是基于统计学习模型的特征点提取的方法，通过选取一组训练样本，用一组特征点描述物体的形状，对这些样本的形状进行配准，再使用主成分的分析方法对配准后的形状向量进行统计建模，得到物体形状的统计学描述。可利用建立的形状模型在新的图像中搜索与模型相似的目标。具体步骤为：对脸部面部关键区进行ASM训练，标注脸部嘴、鼻子、眼角和脸部边界的特征点，记录特征点的坐标，对于标注后的脸部样本集，每幅图像的大小、绝对位置、角度有差异，这样直接对这些样本集进行统计建模是不规范的，为了建立样本训练集的模型，通过图像的旋转、平移、扩大缩小进行对齐操作，消除图像之间的差异，从而建立脸部的几何模型。已经建立好形状模型后，需要运用迭代原理进行目标图像与模型的匹配，确保目标图像的坐标集仍然与训练集相似，重复该迭代过程，直到实现收敛。
如图1所示，本发明还提供了一种基于人脸建模及表情追踪的VR会议控制方法，包括以下步骤：
步骤S10，佩戴者佩戴交互模块后，接收佩戴者的选择并进入会议场景；
步骤S20，交互模块中的摄像头获取设备内的实时照片，从实时照片中识别佩戴者的人脸信息；
步骤S30，从人脸信息中识别至少三个特征点，并计算相对位置信息；
步骤S40，根据相对位置信息确定3D人脸模型；
步骤S50，每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型。
优选地，在步骤S50之后包括步骤：
步骤S60，交互模块将3D人脸模型实时输出至VR视频中。
优选地，人脸信息包括实时照片中的人脸区域部分，特征点至少包括鼻、嘴、左眼、右眼和耳朵。
如图2所示，优选地，相对位置信息包括第一相对距离和第二相对距离，步骤S30具体包括：
步骤S31，从人脸信息中识别出鼻、左眼和右眼；在步骤S31中，人脸信息包括实时照片中人脸区域；
步骤S32，以鼻为坐标中心，建立坐标系，获取左眼坐标信息和右眼坐标信息；
步骤S33，根据鼻坐标信息、左眼坐标信息和右眼坐标信息所在位置计算第一相对距离和第二相对距离，其中，第一相对距离表示左眼和鼻之间的距离，第二相对距离表示左眼和右眼之间距离。
本优选实施例基于步骤S31、步骤S32、步骤S33，通过鼻、左眼、右眼三个特征点，来计算相对位置信息；以便于后续去确定与佩戴者匹配度更高的3D人脸模型；
如图3所示，优选地，步骤S40具体包括：
步骤S41，根据第一相对距离从存储模块中选择出若干第一相关模型；
步骤S42，根据第二相对距离从若干第一相关模型中确定3D人脸模型。
其中，存储模块预先存储有若干个3D人脸模型；比如小孩适用的3D人脸模型与成年人适用的3D人脸模型不同。
本发明的基于人脸建模及表情追踪的VR会议控制系统及方法，能够准确、实时将人脸信息中各特征点实时变化更新至3D人脸模型中，即能够在虚拟场景中观察到会议中各参与者的表情变化，更加逼真以及能够清楚了解到除了声音之外的信息。最大程度地满足与会者的真实感知度，不仅要能“看见”对方的存在，还要能确切地感受到对方就在自己的身边。通过可穿戴设备，包括VR头显、力反馈数据手套等等人机交互设备实现逼真的效果。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
