一种多路视频流合成方法和装置
技术领域
本发明涉及互联网技术领域，特别是涉及一种多路视频流合成方法和一种多路视频流合成装置。
背景技术
在实训技能考试中，每个学生都是独立操作，而一个考场有多个学生同时进行考试，实训技能考试不同于笔试考试，允许学生先答题，评分老师后评阅。评分老师必须实时观测学生对仪器的操作步骤，而这要么要求评分老师一对多（可能会错过部分学生的操作），或者评分老师一对一（对评分老师的数量要求较高）。具体地，这两种评分方式的确定如下：
选择评分老师一对多：1）不利于考生的正常考试。一个评分老师要同时观测多名学生的操作步骤，而操作步骤是不可重现的，一旦错过，只能要求学生重新再来一遍，会影响学生的实际考试时间，同时也会影响学生的考试状态。2）不利于评分老师的评阅。由于一名评分老师需要同时观测多名学生，所以对评分老师的负担较大，容易评分老师在考试的后半场感到疲惫而影响到考生的评分。
选择评分老师一对一：对考试场地的要求更加严格。要求一名学生配备一名监考的评分老师，导致需要多名不同科目的评分老师，同时多名评分老师与多名学生同时在考试场地中，加重了对考试场地的要求。
针对上述问题，目前还一种采用了录制后再回看视频的方式，但是这种方式只能允许学生完成全部操作后，评分老师才能开始评分，评分效率不高。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种多路视频流合成方法和相应的一种多路视频流合成装置。
为了解决上述问题，本发明实施例公开了一种多路视频流合成方法，应用于预先部署的直播系统，所述直播系统包括摄像头、终端设备和监控设备，所述方法包括：
获取多路所述摄像头拍摄的视频流，所述视频流为所述摄像头分别从不同角度针对目标对象拍摄所得；
分别对所述视频流进行解码得到解码视频流；
根据所述解码视频流确定目标画面布局模板；所述目标画面布局模板用于对所述解码视频流中的视频帧进行重新布局；
将所述解码视频流中的视频帧，基于所述目标画面布局模板重新布局得到合成视频帧，从而得到合成解码视频流；
对所述合成解码视频流进行编码得到合成编码视频流；
将所述合成编码视频流推送至所述监控设备，以在所述监控设备上播放所述合成编码视频流。
可选地，所述根据所述解码视频流确定目标画面布局模板，包括：
确定输入源数量，所述输入源数量为所述解码视频流的数量；
获取与所述输入源数量对应的画面布局模板，作为目标画面布局模板。
可选地，所述将所述解码视频流中的视频帧，基于所述目标画面布局模板重新布局得到合成视频帧，从而得到合成解码视频流，包括：
从所述解码视频流中提取的视频帧，所述视频帧具有对应的视频时间；
将所述视频时间相同的视频帧，放入所述画面布局模板中指定位置中得到合成视频帧，从而得到合成解码视频流。
可选地，所述直播系统还包括检测仪器，所述对所述合成解码视频流进行编码得到合成编码视频流，包括：
获取所述所述目标对象操作所述检测仪器产生的检测数据；
将所述检测数据合并至所述合成解码视频流后，对所述合成解码视频流进行编码得到合成编码视频流。
可选地，所述方法还包括：
当监测到所述目标对象操作的所述检测仪器发生切换时，生成拍摄视角切换指令；
将所述拍摄视角切换指令发送至所述摄像头，以使所述摄像头进行移动以切换拍摄视角，得到所述目标对象操作所述检测仪器的视频流。
可选地，所述目标对象操作的所述检测仪器发生切换的监测方式，包括：
当监测到所述检测仪器的检测数据的数据类型发生变化时，确定所述目标对象操作的所述检测仪器发生切换。
可选地，所述将所述合成编码视频流推送至所述监控设备，以在所述监控设备上播放所述合成编码视频流，包括：
将所述合成编码视频流采用RTMP协议以低延时方式推送至所述监控设备，以在所述监控设备上播放所述合成编码视频流。
本发明实施例还公开了一种多路视频流合成装置，应用于预先部署的直播系统，所述直播系统包括摄像头、终端设备和监控设备，所述装置包括：
视频流获取模块，用于获取多路所述摄像头拍摄的视频流，所述视频流为所述摄像头分别从不同角度针对目标对象拍摄所得；
视频流解码模块，用于分别对所述视频流进行解码得到解码视频流；
布局模板确定模块，用于根据所述解码视频流确定目标画面布局模板；所述目标画面布局模板用于对所述解码视频流中的视频帧进行重新布局；
视频流合成模块，用于将所述解码视频流中的视频帧，基于所述目标画面布局模板重新布局得到合成视频帧，从而得到合成解码视频流；
视频流编码模块，用于对所述合成解码视频流进行编码得到合成编码视频流；
视频流推送模块，用于将所述合成编码视频流推送至所述监控设备，以在所述监控设备上播放所述合成编码视频流。
本发明实施例还公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述多路视频流合成方法的步骤。
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现所述多路视频流合成方法的步骤。
本发明实施例包括以下优点：
本发明提出的一种多路视频流合成方法和装置，对获取到的多路摄像头拍摄的视频流进行解码得到解码视频流，然后根据解码视频流确定目标画面布局模板，从而基于目标画面布局模板对界面视频流中的视频帧重新布局得到合成视频帧，从而得到合成解码视频流，对合成解码视频流进行编码得到合成编码视频流后推送至所述监控设备，以在监控设备上播放所述合成编码视频流。应用本发明实施例，在直播系统中对学生进行在线评分时，将针对目标对象拍摄的多路视频流合并为一个合成视频，使得评分老师在通过在线方式实时进行评分时，提高在线评分的评分效率。
附图说明
图1是本发明的一种多路视频流合成方法实施例一的步骤流程图；
图2是本发明的一种多路视频流合成方法实施例二的步骤流程图；
图3a-图3b是本发明的一种视频画面的示意图；
图4是本发明的一种多路视频流合成装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例的核心思想之一在于，利用多个摄像头对学生的实训技能考试过程中的所有操作进行拍摄，对多个摄像头拍摄的多路视频流中的画面采用进行画面合成的方式，使得在一个画面中可以同时观测到学生在不同角度的操作步骤，方便评分老师评分，提高在线评分的评分效率。
参照图1，示出了本发明的一种多路视频流合成方法实施例一的步骤流程图，应用于预先部署的直播系统，所述直播系统包括摄像头、终端设备和监控设备，所述方法具体可以包括如下步骤：
步骤101，获取多路所述摄像头拍摄的视频流，所述视频流为所述摄像头分别从不同角度针对目标对象拍摄所得。
在具体实现中，可以预先在指定地点部署本发明实施例的直播系统。举例来说，可以在考场部署考试监控的直播系统，则目标对象可以是参加考试的学生，直播系统用于在考试过程中拍摄学生实验操作过程，以显示学生操作仪器等的画面，评分老师则可以针对学生的操作进行评分。
其中，直播系统中可以包括有多个摄像头，终端设备和监控设备。具体地，终端设备主要负责拉取摄像头拍摄的视频流，并且对视频流进行编解码，再布局，合成等操作，然后再推送至网络中的监控终端；监控设备可以为用于显示直播画面的设备，比如移动终端、电视机、计算机、掌上电脑等，监控设备可以是作为监考终端的一体机。
在直播时，终端设备可以接收摄像头拍摄的一路或者多路的视频流，比如在考试监控的直播系统中的监考终端接收并显示摄像头发送的针对学生从不同角度拍摄的视频流。
步骤102，分别对所述视频流进行解码得到解码视频流。
其中，终端设备会判断输入的视频流的格式，以基于视频的格式自动进行解码，并且本发明实施例优先使用硬件解码，提高视频的解码效率。
步骤103，根据所述解码视频流确定目标画面布局模板；所述目标画面布局模板用于对所述解码视频流中的视频帧进行重新布局。
其中，画面布局模板用于对所述解码视频流中的视频帧进行重新布局，使得多路视频流的视频帧可以在同一个画面中显示。
本发明实施例预先针对不同类型的实训技能考试设置了画面布局模板，并且每一个类型的考试均设置了多个画面布局模板，使得可以根据获取的解码视频流确定目标画面布局模板，
步骤104，将所述解码视频流中的视频帧，基于所述目标画面布局模板重新布局得到合成视频帧，从而得到合成解码视频流。
在确定目标画面布局模板后，将解码视频流中的视频帧基于目标画面布局模板重新布局得到合成视频帧，使得可以根据合成视频帧进一步组合得到合成解码视频流。
步骤105，对所述合成解码视频流进行编码得到合成编码视频流。
步骤106，将所述合成编码视频流推送至所述监控设备，以在所述监控设备上播放所述合成编码视频流。
终端设备对于合成解码视频流进行编码处理，得到合成编码视频流，然后将编码完成后的合成编码视频流推送至监控设备，以在监控设备上播放合成编码视频流。其中，由于本发明实施例将多路视频流合成为一路视频流，因此在监控终端播放合成编码视频流时，可以在一个视频画面上同时观看到不同角度的学生的操作步骤，一个学生对应一路视频的评分方式。
在本发明实施例中，对获取到的多路摄像头拍摄的视频流进行解码得到解码视频流，然后根据解码视频流确定目标画面布局模板，从而基于目标画面布局模板对界面视频流中的视频帧重新布局得到合成视频帧，从而得到合成解码视频流，对合成解码视频流进行编码得到合成编码视频流后推送至所述监控设备，以在监控设备上播放所述合成编码视频流。应用本发明实施例，在直播系统中对学生进行在线评分时，将针对目标对象拍摄的多路视频流合并为一个合成视频，使得评分老师在通过在线方式实时进行评分时，提高在线评分的评分效率。
参照图2，示出了本发明的一种多路视频流合成方法实施例二的步骤流程图，应用于预先部署的直播系统，所述直播系统包括摄像头、终端设备和监控设备，所述方法具体可以包括如下步骤：
步骤201，获取多路所述摄像头拍摄的视频流，所述视频流为所述摄像头分别从不同角度针对目标对象拍摄所得。
步骤202，分别对所述视频流进行解码得到解码视频流。
步骤203，根据所述解码视频流确定目标画面布局模板；所述目标画面布局模板用于对所述解码视频流中的视频帧进行重新布局。
其中，本发明实施例可以根据界面视频流的数量来确定目标画面布局模板。在本发明的一种实施例中，所述步骤203，根据所述解码视频流确定目标画面布局模板，包括：
确定输入源数量，所述输入源数量为所述解码视频流的数量；
获取与所述输入源数量对应的画面布局模板，作为目标画面布局模板。
其中，预先设置的画面布局模板分别具有对应的输入源数量。本发明实施例确定输入源数量，也即是解码视频流的数量（路数），然后根据输入源数量获取到匹配的画面布局模板，作为目标画面布局模板。
其中，本发明实施例的终端设备可以对多路视频流进行自动布局，例如，当检测到输入源数量为2的时候，将视频画面布局为左右两个画面的画面布局模板，具体如图3a所示，当检测到输入源数量为3的时候，将视频画面布局为“品”字结构的画面布局模板，具体如图3b所示，当检测到输入源数量为4的时候，将视频画面布局为左侧三个画面右侧一个大画面的画面布局模板。
当然，上述几种画面布局模板仅作为示例，在实际中还可以根据需求设置为其他的视频画面布局结构，另外画面布局模板除了可以基于输入源数量确定外，还可以基于实训考试的类型共同确定，使得展示于监控设备的视频画面符合实训考试类型，对于评分老师而言更加方便查看学生的操作步骤。
步骤204，将所述解码视频流中的视频帧，基于所述目标画面布局模板重新布局得到合成视频帧，从而得到合成解码视频流。
在本发明的一种实施例中，所述步骤204，将所述解码视频流中的视频帧，基于所述目标画面布局模板重新布局得到合成视频帧，从而得到合成解码视频流，包括：
从所述解码视频流中提取的视频帧，所述视频帧具有对应的视频时间；
将所述视频时间相同的视频帧，放入所述画面布局模板中指定位置中得到合成视频帧，从而得到合成解码视频流。
其中，终端设备可以从多路解码视频流中抽取视频时间的视频帧，然后将这些视频帧放到目标画面布局模板的指定位置中，从而得到一帧包含了多个视频帧的合成视频帧，最后将所有的合成视频帧按照视频时间重新组合，从而得到合成解码视频流。
步骤205，获取所述所述目标对象操作所述检测仪器产生的检测数据，将所述检测数据合并至所述合成解码视频流后，对所述合成解码视频流进行编码得到合成编码视频流。
优选地，考虑到在实训考试时，评分老师需要针对学生操作检测仪器（例如显微镜、示波器和计算机等）的操作步骤，而通过检测仪器检测的检测数据，可以协助确定学生的操作步骤是否有误，或者检测仪器是否存在故障，因此本发明实施例的终端设备还可以连接检测仪器，并获取学生操作时产生的检测数据合并至合成解码视频流，然后再对的合成解码视频流进行编码，从而得到合并了检测数据的合成编码视频流，这样在监控终端展示的视频画面将包括了检测仪器的检测数据，更有利于评分老师进行评分。
步骤206，将所述合成编码视频流采用RTMP协议以低延时方式推送至所述监控设备，以在所述监控设备上播放所述合成编码视频流。
在得到合成编码视频流后，可以将合成编码视频流采用RTMP（实时消息传输协议，Real Time Messaging Protocol）直播流的方式推流，将合成编码视频流推送至监控设备，使得在监控设备侧的评分老师可以针对视频流中的学生操作进行评分。通过RTMP直播流的方式，可以以低延时的方式让评分老师进行在线点评，相比较录制完再点评的方式更具时效性。
步骤207，当监测到所述目标对象操作的所述检测仪器发生切换时，生成拍摄视角切换指令。
步骤208，将所述拍摄视角切换指令发送至所述摄像头，以使所述摄像头进行移动以切换拍摄视角，得到所述目标对象操作所述检测仪器的视频流。
优选地，本发明实施例考虑到在一次实训考试过程中，学生可能不只操作一个检测仪器，可能会同时操作多个检测仪器，那么如果摄像头还是按照原先的角度进行拍摄，那么可能会导致无法拍摄到学生的操作步骤，针对这个问题，本发明实施例可以实时监测学生的操作，并且在监测到学生操作的检测仪器发生切换时，生成拍摄视角切换指令并发送至摄像头，摄像头接收后，将进行移动以切换拍摄视角，使得能够拍摄到学生操作检测的视频流。
在本发明的一种实施例中，所述目标对象操作的所述检测仪器发生切换的监测方式，包括：当监测到所述检测仪器的检测数据的数据类型发生变化时，确定所述目标对象操作的所述检测仪器发生切换。
其中，本发明实施例可以实时监测检测仪器的检测数据的数据类型，如果检测数据的数据类型发生变化，比如从图片切换到字符串，或者从示波器的数据类型切换至电压检测器的数据类型，则可以确定为检测仪器发生切换。可选地，由于通常检测仪器的放置位置是预先固定的，因此本发明实施例在确定检测数据的数据类型发生变化时，可以获取针对该数据类型对应的拍摄视角，以基于该拍摄视角生成拍摄视角切换指令发送至摄像头，使得摄像头能够拍摄到当前学生正在操作的检测仪器的检测画面。
为了便于理解本发明实施例的方案，下面采用一个具体示例进行说明。
1、在考场搭建多路摄像头，多路摄像头按照预定的角度拍摄学生的操作步骤；
2、在终端设备上配置好需要接收的摄像头拍摄的视频流；
3、在终端设备上对接收的视频流进行解码，具体地，终端设备判断输入的视频流的格式并自动进行解码。
4、在终端设备上对解码的视频流进行再布局，具体地，终端设备根据输入源数量自动获取利于评分老师评分的目标画面布局模板，然后基于目标画面布局模板对于多路视频流进行重新布局；
5、在终端设备上对重新布局过的视频流进行编码，得到多路视频流合成的一路视频流；
6、在终端设备上对编码完成后的视频流使用RTMP的低延时的编码方式，将合成后的视频流推送到网路中监控终端上，以供评分老师在一个视频画面上看到学生在不同角度针对检测仪器的操作步骤。
应用本发明实施例的考试监控的直播系统，至少具有如下优点：1）通过合成多路视频流得到一条视频流，使得一条视频流对应一个学生的全部操作过程；2）轻松实现一个评分老师对多个学生的评分；3）采用 RTMP直播方式，低延时方式让评分老师进行在线点评，具有时效性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图4，示出了本发明的一种多路视频流合成装置实施例的结构框图，应用于预先部署的直播系统，所述直播系统包括摄像头、终端设备和监控设备，所述装置具体可以包括如下模块：
视频流获取模块401，用于获取多路所述摄像头拍摄的视频流，所述视频流为所述摄像头分别从不同角度针对目标对象拍摄所得；
视频流解码模块402，用于分别对所述视频流进行解码得到解码视频流；
布局模板确定模块403，用于根据所述解码视频流确定目标画面布局模板；所述目标画面布局模板用于对所述解码视频流中的视频帧进行重新布局；
视频流合成模块404，用于将所述解码视频流中的视频帧，基于所述目标画面布局模板重新布局得到合成视频帧，从而得到合成解码视频流；
视频流编码模块405，用于对所述合成解码视频流进行编码得到合成编码视频流；
视频流推送模块406，用于将所述合成编码视频流推送至所述监控设备，以在所述监控设备上播放所述合成编码视频流。
所述根据所述解码视频流确定目标画面布局模板，包括：
确定输入源数量，所述输入源数量为所述解码视频流的数量；
获取与所述输入源数量对应的画面布局模板，作为目标画面布局模板。
在本发明的一种实施例中，所述视频流合成模块404，用于从所述解码视频流中提取的视频帧，所述视频帧具有对应的视频时间；将所述视频时间相同的视频帧，放入所述画面布局模板中指定位置中得到合成视频帧，从而得到合成解码视频流。
在本发明的一种实施例中，所述直播系统还包括检测仪器，所述视频流编码模块405，用于获取所述所述目标对象操作所述检测仪器产生的检测数据；将所述检测数据合并至所述合成解码视频流后，对所述合成解码视频流进行编码得到合成编码视频流。
在本发明的一种实施例中，所述装置还包括：监测模块，用于当监测到所述目标对象操作的所述检测仪器发生切换时，生成拍摄视角切换指令；将所述拍摄视角切换指令发送至所述摄像头，以使所述摄像头进行移动以切换拍摄视角，得到所述目标对象操作所述检测仪器的视频流。
在本发明的一种实施例中，所述监测模块，用于当监测到所述检测仪器的检测数据的数据类型发生变化时，确定所述目标对象操作的所述检测仪器发生切换。
在本发明的一种实施例中，所述视频流推送模块406，用于将所述合成编码视频流采用RTMP协议以低延时方式推送至所述监控设备，以在所述监控设备上播放所述合成编码视频流。
在本发明的一种实施例中，所述目标对象为学生。
综上，应用本发明实施例，在直播系统中对学生进行在线评分时，将针对目标对象拍摄的多路视频流合并为一个合成视频，使得评分老师在通过在线方式实时进行评分时，提高在线评分的评分效率。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，包括：包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述多路视频流合成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述多路视频流合成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种多路视频流合成方法和一种多路视频流合成装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
