一种视频叠合方法以及采用该方法的装置
技术领域
本发明涉及图像融合领域，具体涉及一种视频叠合方法以及采用该方法的装置。
背景技术
图像叠合，是指将至少两幅图进行叠加组合，各个图像的清晰度进行对应调整，使得图像融合成一幅图，所有的图在融合图中都有自己的存在感，这就叫图像叠合。
视频叠合，是指两个视频都分成若干帧图像，将两个视频的各帧图像一一对应后，就分部融合对应的两个图像，融合后的图像，播放轨道不变，就形成了一个叠合后的视频。
视频叠合应用很广，如现有的电视台，电视台上的台标，就是在现有视频上叠合图片，只不过这个台标图片是不变化的。如拍摄的视频中添加字幕，也是一种视频叠合的运用。特别是现有的综艺节目，在拍摄完后，会在视频中增加不影响主视频的搞笑视频。
但现有视频叠合技术都是基于主视频已完成后，将辅视频叠加在主视频中，但是当主视频刚产生时，还无法叠加辅视频，如游戏厅中，用户在加载游戏，或者游戏结束时，可以插入广告，不影响用户的同时，也向用户进行了广而告之。例如在游戏直播中，可以在游戏画面上增加一些动态视频，吸引观众。
发明内容
本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。
本发明的目的在于提供一种视频叠合方法以及采用该方法的装置，为解决无法即时进行视频叠加的问题。
为了实现根据本发明的这些目的和其它优点，提供了：
一种视频叠合方法，包括：
视频混合器获取辅视频，所述辅视频包括若干张表层图像，每张表层图像对应一个播放时间段，各表层图像的播放时间段之间呈连续状态；
视频混合器从某张表层图像对应的播放时间段开始，进行截取视频输出设备输出的主视频，至播放时间段结束，视频混合器获取主视频中的一帧帧的图像，并将这些图像定义为底层图像，底层图像的播放时间点在对应表层图像的播放时间段内；
视频混合器截取到第一帧底层图像后，视频混合器内的图像处理器将第一帧底层图像和对应的表层图像融合为一张图像，定义为预播放图像，视频混合器将预播放图像发送至显示器上进行播放；
视频混合器截取到第二帧底层图像后，视频混合器内的图像处理器将第二帧底层图像和对应的表层图像融合为预播放图像，并发送至显示器上进行播放；
依此类推，在播放时间段内，视频混合器每截取到一帧底层图像，都将其和对应的表层图像融合为预播放图像，并发送至显示器上进行播放。
在一个可能的设计中，上述视频混合器将底层图像和对应的表层图像融合为一张图像的方法，包括：
获得底层图像和表层图像，所述底层图像与表层图像大小一致；
处理表层图像，将表层图像中的指定色彩部分的透明度设置为0，非指定的其他色彩部分采用设定的透明度；
底层图像上的各像素点与表层图像上的各像素点一一对应，采用设定的融合算法，将底层图像与表层图像进行逐个像素点的融合，使得底层图像与表层图像融合为一张图像。
在一个可能的设计中，上述底层图像和表层图像上像素点融合时采用的融合算法：
采用对应像素点一一融合，取表层图像上的任意一个像素点，设定该像素点的像素值为M，透明度为P，设定对应的底层图像上像素点的像素值为N，两个像素点融合时的融合算法为M*P+N*(255-P)/255。
在一个可能的设计中，上述视频混合器通过网络连接远端的服务器，服务器发送辅视频到视频混合器。
在一个可能的设计中，上述视频混合器间隔将当前预播放图像发送至服务器，由服务器监控叠合效果。
在一个可能的设计中，上述视频混合器在将主视频转化为底层图像后，还将底层图像的格式转化为YUV422格式。
在一个可能的设计中，上述视频混合器不断获取视频输出设备发送的主视频，发送至服务器。
在一个可能的设计中，上述服务器接收在发送表层图像前，应测定实时收到的视频中图像大小，使得发送的表层图像与视频图像的大小匹配。
一种视频混合装置，包括：
现场视频输入端口，用于接收视频输出设备输出的视频；
网络接口，用于与服务器进行交互数据；
图片生成器，用于将接收到的主视频转化为底层图片，以及将接收到的网络数据转化为表层图片；
图像处理器，用于接收图片生成器发送的底层图片和表层图片，将对应的底层图片和表层图片融合为一张图片；
现场视频输出端口，用于接收图像处理器处理后的图片，并将图片发送至显示器进行播放。
通过本装置实现视频叠合，现场视频输入端口处接收主视频，网络接口处接收辅视频，当收到辅视频后，就根据一起发送的命令，将辅视频叠合到主视频中。
在一个可能的设计中，上述装置还包括一个视频处理器，将视频编码后，发送给远端的服务器，编码后的视频利于网络传送。
本发明至少包括以下有益效果：(1)本发明设置视频混合器，当需要在主视频中叠合辅视频时，视频混合器在相应时间段内一帧帧截取正在播放的主视频，并且一帧帧地叠合辅视频，并且每一帧图像叠合后，立刻发送到显示器进行播放，本发明的处理速度快，延迟在17ms以内，人眼无法察觉，能够保证视频的流程性；
(2)本发明叠合后的图像会发送至服务器进行检查，当叠合效果不好，会进行调整，保证叠合播放效果；
(3)本发明的视频混合器还将实时收到的主视频发送至服务器，一是方便服务器触发发送辅视频，主视频中出现设定字后，即发送辅视频；二是监控主视频，如主视频出现问题后，提醒第三方，即主视频提供方，或者叫视频输出设备管理方；三是服务器发送辅视频前，获取主视频的大小，从而发送匹配的辅视频。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为视频叠合的流程图；
图2为图像叠合的流程图；
图3为本发明的结构框图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
应当理解，在本文中若将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直相连接或耦合，或中间单元可以存在。相対地，在本文中若将单元称作与另一个单元“直接相连”或“直接耦合”时，表示不存在中间单元。另外，应当以类似方式来解释用于描述单元之间的关系的其他单词(例如，“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。
应当理解，本文使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。若本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解，若术语“包括”、“包括了”、“包含”和/或“包含了”在本文中被使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
应当理解，还应当注意到在一些备选可能设计中，所出现的功能/动作可能与附图出现的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以以相反的顺序来执行连续示出的两个图。
应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。
第一方面，一种视频叠合方法，包括：
S101，视频混合器获取辅视频，所述辅视频包括若干张表层图像，每张表层图像对应一个播放时间段，各表层图像的播放时间段之间呈连续状态；
S102，视频混合器从某张表层图像对应的播放时间段开始，进行截取视频输出设备输出的主视频，至播放时间段结束，视频混合器获取主视频中的一帧帧的图像，并将这些图像定义为底层图像，底层图像的播放时间点在对应表层图像的播放时间段内；
S103，视频混合器截取到第一帧底层图像后，视频混合器内的图像处理器将第一帧底层图像和对应的表层图像融合为一张图像，定义为预播放图像，视频混合器将预播放图像发送至显示器上进行播放；
S104，视频混合器截取到第二帧底层图像后，视频混合器内的图像处理器将第二帧底层图像和对应的表层图像融合为预播放图像，并发送至显示器上进行播放；
S105，依此类推，在播放时间段内，视频混合器每截取到一帧底层图像，都将其和对应的表层图像融合为预播放图像，并发送至显示器上进行播放。
本发明中讲述了一种视频叠合方法，其实也是将视频分解为图像，通过图像叠合实现视频叠合，众所周知，视频是由一帧帧的图像组合而成，一帧图像就是指一张静态图，一秒视频一般包括了几十帧，如电影一般一秒有24帧，就是在1秒内播放了24幅图，因为图片的连续性，所以人眼看起来很流畅。
我们将视频输出设备直接连接到显示器，则显示器直接播放视频输出设备输出的视频，当如果需要在视频中添加广告，或添加标志时，设置一个视频混合器，视频混合器的输入端连接到视频输出设备，视频混合器的输出端连接到显示器。
在一般情况下，视频混合器将视频输出设备输出的视频，直接传送到显示器进行播放，当视频混合器收到辅视频，辅视频可以是一幅图构成，只需要设定播放的起止时间。辅视频也可以是一段视频，表层图像也就是一帧帧图像组合而成的，也需要设定播放的起止时间。
视频混合器获得到该辅视频后，根据播放的起止时间，从开始时间，对视频输出设备输出的视频进行截取，是一帧帧的截取，也就是一幅幅的截取，每截取一帧底层图像，即与对应表层图像融合后，立即在显示器上播放。这样图像从截取处理到播放，需要一定的时间，所以有一定的播放延迟，本发明中所采用的方法处理时延小于17ms，这种延时很低，基本没有影响。
在一个可能的设计中，上述视频混合器将底层图像和对应的表层图像融合为一张图像的方法，包括：
S201，获得底层图像和表层图像，所述底层图像与表层图像大小一致；
S202，处理表层图像，将表层图像中的指定色彩部分的透明度设置为0，非指定的其他色彩部分采用设定的透明度；
S203，底层图像上的各像素点与表层图像上的各像素点一一对应，采用设定的融合算法，将底层图像与表层图像进行逐个像素点的融合，使得底层图像与表层图像融合为一张图像。
步骤S202中，表层图像的处理是指，接收表层图像时，会收到一个指定色彩命令，即对表层图像内的指定色彩部分进行抠图，指定色彩部分的透明度就变成0。还会收到一个透明度命令，会对非指定色彩的部分调整到对应的透明度。透明度采用alpha值表示，是现有的技术术语，图像中的alpha值一般为0-255。alpha值为0，即该像素点完全透明。当alpha值为255，则像素点完全不透明。
步骤S201中已说明，底层图像与表层图像的大小应该一致，则两者就具有一一对应的像素，像素是图像的基本单位，图像就是由若干像素组成的。
在一个可能的设计中，上述底层图像和表层图像上像素点融合时采用的融合算法：
采用对应像素点一一融合，取表层图像上的任意一个像素点，设定该像素点的像素值为M，透明度为P，设定对应的底层图像上像素点的像素值为N，两个像素点融合时的融合算法为M*P+N*(255-P)/255。透明度P使用一个字节表示，一个字节可以表示范围0-255，也就是P的范围是0-255。该公式分解开来是M*P/255+N*((255-P)/255)，当P等于255时，表示表层图片完全不透明，带入上面公式可得：M*255/255+N(255-255)/255＝M*1+N*0＝M，表示融合后的像素其实就是M；当P＝0时，表示表层图像完全透明，带入上面公式M*0/255+N(255-0)/255＝M*0+N*1＝N，可以看出这是融合后的像素就是底层图片N；当P取其他值时，可以得到不同透明程度的融合图。
首先，表层图像中，所有像素点的像素值N已知，透明度P也在S102中确定，然后底层图像中，所有像素点的像素值M也已知，所以融合后像素点包括了两种像素，当然当P为0时，M*P也为0，所以此时底层图像完全显示，当P不为0时，则融合后的像素点包含了两种像素，包括表层像素和底层像素，该处，当表层像素的透明度变化后，底层像素的透明度也出现变化。这样，表层图像和底层图像的透明度可调整。
在一个可能的设计中，上述视频混合器通过网络连接远端的服务器，服务器发送辅视频到视频混合器。
本发明通过一个远程服务器来发送辅视频，如服务器决定在一段时间内进行广告宣传，则将辅视频发送至视频混合器，两者通过无线或有线网络进行通信，当然发送辅视频时，服务器还需要插入一个将要到来的播放时间段。
在一个可能的设计中，上述视频混合器间隔将当前预播放图像发送至服务器，由服务器监控叠合效果。
本发明中，视频混合器会一秒发送一幅预播放图像到服务器，由服务器确认视频叠合效果，如叠合效果不好，服务器可以发送一个停止命令到视频混合器，视频混合器在收到停止命令后停止融合。
在一个可能的设计中，上述视频混合器在将主视频转化为底层图像后，还将底层图像的格式转化为YUV422格式。
一般视频处理后得到的图片格式是RGB888(RGB888格式中一个像素储存空间为3个字节)，通过硬件转换，将RGB888格式转化为YUV422(YUV422格式中一个像素储存空间为2个字节)，通过本次转化，图像的储存空间减少了1/3，这样就加快了处理速度，从而降低一部分延时，本次转化使用nxp i.mx6型专用处理器处理，处理时延小于2ms。
在一个可能的设计中，上述视频混合器不断获取视频输出设备发送的主视频，发送至服务器。
所以一般时间中，视频混合器接收视频输出设备输出的视频后，一路处理或不处理，发送至显示器显示，另一路发送至服务器，服务器就可以实时监控视频。
服务器实时监控视频的作用：在现实使用时，如将视频混合器安装在游戏机上，当用户游戏打完，出现如game over字样，或者游戏加载出现loading字样，主要是游戏出现间隔时，服务器就会发送辅视频到视频混合器，在视频中加载广告，在用户等待中观看广告。
当然，服务器实时监控视频，还具有其他用处，如服务器接收在发送表层图像前，应测定实时收到的视频中图像大小，使得发送的表层图像与视频图像的大小匹配。
第二方面，一种视频混合装置，包括：
现场视频输入端口，用于接收视频输出设备输出的视频；
网络接口，用于与服务器进行交互数据；
图片生成器，用于将接收到的主视频转化为底层图片，以及将接收到的网络数据转化为表层图片；网络报文中携带了图片数据，携带图片的格式可以是PNG，JPG等，通过现有的图形用户界面应用程序开发框架(QT)开发包自带的库函数即可读取出相应的图片；
图像处理器，用于接收图片生成器发送的底层图片和表层图片，将对应的底层图片和表层图片融合为一张图片；
现场视频输出端口，用于接收图像处理器处理后的图片，并将图片发送至显示器进行播放。
本发明中，视频混合装置，就是指第二方面中提出的视频混合器，视频混合装置中，现场视频输入端口与视频输出设备连接，接收视频输出设备输出的视频，现场视频输入端口可接收VGA、DVI、HDMI等格式视频，具体的，现场视频输入端口包括一个VGA-DVI转换器、DVI交换机和DVI-HDMI转换器，VGA-DVI转换器可接收VGA格式视频，并将VGA格式视频转化为DVI格式视频，DVI交换机可接收DVI格式视频，VGA-DVI转换器的输出连接到DVI交换机，DVI交换机的输出端连接到DVI-HDMI转换器，DVI-HDMI转换器的输出端连接到处理芯片，该处理芯片中包括了图片生成器和图像处理器。
网络接口连接处理芯片上，处理芯片通过网络接口连接到外部服务器。用来接收服务器发送数据。网络接口为光纤插口，或无线网卡，使得视频混合装置通过有线网络或无线网络连接服务器。
现场视频输出端口，视频混合装置通过该端口连接到显示器。可以输出收VGA、DVI、HDMI等格式视频，具体的，现场视频输出端口包括DVI交换机和DVI-VGA转换器。
在一个可能的设计中，上述装置还包括一个视频处理器，视频处理器将视频编码后，发送给远端的服务器。视频处理器的视频编码采用H264格式，视频处理器可以但不限于采用nxp i.mx6型主芯片。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
