一种画面切换方法、装置、电子设备及存储介质
技术领域
本发明涉及视频处理技术领域，具体涉及一种画面切换方法、装置、电子设备及存储介质。
背景技术
市面上的录制摄像机多是采用单路画面录播，例如当需要得到“教师特写”、“教师全景”、“学生特写”、“学生全景”4个景位画面时，需要4个摄像机分别完成“教师特写”、“教师全景”、“学生特写”、“学生全景”的录播。
电子云镜是从一个大画面里面截取一个固定大小画面作为特写画面从而生成两路或者多路视频的设备。图1为现有技术中由全景画面生成特写画面的示意图。但目前电子云镜在生成特写画面时，全靠从全景画面中不断截取特写画面进行更新，当把特写画面沿着X方向或者Y方向改变截取画面的起始位置和结束位置，即实现了类似云台的移动的效果，改变特写画面，就会消耗内存以及涉及到颜色空间的像素值数据块在内存中移动及频繁操作内存，当内存消耗过大时，会导致执行代码时占用过多CPU资源和线程，不仅会引起画面卡顿即丢帧，引起视觉中形成画面的抖动(帧率不够)；而且频繁内存抖动会导致垃圾回收频繁运行。
发明内容
有鉴于此，本发明实施例提供了一种画面切换方法、装置、电子设备及存储介质，以解决目前由全景画面生成特写画面时内存资源消耗大的问题。
根据第一方面，本发明实施例提供了一种画面切换方法，包括：
获取上一时刻的全景画面和上一时刻的特写画面；
获取当前时刻的全景画面，利用所述上一时刻的全景画面和所述当前时刻的全景画面，确定当前时刻相较于上一时刻变化的像素点；
利用所述上一时刻的特写画面和所述当前时刻相较于上一时刻变化的像素点，生成当前时刻的特写画面。
本发明实施例提供的画面切换方法，通过获取上一时刻的全景画面和上一时刻的特写画面，获取当前时刻的全景画面，利用上一时刻的全景画面和当前时刻的全景画面，确定当前时刻相较于上一时刻变化的像素点，利用上一时刻的特写画面和当前时刻相较于上一时刻变化的像素点，生成当前时刻的特写画面；相较于现有技术中每次特写画面的所有数据帧都要做截取，然后复制拷贝数据，本发明实施例定位分析到只有画面变化的像素点区域，只将变化像素点进行从全景画面到特写画面的切换，内存资源消耗较小，进而避免出现了卡顿和抖动现象。
结合第一方面，在第一方面第一实施方式中，利用所述上一时刻的全景画面和所述当前时刻的全景画面，确定当前时刻相较于上一时刻变化的像素点，包括：
获取与所述上一时刻全景画面中的每个像素点相对应的第一标识信息；
按照预设的标识规则对所述当前时刻全景画面中的每个像素点进行标识，得到与所述当前时刻全景画面中的每个像素点相对应的第二标识信息；
针对同一像素点，利用所述第一标识信息和所述第二标识信息确定当前时刻相较于上一时刻该像素点是否产生变化，遍历所有的像素点，得到当前时刻相较于上一时刻变化的像素点。
结合第一方面第一实施方式，在第一方面第二实施方式中，按照预设的标识规则对所述当前时刻全景画面中的每个像素点进行标识，得到与所述当前时刻全景画面中的每个像素点相对应的第二标识信息，包括：
按照所述像素点中是否存在目标，对所述当前时刻全景画面中包含的所有像素点进行划分，得到不存在目标的第一像素点集合和存在目标的第二像素点集合；
针对所述第一像素点集合，对所述第一像素点集合进行二值化处理，得到与所述第一像素点集合中的每个像素点相对应的标识信息；
针对所述第二像素点集合，确定所述第二像素点集合中存在的目标数量；
当所述第二像素点集合中存在一个目标时，对所述第二像素点集合中的所有像素点采用相同的标识信息进行标识，且所述第二像素点集合中所有像素点的标识信息与所述第一像素点集合中所有像素点的标识信息不同；
当所述第二像素点集合中存在多个目标时，将存在的目标相同的像素点分为一组，并对同一组的像素点采用相同的标识信息进行标识，且所述第二像素点集合中所有像素点的标识信息与所述第一像素点集合中所有像素点的标识信息不同。
结合第一方面第一实施方式，在第一方面第三实施方式中，针对同一像素点，利用所述第一标识信息和所述第二标识信息，确定当前时刻相较于上一时刻该像素点是否产生变化，包括：
针对同一像素点，利用所述第一标识信息和所述第二标识信息，确定该像素点当前时刻与上一时刻的相似度；
根据该像素点当前时刻与上一时刻的相似度确定当前时刻相较于上一时刻该像素点是否产生变化。
结合第一方面第三实施方式，在第一方面第四实施方式中，针对同一像素点，利用所述第一标识信息和所述第二标识信息，确定该像素点当前时刻与上一时刻的相似度，包括：
针对同一像素点，计算所述第一标识信息和所述第二标识信息的欧式距离；
利用所述欧式距离，根据预设的公式计算该像素点当前时刻与上一时刻的相似度。
结合第一方面至第一方面第四实施方式，在第一方面第五实施方式中，画面切换方法，在获取当前时刻的全景画面时，还包括：获取下一时刻的全景画面；在利用所述上一时刻的全景画面和所述当前时刻的全景画面，确定当前时刻相较于上一时刻变化的像素点时，还包括：利用所述当前时刻的全景画面和所述下一时刻的全景画面，确定下一时刻相较于当前时刻变化的像素点。
根据第二方面，本发明实施例提供了一种画面切换装置，包括：
第一获取模块，用于获取上一时刻的全景画面和上一时刻的特写画面；
第二获取模块，用于获取当前时刻的全景画面；
变化像素点确定模块，用于利用所述上一时刻的全景画面和所述当前时刻的全景画面，确定当前时刻相较于上一时刻变化的像素点；
画面切换模块，用于利用所述上一时刻的特写画面和所述当前时刻相较于上一时刻变化的像素点，生成当前时刻的特写画面。
根据第三方面，本发明实施例还提供了一种电子设备，包括：摄像组件，用于获取全景画面；存储器和处理器，所述摄像机、所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的画面切换方法。
结合第三方面，在第三方面第一实施方式中，所述电子设备为电子云镜。
根据第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的画面切换方法。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为现有技术中由全景画面生成特写画面的示意图；
图2为本发明实施例1画面切换方法的流程示意图；
图3为本发明实施例1画面切换方法一示例的示意图；
图4为本发明实施例2画面切换装置的结构示意图；
图5为本发明实施例3电子设备的结构示意图；
图6为本发明实施例3计算机可读存储介质的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例1提供了一种画面切换方法，下面结合附图具体说明。
参见图2，该图为本发明提供的一种画面切换方法的流程示意图。该画面切换方法，具体包括以下步骤：
S101：获取上一时刻的全景画面和上一时刻的特写画面。
作为具体的实施方式，当上一时刻的特写画面为第一个特写画面时，可以利用现有技术中的方案，从一个大画面里面截取一个固定大小的画面作为特写画面；当上一时刻的特写画面为第一个特写画面之后的任意一个特写画面时，可以利用变化的像素点生成特写画面。
在本发明实施例1中，全景画面是相对于特写画面而言的，特写画面是相对于全景画面而言的，全景画面是一个大画面，特写画面是从全景画面中截取的小画面。
S102：获取当前时刻的全景画面。
作为进一步的实施方式，在获取当前时刻的全景画面的同时，还包括：获取下一时刻的全景画面；也就是说，经过步骤S101和步骤S102可以同时获取到上一时刻的全景画面、当前时刻的全景画面、下一时刻的全景画面以及上一时刻的特写画面。
S103：利用所述上一时刻的全景画面和所述当前时刻的全景画面，确定当前时刻相较于上一时刻变化的像素点。
作为进一步的实施方式，当在步骤S102中在获取当前时刻的全景画面的同时，还获取下一时刻的全景画面时，在步骤S103中，在利用所述上一时刻的全景画面和所述当前时刻的全景画面，确定当前时刻相较于上一时刻变化的像素点的同时，还包括：利用所述当前时刻的全景画面和所述下一时刻的全景画面，确定下一时刻相较于当前时刻变化的像素点。由此可以减少循环次数。
需要说明的是，利用所述当前时刻的全景画面和所述下一时刻的全景画面确定下一时刻相较于当前时刻变化的像素点的具体步骤，与利用所述上一时刻的全景画面和所述当前时刻的全景画面确定当前时刻相较于上一时刻变化的像素点的具体步骤相同。
作为具体的实施方式，利用所述上一时刻的全景画面和所述当前时刻的全景画面，确定当前时刻相较于上一时刻变化的像素点可以采用如下技术方案：
S1031：获取与所述上一时刻全景画面中的每个像素点相对应的第一标识信息。
S1032：按照预设的标识规则对所述当前时刻全景画面中的每个像素点进行标识，得到与所述当前时刻全景画面中的每个像素点相对应的第二标识信息。
S1033：针对同一像素点，利用所述第一标识信息和所述第二标识信息确定当前时刻相较于上一时刻该像素点是否产生变化，遍历所有的像素点，得到当前时刻相较于上一时刻变化的像素点。
对于步骤S1031，需要说明的是，与上一时刻全景画面中的每个像素点相对应的第一标识信息可以在生成上一时刻的特写画面的过程中得到，所以在步骤S103中只需获取即可。另外，所述上一时刻全景画面中的每个像素点相对应的第一标识信息也可以按照如下方法确定：按照预设的标识规则对上一时刻全景画面中的每个像素点进行标识，得到与上一时刻全景画面中的每个像素点相对应的第一标识信息。
对于步骤S1032，按照预设的标识规则对所述当前时刻全景画面中的每个像素点进行标识，得到与所述当前时刻全景画面中的每个像素点相对应的第二标识信息可以采用如下技术方案：
(11)按照所述像素点中是否存在目标，对所述当前时刻全景画面中包含的所有像素点进行划分，得到不存在目标的第一像素点集合和存在目标的第二像素点集合。示例的，目标可以理解为人。
(12)针对所述第一像素点集合，对所述第一像素点集合进行二值化处理，得到与所述第一像素点集合中的每个像素点相对应的标识信息。
(13)针对所述第二像素点集合，确定所述第二像素点集合中存在的目标数量；当所述第二像素点集合中存在一个目标时，对所述第二像素点集合中的所有像素点采用相同的标识信息进行标识，且所述第二像素点集合中所有像素点的标识信息与所述第一像素点集合中所有像素点的标识信息不同；当所述第二像素点集合中存在多个目标时，将存在的目标相同的像素点分为一组，并对同一组的像素点采用相同的标识信息进行标识，且所述第二像素点集合中所有像素点的标识信息与所述第一像素点集合中所有像素点的标识信息不同。
在本发明实施例中，二值化是为了去掉噪点，减少误差，因为拍摄画面中环境不一样，会导致出现干扰的像素点。
具体的，步骤(12)中对第一像素点集合进行二值化处理可以采用现有技术中的任意技术方案。例如，将第一像素点集合区分出前景和背景，在前景和背景处的最低点就是阈值所在，得到阈值后将第一像素点集合中每个像素点的像素值与阈值一一比较，使得第一像素点集合中每个像素点的灰度值为0(黑色)或者255(白色)，在灰度化的图像中灰度值的范围为0～255，在二值化后的图像中的灰度值范围是0或者255，根据比较得到的灰度值为0(黑色)或者255(白色)像素数据生成0和1的标识，即与所述第一像素点集合中的每个像素点相对应的标识信息。
具体的，步骤(13)中，首先将第二像素点集合划分为多个区域，示例的，当目标为人时，头部一个区域，一条胳膊一个区域等，根据图形的连通性确定哪几个区域属于一个目标，哪几个区域属于另外一个目标。
当第二像素点集合中仅存在一个目标时，对第二像素点集合中的所有像素点采用相同的标识信息进行标识。当第一像素点集合中的像素点采用0和1进行标识时，此处第二像素点集合中像素点的标识信息不为0和1。
当第二像素点集合中存在多个目标时，将存在的目标相同的像素点分为一组，并对同一组的像素点采用相同的标识信息进行标识。例如对目标A的像素点采用标识A进行标识，对目标B的像素点采用标识B进行标识。当第一像素点集合中的像素点采用0和1进行标识时，此处标识A和标识B不为0和1。
采用上述方案，主要是把物体目标标识出来，如果是同一个目标上的，则做连通性，对后续像素块合并提高准确度和加速内存合并，如果是分散的不规则的像素则按标识的值后续进行一一合并。
对于步骤S1033，针对同一像素点，利用所述第一标识信息和所述第二标识信息，确定当前时刻相较于上一时刻该像素点是否产生变化可以采用如下技术方案：
(21)针对同一像素点，利用所述第一标识信息和所述第二标识信息，确定该像素点当前时刻与上一时刻的相似度。
(22)根据该像素点当前时刻与上一时刻的相似度确定当前时刻相较于上一时刻该像素点是否产生变化。
作为具体的实施方式，针对同一像素点，利用所述第一标识信息和所述第二标识信息，确定该像素点当前时刻与上一时刻的相似度可以采用如下技术方案：针对同一像素点，计算所述第一标识信息和所述第二标识信息的欧式距离；利用所述欧式距离，根据预设的公式计算该像素点当前时刻与上一时刻的相似度。其中，预设的计算公式为：1.0/(1.0+同一像素点第一标识信息与第二标识信息的欧式距离)。
示例的，像素点K第一标识信息和第二标识信息的相似度可以表示为下式：
其中，x1k表示像素点K的第一标识信息，x2k表示像素点K的第二标识信息。
当然，也可以利用其他的方法计算同一像素点当前时刻与上一时刻的相似度，例如皮尔逊相关系数。
S104：利用所述上一时刻的特写画面和所述当前时刻相较于上一时刻变化的像素点，生成当前时刻的特写画面。
作为具体的实施方式，可以将当前时刻相较于上一时刻变化的像素点复制到上一时刻的特写画面中，合成当前时刻的特写画面。
图3为本发明实施例1画面切换方法一示例的示意图，如图3所示，当需要由全景画面生成特写画面时，因为特写画面每次都更新了背景画面，只做改变的像素点的截取，在前一个特写画面上做像素点的合并，即并不需要复制拷贝特写画面的所有数据帧，而是只将变化像素点进行从全景画面到特写画面的切换，内存资源消耗较小。
本发明实施例提供的画面切换方法，通过获取上一时刻的全景画面和上一时刻的特写画面，获取当前时刻的全景画面，利用上一时刻的全景画面和当前时刻的全景画面，确定当前时刻相较于上一时刻变化的像素点，利用上一时刻的特写画面和当前时刻相较于上一时刻变化的像素点，生成当前时刻的特写画面；相较于现有技术中每次特写画面的所有数据帧都要做截取，然后复制拷贝数据，本发明实施例定位分析到只有画面变化的像素点区域，只将变化像素点进行从全景画面到特写画面的切换，内存资源消耗较小。
本发明实施例1提供的画面切换方法可以应用在电子云镜中。电子云镜可以实现单机双景的切换模式。例如，在教育教学系统中，配置2台4K极清摄像机。1台教师电子云景摄像机，可根据教师在黑板前的走动定位实现讲台全景、教师特写的切换，例如：当教师在讲台站定时，是教师特写画面，当老师在讲台前走动时则切换至讲台全景画面。1台学生电子云景摄像机可实现学生全景、学生特写的画面切换，具体的，当有1位学生起立回答问题时，切换至该名学生全景并且下一个画面切换至学生特写画面，当有多名学生起立回答问题时，切换至学生全景画面；当老师与学生进行互动时，画面为学生全景画面，老师返回至讲台区域，则机位切换至讲台全景。再加上教学电子课件的“景位”，相当于用2台摄像机，就实现了4+1，五路画面的录播功能。采用电子云镜技术，两个像素云镜高清摄像机完成“教师特写”、“教师全景”、“学生特写”、“学生全景”景位画面。另外将“授课电脑”参与到录播，共五个场景画面拍摄录制。后台自动分解，同时在前台流畅切换，不存在任何画面抖动感。
实施例2
与本发明实施例1相对应。本发明实施例2提供了一种画面切换装置。
图4为本发明实施例2画面切换装置的结构示意图，如图4所示，本发明实施例2的画面切换装置包括第一获取模块40、第二获取模块42、变化像素点确定模块44及画面切换模块46。
具体的，第一获取模块40，用于获取上一时刻的全景画面和上一时刻的特写画面。
第二获取模块42，用于获取当前时刻的全景画面。
变化像素点确定模块44，用于利用所述上一时刻的全景画面和所述当前时刻的全景画面，确定当前时刻相较于上一时刻变化的像素点。
画面切换模块46，用于利用所述上一时刻的特写画面和所述当前时刻相较于上一时刻变化的像素点，生成当前时刻的特写画面。
所述变化像素点确定模块44具体用于：获取与所述上一时刻全景画面中的每个像素点相对应的第一标识信息；按照预设的标识规则对所述当前时刻全景画面中的每个像素点进行标识，得到与所述当前时刻全景画面中的每个像素点相对应的第二标识信息；针对同一像素点，利用所述第一标识信息和所述第二标识信息确定当前时刻相较于上一时刻该像素点是否产生变化，遍历所有的像素点，得到当前时刻相较于上一时刻变化的像素点。
更加具体的，变化像素点确定模块44用于：按照所述像素点中是否存在目标，对所述当前时刻全景画面中包含的所有像素点进行划分，得到不存在目标的第一像素点集合和存在目标的第二像素点集合；针对所述第一像素点集合，对所述第一像素点集合进行二值化处理，得到与所述第一像素点集合中的每个像素点相对应的标识信息；针对所述第二像素点集合，确定所述第二像素点集合中存在的目标数量；当所述第二像素点集合中存在一个目标时，对所述第二像素点集合中的所有像素点采用相同的标识信息进行标识，且所述第二像素点集合中所有像素点的标识信息与所述第一像素点集合中所有像素点的标识信息不同；当所述第二像素点集合中存在多个目标时，将存在的目标相同的像素点分为一组，并对同一组的像素点采用相同的标识信息进行标识，且所述第二像素点集合中所有像素点的标识信息与所述第一像素点集合中所有像素点的标识信息不同。
更加具体的，变化像素点确定模块44用于：针对同一像素点，利用所述第一标识信息和所述第二标识信息，确定该像素点当前时刻与上一时刻的相似度；根据该像素点当前时刻与上一时刻的相似度确定当前时刻相较于上一时刻该像素点是否产生变化。
更加具体的，变化像素点确定模块44用于：针对同一像素点，计算所述第一标识信息和所述第二标识信息的欧式距离；利用所述欧式距离，根据预设的公式计算该像素点当前时刻与上一时刻的相似度。
作为进一步的实施方式，在获取当前时刻的全景画面时，第二获取模块还用于获取下一时刻的全景画面。在利用所述上一时刻的全景画面和所述当前时刻的全景画面，确定当前时刻相较于上一时刻变化的像素点时，变化像素点确定模块44还用于：利用所述当前时刻的全景画面和所述下一时刻的全景画面，确定下一时刻相较于当前时刻变化的像素点。
上述画面切换装置具体细节可以对应参阅图2至图3所示的实施例中相对应的相关描述和效果进行理解，此处不再赘述。
实施例3
本发明实施例还提供了一种电子设备，该电子设备可以包括摄像机53、处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图5为总线50连接。
处理器51可以为中央处理器51(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器51、数字信号处理器51(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的画面切换方法相对应的程序指令/模块(例如，图4所示的第一获取模块40、第二获取模块42、变化像素点确定模块44及画面切换模块46)。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器51的各种功能应用以及数据处理，即实现上述方法实施例中的画面切换方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器52，还可以包括非暂态存储器52，例如至少一个磁盘存储器52件、闪存器件、或其他非暂态固态存储器52件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器52，这些远程存储器52可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图2-3所示实施例中的画面切换方法。
上述电子设备具体细节可以对应参阅图2至图3所示的实施例中相对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序601来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中。如图6所示，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质601可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
