一种云剪辑方法、装置、设备及存储介质
技术领域
本发明属于视频处理的技术领域，尤其涉及一种云剪辑方法、装置、设备及存储介质。
背景技术
个人视频的新时代已经来临了，在这个时代里，大家可以坐在家用计算机前，制作出品质堪与摄影棚媲美的影片，制作出一段效果非凡的演示视频。
视频帧间隔是毫秒级别的，传统的视频拆分、截图、滤镜效果是按秒级处理的，若是帧率为每秒25帧的视频，模糊位置是25帧，若是定位的帧不是I帧时，位置偏差更大。不能精确到帧级，在制作中不能达到理想的效果。
制作视频时若是想要滤镜效果每一帧都不一样，或者穿插几段纯文本说明，或者添加几张精美图片，或者插入几个精彩片段，再或者融进几首经典歌曲做背景音乐，传统的做法比较繁琐，不能做到素材的任意组合灵活分配在时间轴上，会通过多次转码来实现这些功能，这样在性能上大打折扣。
发明内容
本发明的目的是提供一种云剪辑方法、装置、设备及存储介质，支持视频拆分、截图、多样滤镜效果(叠文字、贴图片、打马赛克)、多素材混编，其中视频拆分、截图可以帧级定位，多样滤镜效果可以帧级定位和帧级效果差异化，多素材混编是多文本、多贴图、多音频、多视频等素材任意组合成一个完整的视频，使制作出的视频内容多样化、风格独特。
为解决上述问题，本发明的技术方案为：
一种云剪辑方法，包括：
S1：在云剪服务器中封装基础转码模块，并提供面向剪辑业务的视频编辑接口；
S2：云剪服务器接收用户发送的剪辑指令及剪辑素材后，解析所述剪辑指令并执行剪辑任务，以帧为单位进行视频剪辑；所述剪辑指令包括视频截图、视频截取、视频滤镜及多素材混编；
S3：云剪服务器将完成剪辑任务的视频编码封装后输出给用户。
根据本发明一实施例，所述步骤S2进一步包括：
云剪服务器接收到剪辑素材后，初步选取所述剪辑素材的起始编辑位置，作为待定位点；
调整所述待定位点向前偏移一个GOP的距离，到达偏移点的位置；
云剪服务器从所述偏移点开始解码，判断所述偏移点是否为I帧，若否，则从所述偏移点向后寻找I帧，在I帧的位置开始解码；所述I帧的位置位于所述待定位点之前；
当解码进度到达所述待定位点时，确定所述待定位点为所述剪辑素材的起始编辑位置的实际定位点；
通过逐帧判断PTS实现云剪辑精确定位到帧级。
根据本发明一实施例，所述步骤S2进一步包括：
当云剪服务器执行视频滤镜任务时，将所述剪辑素材解码成一帧帧YUV数据，分别对每一帧YUV数据进行滤镜操作。
根据本发明一实施例，所述对每一帧YUV数据进行滤镜操作时，判断是否需要进行叠加文字或贴加图片或打马赛克操作。
根据本发明一实施例，所述步骤S2进一步包括：
当云剪服务器执行多素材混编任务时，识别所述剪辑素材中的素材类型；所述素材类型包括文本素材、贴图素材、音频素材及视频素材；
将视频素材间隔地分布在时间轴上，视频素材间的间隔部分自动填充纯色视频；
将文本素材和/或贴图素材和/或音频素材合理分布在时间轴上，所述文本素材、所述贴图素材及所述音频素材可在时间轴上交叉重叠。
根据本发明一实施例，所述云剪服务器识别所述剪辑素材中的素材类型后，若无视频素材，则填充自定义颜色成为纯色视频。
一种云剪辑装置，包括：
接口模块，用于在云剪服务器中封装基础转码模块，并提供面向剪辑业务的视频编辑接口；
剪辑模块，用于云剪服务器接收用户发送的剪辑指令及剪辑素材后，解析所述剪辑指令并执行剪辑任务，以帧为单位进行视频剪辑；所述剪辑指令包括视频截图、视频截取、视频滤镜及多素材混编；
输出模块，用于云剪服务器将完成剪辑任务的视频编码封装后输出给用户。
一种云剪辑设备，包括存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述云剪辑设备执行本发明一实施例中的云剪辑方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明一实施例中的云剪辑方法。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
1)本发明一实施例中的云剪辑方法，针对传统的视频剪辑方法通常按秒级处理，无法做到精度到帧级，从而降低视频效果的问题，通过在云剪服务器中封装基础转码模块，并提供面向剪辑业务的视频编辑接口；云剪服务器接收用户发送的剪辑指令及剪辑素材后，解析剪辑指令并执行剪辑任务，以帧为单位进行视频剪辑，将视频截取、视频截图、视频滤镜等操作精度到帧级，提高视频制作的效果。
2)本发明一实施例中的云剪辑方法，针对传统的云剪服务器在对起始编辑位置进行定位时没有容错设置，导致实际定位点与待定位点的位置出现偏差的问题，通过调整待定位点向前偏移一个GOP的距离，到达偏移点，由于一个GOP中必包含一个I帧，当解码器从偏移点开始解码，若是非I帧，则会一直到临近的I帧时正常解码，此时I帧的位置在待定位点之前，继续解码就可以找到待定位点，使实际定位点与待定位点重合，规避了定位帧不是I帧时导致的偏差，达到精确定位起始编辑位置的效果；然后通过逐帧判断PTS来精确定位到帧级。
3)本发明一实施例中的云剪辑方法，针对传统的视频滤镜效果只能做到整个视频的编辑，无法实现个性化编辑的问题，通过将剪辑素材解码成一帧帧YUV数据，分别对每一帧YUV数据进行滤镜操作，判断是否需要进行叠加文字或贴加图片或打马赛克操作，使视频滤镜精确到帧及帧级效果差异化，达到灵活编辑的效果。
4)本发明一实施例中的云剪辑方法，支持多素材混编，将多文本、多贴图、多音频、多视频等素材任意组合成一个完整的视频，使制作出的视频内容多样化、风格独特。
附图说明
图1为本发明一实施例中的GOP文件的示意图；
图2为本发明一实施例中的云剪辑方法的流图；
图3为本发明一实施例中的传统剪辑方法中起始编辑位置的定位示意图；
图4为本发明一实施例中的云剪辑方法中起始编辑位置的定位示意图；
图5为本发明一实施例中的传统剪辑方法的操作流图；
图6为本发明一实施例中的云剪辑方法的操作流图；
图7为本发明一实施例中的云剪辑方法中的多素材混编的示意图；
图8为本发明一实施例中的云剪辑装置的示意图；
图9为本发明一实施例中的云剪系统框图；
图10为本发明一实施例中的云剪辑设备的示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种云剪辑方法、装置、设备及存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
实施例一
在具体说明本发明提出的云剪辑方法之前，先介绍以下几个技术术语：
帧，是影像动画中最小单位的单幅影像画面，相当于电影胶片上的每一格镜头，一帧就是一副静止的画面，连续的帧就形成动画。
视频编码按照GOP(Group of Pictures，画面组)进行编码，一个GOP文件就是一组连续的画面(即帧)，每一个GOP文件代表了两个I帧之间的距离，GOP之间是没有联系的。
在压缩编码中，将画面可以分为I、P、B三种帧，I是内部编码帧，P是前向预测帧，B是双向内插帧。简单地讲，I帧是一个完整的画面，而P帧和B帧记录的是相对于I帧的变化，没有I帧，P帧和B帧就无法解码。图1示意了一种由I、P、B三种帧组成的GOP，多个GOP文件组成了视频帧序列或视频码流。
其中，I帧的特点为：
1)它是一个全帧压缩编码帧，它将全帧图像信息进行压缩编码及传输；
2)解码时仅用I帧的数据就可以重构完整图像；
3)I帧描述了图像背景和运动主体的详情；
4)I帧不需要参考其他画面而生成；
5)I帧是P帧和B帧的参考帧，其质量会直接影响到同组中以后各帧的质量；
6)I帧是画面组GOP的基础帧(第一帧)，在一组中只有一个I帧；
7)I帧不需要考虑运动矢量；
8)I帧所占数据的信息量比较大。
P帧是以I帧为参考帧，在I帧中找出P帧“某点”的预测值和运动矢量，取预测差值和运动矢量一起传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值，从而可以得到完整的P帧。
P帧的特点：
1)P帧是I帧后面相隔1或2帧的编码帧；
2)P帧采用运行补偿的方法传送它与前面的I帧或P帧的差值及运动矢量(预测误差)；
3)解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像；
4)P帧属于前向预测的帧间编码，它只参考前面最靠近它的I帧或P帧；
5)P帧可以是其后面的P帧的参考帧，也可以是其后面的B帧的参考帧；
6)由于P帧是参考帧，它可能造成解码错误的扩散；
7)由于是差值传送的，P帧的压缩比较高。
B帧以前面的I帧或P帧和后面的P帧为参考帧，找出B帧“某点”的预测值和两个运动矢量，并取预测差值和运动矢量传送。接收端根据运动矢量在两个参考帧中找出(算出)预测值并与差值求和，得到B帧“某点”的样值，从而可以得到完整的B帧。
B帧的特点：
1)B帧是由前面的I帧或P帧和后面的P帧来进行预测的；
2)B帧传送的是它与前面的I帧或P帧和后面的P帧之间的预测误差及运动矢量；
3)B帧是双向预测编码帧；
4)B帧压缩比最高，因为它只反映参考帧间运动主体的变化情况，预测比较准确；
5)B帧不是参考帧，不会造成解码错误的扩散。
解封装，从mp4、mkv或flv等文件解出视频码流叫做解封装，其相反的过程叫做封装，其中，mp4、mkv或flv这一类叫做封装容器，H263、H264、H265这一类叫做视频码流。
解码，从视频码流解出可以播放的视频图像数据叫做解码，其相反的过程叫做编码。
视频转码，是指将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。转码本质上是一个先解码，再编码的过程，因此转换前后的码流可能遵循相同的视频编码标准，也可能不遵循相同的视频编码标准。
YUV是编译true-color颜色空间(color space)的种类，Y'UV、YUV、YCbCr、YPbPr等专有名词都可以称为YUV。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
PTS：Presentation Time Stamp，显示时间戳。PTS主要用于度量解码后的视频帧什么时候被显示出来。
本发明提供的云剪辑方法，请参看图2，该方法包括：
S1：在云剪服务器中封装基础转码模块，并提供面向剪辑业务的视频编辑接口；
S2：云剪服务器接收用户发送的剪辑指令及剪辑素材后，解析所述剪辑指令并执行剪辑任务，以帧为单位进行视频剪辑；所述剪辑指令包括视频截图、视频截取、视频滤镜及多素材混编；
S3：云剪服务器将完成剪辑任务的视频编码封装后输出给用户。
具体的，如图3所示，传统的云剪服务器在执行视频截取、视频截图及视频滤镜时，对视频的起始编辑位置定位时是没有容错的。以初步选取的起始编辑位置为待定位点，假如该待定位点不是I帧，那么在该位置解码器是解不出图像数据的，视频需要往后偏移直到最近的I帧为止才开始正常解码，该I帧就成为实际定位点。如此，如此实际定位点与待定位点存在了位置偏差，从而影响视频的解码准确度。
本实施例为了避免实际定位点与待定位点之间存在偏差，在对视频的起始编辑位置进行定位时，采用一种新的方法。请参看图4，首先初步选取的起始编辑位置(如P帧)为待定位点，然后调整该待定位点向前偏移一个GOP的距离，到达偏移点的位置。由于一个GOP中必包含一个I帧，当云剪服务器从偏移点开始解码，判断偏移点是否为I帧，若否，则从偏移点向后寻找I帧，在I帧的位置开始解码；此时该I帧的位置位于待定位点之前；当解码进度到达该待定位点(P帧)时，确定该待定位点(P帧)为该视频的起始编辑位置的实际定位点。不会出现如图3所示的待定位点不在视频的解码范围内的情况。
定位好视频的起始编辑位置之后，通过逐帧判断PTS实现云剪辑精确定位到帧级。
本实施例通过上述云剪辑方法，在视频截取时可满足任意帧位置的视频片段截取；在视频截图时可满足任意帧位置的图片截取。
传统的视频滤镜效果(如叠加文字、贴加图片、打马赛克等)只能做到整个视频的编辑，如图5所示。在对视频进行滤镜之前，通常需要经过输入视频、视频解封装、视频解码的过程，将视频解码得到的YUV数据整体添加滤镜效果，最后封装成的视频整体都左了滤镜，不能做到个性化编辑。
本实施例为了实现多样灵活的视频滤镜，对视频滤镜进行了改进。如图6所示，在得到视频解码后的YUV数据后，对YUV数据按帧分割，分别对每一帧YUV数据进行滤镜操作。在对每一帧YUV数据进行滤镜操作时，判断是否需要进行叠加文字或贴加图片或打马赛克操作。只有在得到用户的确认下，当前帧才会添加滤镜效果。如此，在视频滤镜时可以达到每一帧的效果都不一样，且滤镜效果的叠加顺序以及显示位置达到帧级变化。
本实施例中的云剪辑方法还可支持多素材混编。当云剪服务器执行多素材混编任务时，识别剪辑素材中的素材类型；其中，素材类型包括文本素材、贴图素材、音频素材及视频素材。如图7所示，在多素材混编时，需将视频素材间隔地分布在时间轴上，视频素材间的间隔部分自动填充纯色视频，防止视频素材在时间轴上交叉。当剪辑素材中没有视频素材时，则填充自定义颜色成为纯色视频。
对于文本素材、贴图素材及音频素材，可将文本素材和/或贴图素材和/或音频素材合理分布在时间轴上，该文本素材、所述贴图素材及所述音频素材可在时间轴上交叉重叠。
将多剪辑素材进行混编，可实现多种组合视频，如视频+音频+文本+图片、视频+音频+文本、视频+音频+图片、音频+文本+图片、视频+文本+图片、视频+音频、文本+视频、视频+图片、音频+文本、音频+图片、文本+图片、纯文本、纯图片等。如此，将多文本、多贴图、多音频、多视频等素材任意组合成一个完整的视频，使制作出的视频内容多样化、风格独特。
实施例二
上述实施例一对本发明云剪辑方法进行了详细的描述，下面从从模块化功能实体的角度对本发明云云剪辑装置进行详细描述。
请参看图8，本实施例提供的云剪辑装置，包括：
接口模块1，用于在云剪服务器中封装基础转码模块，并提供面向剪辑业务的视频编辑接口；
剪辑模块2，用于云剪服务器接收用户发送的剪辑指令及剪辑素材后，解析剪辑指令并执行剪辑任务，以帧为单位进行视频剪辑；该剪辑指令包括视频截图、视频截取、视频滤镜及多素材混编；
输出模块3，用于云剪服务器将完成剪辑任务的视频编码封装后输出给用户。
上述接口模块1、剪辑模块2及输出模块3均为虚拟模块，可由计算机程序编辑而成。对于上述各模块所实现的功能及实现该功能采取的方法均与实施例一中的云剪辑方法一致，在此不再赘述。
在实际应用中，该云剪辑装置存在于云剪系统中，该云剪系统请参看图9。通过用户下发指令参数(视频截取、视频截图、视频滤镜、多素材混编)到云剪系统，云剪系统接收到指令并进行解析，执行指令完成后返回结果给用户。该云剪系统在视频截取时可满足任意帧位置的视频片段截取；在视频截图时可满足任意帧位置的图片截取；在视频滤镜时可以达到每一帧的效果都不一样，且滤镜效果的叠加顺序以及显示位置达到帧级变化；还可将多文本、多贴图、多音频、多视频等素材任意组合成一个完整的视频，使制作出的视频内容多样化、风格独特。
实施例三
请参看图10，该云剪辑设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对云剪辑设备500中的一系列指令操作。
进一步地，处理器510可以设置为与存储介质530通信，在云剪辑设备500上执行存储介质530中的一系列指令操作。
云剪辑设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve、Vista等等。
本领域技术人员可以理解，图10示出的云剪辑设备结构并不构成对云剪辑设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的云剪辑方法的步骤。
实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only memory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。
