视频特效的展示方法、装置、电子设备及存储介质
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视频特效的展示方法、装置、电子设备及存储介质。
背景技术
随着移动终端技术的迅速发展，各种功能的应用软件应运而生，从而可以为用户带来方便和娱乐。其中，游戏性特效，特别是关键点轨迹特效更是颇受用户喜爱。
相关技术中，通常采用录每一帧图像中关键点的位置，将其保存到一个数组当中，并且在每一帧图像中将轨迹中的所有点渲染到画面中，进而实现关键点轨迹特效的展示。然而现有视频特效的展示方式因关键点轨迹记录不完全，导致展示出的关键点轨迹中存在间隔，同时若每一帧图像中需要渲染的关键点较多时，由于每一帧的渲染时间较长，导致无法实现快速渲染，严重影响了用户体验。因此，如何快速地为视频添加轨迹平滑且连续的关键点轨迹特效已成为亟待解决的问题。
发明内容
本公开提供一种视频特效的展示方法、装置、电子设备及存储介质，以至少解决相关技术中无法快速地为视频添加轨迹平滑且连续的关键点轨迹特效的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频特效的展示方法，包括：基于关键点轨迹特效打开指令，获取当前帧图像和所述当前帧图像中的待追踪关键点；获取所述当前帧图像中所述待追踪关键点的位置信息；根据所述当前帧图像中所述待追踪关键点的位置信息和上一帧图像中所述待追踪关键点的位置信息，生成所述待追踪关键点的辅助位置信息；根据当前帧及当前帧之前每帧图像中所述待追踪关键点的位置信息和每次生成的所述待追踪关键点的辅助位置信息，对所述当前帧图像进行关键点轨迹渲染；以及展示渲染后的当前帧图像。
根据本公开的一个实施例，所述根据所述当前帧图像中所述待追踪关键点的位置信息和上一帧图像中所述待追踪关键点的位置信息，生成所述待追踪关键点的辅助位置信息，包括：对所述当前帧图像中所述待追踪关键点的位置信息和所述上一帧图像中所述待追踪关键点的位置信息进行线性插值处理，生成所述待追踪关键点的辅助位置信息。
根据本公开的一个实施例，所述对所述当前帧图像中所述待追踪关键点的位置信息和所述上一帧图像中所述待追踪关键点的位置信息进行线性插值处理，生成所述待追踪关键点的辅助位置信息，包括：根据所述当前帧图像中所述待追踪关键点的位置信息和所述上一帧图像中所述待追踪关键点的位置信息，获取所述当前帧图像中所述待追踪关键点与所述上一帧图像中所述待追踪关键点之间的像素距离；根据所述像素距离和预设的插值间隙，确定需插值的所述待追踪关键点的辅助位置信息的数量；根据所述当前帧图像中所述待追踪关键点的位置信息、所述上一帧图像中所述待追踪关键点的位置信息和所述待追踪关键点的辅助位置信息的数量，确定所述待追踪关键点的辅助位置信息。
根据本公开的一个实施例，所述根据当前帧及当前帧之前每帧图像中所述待追踪关键点的位置信息和每次生成的所述待追踪关键点的辅助位置信息，对所述当前帧图像进行关键点轨迹渲染，包括：根据所述当前帧图像中所述待追踪关键点的位置信息和本次生成的所述待追踪关键点的辅助位置信息，对存储的纹理进行渲染，其中，所述存储的纹理为根据所述当前帧之前每帧图像中所述待追踪关键点的位置信息和本次之前每次生成的所述待追踪关键点的辅助位置信息进行渲染生成的；以及将渲染后的纹理渲染到所述当前帧图像上。
根据本公开的一个实施例，所述当前帧图像为第一帧图像时，所述存储的纹理为空白的纹理。
根据本公开的一个实施例，所述存储的纹理的尺寸与视频的尺寸一致。
根据本公开的一个实施例，还包括：基于视频录制开始指令，清除存储的所述待追踪关键点的位置信息和所述待追踪关键点的辅助位置信息，或者将所述存储的纹理替换为空白的纹理，并继续执行所述获取当前帧图像和所述当前帧图像中的待追踪关键点步骤。
根据本公开的一个实施例，还包括：基于特效清除指令，清除存储的所述待追踪关键点的位置信息和所述待追踪关键点的辅助位置信息，或者将所述存储的纹理替换为空白的纹理，并展示重新获取的当前帧图像。
根据本公开的一个实施例，还包括：基于特效恢复指令，继续执行所述获取当前帧图像和所述当前帧图像中的待追踪关键点步骤。
根据本公开实施例的第二方面，提供一种视频特效的展示装置，包括：第一获取单元，被配置为执行基于关键点轨迹特效打开指令，获取当前帧图像和所述当前帧图像中的待追踪关键点；第二获取单元，被配置为执行获取所述当前帧图像中所述待追踪关键点的位置信息；生成单元，被配置为执行根据所述当前帧图像中所述待追踪关键点的位置信息和上一帧图像中所述待追踪关键点的位置信息，生成所述待追踪关键点的辅助位置信息；渲染单元，被配置为执行根据当前帧及当前帧之前每帧图像中所述待追踪关键点的位置信息和每次生成的所述待追踪关键点的辅助位置信息，对所述当前帧图像进行关键点轨迹渲染；以及展示单元，被配置为执行展示渲染后的当前帧图像。
根据本公开的一个实施例，所述生成单元，包括：生成子单元，被配置为执行对所述当前帧图像中所述待追踪关键点的位置信息和所述上一帧图像中所述待追踪关键点的位置信息进行线性插值处理，生成所述待追踪关键点的辅助位置信息。
根据本公开的一个实施例，所述生成子单元，包括：获取模块，被配置为执行根据所述当前帧图像中所述待追踪关键点的位置信息和所述上一帧图像中所述待追踪关键点的位置信息，获取所述当前帧图像中所述待追踪关键点与所述上一帧图像中所述待追踪关键点之间的像素距离；第一确定模块，被配置为执行根据所述像素距离和预设的插值间隙，确定需插值的所述待追踪关键点的辅助位置信息的数量；第二确定模块，被配置为执行根据所述当前帧图像中所述待追踪关键点的位置信息、所述上一帧图像中所述待追踪关键点的位置信息和所述待追踪关键点的辅助位置信息的数量，确定所述待追踪关键点的辅助位置信息。
根据本公开的一个实施例，所述渲染单元，包括：第一渲染子单元，被配置为执行根据所述当前帧图像中所述待追踪关键点的位置信息和本次生成的所述待追踪关键点的辅助位置信息，对存储的纹理进行渲染，其中，所述存储的纹理为根据所述当前帧之前每帧图像中所述待追踪关键点的位置信息和本次之前每次生成的所述待追踪关键点的辅助位置信息进行渲染生成的；以及第二渲染子单元，被配置为执行将渲染后的纹理渲染到所述当前帧图像上。
根据本公开的一个实施例，所述当前帧图像为第一帧图像时，所述存储的纹理为空白的纹理。
根据本公开的一个实施例，所述存储的纹理的尺寸与视频的尺寸一致。
根据本公开的一个实施例，所述第一获取单元还被配置为执行：基于视频录制开始指令，清除存储的所述待追踪关键点的位置信息和所述待追踪关键点的辅助位置信息，或者将所述存储的纹理替换为空白的纹理，并继续执行所述获取当前帧图像和所述当前帧图像中的待追踪关键点步骤。
根据本公开的一个实施例，所述第一获取单元还被配置为执行：基于特效清除指令，清除存储的所述待追踪关键点的位置信息和所述待追踪关键点的辅助位置信息，或者将所述存储的纹理替换为空白的纹理，并展示重新获取的当前帧图像。
根据本公开的一个实施例，所述第一获取单元还被配置为执行：基于特效恢复指令，继续执行所述获取当前帧图像和所述当前帧图像中的待追踪关键点步骤。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如本公开第一方面实施例提供的视频特效的展示方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如本公开第一方面实施例提供的视频特效的展示方法。
本公开的实施例提供的技术方案至少带来以下有益效果：通过获取源短视频，并调用第一展示页面后，对音乐素材的目标操作进行监控，以在监控到目标操作后生成调用指令，跳转至音乐编辑页面，并于音乐编辑页面加载目标音乐素材，进而响应于编辑操作，对目标音乐素材进行编辑并加载至源短视频，以生成目标短视频。由此，本公开通过简化交互方案，使得在获取到源短视频后，可以直接调用第一展示页面，并于第一展示页面中对目标操作进行监控，然后在监控到目标操作后，能够直接从第一展示页面跳转至音乐编辑页面，对目标音乐素材进行编辑，进而得到目标短视频，从而减少了交互次数，缩短了操作用时，降低了学习成本，大大提高了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频特效的展示方法的流程图。
图2是根据一示例性实施例示出的一种主界面的示意图。
图3是根据一示例性实施例示出的一种特效预览界面的示意图。
图4是根据一示例性实施例示出的一种于特效预览界面上显示当前帧图像的示意图。
图5是根据一示例性实施例示出的一种目标对象选取结果的示意图。
图6是根据一示例性实施例示出的一种渲染后的当前帧图像的示意图。
图7是根据一示例性实施例示出的另一种视频特效的展示方法的流程图。
图8是根据一示例性实施例示出的又一种视频特效的展示方法的流程图。
图9是根据一示例性实施例示出的一种关键点轨迹变化过程的渐进示意图。
图10是根据一示例性实施例示出的再一种视频特效的展示方法的流程图。
图11是根据一示例性实施例示出的另一种视频特效的展示方法的流程图。
图12是根据一示例性实施例示出的一种视频特效的展示装置的框图。
图13是根据一示例性实施例示出的另一种视频特效的展示装置的框图。
图14是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种视频特效的展示方法的流程图。其中，需要说明的是，本公开的视频特效的展示方法的执行主体为视频特效的展示装置。本公开实施例的视频特效的展示方法可以由本公开实施例的视频特效的展示装置执行，视频特效的展示装置具体可以为硬件设备，或者硬件设备中的软件等。其中，硬件设备例如终端设备、服务器等。如图1所示，本实施例提出的视频特效的展示方法，包括以下步骤：
在步骤101中，基于关键点轨迹特效打开指令，获取当前帧图像和当前帧图像中的待追踪关键点。
其中，关键点轨迹特效可以为沿着关键点移动的轨迹叠加任一显示效果的特效。例如，可以沿着关键点移动的轨迹叠加黄色的光束或者白色的光线。
其中，关键点可以为当前帧图像中目标对象的任一关键位置。例如，可以将目标对象的鼻子、眼睛和指尖等部位作为待追踪的关键点。又例如，可以将目标对象的眼镜、手持的麦克风和佩戴的视频等物体作为待追踪的关键点。
本公开实施例中，在试图为视频添加特效时，用户可以通过点击特效控件、输入语音信息等方式下发添加特效指令。相应地，在检测到用户下发的添加特效指令后，可以于特效预览界面中加载至少一个特效标识，以供用户根据需求进行特效标识的选择。其中，特效标识包括关键点轨迹特效，例如魔法鼻子、魔法眼睛和魔法手指等特效标识。
作为一种可能的实现方式，在试图对添加特效指令进行检测时，可以获取用户实施在主界面上的目标操作的位置，并在检测到目标操作的位置为添加特效的操作区域时，则可以确定检测到了添加特效指令。
进一步地，可以继续对用户下发的指令进行检测，并在检测到关键点轨迹特效打开指令后，为视频添加关键点轨迹特效。
作为一种可能的实现方式，在试图对关键点轨迹特效打开指令进行检测时，可以获取用户实施在特效预览界面上的目标操作的位置，并在检测到目标操作的位置为关键点轨迹特效的特效标识操作区域时，则可以确定检测到了关键点轨迹特效打开指令。
需要说明的是，本公开中，为了简化交互过程、提升用户体验，还可以于特效预览界面上显示多种功能控件，例如，可以于特效预览界面上显示录制控件，以方便用户在预览后选取了需要的特效之后，能够直接执行为所录制的视频添加关键点轨迹特效的操作。
举例而言，如图2所示，用户可以通过点击主界面11上的添加特效控件12来触发添加特效功能，相应地，在检测到用户点击添加特效控件12后，如图3所示，可以于特效预览界面13中加载特效标识14-1～14-4，共4个特效标识，以及拍摄控件15。进一步地，在检测到用户实施在特效预览界面上的目标操作的位置为关键点轨迹特效的特效标识操作区域时，则确定检测到了关键点轨迹特效打开指令。
本公开实施例中，可以基于关键点轨迹特效打开指令，通过视频、图像等采集装置对当前帧图像进行获取，并将获取到的当前帧图像显示在特效预览界面上。
举例而言，可以通过摄像头获取到如图4所示的当前帧图像16，并将获取到的当前帧图像16显示在特效预览界面上13。
需要说明的是，通过上述方式获取到当前帧图像后，可以首先判断获取到的当前帧图像是否仅包括一个对象，如果识别当前帧图像仅包括一个对象，则可以将该对象作为目标对象；如果识别当前帧图像包括多于一个对象，则可以选择其中一个对象作为目标对象。其中，目标对象为后续需要添加视频特效的对象。
需要说明的是，本公开中对于目标对象的选取方式不作限定，可以根据实际情况进行选择。例如，可以根据各对象的关节点的识别完整度和置信度选取目标对象。例如，如图5所示，获取到当前帧图像后，识别当前帧图像包括17-1和17-2，共2个对象，则可以对象17-1为目标对象。
进一步地，在获取到当前帧图像后，可以基于目标对象的特征，对当前帧图像中的待追踪关键点进行获取。
需要说明的是，本公开中对于待追踪关键点的获取方式不作限定，可以根据实际情况进行选择。例如，可以利用轮廓图像检测出类直线的区域，通过对各类直线区域的组合，识别出当前帧图像中的待追踪关键点。又例如，可以通过颜色特征和/或形状特征描述待追踪关键点，进而通过特征匹配的方式来获取当前帧图像中的待追踪关键点。
在步骤102中，获取当前帧图像中待追踪关键点的位置信息。
在本公开的实施例中，在获取到当前帧图像中的待追踪关键点后，可以对待追踪关键点的位置信息进行获取。
作为一种可能的实现方式，可以确定待追踪关键点在当前帧图像中的图像位置，并根据图像位置查询本公开中预先设置的当前帧图像和特效预览界面之间的位置映射，获取待追踪关键点在特效预览界面上的位置信息。
可选地，可以根据获取到的当前帧图像中的待追踪关键点，确定待追踪关键点在当前帧图像中的坐标，并基于预先建立当前帧图像与特效预览界面的同一基准坐标系，获取待追踪关键点在特效预览界面中的坐标，进而获取待追踪关键点在特效预览界面上的位置信息。
在步骤103中，根据当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，生成待追踪关键点的辅助位置信息。
其中，辅助位置信息指的是对待追踪关键点进行插值处理后得到的位置信息。
在本公开的实施例中，在获取到当前帧图像中待追踪关键点的位置信息后，可以读取上一帧图像中待追踪关键点的位置信息，并对当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息进行线性插值处理，以生成待追踪关键点的辅助位置信息。
在步骤104中，根据当前帧及当前帧之前每帧图像中待追踪关键点的位置信息和每次生成的待追踪关键点的辅助位置信息，对当前帧图像进行关键点轨迹渲染。
其中，对当前帧图像进行关键点轨迹渲染，指的是根据纹理和照明信息等信息生成渲染结果(即当前帧图像)的过程。
在本公开的实施例中，在试图对当前帧图像进行关键点轨迹渲染时，可以根据当前帧及当前帧之前每帧图像中待追踪关键点的位置信息和每次生成的待追踪关键点的辅助位置信息，以及预先存储的纹理，对当前帧图像进行关键点轨迹渲染，以得到渲染后的当前帧图像。
其中，预先存储的纹理为尺寸与视频尺寸一致的纹理。
在步骤105中，展示渲染后的当前帧图像。
在本公开的实施例中，在对当前帧图像进行关键点轨迹渲染后，可以获取渲染后的当前帧图像，并将渲染后的当前帧图像显示在屏幕上，以实现视频特效的展示。
举例而言，如图6所示，基于关键点轨迹特效打开指令，对当前帧图像18-1中的待追踪关键点“目标用户的鼻子19”添加关键点轨迹特效，以得到渲染后的当前帧图像18-2并进行展示。其中，渲染后的当前帧图像18-2中包括沿着目标用户的鼻子19移动的轨迹叠加的黑色的光线20。
需要说明的是，再获取到渲染后的当前帧图像后，先不将其显示到屏幕上，后台经过处理得到新的纹理后，将纹理叠加到当前帧画面上，然后将叠加后的画面显示在屏幕上。
本公开的实施例提供的视频特效的展示方法，能够基于关键点轨迹特效打开指令，获取当前帧图像和当前帧图像中的待追踪关键点，并获取当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，以生成待追踪关键点的辅助位置信息，进而根据当前帧及当前帧之前每帧图像中所述待追踪关键点的位置信息和每次生成的待追踪关键点的辅助位置信息，对当前帧图像进行关键点轨迹渲染，并将渲染后的当前帧图像进行展示，以实现视频特效的展示。由此，本公开能够通过对当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息进行线性插值处理，生成辅助位置信息，进而根据待追踪关键点的位置信息和辅助位置信息，对当前帧图像进行关键点轨迹渲染，使得展示出的渲染后的当前帧图像中关键点的轨迹平滑且连续，不再存在间隙。进一步地，本公开能够通过将每一帧图像中获取到的关键点直接进行关键点轨迹渲染，能够实现关键点轨迹的快速渲染、避免了渲染卡顿的技术问题，极大地缩短了视频特效展示过程的耗时。
需要说明的是，本公开中，为了能够确保展示出的渲染后的当前帧图像中关键点的轨迹平滑且连续，不再存在间隙，可以对当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息进行线性插值处理，生成待追踪关键点的辅助位置信息。
作为一种可能的实现方式，如图7所示，在上述实施例的基础上，上述步骤S103中对当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息进行线性插值处理，生成待追踪关键点的辅助位置信息的过程，具体包括以下步骤：
在步骤201中，根据当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，获取当前帧图像中待追踪关键点与上一帧图像中待追踪关键点之间的像素距离。
其中，像素距离可以为当前帧图像中待追踪关键点与上一帧图像中待追踪关键点之间的直线距离。
在本公开的实施例中，可以基于当前帧图像的尺寸信息，根据当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，通过如下公式素距离：
其中，(x0，y0)为当前帧图像中待追踪关键点的位置信息，(x1，y1)为上一帧图像中待追踪关键点的位置信息。
举例而言，获取到当前帧图像中待追踪关键点的位置信息(x0，y0)＝(2，2)、上一帧图像中待追踪关键点的位置信息(x1，y1)＝(8，10)，则可获取到两个关键点之间的像素距离为10。
在步骤202中，根据像素距离和预设的插值间隙，确定需插值的待追踪关键点的辅助位置信息的数量。
其中，插值间隙可以为当前帧图像中待追踪关键点与上一帧图像中待追踪关键点之间的连线方向上进行线性插值处理的最小插值距离。
在本公开的实施例中，在获取到像素距离后，可以基于插值间隙，确定需插值的待追踪关键点的辅助位置信息的数量。其中，插值间隙可以根据实际情况进行设定。例如，可以设定插值间隙为5、7等。
举例而言，获取到像素距离为10、插值间隙为5，则可以确定需插值的待追踪关键点的辅助位置信息的数量为1个。
在步骤203中，根据当前帧图像中待追踪关键点的位置信息、上一帧图像中待追踪关键点的位置信息和待追踪关键点的辅助位置信息的数量，确定待追踪关键点的辅助位置信息。
其中，辅助位置信息包括水平方向上的第一辅助位置信息和竖直方向上的第二辅助位置信息。
在本公开的实施例中，可以根据插值间隙，获取插值间隙在水平方向上的分量，然后再根据获取到的分量、当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，获取第一辅助位置信息。进一步地，可以根据第一辅助位置信息、当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，通过如下公式计算第二辅助位置信息：
其中，x为第一辅助位置信息、y为第二辅助位置信息。
举例而言，获取到当前帧图像中待追踪关键点的位置信息为(2，2)、上一帧图像中待追踪关键点的位置信息为(8，10)、待追踪关键点的辅助位置信息的数量为1以及插值间隙为5，则可以获取到插值间隙在水平方向上的分量为3，然后再根据获取到的分量、当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，获取第一辅助位置信息x＝5。进一步地，可以根据第一辅助位置信息、当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，计算得到第二辅助位置信息y＝6。即言，待追踪关键点的辅助位置信息为(5，6)。
需要说明的是，在待追踪关键点的辅助位置信息的生成过程中，若出现小数，则可以采取向下取整方式进行获取，以确保辅助位置信息为整数。
本公开的实施例提供的视频特效的展示方法，能够通过获取当前帧图像中待追踪关键点与上一帧图像中所述待追踪关键点之间的像素距离，并根据像素距离和预设的插值间隙，确定需插值的所述待追踪关键点的辅助位置信息的数量，进而根据当前帧图像中待追踪关键点的位置信息、上一帧图像中待追踪关键点的位置信息和待追踪关键点的辅助位置信息的数量，确定待追踪关键点的辅助位置信息。由此，本公开能够通过对当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息进行线性插值处理，生成辅助位置信息，确保获取到的辅助位置信息能够补齐当前帧图像中关键点的轨迹，进而使得展示出的渲染后的当前帧图像中关键点的轨迹平滑且连续，不再存在间隙。
需要说明的是，本公开中，为了能够实现关键点轨迹的快速渲染、避免渲染卡顿、缩短视频特效展示过程的耗时，可以将每一帧图像中获取到的关键点直接进行关键点轨迹渲染，以得到渲染后的当前帧图像。
作为一种可能的实现方式，如图8所示，在上述实施例的基础上，上述步骤S104中根据当前帧及当前帧之前每帧图像中待追踪关键点的位置信息和每次生成的待追踪关键点的辅助位置信息，对当前帧图像进行关键点轨迹渲染的过程，具体包括以下步骤：
在步骤301中，根据当前帧图像中待追踪关键点的位置信息和本次生成的待追踪关键点的辅助位置信息，对存储的纹理进行渲染，其中，存储的纹理为根据当前帧之前每帧图像中待追踪关键点的位置信息和本次之前每次生成的待追踪关键点的辅助位置信息进行渲染生成的。
本公开实施例中，可以根据当前帧图像中待追踪关键点的位置信息和本次生成的待追踪关键点的辅助位置信息，将关键点轨迹更新到根据当前帧之前每帧图像中待追踪关键点的位置信息和本次之前每次生成的待追踪关键点的辅助位置信息进行渲染生成的的纹理上，并对渲染后的纹理进行保存。
需要说明的是，如果当前帧图像为第一帧图像，则存储的纹理为空白的纹理，且纹理的尺寸与视频尺寸一致。
举例而言，通过对根据当前帧图像中待追踪关键点的位置信息和本次生成的待追踪关键点的辅助位置信息，对存储的纹理进行渲染的过程进行记录，可以得到如图9所示的关键点轨迹变化过程示意图。
在步骤302中，将渲染后的纹理渲染到当前帧图像上。
本公开实施例中，可以将所保存的渲染后的纹理渲染到当前帧图像上，以得到渲染后的当前帧图像。
需要说明的是，渲染的具体过程为现有技术，此处不再进行赘述。
本公开的实施例提供的视频特效的展示方法，能够根据当前帧图像中待追踪关键点的位置信息和本次生成的待追踪关键点的辅助位置信息，对存储的纹理进行渲染，并将将渲染后的纹理渲染到当前帧图像上，以得到渲染后的当前帧图像。由此，本公开能够通过将每一帧图像中获取到的关键点直接进行关键点轨迹渲染，能够实现关键点轨迹的快速渲染、避免了渲染卡顿的技术问题，极大地缩短了视频特效展示过程的耗时。
需要说明的是，在实际应用中，用户可能基于对当前关键点移动的轨迹不满意、想要尝试其他多种关键点移动方式或者选择当前帧图像中其他对象作为目标对象体验关键点轨迹特效等原因，发送特效清除指令，由此，本公开中，可以基于特效清除指令清除当前帧关键点轨迹渲染效果，展示重新获取到的当前帧图像。
作为一种可能的实现方式，如图10所示，在上述实施例的基础上，基于特效清除指令，展示重新获取到的渲染后的当前帧图像的过程，具体包括以下步骤：
在步骤401中，基于特效清除指令，展示重新获取的当前帧图像。
本公开实施例中，可以基于特效清除指令，清除存储的待追踪关键点的位置信息和待追踪关键点的辅助位置信息，或者将存储的纹理替换为空白的纹理，并展示重新获取的当前帧图像。
需要说明的是，在试图清除当前帧图像中关键点轨迹特效时，用户可以通过点击多种方式下发清除特效指令，例如双击屏幕、输入“请清除当前特效”的语音信息等。相应地，在检测到用户下发的清除特效指令后，可以基于特效清除指令，清除当前特效，并展示重新获取的当前帧图像。
在步骤402中，基于特效恢复指令，获取当前帧图像和当前帧图像中的待追踪关键点。
本公开实施例中，可以基于特效恢复指令，继续执行获取当前帧图像和当前帧图像中的待追踪关键点步骤。
需要说明的是，在试图恢复当前帧图像中关键点轨迹特效时，用户可以通过点击多种方式下发恢复特效指令，例如双击屏幕、输入“请恢复当前特效”的语音信息等。相应地，在检测到用户下发的恢复特效指令后，可以基于特效恢复指令，继续执行获取当前帧图像和当前帧图像中的待追踪关键点步骤。
在步骤403中，获取当前帧图像中待追踪关键点的位置信息。
在步骤404中，根据当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，生成待追踪关键点的辅助位置信息。
在步骤405中，根据当前帧及当前帧之前每帧图像中待追踪关键点的位置信息和每次生成的待追踪关键点的辅助位置信息，对当前帧图像进行关键点轨迹渲染。
在步骤406中，展示渲染后的当前帧图像。
上述步骤403～406与图1所示实施例中的步骤102～105相同，此处不再赘述。
本公开的实施例提供的视频特效的展示方法，能够基于特效清除指令，清除存储的待追踪关键点的位置信息和待追踪关键点的辅助位置信息，或者将存储的纹理替换为空白的纹理，并展示重新获取的当前帧图像，然后继续执行获取当前帧图像和当前帧图像中的待追踪关键点步骤，为用户提供清除当前帧关键点轨迹渲染效果，重新预览关键点轨迹特效展示的玩法，交互过程简化、操作便捷，进一步提高了用户体验。
由此，本公开基于线性插值处理方式将关键点的轨迹进行补齐，并将每一帧图像中获取到的关键点直接进行关键点轨迹渲染，使得用户在特效预览界面上选择了关键点轨迹特效之后，能够快速地观看到轨迹平滑且连续的关键点轨迹特效展示效果。
进一步地，在用户完成关键点轨迹特效展示效果的预览之后，可以下发拍摄指令进行拍摄，以得到添加有关键点轨迹特效的视频。
作为一种可能的实现方式，如图11所示，在上述实施例的基础上，基于视频录制开始指令，为录制的视频添加关键点轨迹特效的过程，具体包括以下步骤：
在步骤501中，基于视频录制开始指令，清除存储的待追踪关键点的位置信息和待追踪关键点的辅助位置信息。
需要说明的是，在试图进行视频录制时，用户可以通过点击多种方式下发清除特效指令，例如点击特效预览界面上的录制控件、输入“请开始录制视频”的语音信息等。相应地，在检测到用户下发的视频录制开始指令后，可以基于视频录制开始指令，清除存储的待追踪关键点的位置信息和待追踪关键点的辅助位置信息。
作为一种可能的实现方式，在试图进行视频录制时，可以获取用户实施在特效预览界面上的目标操作的位置，并在检测到目标操作的位置为录制控件操作区域时，则可以确定检测到了视频录制开始指令。
在步骤502中，获取当前帧图像和当前帧图像中的待追踪关键点。
在步骤503中，获取当前帧图像中待追踪关键点的位置信息。
在步骤504中，根据当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，生成待追踪关键点的辅助位置信息。
在步骤505中，根据当前帧及当前帧之前每帧图像中待追踪关键点的位置信息和每次生成的待追踪关键点的辅助位置信息，对当前帧图像进行关键点轨迹渲染。
在步骤506中，展示渲染后的当前帧图像。
上述步骤502～506与图1所示实施例中的步骤101～105相同，此处不再赘述。
本公开的实施例提供的视频特效的展示方法，能够基于视频录制开始指令，清除存储的待追踪关键点的位置信息和待追踪关键点的辅助位置信息，或者将存储的纹理替换为空白的纹理，并继续执行获取当前帧图像和当前帧图像中的待追踪关键点步骤，使得用户能够通过简单的交互，即可实现为视频添加轨迹平滑且连续的关键点轨迹特效，进一步提高了用户体验。
图12～图13是根据一示例性实施例示出的一种视频特效的展示装置框图。
如图12所示，该装置1000包括第一获取单元121，第二获取单元122，生成单元123、渲染单元124和展示单元125。
该第一获取单元121被配置执行基于关键点轨迹特效打开指令，获取当前帧图像和当前帧图像中的待追踪关键点；
该第二获取单元122被配置执行获取当前帧图像中待追踪关键点的位置信息；
该生成单元123被配置执行根据当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，生成待追踪关键点的辅助位置信息；
该渲染单元124被配置执行根据当前帧及当前帧之前每帧图像中待追踪关键点的位置信息和每次生成的待追踪关键点的辅助位置信息，对当前帧图像进行关键点轨迹渲染；
该展示单元125被配置执行展示渲染后的当前帧图像。
在本公开的实施例中，如图13所示，图12中的生成单元123，包括：生成子单元1231，被配置执行对当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息进行线性插值处理，生成待追踪关键点的辅助位置信息。
在本公开的实施例中，如图13所示，生成子单元1231，包括：获取模块12311，被配置执行根据当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，获取当前帧图像中待追踪关键点与上一帧图像中待追踪关键点之间的像素距离；第一确定模块12312，被配置为执行根据像素距离和预设的插值间隙，确定需插值的待追踪关键点的辅助位置信息的数量；第二确定模块12313，被配置为执行根据当前帧图像中待追踪关键点的位置信息、上一帧图像中待追踪关键点的位置信息和待追踪关键点的辅助位置信息的数量，确定待追踪关键点的辅助位置信息。
在本公开的实施例中，如图13所示，图12中的渲染单元124，包括：第一渲染子单元1241，被配置为执行根据当前帧图像中待追踪关键点的位置信息和本次生成的待追踪关键点的辅助位置信息，对存储的纹理进行渲染，其中，存储的纹理为根据当前帧之前每帧图像中待追踪关键点的位置信息和本次之前每次生成的待追踪关键点的辅助位置信息进行渲染生成的；第二渲染子单元1242，被配置为执行将渲染后的纹理渲染到当前帧图像上。
在本公开的实施例中，第一渲染子单元1241被配置为执行当前帧图像为第一帧图像时，存储的纹理为空白的纹理。
在本公开的实施例中，第一渲染子单元1241被配置为执行存储的纹理的尺寸与视频的尺寸一致。
在本公开的实施例中，第一获取单元121，还被配置为执行基于视频录制开始指令，清除存储的待追踪关键点的位置信息和待追踪关键点的辅助位置信息，或者将存储的纹理替换为空白的纹理，并继续执行获取当前帧图像和当前帧图像中的待追踪关键点步骤。
在本公开的实施例中，第一获取单元121，还被配置为执行基于特效清除指令，清除存储的待追踪关键点的位置信息和待追踪关键点的辅助位置信息，或者将存储的纹理替换为空白的纹理，并展示重新获取的当前帧图像。
在本公开的实施例中，第一获取单元121，还被配置为执行基于特效恢复指令，继续执行获取当前帧图像和当前帧图像中的待追踪关键点步骤。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开的实施例提供的视频特效的展示装置，能够基于关键点轨迹特效打开指令，获取当前帧图像和当前帧图像中的待追踪关键点，并获取当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息，以生成待追踪关键点的辅助位置信息，进而根据当前帧及当前帧之前每帧图像中所述待追踪关键点的位置信息和每次生成的待追踪关键点的辅助位置信息，对当前帧图像进行关键点轨迹渲染，并将渲染后的当前帧图像进行展示，以实现视频特效的展示。由此，本公开能够通过对当前帧图像中待追踪关键点的位置信息和上一帧图像中待追踪关键点的位置信息进行线性插值处理，生成辅助位置信息，进而根据待追踪关键点的位置信息和辅助位置信息，对当前帧图像进行关键点轨迹渲染，使得展示出的渲染后的当前帧图像中关键点的轨迹平滑且连续，不再存在间隙。进一步地，本公开能够通过将每一帧图像中获取到的关键点直接进行关键点轨迹渲染，能够实现关键点轨迹的快速渲染、避免了渲染卡顿的技术问题，极大地缩短了视频特效展示过程的耗时。
为了实现上述实施例，本公开还提供了一种电子设备，如图14所示，所述电子设备8000包括：处理器801；用于存储所述处理器801可执行指令的一个或多个存储器802；其中，所述处理器801被配置为执行上述实施例所述的视频特效的展示方法。处理器801和存储器802通过通信总线连接。
为了实现上述实施例，本公开还提供了一种包括指令的存储介质，例如包括指令的存储器802，上述指令可由装置1000的处理器801执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
