欢迎光临小豌豆知识网!
当前位置:首页 > 电学技术 > 电通讯技术> 视频处理方法及装置独创技术46599字

视频处理方法及装置

2021-02-05 08:25:18

视频处理方法及装置

  技术领域

  本公开涉及互联网技术领域,尤其涉及视频处理方法及装置。

  背景技术

  在视频直播、视频会议、视频通话等应用场景下,终端会通过摄像头拍摄视频数据,并发送视频数据至服务端,服务端再下发至其它终端。

  视频数据包括连续多个图像帧。为了减少对带宽的占用,终端会对每个图像帧的整幅图像执行视频编码并将视频编码数据发送至服务端,服务端对每个视频编码数据执行视频解码获得每个图像帧的整幅图像,从而获得视频数据。

  相关技术中,终端在视频编码过程中视频编码计算量较大,占据处理器较多资源造成处理器负载过高,所以终端在视频处理一段时间后会出现发热问题,影响用户体验。

  发明内容

  本公开提供一种视频处理方法及装置,以至少解决相关技术中终端在视频编码过程中视频编码计算量较大的问题。本公开的技术方案如下:

  根据本公开实施例的第一方面,提供一种视频处理方法,包括:

  获取终端采集的视频数据,所述视频数据包括至少一个图像帧;

  对于待编码图像帧,确定所述待编码图像帧中的第一区域图像和第二区域图像;

  基于第一编码算法对所述第一区域图像进行编码,以得到所述第一区域图像的第一编码数据,

  向服务端发送所述第一编码数据和所述第二区域图像的数据;其中所述第二区域图像对应的压缩比小于所述第一区域图像对应的压缩比。

  其中,所述向服务端发送所述第一编码数据和所述第二区域图像的数据包括:

  将所述第二区域图像的未经过图像编码的数据作为所述第二区域图像的数据,向服务端发送所述第一编码数据和所述第二区域图像的数据。

  其中,在向服务端发送所述第一编码数据和所述第二区域图像的数据之前,还包括:

  基于第二编码算法对所述第二区域图像进行编码,以得到所述第二区域图像的第二编码数据,

  将所述第二编码数据作为所述第二区域图像的数据。

  其中,所述对于待编码的图像帧,确定所述待编码图像帧中的第一区域图像和第二区域图像,包括:

  检测所述终端的终端信息;

  若所述终端信息满足用于表示终端功耗过高的预设条件,则划分所述待编码图像帧,获得所述第一区域图像和所述第二区域图像。

  其中,所述对于待编码图像帧,确定所述待编码图像帧中的第一区域图像和第二区域图像,包括:

  检测所述终端的终端信息和所述终端所处网络环境的网络带宽;

  若所述终端信息满足用于表示终端功耗过高的预设条件,且,所述网络带宽大于预设带宽,则划分所述待编码图像帧,获得所述第一区域图像和所述第二区域图像。

  其中,还包括:

  在预设时间后再次检测终端的终端信息;

  若所述终端信息满足用于表示终端功耗过高的预设条件,则在划分所述待编码图像帧时,增大所述第一区域图像的占比,获得所述第一区域图像和所述第二区域图像。

  其中,所述向服务端发送所述第一编码数据和所述第二区域图像的数据包括:

  对所述第一编码数据和所述第二区域图像的数据分别执行打标签操作,且,所述第一编码数据和所述第二区域图像的数据具有相同标签;

  发送所述第一编码数据以及所述第二区域图像的数据至所述服务端。

  根据本公开实施例的第二方面,提供一种视频处理方法,包括:

  接收终端发送的待编码图像帧中第一区域图像对应的第一编码数据以及第二区域图像的数据;其中所述第二区域图像对应的压缩比小于所述第一区域图像对应的压缩比;

  基于第一解码算法对所述第一编码数据执行解码操作获得第一解码数据;

  拼接所述第一解码数据和所述第二区域图像的数据获得所述待编码图像帧。

  其中,所述拼接所述第一解码数据和所述第二区域图像的数据获得所述待编码图像帧包括:

  拼接所述第一解码数据和所述第二区域图像的数据获得所述待编码图像帧,且,所述第二区域图像的数据为未经过图像编码的数据。

  其中,在拼接所述第一解码数据和所述第二区域图像的数据获得所述待编码图像帧之前,还包括:

  基于第二解码算法对所述第二区域图像的数据执行解码操作获得第二解码数据;

  拼接所述第一解码数据和所述第二解码数据获得所述待编码图像帧。

  根据本公开实施例的第三方面,提供一种视频处理装置,包括:

  获取单元,被配置为执行获取终端采集的视频数据,所述视频数据包括至少一个图像帧;

  确定单元,被配置为执行对于待编码图像帧,确定所述待编码图像帧中的第一区域图像和第二区域图像;

  第一编码单元,被配置为执行基于第一编码算法对所述第一区域图像进行编码,以得到所述第一区域图像的第一编码数据,

  发送单元,被配置为执行向服务端发送所述第一编码数据和所述第二区域图像的数据;其中所述第二区域图像对应的压缩比小于所述第一区域图像对应的压缩比。

  其中,所述发送单元,具体被配置为将所述第二区域图像的未经过图像编码的数据作为所述第二区域图像的数据,向服务端发送所述第一编码数据和所述第二区域图像的数据。

  其中,所述装置还包括:

  第二编码单元,被配置执行基于第二编码算法对所述第二区域图像进行编码,以得到所述第二区域图像的第二编码数据,将所述第二编码数据作为所述第二区域图像的数据。

  其中,所述第二编码算法对应的压缩比小于所述第一编码算法对应的压缩比。

  其中,所述确定单元,包括:

  检测单元,被配置为执行检测所述终端的终端信息;

  划分单元,被配置为执行若所述终端信息满足用于表示终端功耗过高的预设条件,则划分所述待编码图像帧,获得所述第一区域图像和所述第二区域图像。

  其中,所述确定单元,包括:

  检测单元,被配置为执行检测所述终端的终端信息和所述终端所处网络环境的网络带宽;

  划分单元,被配置为执行若所述终端信息满足用于表示终端功耗过高的预设条件,且,所述网络带宽大于预设带宽,则划分所述待编码图像帧,获得所述第一区域图像和所述第二区域图像。

  其中,所述检测单元,还被配置为执行在预设时间后再次检测终端的终端信息;

  所述划分单元,还被配置为执行若所述终端信息满足用于表示终端功耗过高的预设条件,则在划分所述待编码图像帧时,增大所述第一区域图像的占比,获得所述第一区域图像和所述第二区域图像。

  其中,所述发送单元包括:

  打标签单元,被配置为执行对所述第一编码数据和所述第二区域图像的数据分别执行打标签操作,且,所述第一编码数据和所述第二区域图像的数据具有相同标签;

  发送数据单元,被配置为执行发送所述第一编码数据以及所述第二区域图像的数据至所述服务端。

  根据本公开实施例的第四方面,提供一种视频处理装置,包括:

  接收单元,被配置为执行接收终端发送的待编码图像帧中第一区域图像对应的第一编码数据以及第二区域图像的数据;其中所述第二区域图像对应的压缩比小于所述第一区域图像对应的压缩比;

  第一解码单元,被配置为执行基于第一解码算法对所述第一编码数据执行解码操作获得第一解码数据;

  拼接单元,被配置为执行拼接所述第一解码数据和所述第二区域图像的数据获得所述待编码图像帧。

  其中,所述拼接单元,具体被配置为执行拼接所述第一解码数据和所述第二区域图像的数据获得所述待编码图像帧,且,所述第二区域图像的数据为未经过图像编码的数据。

  其中,在拼接单元之前,还包括:

  第二解码单元,被配置为基于第二解码算法对所述第二区域图像的数据执行解码操作获得第二解码数据;其中,所述第二编码算法对应的压缩比小于所述第一编码算法对应的压缩比;

  拼接单元,具体被配置为执行拼接所述第一解码数据和所述第二解码数据获得所述待编码图像帧。

  根据本公开实施例的第五方面,提供一种电子设备,其特征在于,包括:

  处理器;

  用于存储所述处理器可执行指令的存储器;

  其中,所述处理器被配置为执行所述指令,以实现第一方面所述的视频处理方法。

  根据本公开实施例的第六方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行第一方面所述的视频处理方法。

  根据本公开实施例的第七方面,提供一种服务器,包括:

  处理器;

  用于存储所述处理器可执行指令的存储器;

  其中,所述处理器被配置为执行所述指令,以实现第二方面所述的视频处理方法。

  根据本公开实施例的第八方面,提供一种存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行第二方面所述的视频处理方法。根据本公开实施例的第九方面,提供一种计算机程序产品,计算机程序产品能够执行第一方面所述的视频处理方法;

  根据本公开实施例的第十方面,提供一种计算机程序产品,计算机程序产品能够执行第二方面所述的视频处理方法。

  本公开的实施例提供的技术方案至少带来以下有益效果:

  本公开提供一种视频处理方法,本公开可以确定视频数据中的待编码图像帧,针对待编码图像帧不再对整幅图像帧采用执行相同的图像编码操作,而是将待编码图像帧分为第一区域图像和第二区域图像。

  基于第一编码算法对第一区域图像执行图像编码操作,第二区域图像不执行编码操作或者利用第二编码算法执行编码操作,以使得第二区域图像对应的压缩比小于第一区域图像对应的压缩比。

  可以理解的是,压缩比较小时所需计算量较小,压缩比较大时所需的计算量较大,所以第二区域图像对应的计算量小于第一区域图像对应的计算量。相对于整幅图像帧而言,减少了第二区域图像对应的计算量,所以减少了整幅图像帧对应的计算量。

  本公开可以解决终端在视频编码过程中计算量较大的问题,在各个待编码图像帧的计算量减少后,便会降低对处理器资源的占用,降低处理器负载,缓解终端的发热问题,提升用户体验。

  应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

  附图说明

  此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。

  图1是根据一示例性实施例示出的一种视频处理方法实施例一的流程图;

  图2a是根据一示例性实施例示出预设第一区域图像和第二区域图像的比例的框图;

  图2b是根据一示例性实施例示出预设第一区域图像和第二区域图像的比例的框图;

  图3是根据一示例性实施例示出的一种视频处理方法实施例二的流程图;

  图4是根据一示例性实施例示出的一种视频处理方法实施例三的流程图;

  图5是根据一示例性实施例示出的一种视频处理方法实施例四的流程图;

  图6是根据一示例性实施例示出的一种视频处理方法实施例五的流程图;

  图7是根据一示例性实施例示出的一种视频处理方法实施例六的流程图;

  图8是根据一示例性实施例示出的一种一种视频处理装置框图;

  图9是根据一示例性实施例示出的一种一种视频处理装置框图;

  图10是根据一示例性实施例示出的一种用于电子设备的框图。

  具体实施方式

  为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。

  需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

  视频处理方法可以应用于视频直播、视频会议、视频通话等应用场景。由于终端对每个视频数据的处理过程均是一致的,所以以一个视频数据为例,对视频处理方法进行详细说明。

  图1是根据一示例性实施例示出的一种视频处理方法实施例一的流程图,视频处理方法用于终端中,包括以下步骤。

  在步骤S101中,获取终端采集的视频数据,所述视频数据包括至少一个图像帧。

  以直播场景为例,终端在直播过程中会利用摄像头拍摄视频,由此获取采集的视频数据,视频数据包括连续多个图像帧。

  终端确定视频数据中一个图像帧,一个图像帧对应一幅图像。为了便于后续描述称为待编码图像帧。

  在步骤S102中,对于待编码图像帧,确定所述待编码图像帧中的第一区域图像和第二区域图像。

  终端可以对待编码图像帧执行划分操作,将待编码图像帧分为两个部分:第一区域图像和第二区域图像。其中第一区域图像用于执行图像编码,第二区域图像不用于执行图像编码。

  关于划分操作,终端可以随机生成第一区域图像和第二区域图像的比例,并按照比例来划分待编码图像帧。例如,随机生成比例为1:1,则表示在待编码图像帧中第一区域图像和第二区域图像各占一半。

  由于随机生成第一区域图像和第二区域图像的比例的方案,比例无法明确确定,所以可以预设第一区域图像和第二区域图像的比例。终端可以按照预设第一区域图像和第二区域图像的比例,划分所述待编码图像帧,确定待执行图像编码的第一区域图像和不执行图像编码的第二区域图像。

  若预设第一区域图像和第二区域图像的比例为2:1,则按照2:1划分待编码图像帧,获得待编码图像帧中占比为2/3的第一区域图像,以及,待编码图像帧中占比为1/3的第二区域图像。

  参见图2a为预设第一区域图像和第二区域图像的比例为2:1情况下的第一区域图像和第二区域图像。参见图2b为预设第一区域图像和第二区域图像的比例为1:1情况下的第一区域图像和第二区域图像。

  在步骤S103中,基于第一编码算法对所述第一区域图像进行编码,以得到所述第一区域图像的第一编码数据。

  终端基于第一编码算法对所述第一区域图像进行图像编码,以得到所述第一区域图像的第一编码数据。

  第一编码算法可以包括H264或H265等编码技术,也即对第一区域图像按照第一编码操作正常执行图像编码操作。本步骤可以对待编码图像帧中第一区域图像正常执行编码操作,以便第一编码数据具有较小的数据量。

  在步骤S104中,向服务端发送所述第一编码数据和所述第二区域图像的数据,其中所述第二区域图像对应的压缩比小于所述第一区域图像对应的压缩比。

  为了减少编码操作中的计算量,本实施例中不对第二区域图像执行图像编码操作,而是可以直接将第二区域图像的未经过图像编码的数据作为所述第二区域图像的数据。由于第二区域图像未经过图像编码,所以第二区域图像基本无需计算量,所以可以大大减少编码操作中的计算量。

  由于第二区域图像未经过图像编码,所以第二区域图像的压缩比小于第一区域图像的压缩比。

  由于第一编码数据和第二区域图像的数据第二区域图像的数据为两个数据,为了建立两者为一个待编码图像帧的关联性,可以对第一编码数据和第二区域图像的数据分别执行打标签操作,且,所述第一编码数据和所述第二区域图像的数据具有相同标签,且,不同待编码图像帧的标签具有唯一性;然后,发送所述第一编码数据和所述第二区域图像的数据至所述服务端。

  本公开的实施例提供的技术方案至少带来以下有益效果:

  本公开提供一种视频处理方法,本实施例中可以确定视频数据中的待编码图像帧,针对待编码图像帧不再对整幅图像帧采用执行相同的图像编码操作,而是将待编码图像帧分为第一区域图像和第二区域图像。

  基于第一编码算法对第一区域图像执行图像编码操作,第二区域图像不执行编码操作,所以第二区域图像基本不需要计算量。相对于整幅图像帧而言,减少了第二区域图像对应的计算量,所以减少了整幅图像帧对应的计算量。

  本公开可以解决终端在视频编码过程中计算量较大的问题,在各个待编码图像帧的计算量减少后,便会降低对处理器资源的占用,降低处理器负载,缓解终端的发热问题,提升用户体验。

  在实施例一的基础上,本公开有提供了服务端的执行过程。由于不同待编码图像帧的处理过程一致,所以本实施例以一个待编码图像帧为例进行详细介绍。

  图3是根据一示例性实施例示出的一种视频处理方法实施例二的流程图,应用于服务端,如图3所示,包括以下步骤。

  在步骤S301中,接收终端发送的待编码图像帧中第一区域图像对应的第一编码数据以及第二区域图像的数据。其中所述第二区域图像对应的压缩比小于所述第一区域图像对应的压缩比。

  由于服务端会连续接收多个待编码图像帧的编码数据和第二区域图像的数据,所以,服务端可以从中寻找具有相同标签的第一编码数据和第二区域图像的数据,因为同一待编码图像帧具有相同标签,且,与不同待编码图像帧的标签不同。

  在实施例一中,将第二区域图像的未经过视频编码的数据作为第二区域图像的数据,所以服务端接收到第一编码数据,以及,未经过视频编码的第二区域图像的数据。

  在步骤S302中,基于第一解码算法对所述第一编码数据执行解码操作获得第一解码数据。

  第一编码数据经过图像编码操作,第二区域图像的数据未经过编码操作,所以第一编码数据的数据格式和第二区域图像的数据的数据格式不同,服务端可以通过数据格式来识别经过图像编码操作的第一编码数据和未经过图像编码操作的第二区域图像的数据。

  然后,对第一区域图像对应的第一编码数据执行图像解码操作获得第一解码数据。可以理解的是,实施例一中的图像编码操作和实施例二中的图像解码操作是相匹配的。

  在步骤S303中,拼接所述第一解码数据和所述第二区域图像的数据获得所述待编码图像帧。

  第一解码数据和第二区域图像的数据,为同样格式和同样大小的数据,所以服务端可以拼接第一解码数据和第二区域图像的数据,获得待编码图像帧。

  本公开提供一种视频处理方法的实施例二,实施例二与实施例一对应,在实施例一发送第一编码数据和第二区域图像的数据的基础上,服务端可以借助于标签来识别同一待编码图像帧的第一编码数据和第二区域图像的数据。

  由于本实施例中第二区域图像的数据未经过视频编码操作,所以本实施例中仅对第一编码数据执行图像解码操作即可,最后拼接第一解码数据和第二区域图像的数据,恢复待编码图像帧。

  图4是根据一示例性实施例示出的一种视频处理方法实施例三的流程图,视频处理方法用于终端中,包括以下步骤。

  在步骤S401中,获取终端采集的视频数据,所述视频数据包括至少一个图像帧。

  在步骤S402中,对于待编码图像帧,确定所述待编码图像帧中的第一区域图像和第二区域图像。

  在步骤S403中,基于第一编码算法对所述第一区域图像进行编码,以得到所述第一区域图像的第一编码数据。

  步骤S401-403可以参见步骤S101-103,在此不再赘述。

  在步骤S404中,基于第二编码算法对所述第二区域图像进行图像编码,以得到所述第二区域图像的第二编码数据;其中,所述第二编码算法对应的压缩比小于所述第一编码算法对应的压缩比。

  在实施例一中,将所述第二区域图像的未经过图像编码的数据作为所述第二区域图像的数据,这样虽然会大大减少计算量,不过也会使得第二区域图像的数据量较大,后续会占据较多网络带宽。

  因此本实施例可以基于第二编码算法对所述第二区域图像进行编码获得第二编码数据,且,所述第二编码算法对应的压缩比小于所述第一编码算法对应的压缩比。本实施例中将第二编码数据作为第二区域图像的数据。

  可以理解的是,压缩比较小时所需计算量较小,压缩比较大时所需的计算量较大,所以第二区域图像对应的计算量小于第一区域图像对应的计算量。相对于整幅图像帧而言,减少了第二区域图像对应的计算量,所以减少了整幅图像帧对应的计算量。

  在步骤S405中,向服务端发送所述第一编码数据和所述第二区域图像的数据。

  本步骤可以参见步骤S105,在此不再赘述。

  本公开的实施例提供的技术方案至少带来以下有益效果:

  本公开提供一种视频处理方法,本公开可以确定视频数据中的待编码图像帧,针对待编码图像帧不再对整幅图像帧采用执行相同的图像编码操作,而是将待编码图像帧分为第一区域图像和第二区域图像。

  基于第一编码算法对第一区域图像执行图像编码操作,第二区域图像利用第二编码算法执行编码操作,以使得第二区域图像对应的压缩比小于第一区域图像对应的压缩比。

  可以理解的是,压缩比较小时所需计算量较小,压缩比较大时所需的计算量较大,所以第二区域图像对应的计算量小于第一区域图像对应的计算量。相对于整幅图像帧而言,减少了第二区域图像对应的计算量,所以减少了整幅图像帧对应的计算量。

  本公开可以解决终端在视频编码过程中计算量较大的问题,在各个待编码图像帧的计算量减少后,便会降低对处理器资源的占用,降低处理器负载,缓解终端的发热问题,提升用户体验。

  在实施例三的基础上,本公开有提供了服务端的执行过程。由于不同待编码图像帧的处理过程一致,所以本实施例以一个待编码图像帧为例进行详细介绍。

  图5是根据一示例性实施例示出的一种视频处理方法实施例四的流程图,应用于服务端,如图5所示,包括以下步骤。

  在步骤S501中,接收终端发送的待编码图像帧中第一区域图像对应的第一编码数据以及第二区域图像的数据。其中所述第二区域图像对应的压缩比小于所述第一区域图像对应的压缩比。

  在步骤S502中,基于第一解码算法对所述第一编码数据执行解码操作获得第一解码数据。

  在步骤S503中,基于第二解码算法对所述第二区域图像的数据执行解码操作获得第二解码数据。

  在步骤S504中,拼接所述第一解码数据和所述第二解码数据获得所述待编码图像帧。

  步骤S501、步骤S502和步骤S504可以参见图3中步骤S301、步骤S302和步骤S303。

  本公开提供一种视频处理方法的实施例四,实施例四与实施例三对应,在实施例三发送第一编码数据和第二区域图像的数据的基础上,服务端可以借助于标签来识别同一待编码图像帧的第一编码数据和第二区域图像的数据。

  由于本实施例中第二区域图像的数据经过第二编码算法进行图像编码操作,所以本实施例中按第一解码算法对第一编码数据执行图像解码操作,按第二解码算法对第二区域图像的数据执行图像解码操作,最后拼接第二解码数据和第二解码数据,恢复待编码图像帧。

  图6是根据一示例性实施例示出的一种视频处理方法实施例五的流程图,视频处理方法用于终端中,包括以下步骤。

  在步骤S601中,在终端的视频处理过程中确定待编码图像帧,并对所述待编码图像帧执行图像编码操作,获得待编码图像帧的整体编码数据,发送整体视频编码数据至服务端。

  终端在刚开始执行视频处理操作时,终端的工作状态良好。为了减少对网络带宽的占用,终端会对每个待编码图像帧的整幅图像执行图像编码并获得整体编码数据,然后发送整体编码数据至服务端。

  在步骤S602中,在终端的视频处理过程中检测所述终端的终端信息,并判断所述终端信息是否满足终端功耗过高的预设条件。若否则进入步骤S601,若是则进入步骤S603。步骤S601与步骤S602为并行执行的两个进程。

  终端在视频处理过程中会不断监听终端信息是否满足预设条件,预设条件即为预先设定的、表示终端功耗过高的条件。

  终端信息可以包括处理器负载,或者,终端的机身温度。其中预设条件可以包括:终端的处理器负载大于预设负载,或者,终端的机身温度大于预设温度。

  若终端不满足预设条件,也即终端的处理器负载不大于预设负载,或者,所述终端的机身温度不大于预设温度,则表示终端的功耗不高、工作状态良好,可以进入步骤S601继续对整幅图像执行图像编码操作。

  若终端满足预设条件,也即终端的处理器负载大于预设负载,或者,所述终端的机身温度大于预设温度,则表示终端的功耗过高、工作状态不好,可以进入步骤S603,以便调整终端的工作状态。

  在步骤S603中,在预设时间内重复执行图像编码操作。

  图像编码操作可以参见实施例一的步骤S101-步骤S104,或者,参见实施例三中的步骤S401-405。在此不再赘述。

  在预设时间内重复执行图像编码操作,并且,对各个待编码图像帧进行图像编码时均会减少计算量,所以在预设时间内,可以大大减少终端的计算量,降低处理器负载,减少终端的资源占用。

  在预设时间内,终端的散热器件还在持续散热,所以在降低计算量大大后,终端的散热量也会减少,在散热器件的作用下,终端会逐渐退热。

  步骤S604:服务端在预设时间内重复执行图像解码操作。

  图像编码操作可以参见实施例二的步骤S301-步骤S303,或者,参见实施例四中的步骤S501-504。在此不再赘述。需要指出的是,步骤S603中的图像编码操作与步骤S604中的图像解码操作相对应。

  图7是根据一示例性实施例示出的一种视频处理方法实施例六的流程图,如图7所示,视频处理方法用于终端中,包括以下步骤。

  本实施例中,终端存储有多个预设第一区域图像和第二区域图像的比例,且,所述多个预设第一区域图像和第二区域图像的比例中第一区域图像的所占比例递减。例如,终端存储有多个预设第一区域图像和第二区域图像的比例包括:2:1,1:1,1:2。第一区域图像所占比例递减的目的为,逐渐减少终端视频编码的计算量。

  在步骤S701中,确定初始的预设第一区域图像和第二区域图像的比例。

  默认情况下,以多个预设第一区域图像和第二区域图像的比例中的第一个比例,作为初始比例。

  在步骤S702中,在终端的视频处理过程中确定待编码图像帧,并对所述待编码图像帧执行图像编码操作,获得待编码图像帧的整体编码数据,发送整体视频编码数据至服务端。

  在步骤S703中,在终端的视频处理过程中检测所述终端的终端信息,并判断所述终端信息是否满足终端功耗过高的预设条件。若否则进入步骤S702,若是则进入步骤S704。步骤S702与步骤S704为并行执行的两个进程。

  参见步骤S602,在此不再赘述。

  在步骤S704中,在预设时间内重复执行图像编码操作。

  参见步骤S603,在此不再赘述。

  步骤S705:服务端在预设时间内重复执行图像解码操作。

  参见步骤S604,在此不再赘述。

  步骤S706:判断终端信息是否满足预设条件。若满足,则进入步骤S707,若否则进入步骤S702。

  在预设时间后终端再次获取终端信息,并判断终端信息是否满足预设条件,以验证预设时间后是否恢复终端为正常状态。

  若终端不满足预设条件,则表示经过预设时间的处理,终端已经恢复正常状态。为了减少对网络带宽的占用,可以进入步骤S702以对整幅图像执行视频编码操作。

  在步骤S707中,若所述终端信息满足预设条件,从所述多个预设第一区域图像和第二区域图像的比例中,选择下一个预设第一区域图像和第二区域图像的比例,进入步骤S704。

  若终端信息仍然满足终端功耗过高的预设条件,也即终端的处理器负载大于预设负载,或者,所述终端的机身温度大于预设温度,此情况下表示处理器的编码计算量仍然较大,终端仍然处于不良状态。

  为此,可以选择下一个预设第一区域图像和第二区域图像的比例,由于多个预设第一区域图像和第二区域图像的比例中第一区域图像的所占比例递减,所以下一个第一区域图像和第二区域图像的比例中对应的第一区域图像变小。

  由于第一区域图像的计算量大于第二区域图像的计算量,在减少第一区域图像后,待编码图像帧的计算量会更加减小,因此对应的处理器的编码计算量也会更加减小。

  根据本申请提供的另一实施例,由于本公开的技术核心为对部分图像执行图像编码,部分图像不编码或者执行压缩比较小的图像编码,在部分图像不编码或者执行压缩比较小的图像编码后对网络带宽占据较大,所以本公开比较适用于所处网络环境中网络带宽较好的终端。为此,终端可以执行下述步骤:

  S21:监测所述终端所处网络环境的网络带宽;

  S22:若所述网络带宽大于预设带宽的情况下,终端执行实施例一或实施例三中终端的步骤。

  也即,在网络带宽较大的情况下,可以执行局部图像执行编码的方案,以便缓解处理器负载、降低对处理器资源占用,并提升用户体验。

  S23:若所述网络带宽不大于预设带宽的情况下,在终端视频处理过程中获得一个待编码图像帧对应的图像帧,并对所述待编码图像帧执行图像编码获得所述待编码图像帧的整体编码数据。

  若在网络带宽不好的情况下,可以不执行局部图像执行图像编码的方案,仍然按照整幅图像执行图像编码的方案,以优先保证整体编码数据能够正常发送。

  通过监测所述终端所处网络环境的网络带宽,可以更加方便确定适用于本方案的终端,以便可以优先保证终端中视频编码数据能够正常发送,其次,在正常发送基础上,可以实现降低处理器负载,降低图像编码的计算量,降低终端的机身温度,提升用户体验的目的。

  图8是根据一示例性实施例示出的一种一种视频处理装置800框图。参照图8,该装置包括获取单元81,确定单元82、第一编码单元83和发送单元84。

  获取单元81,被配置为执行获取终端采集的视频数据,所述视频数据包括至少一个图像帧;

  确定单元82,被配置为执行对于待编码图像帧,确定所述待编码图像帧中的第一区域图像和第二区域图像;

  第一编码单元83,被配置为执行基于第一编码算法对所述第一区域图像进行编码,以得到所述第一区域图像的第一编码数据,

  发送单元84,被配置为执行向服务端发送所述第一编码数据和所述第二区域图像的数据;其中所述第二区域图像对应的压缩比小于所述第一区域图像对应的压缩比。

  其中,所述发送单元81,具体被配置为将所述第二区域图像的未经过图像编码的数据作为所述第二区域图像的数据,向服务端发送所述第一编码数据和所述第二区域图像的数据。

  其中所述装置还包括:

  第二编码单元85,被配置执行基于第二编码算法对所述第二区域图像进行编码,以得到所述第二区域图像的第二编码数据,将所述第二编码数据作为所述第二区域图像的数据;其中,所述第二编码算法对应的压缩比小于所述第一编码算法对应的压缩比。

  所述确定单元82,包括:

  检测单元821,被配置为执行检测所述终端的终端信息;

  划分单元822,被配置为执行若所述终端信息满足用于表示终端功耗过高的预设条件,则划分所述待编码图像帧,获得所述第一区域图像和所述第二区域图像。

  其中,所述确定单元82,包括:

  检测单元821,被配置为执行检测所述终端的终端信息和所述终端所处网络环境的网络带宽;

  划分单元822,被配置为执行若所述终端信息满足用于表示终端功耗过高的预设条件,且,所述网络带宽大于预设带宽,则划分所述待编码图像帧,获得所述第一区域图像和所述第二区域图像。

  所述检测单元821,还被配置为执行在预设时间后再次检测终端的终端信息;

  所述划分单元822,还被配置为执行若所述终端信息满足用于表示终端功耗过高的预设条件,则在划分所述待编码图像帧时,增大所述第一区域图像的占比,获得所述第一区域图像和所述第二区域图像。

  所述发送单元84包括:

  打标签单元841,被配置为执行对所述第一编码数据和所述第二区域图像的数据分别执行打标签操作,且,所述第一编码数据和所述第二区域图像的数据具有相同标签;

  发送数据单元842,被配置为执行发送所述第一编码数据以及所述第二区域图像的数据至所述服务端。

  图9是根据一示例性实施例示出的一种一种视频处理装置900框图。参照图9,该装置包括接收单元91,第一解码单元92和拼接单元93。

  接收单元91,被配置为执行接收终端发送的待编码图像帧中第一区域图像对应的第一编码数据以及第二区域图像的数据;其中所述第二区域图像对应的压缩比小于所述第一区域图像对应的压缩比;

  第一解码单元92,被配置为执行基于第一解码算法对所述第一编码数据执行解码操作获得第一解码数据;

  拼接单元93,被配置为执行拼接所述第一解码数据和所述第二区域图像的数据获得所述待编码图像帧。

  其中,所述拼接单元93,具体被配置为执行拼接所述第一解码数据和所述第二区域图像的数据获得所述待编码图像帧,且,所述第二区域图像的数据为未经过图像编码的数据。

  在拼接单元93之前,还包括:

  第二解码单元94,被配置为基于第二解码算法对所述第二区域图像的数据执行解码操作获得第二解码数据;其中,所述第二编码算法对应的压缩比小于所述第一编码算法对应的压缩比;

  拼接单元93,具体被配置为执行拼接所述第一解码数据和所述第二解码数据获得所述待编码图像帧。

  关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

  在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器,上述指令可由装置800的处理器执行以完成终端所执行的视频处理方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

  在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器,上述指令可由装置900的处理器执行以完成服务端所执行的视频处理方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

  图10是根据一示例性实施例示出的一种用于电子设备1000的框图。

  图10是根据一示例性实施例示出的一种电子设备1000的框图。例如,电子设备1000可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备健身设备,个人数字助理等。

  参照图10,电子设备1000可以包括以下一个或多个组件:处理组件1002,存储器1004,电源组件1006,多媒体组件1008,音频组件1010,输入/输出(I/O)的接口1012,传感器组件1014,以及通信组件1016。

  处理组件1002通常控制电子设备1000的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令,以完成上述的方法的全部或部分步骤。

  此外,处理组件1002可以包括一个或多个模块,便于处理组件1002和其他组件之间的交互。例如,处理组件1002可以包括多媒体模块,以方便多媒体组件1008和处理组件1002之间的交互。

  存储器1004被配置为存储各种类型的数据以支持在电子设备1000的操作。这些数据的示例包括用于在电子设备1000上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。

  存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。

  电源组件1006为电子设备1000的各种组件提供电力。电源组件1006可以包括电源管理系统,一个或多个电源,及其他与为电子设备1000生成、管理和分配电力相关联的组件。

  多媒体组件1008包括在所述电子设备1000和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。

  如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。

  在一些实施例中,多媒体组件1008包括一个前置摄像头和/或后置摄像头。当电子设备1000处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

  音频组件1010被配置为输出和/或输入音频信号。例如,音频组件1010包括一个麦克风(MIC),当电子设备1000处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中,音频组件1010还包括一个扬声器,用于输出音频信号。

  I/O接口1012为处理组件1002和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

  传感器组件1014包括一个或多个传感器,用于为电子设备1000提供各个方面的状态评估。例如,传感器组件1014可以检测到电子设备1000的打开/关闭状态,组件的相对定位,例如所述组件为电子设备1000的显示器和小键盘,传感器组件1014还可以检测电子设备1000或电子设备1000一个组件的位置改变,用户与电子设备1000接触的存在或不存在,电子设备1000方位或加速/减速和电子设备1000的温度变化。

  传感器组件1014可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1014还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。

  通信组件1016被配置为便于装置1000和其他设备之间有线或无线方式的通信。电子设备1000可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。

  在一个示例性实施例中,通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1016还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。

  在示例性实施例中,电子设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。

  本申请还提供一种服务器,包括:

  处理器;

  用于存储所述处理器可执行指令的存储器;

  其中,所述处理器被配置为执行所述指令,以实现服务器所执行的视频处理方法。

  本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

  应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

《视频处理方法及装置.doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档

文档为doc格式(或pdf格式)