基于加权失真的解码器侧的预测方法和装置
技术领域
本原理涉及视频压缩和视频解码。
背景技术
以下实施例的领域是视频编码，重点在于涉及失真的计算的解码工具。这例如涉及都基于模板匹配(TM)技术，交叉分量线性模型(CCLM)，局部照明补偿(LIC)和间接双向光流(BIO)的帧率上转换(FRUC)，图案匹配的运动矢量推导(PMMVD)。这些工具在JVET(联合视频探索小组)委员会中被描述。
这些工具基于局部失真的计算来做出解码器决定，其基于空间或时间重构信号。该失真例如是不同预测样本之间的绝对差之和(SAD)。这意味着每个样本对整体失真具有相同的影响。
但是，众所周知，所有样本不具有相同的感知影响。因此，在编码器算法中，在编码决定所涉及的失真计算中引入依赖样本的加权值是非常普遍的。
当解码器利用这样的失真计算来做出其决定时，描述的实施例建议在解码器中使用这种加权失真。
发明内容
通过本原理解决现有技术的这些和其他缺陷和缺点，其针对基于加权失真的解码器侧预测的方法和装置。
根据本原理的一方面，提供了一种方法。该方法包括以下步骤：获得与视频序列样本有关的加权因子；以及确定基于应用了所述加权因子的所述视频序列样本来最小化失真度量的信息；使用该信息解码当前视频块。
根据本原理的另一方面，提供了第二方法。该方法包括以下步骤：获得与视频序列样本有关的加权因子；以及确定基于应用了所述加权因子的所述视频序列样本来最小化失真度量的信息；使用该信息编码当前视频块。
根据本原理的另一方面，提供一种装置。该装置包括存储器和处理器。处理器可以被配置为通过以下方式编码或解码视频图像的块：获得与视频序列样本有关的加权因子；以及确定基于应用了所述加权因子的所述视频序列样本来最小化失真度量的信息；使用该信息编码或解码当前视频块。
从以下要结合附图阅读的示例性实施例的详细描述，本原理的这些和其他方面，特征和优点将变得明显。
附图说明
图1示出用于CCLM参数的推导的样本位置。
图2示出用于推导IC参数的邻近样本。
图3示出在双向预测中，将参考0和1中的L形状与当前块L形状比较，以推导IC参数。
图4示出模板成本函数的SAD计算中使用的邻近块。
图5示出双边成本函数的SAD计算中使用的邻近块。
图6示出标准的通用视频压缩方案。
图7示出标准的通用视频解压缩方案。
图8示出描述的方法的一个实施例的流程图。
图9示出用于推导CCLM参数的样本位置。
图10示出来自参考块的加权因子的计算。
图11示出时间编码层级的示例。
图12示出使用描述的方面的方法的一个实施例。
图13示出使用描述的方面的方法的另一实施例。
图14示出使用描述的方面的装置的一个实施例。
具体实施方式
当解码器利用这种失真计算来做出其决定时，所描述的实施例提出在解码器中使用这种加权失真。通过在解码器中计算失真时应用加权，这些构思的一个优点是获得改进的编码性能。
交叉分量线性模型(CCLM)预测模式在概念上接近LIC(局部照明补偿)模式，但它在内部跨颜色分量应用于画面。基于当前块周围的解码像素的L形，从另一个颜色分量的样本中预测给定颜色分量的样本。
典型地，这应用于从亮度样本中预测色度样本。与LIC中一样，使用线性模型：
predC(i,j)＝a·recL′(i,j)+b
其中predC表示预测色度样本，并且recL'表示重构的亮度样本。参数a和b基于来自于当前亮度块(Vref邻域)和当前色度块(Vcur邻域)周围的L形的已经可用的亮度样本和色度样本推导，如图1描绘。如在LIC中，考虑的失真是均方误差(MSE)。
因此，CCLM基于局部失真的计算，定义如下：
在帧间模式下，LIC允许通过考虑可能的空间或时间局部照明变化来校正经由运动补偿(MC)获得的块预测样本。通过比较位于邻域Vcur中的当前块(“当前blk”)周围的重构样本rec_cur的集合与位于参考画面中的位移块(“ref blk”)的邻域Vref(MV)中的重构样本rec_ref的集合，来估计LIC参数，如图2描绘。这里，MV是当前块与参考块之间的运动位移。典型地，Vcur和Vref(MV)由分别与当前块和参考块邻近的L形样本组成。
LIC参数最小化Vcur中的样本和Vref(MV)中的样本之间的均方误差差(MSE)，并用IC参数校正。典型地，LIC模型是线性的：LIC(x)＝a.x+b＝(a)(x)+b。
s和r是分别在Vcur和Vref(MV)中的对应的像素位置。
在下文中，像素位置将由1(例如，s或r)或2个变量(例如(x，y)或(i，j))标注。
在双向预测的情况下，LIC参数(a0，b0)和(a1，b1)分别独立地从Vref0(MV0)和Vref1(MV1)推导(图3)。
因此，LIC基于局部失真的计算，定义如下：
解码器侧运动推导(DMVD)是帧间预测工具，其基于根据基于失真的运动估计处理的运动矢量的解码器侧的推导。DMVD在于基于应用于已重构样本的失真函数推导运动矢量。这种函数将参考和候选之间的成本计算为两个像素块之间的绝对差之和(SAD)。
用要编码/解码的当前块(或CU，PU…)的一些邻近块(或CU，PU…)定义参考。目的是找到最小化参考块(或CU，PU…)与由测试参考画面中的测试运动矢量预测量指向的块的邻近块(或CU，PU…)之间的SAD的运动矢量预测量。
JVET中的两个工具当前正在使用该技术，帧率上转换(FRUC)和图案匹配运动矢量推导(PMMVD)。
FRUC使用两个不同的模板匹配成本函数，分别称为：模板和双边，分别在下面的图4和图5中例示。FRUC双边模式基于与PMMVD类似的设计。
在FRUC模板模式下，模板匹配成本是与当前块邻近的当前画面的块和参考画面的块(典型如图4所示，点块(如果可用)和虚线块(如果可用))之间的SAD之和。让我们注意当前块的左上位置是p＝(xc，yc)，而经过测试的运动矢量MV＝(dx，dy)。
SAD计算如下：
其中，|t|是变量t的绝对值，Vcur由当前块的邻近点块(如果可用)和虚线块(如果可用)组成，并且Vref(MV)由位于参考画面中位置(xc+dx，yc+dy)的参考块的邻近的点块(如果可用)和虚线块(如果可用)组成。
与之前的情况一样，s和r是分别在Vcur和Vref(MV)中的对应像素位置。
在FRUC双边模式以及PMMVD中，模板匹配成本是两个不同参考画面的块之间的SAD(典型地，如图5所示，虚线块(如果可用))。如果当前块的左上位置是(xc，yc)，则测试的运动矢量MV＝(dx，dy)，则SAD计算如下：
其中，Vref0(MV)由位于参考画面0中位置(xc+dx，yc+dy)的参考块组成，而Vref1(λ.MV)由位于参考画面1中位置(xc+λ.dx，yc+λ.dy))的参考块组成，λ是考虑到画面ref1和当前画面之间的时间距离相对于画面ref0和当前画面之间的时间距离的缩放因子。典型地，λ＝(tref1-tcur)/(tref0-tcur)，其中tcur，tref0和tref1是当前画面、参考画面0和参考画面1的时间实例。
共用解码器侧计算中使用的失真向所有样本给予相同的权重。然而，在编码器中计算这种失真时通常使用加权因子，以例如考虑样本的感知影响。
至少一种JVET方法基于块内部的局部梯度，使用根据亮度信号计算的每个块的权重。具有高活动性的块(即具有高幅度的局部梯度)被给予比具有低活动性的块的更低的权重。
JVET委员会内部提出的另一加权用于HDR内容。加权取决于样本的亮度值。
通过在画面的各个区域之间更好地分配比特，在编码器侧应用适当的权重通常导致视觉质量的显著增益(对于相同的比特率)。但是，该加权不应用于解码器。
所描述的实施例解决了这个问题。以下段落呈现示例性实施例，诸如用于在编码器或解码器侧计算CCLM或LIC参数。基于重构或解码的邻域选择正确的变换以应用于参考像素改变了预测。所描述的实施例还呈现在FRUC，FRUC双边和PMMVD模式下的编码器和解码器侧运动矢量细化。在这些情况下，基于解码的邻域选择正确的参考像素改变了参考。但是，所描述的方法也可以归纳为编码器和解码器侧预测模式或运动矢量选择。在实施例中，可以比较失真以确定编码模式、参考像素或运动矢量等。
在现有技术中，可以在DMVD方法中应用加权以对来自不同画面的样本加权，诸如在处理多个预测量的加权平均的现有方法中。但是这种方法没有考虑样本的局部重要性(加权)。
所描述的实施例涉及在解码器侧(以及出于对称原因，在编码器处)应用的决定处理，用于基于失真的直接(如在FRUC中)或间接(如在LIC中)计算来进行决定。
在图8中描绘所描述的实施例的基本概念。决定处理由四个步骤组成。在第一步骤(101)中，识别将用于推导失真的当前采样邻域Vcur。类似地，在另一步骤(102)中，识别将用于推导失真的参考样本邻域Vref。步骤(103)推导要应用于失真计算中使用的每个样本的加权因子W(s)，s在Vcur中。该步骤将步骤101的输出(当前样本)以及可能的步骤102的输出(参考样本)用作输入数据。最后步骤(104)基于使用当前样本、参考样本和加权因子作为输入的失真的计算，对应于实际决定处理。
加权失真可以从当前重构或解码的样本以及参考样本确定，并通过改变参数进行最小化。这些参数可以是参考样本，编码模式，运动矢量或其他影响失真的参数。在下面描述的至少一个实施例中，可以改变失真确定内的参数以最小化加权失真。
在应用于CCLM的第一实施例中，所描述的实施例如下工作。目标是从空间邻近的颜色样本以及从另一颜色分量的共位的邻近颜色样本来预测当前块的颜色样本。例如，它应用于从共位的亮度样本块中预测块的色度样本。
·在步骤101中，识别当前块的L形的颜色样本Vcur。这对应于图1指示的设置Vcur。
·在步骤102中，从用于预测当前块的分量Vref中识别出共位的块的L形的颜色样本。这对应于图1指示的设置Vref。
·在步骤103中，计算要应用的加权因子W(r)。
·在步骤104中，如下计算参数a，b的失真：
计算a和b以最小化该加权失真。
归一化因子可以如下应用：
在应用于CCLM的第二实施例中，所描述的实施例如下工作。目的是从空间上邻近的样本并且从位于参考画面中的样本来预测位于位置(xc，yc)的当前块的样本。给出了运动矢量MV(dx，dy)。因此，参考块位于位置(xc+dx，yc+dy)。
·在步骤101中，识别当前块的L形的样本Vcur。这对应于图2指示的设置Vcur。
·在步骤102，识别参考块的L形的颜色样本Vref(MV)。这对应于图2中指示的设置Vref(MV)。
·在步骤103中，计算要应用的加权因子W(r)。
·在步骤104中，如下计算参数a，b的失真：
计算a和b以最小化该加权失真。
归一化因子可以如下应用：
在应用于FRUC模板模式的第三实施例中，所描述的实施例如下工作。目的是使用位于位置(xc，yc)的当前块的空间邻近的样本以及由运动矢量MV识别出的参考块的空间邻近样本来识别最佳运动矢量MV(dx，dy)。因此，参考块位于位置(xc+dx，yc+dy)。
·在步骤101中，识别当前块的L形的样本Vcur。这对应于图4中当前画面的点块(如果可用)和虚线块(如果可用)。
·在步骤102，识别参考块的L形的样本Vref(MV)。这对应于图4中参考画面的点块(如果可用)和虚线块(如果可用)。
·在步骤103中，计算要应用的加权因子W(r)。
·在步骤104中，如下计算运动矢量MV的失真：
计算MV以最小化失真。
归一化因子可以如下应用：
在应用于FRUC双边和PMMVD的第四实施例中，所描述的实施例如下工作。目标是使用位于两个参考画面中的两个参考块来识别最佳运动矢量MV(dx，dy)。当前块被认为位于位置(xc，yc)。参考块从位置(xc，yc)和运动矢量MV推导。
·在步骤101，识别当前块Vcur中的样本。
·在步骤102，识别来自参考画面0的参考块中的样本Vref0(MV)。类似地，参考块中的样本来自参考画面1，Vref1(.MV)。
·在步骤103中，计算要应用的加权因子W(r)。
·在步骤104中，如下计算运动矢量MV的失真：
计算MV以最小化失真。
归一化因子可以如下应用：
在上面的等式中，可以从当前邻域，从参考或从它们的组合计算加权因子。要最小化的失真可以计算如下：
其中W(p，r，s)是从邻域计算出的加权因子，而d(p，r，s)是从邻域点(p，r，s)计算出的失真。
在用于推导加权因子的第一实施例中，采用第一方法。在该实施例中，权重函数F(.)由解码器推断或在比特流中用信号通知。
位于位置r的样本的加权因子推导如下：
W(r)＝F(rec_cur(r))
即，加权因子仅取决于来自位于位置r的当前画面的样本的值。
在实施例中，即使失真计算应用于色度样本，加权因子也仅取决于来自位于位置r的当前画面的亮度样本的值。
W(r)＝F(rec_curY(r))
权重函数F(.)可以利用以下实现：
·查找表，
·分段缩放函数，
·分段线性函数，
·分段多项式函数。
它可以在SEI消息中，在序列参数集(SPS)中，画面参数集(PPS)中，条带首部中，编码树单元(CTU)语法中，每个片或新结构(诸如，自适应画面集(APS))中被编码。
在采用第二方法来计算加权因子的第二实施例中，加权因子基于用于对样本编码的QP。这在用于空间预测的图9中被例示，其中当前块被属于4个不同块的样本(Vcur)包围，用4个不同的QP(QP0至3)编码。对于时间情形，可以从任何参考(如果ref0或ref1可用)或当前画面中计算权重。图10例示参考画面中的参考块，其中参考块由来自参考画面中的不同块的具有潜在不同QP的样本组成。从用于编码该样本所属的块的QPi计算位于位置s的样本的加权因子。我们用QP(s)标注该QP。这里，因此将使用四个不同的加权因子。
在一个实施例中，W(s)与2(-QP(s)/3)成比例。
W(s)＝K.2(-QP(s)/3)
K是常数参数。
在第三实施例中，使用推导加权参数的第三方法。样本位置的加权因子基于包含该样本的块的局部活动性。例如，可以如下计算块B中的局部活动性locAct：
其中N是块B的样本的数量，并且h(x，y)可以定义为：
h(x,y)＝4.rec(x,y)–rec(x+1,y)–rec(x,y+1)–rec(x-1,y)–rec(x,y-1)rec(x，y)是在位置(x，y)处的重构样本的值。
如果s＝(x，y)属于块B，则W(s)＝locAct(B)
在变型中，我们考虑对于每个位置s，块Bs以位置s为中心，并且W(s)＝locAct(Bs)。B的典型大小为8x8。
在双边运动推导的情况下，来自当前块Vcur的样本不能用于推导加权因子，这是因为它们还没有被重构。
在双边运动推导的一个实施例中，使用考虑的不同参考画面(参考0和参考1)中的时间上最接近的参考画面的样本来计算加权因子。
在双边运动推导的另一实施例中，使用其时间编码层级中的时间水平在考虑的不同的参考画面(参考0和参考1)中最低的参考画面的样本来计算加权因子。
例如，参考图11，让我们考虑当前块使用画面R0和R3作为参考画面。在该实施例中，应该基于位于画面R0中的样本来计算加权因子，该画面R0在比画面R4更低的时间层级。
在另一实施例中，使用来自用于推导运动矢量的两个参考画面的样本来计算加权因子。例如，可以使用以下策略：
-使用上述任何解决方案，为Vref0(MV)内部的每个位置p计算加权因子W0(p)。也可以应用块上的归一化。
-使用上述任何解决方案，为Vref1(.MV)内部的每个位置s计算加权因子W1(s)。也可以应用块上的归一化。
-位置p的最终加权因子计算如下：
W(p,s)＝(a.W0(p)+(1-a).W1(s))
其中a<＝1是给定参数(例如，设置为等于)。
在另一个实施例中，使用对于其平均QP最低的参考画面的样本来计算加权因子。平均QP例如如下计算。令(xc，yc)为当前块在当前画面中的位置。令MV(dx，dy)为与参考画面相关联的运动矢量。参考画面中的块位于(xc+dx，yc+dy)。参考块中的平均QP是参考块的样本所使用的QP的平均值。图10给出例示，其中参考块由属于不同块的样本组成，其用潜在不同的QP编码。
平均
N为Vref中的样本的数量，并且QP(s)为样本s所在块的QP。
所描述的实施例的目的是在解码器侧细化阶段中获得更准确的失真测量。
前述段落已经给呈现示例性实施例，诸如：a)在解码器侧计算CCLM或LIC参数(基于解码的邻域选择正确的变换以应用于参考像素-改变预测)，以及b)对FRUC，FRUC双边和PMMVD模式的解码器侧的运动矢量细化(基于解码的邻域选择正确的参考像素-改变参考)。但是它也可以归纳为解码器侧预测模式或运动矢量选择。在适当的时候，对应编码器侧操作也将是这里呈现的公开的构思的一部分。
所描述的方面的一个实施例在图12中例示，其示出了用于基于加权失真的解码器侧预测的方法1200的一个实施例。该方法开始于开始块1201，并且进行到块1210，以获得与视频序列样本有关的加权因子。控制从块1210进行到块1220，以确定向视频序列样本应用加权因子来最小化失真度量的信息。这种信息可以包括参考样本，运动矢量或编码模式，以在下一步骤中使用。控制然后从块1220进行到块1230，以使用所确定的信息对视频块解码。
所描述方面的另一实施例在图13中例示，其示出用于基于加权失真的编码器侧预测的方法1300的一个实施例。该方法开始于开始块1301，并且进行到块1310，以获得与视频序列样本有关的加权因子。控制从块1310进行到块1320，以确定向视频序列样本应用加权因子来最小化失真度量的信息。这种信息可以包括参考样本，运动矢量或编码模式，以在下一步骤中使用。控制然后从块1320进行到块1330，以使用所确定的信息对视频块编码。
所描述方面的一个实施例在图14中例示，其示出用于基于加权失真的预测的装置1400。该装置包括处理器1410和存储器1420。处理器1410被配置用于编码，以执行图13的步骤，即，使用图13的方法利用基于用于视频图像的一部分的加权失真的预测来执行编码。
当处理器1410配置用于解码时，其执行图12的步骤，即，使用图12的方法的基于用于视频图像的一部分的加权失真执行预测。
可以通过使用专用硬件以及能够与恰当的软件相联系而执行软件的硬件来提供图中所示的多种元件的功能。在由处理器提供时，可以由单个专用处理器、由单个共享处理器、或由多个单独的处理器(其中的一些可以被共享)来提供所述功能。此外，术语“处理器”或“控制器”的显式使用不应被理解为仅仅指能够执行软件的硬件，而可以隐式地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。。
还可以包括传统的和/或定制的(custom)其他硬件。相似地，图中所示的任何开关都仅仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至手动地执行它们的功能，如同从环境中更具体地理解的那样，具体的技术可由实施者选择。
本描述例示了本原理。因而应当理解，本领域技术人员将能够设计出虽然未在这里显式地描述或示出、但体现本原理并被包括在其精神和范围内的多种布置。
在这里所叙述的全部例子和条件性语言意图在于辅助读者理解本原理和由(多个)发明人为发展本领域而贡献的概念的教学目的，并且应当被理解为不被这样的具体叙述的例子和限定而限制。
此外，在这里叙述本原理的原理、方面和实施例的全部陈述，以及其具体例子，意图包括其结构性和功能性等效物的两者。另外，这样的等效物意图包括当前已知的等效物以及在将来开发的等效物，即无论结构如何而执行相同的功能的任何所开发的元件
因而，例如，本领域技术人员将理解，在这里所呈现的框图代表体现本原理的阐释性电路的概念视图。相似地，将理解，任何流程表、流程图、状态转换图、伪码等代表可以在计算机可读介质中被实质性地代表、并且由计算机或处理器如此执行的多种过程，而无论这样的计算机或处理器是否被显式地示出。
在本文的权利要求中，被表达为用于执行所指定的功能的部件的任何元件意图包括执行该功能的任何方式，所述任何方式例如包括：a)执行该功能的电路元件的组合或b)因此包括固件、微码(microcode)等的任何形式的软件与用于执行该软件的恰当的电路组合以执行该功能。如同由这样的权利要求所定义的那样的本原理存在于以下事实中：以权利要求所要求的方式将由多种所叙述的部件所提供的功能组合并放在一起。因而认为可以提供那些功能的任何部件与这里所示出的那些部件等同。
本说明书中对本原理的“一个实施例”或“实施例”以及其他变形的引用意味着在本原理的至少一个实施例中包括与该实施例相联系地描述的具体的特征、结构、特性等。因而，贯穿本说明书的多处出现的短语“在一个实施例中”或“在实施例中”以及其他变形的出现不一定全部指相同的实施例。
