动态图像解码装置、动态图像解码方法及程序
技术领域
本发明涉及一种动态图像解码装置、动态图像解码方法及程序。
背景技术
以往，提出了一种使用帧内预测(intra-frame prediction)或帧间预测(inter-frame prediction)、预测残差信号的变换和量化、熵编码的动态图像编码方式(例如，参照非专利文献1)。
与该动态图像编码方式对应的动态图像编码装置首先将输入图像分割为多个块，接着通过以分割后的块为单位(一个或多个变换单元)对输入图像与帧内预测图像或帧间预测图像之间的差分即残差信号进行变换及量化来生成等级值，最后将生成的等级值与边信息(像素值的重建所需的预测模式、运动矢量等相关信息)一起进行熵编码来生成编码数据。
另一方面，与动态图像解码方式对应的动态图像解码装置通过与动态图像编码装置中执行的过程相反的过程从编码数据获得输出图像。
具体地，该动态图像解码装置对从编码数据获得的等级值执行逆量化和逆变换来生成残差信号，并与帧内预测图像或帧间预测图像相加来生成滤波前局部解码图像，用于帧内预测，同时，应用环路滤波(例如，去块滤波)来生成滤波后局部解码图像，累积在帧缓冲器中。帧缓冲器将滤波后局部解码图像适当地提供给帧间预测。
另外，从编码数据获得边信息和等级值的处理被称为解析处理，使用这些边信息和等级值来重建像素值的处理被称为解码处理。
这里，将对非专利文献2所记载的下一代动态图像编码方式VVC中的帧内预测中的色差帧内预测方式进行说明。
在色差帧内预测方式中，除了与亮度帧内预测方式同样的颜色分量内预测方式以外，还包括根据重建的亮度分量对色差分量进行线性预测的分量间线性预测(CCLM：Cross-Component Linear Model)方式。亮度分量和色差分量在4:2:0颜色格式的情况下样本数不同，因此，如图6所示，通过平滑化来导出与色差像素对应的亮度像素。
这里，用于平滑化的6抽头滤波器如下。
[数学式1]
pDsY[x][y]＝(pY[2*x-1][2*y]+pY[2*x-1][2*y+1]+
2*pY[2*x][2*y]+2*pY[2*x][2*y+1]+
pY[2*x+1][2*y]+pY[2*x+1][2*y+1][2*y+1]+4)>>3
CCLM方式中使用的线性预测参数a和b应用线性预测模型如以下那样导出，其中，该线性预测模型以与预测目标块相邻的已解码的亮度及色差的像素值为对象，使用亮度最小和最大的像素进行从亮度到色差的线性变换。这里，参数k为常数。
[数学式2]
diff＝(max-minY)>>shift
a＝((maxC-minC)*LUT(diff))>>shift
b＝minC-((a*minY))>>k)
然后，基于以下线性预测模型和导出的线性预测参数a和b，根据亮度分量对预测目标块内的色差分量进行预测。
[数学式3]
predSamples[x][y]＝ClipC(((pDsY[x][y]*a)>>k+b)
现有技术文献
非专利文献
非专利文献1：ITU-T H.265 High Efficiency Video Coding
非专利文献2：Versatile Video Coding(Draft 3)
专利文献
专利文献1：日本特开2014-195142号公报
发明内容
发明所要解决的问题
然而，下一代动态图像编码方式VVC中存在预测系数的导出过程中的计算复杂度较高的问题。
具体地，下一代动态图像编码方式VVC中存在如下问题：由于构成导出的一部分的查找表的精度较高，因此运算所需的位数大于其他处理块的位数。
另外，下一代动态图像编码方式VVC中存在如下问题：由于预测系数的绝对值不受限制，因此获得的预测值有时会超出输入像素值的范围。
进一步地，下一代动态图像编码方式VVC中存在如下问题：在导出线性模型时，尽管最终仅利用两个像素，还是对要比较的所有像素进行了平滑化运算。
因此，本发明是鉴于上述课题而完成的，其目的在于提供一种动态图像解码装置、动态图像编码装置、动态图像处理系统、动态图像解码方法以及程序，其通过削减查找表的精度(位数)并确定预测系数的绝对值的最大值，能够将所需的运算精度(运算所需的位数)削减到与插值滤波器的运算精度相同的程度。
另外，本发明的目的在于提供一种动态图像解码装置、动态图像编码装置、动态图像处理系统、动态图像解码方法以及程序，其确定亮度成为最小值和最大值的像素而无需平滑化，虽然比较次数加倍，但能够完全削减平滑化运算。
用于解决问题的方案
本发明的第一特征的主旨在于：一种动态图像解码装置，其配置为对编码数据进行解码，具备：解码部，其配置为对所述编码数据进行解码以获得色差残差信号；变换部，其配置为将预测目标块的已解码亮度分量设为与对应于所述预测目标块的已解码亮度分量的色差分量相同的样本数以生成亮度参考信号；确定部，其配置为分别确定与所述预测目标块的已解码亮度分量相邻的已解码亮度分量的像素值成为最小和最大的亮度的像素，输出由确定的所述亮度的像素求得的亮度像素值，并输出由与所述亮度的像素对应的色素的像素求得的色差像素值；导出部，其配置为从所述亮度像素值、所述色差像素值以及线性预测模型导出线性预测参数；色差线性预测部，其配置为将基于所述线性预测参数的所述线性预测模型应用于所述亮度参考信号以获得色差预测信号；以及加法部，其配置为将所述色差预测信号和所述色差残差信号相加以生成重建色差信号，其中，所述导出部配置为对所述线性预测参数的大小设置上限值，所述确定部配置为将与所述预测目标块的已解码亮度分量相邻的已解码亮度分量设为与对应于所述预测目标块的已解码亮度分量的色差分量相同的样本数，以分别确定亮度分量的像素值成为最小和最大的亮度的像素。
本发明的第二特征的主旨在于：一种动态图像解码方法，其对编码数据进行解码，具有：对所述编码数据进行解码以获得色差残差信号的步骤A；将预测目标块的已解码亮度分量设为与对应于所述预测目标块的已解码亮度分量的色差分量相同的样本数以生成亮度参考信号的步骤B；分别确定与所述预测目标块的已解码亮度分量相邻的已解码亮度分量的像素值成为最小和最大的亮度的像素，输出由确定的所述亮度的像素求得的亮度像素值，并输出由与所述亮度的像素对应的色素的像素求得的色差像素值的步骤C；从所述亮度像素值、所述色差像素值以及线性预测模型导出线性预测参数的步骤D；将基于所述线性预测参数的所述线性预测模型应用于所述亮度参考信号以获得色差预测信号的步骤E；将所述色差预测信号和所述色差残差信号相加以生成重建色差信号的步骤F；以及对所述线性预测参数的大小设置上限值的步骤G，其中，在所述步骤C中，将与所述预测目标块的已解码亮度分量相邻的已解码亮度分量设为与对应于所述预测目标块的已解码亮度分量的色差分量相同的样本数，以分别确定亮度分量的像素值成为最小和最大的亮度的像素。
本发明的第三特征的主旨在于：一种程序，其在配置为对编码数据进行解码的动态图像解码装置中使用，其使计算机执行以下步骤：对所述编码数据进行解码以获得色差残差信号的步骤A；将预测目标块的已解码亮度分量设为与对应于所述预测目标块的已解码亮度分量的色差分量相同的样本数以生成亮度参考信号的步骤B；分别确定与所述预测目标块的已解码亮度分量相邻的已解码亮度分量的像素值成为最小和最大的亮度的像素，输出由确定的所述亮度的像素求得的亮度像素值，并输出由与所述亮度的像素对应的色素的像素求得的色差像素值的步骤C；从所述亮度像素值、所述色差像素值以及线性预测模型导出线性预测参数的步骤D；将基于所述线性预测参数的所述线性预测模型应用于所述亮度参考信号以获得色差预测信号的步骤E；将所述色差预测信号和所述色差残差信号相加以生成重建色差信号的步骤F；以及对所述线性预测参数的大小设置上限值的步骤G，
其中，在所述步骤C中，将与所述预测目标块的已解码亮度分量相邻的已解码亮度分量设为与对应于所述预测目标块的已解码亮度分量的色差分量相同的样本数，以分别确定亮度分量的像素值成为最小和最大的亮度的像素。
发明的效果
根据本发明，能够提供一种动态图像解码装置、动态图像解码方法以及程序，其通过削减查找表的精度(位数)并确定预测系数的绝对值的最大值，能够将所需的运算精度(运算所需的位数)削减到与插值滤波器的运算精度相同的程度。
另外，根据本发明，能够提供一种动态图像解码装置、动态图像编码装置、动态图像处理系统、动态图像解码方法以及程序，其确定亮度成为最小值和最大值的像素而无需平滑化，虽然比较次数加倍，但能够完全削减平滑化运算通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出一个实施方式的动态图像处理系统1的结构的一个例子的图。
图2是示出一个实施方式的动态图像编码装置10的功能块的一个例子的图。
图3是示出一个实施方式的动态图像编码装置10的帧内预测部11内的进行色差帧内预测的功能的一个例子的图。
图4是示出一个实施方式的动态图像解码装置30的功能块的一个例子的图。
图5是示出一个实施方式的动态图像解码装置30的动作的一个例子的流程图。
图6是用于说明现有技术的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。此外，以下实施方式中的构成要素可与现有的构成要素等适当进行替换，并且，可以进行包括与其他现有的构成要素的组合在内的各种变化。因此，以下实施方式的表述并不限制权利要求书中记载的发明的内容。
(第一实施方式)
图1是示出本发明的第一实施方式的动态图像处理系统1的结构的一个例子的图。
如图1所示，本实施方式的动态图像处理系统1具备：动态图像编码装置10，其对动态图像进行编码以生成编码数据；以及动态图像解码装置30，其对由动态图像编码装置10生成的编码数据进行解码。动态图像编码装置10和动态图像解码装置30配置为例如经由传输路径来收发上述编码数据。
图2是示出本实施方式的动态图像编码装置10的功能块的一个例子的图。
如图2所示，本实施方式的动态图像编码装置10具备帧间预测部11、帧内预测部12、变换和量化部13、熵编码部14、逆变换和逆量化部15、减法部16、加法部17、环路滤波部18以及帧缓冲部19。
帧间预测部11配置为将输入图像和从帧缓冲部17提供的后述的滤波后局部解码图像作为输入。帧间预测部11配置为使用输入图像和滤波后局部解码图像进行帧间预测以生成帧间预测图像并输出。
帧内预测部12配置为将输入图像和后述的滤波前局部解码图像(重建色差信号)作为输入。帧内预测部12配置为使用输入图像和滤波前局部解码图像进行帧内预测以生成帧内预测图像并输出。
这里，帧内预测图像由亮度预测信号和色差预测信号构成。此外，滤波前局部解码图像由亮度分量和色差分量构成。
变换和量化部13配置为对输入的残差信号进行正交变换处理，对通过该正交变换处理获得的变换系数进行量化处理，并作为量化的等级值输出。
熵编码部14配置为将量化的等级值、变换单元(TU：Transform Unit)尺寸、变换尺寸作为输入。熵编码部14配置为对输入的信号进行熵编码并作为编码数据输出。
逆变换和逆量化部15配置为将量化的等级值作为输入。逆变换和逆量化部15配置为对量化的等级值进行逆量化处理，对通过该逆量化处理获得的变换系数进行逆正交变换处理，并作为逆正交变换的残差信号输出。
减法部16配置为输入输入图像和帧内预测图像或帧间预测图像，并输出两者的差分即残差信号。
加法部17配置为输入残差信号和帧内预测图像或帧间预测图像，并输出将两者相加后的滤波前局部解码图像。
环路滤波部18配置为将滤波前局部解码图像作为输入。这里，滤波前局部解码图像是指将预测图像和逆正交变换的残差信号相加得到的信号。
环路滤波部18配置为对滤波前局部解码图像进行去块滤波这一滤波处理以生成滤波后局部解码图像并输出。
帧缓冲部19配置为累积滤波后局部解码图像，作为滤波后局部解码图像适当地提供给帧间预测部11。
图3是示出在本实施方式的动态图像编码装置10的帧内预测部11中用于根据重建的亮度分量(预测目标块的已解码亮度分量和与预测目标块的已解码亮度分量相邻的已解码亮度分量)预测色差分量的功能的一个例子的图。
如图3所示，进行该色差帧内预测的功能具备变换部12a、确定部12b、导出部12c、色差线性预测部12d以及加法部12e。这里，对于是否应用色差帧内预测，根据熵解码后的色差帧内预测模式来判断。
变换部12a配置为将预测目标块的已解码亮度分量(包含于滤波前局部解码图像)设为与对应于预测目标块的已解码亮度分量的色差分量相同的样本数以输出亮度参考信号。这里，也可以在样本数的变换中应用6抽头滤波器。
另外，在变换部12a中，能够从加法部17输入预测目标块的已解码亮度分量。
确定部12b配置为分别确定与预测目标块的已解码亮度分量相邻的已解码亮度分量(包含于滤波前局部解码图像)的像素值成为最小和最大的亮度的像素。另外，确定部12b配置为输出确定的亮度的像素中的亮度像素值和与确定的亮度的像素对应的色差的像素中的色差像素值。
这里，当亮度分量的样本数和色差分量的样本数不同时，亮度的像素和色差的像素有时不一一对应。然而，由于能够假设亮度分量的样本数大于色差分量的样本数，因此可以唯一地确定与亮度的像素对应的色差的像素。
此外，在确定部12b中，能够从加法部17输入与预测目标块的已解码亮度分量相邻的已解码亮度分量和与预测目标块的已解码亮度分量相邻的已解码色差分量。
导出部12c配置为将输入亮度分量的最小和最大的像素值、对应的色差的像素值、线性预测模型的线性预测参数导出。
色差线性预测部12d配置为将基于线性预测参数的线性预测模型应用于亮度参考信号以输出色差预测信号。
加法部12e配置为将色差预测信号和色差残差信号相加以生成重建色差信号。
图4是示出本实施方式的动态图像解码装置30的功能块的一个例子的图。
如图4所示，本实施方式的动态图像解码装置30具备熵解码部31、逆变换和逆量化部32、帧间预测部33、帧内预测部34、加法部35、环路滤波部36以及帧缓冲部37。
熵解码部31配置为将编码数据作为输入。熵解码部31配置为对编码数据进行熵解码，导出量化系数等级值和由动态图像编码装置10生成的色差帧内预测模式并输出。
逆变换和逆量化部32配置为将量化系数等级值作为输入。逆变换和逆量化部32配置为对量化系数等级值进行逆量化处理，对通过该逆量化处理获得的结果进行逆正交变换处理，并作为残差信号(由亮度残差信号和色差残差信号构成)输出。
帧间预测部33配置为将从帧缓冲部37提供的后述的滤波后局部解码图像作为输入。帧间预测部33配置为使用滤波后局部解码图像进行帧间预测以生成帧间预测图像并输出。
帧内预测部34配置为将滤波前局部解码图像作为输入。这里，滤波前局部解码图像是指将残差信号和预测图像相加得到的信号，预测图像是指帧间预测图像和帧内预测图像中、通过熵解码获得的由能够期待最高编码性能的预测方法计算出的预测图像。
此外，帧内预测部34配置为使用滤波前局部解码图像进行帧内预测以生成帧内预测图像并输出。
加法部35配置为输入残差信号和帧内预测图像或帧间预测图像，并输出将两者相加后的滤波前局部解码图像。
环路滤波部36配置为将滤波前局部解码图像作为输入。环路滤波部36配置为对滤波前局部解码图像应用去块滤波这一环路滤波，并作为滤波后局部解码图像输出。
帧缓冲部37配置为累积滤波后局部解码图像，作为滤波后局部解码图像适当地提供给帧间预测部33，并且作为已解码图像输出。
图3是示出在本实施方式的动态图像解码装置30的帧内预测部34中用于根据重建的亮度分量预测色差分量的功能的一个例子的图。
如图3所示，进行该色差帧内预测的功能具备变换部34a、确定部34b、导出部34c、色差线性预测部34d以及加法部34e。此外，由于各功能与动态图像编码装置10中的功能相同，因此省略详细说明。
以下，参照图5，对在本实施方式的动态图像解码装置30中根据重建的亮度分量预测色差分量的动作进行说明。
如图5所示，动态图像解码装置30在步骤S101中对编码数据进行解码，在步骤S102中获得色差帧内预测模式和色差残差信号。
在步骤S103中，动态图像解码装置30将预测目标块的已解码亮度分量设为与对应于所述预测目标块的已解码亮度分量的色差分量相同的样本数以生成亮度参考信号。
在步骤S104中，动态图像解码装置30分别确定与预测目标块的已解码亮度分量相邻的已解码亮度分量的像素值成为最小和最大的亮度的像素，并输出确定的所述亮度的像素中的亮度像素值和与所述亮度的像素对应的色素的像素中的色差像素值。
在步骤S105中，动态图像解码装置30从亮度像素值、色差像素值以及线性预测模型导出线性预测参数。
在步骤S106中，动态图像解码装置30将基于线性预测参数的线性预测模型应用于亮度参考信号以获得色差预测信号。
在步骤S107中，动态图像解码装置30将色差预测信号和色差残差信号相加以生成重建色差信号。
根据本实施方式的动态图像编码装置10和动态图像解码装置30，在确定部12b/34b中，确定成为最小和最大的像素值而无需使相邻的已解码亮度分量平滑化，因此能够削减移位运算的次数，另外，确定相邻的已解码亮度分量而完全不应用以往的6抽头滤波器，因此能够进一步削减加法运算的次数。
(第二实施方式)
以下，着眼于与上述第一实施方式的动态图像编码装置10和动态图像解码装置30的区别，对本发明的第二实施方式的动态图像编码装置10和动态图像解码装置30进行说明。
在本实施方式中，导出部12c/34c配置为：为了获得与动态图像解码装置30的帧间预测部33内的运动补偿预测中的插值运算相同的位数，而对要输出的线性预测参数的位数应用移位处理。
具体地，导出部12c/34c配置为在通过查找表以亮度值的最大值和最小值之差实现除法运算时，削减查找表的定点表示的位数。例如，也可以将查找表值的位数设定为8位。
另外，导出部12c/34c对色差值的最大值和最小值之差做除法，将其差的最大值限幅在预定范围内。例如，导出部12c/34c也可以规整到带有符号的9位整数的范围即-256至255。
根据本实施方式的动态图像编码装置10和动态图像解码装置30，在确定部12b/34b中，确定成为最小和最大的像素值而无需使相邻的已解码亮度分量平滑化，因此能够削减移位运算的次数，另外，确定相邻的已解码亮度分量而完全不应用以往的6抽头滤波器，因此能够进一步削减加法运算的次数。此外，与帧间预测中的插值运算同样地，乘法器的位数为17位，能够削减乘法器的设计成本。
(第三实施方式)
以下，着眼于与上述第一及第二实施方式的动态图像编码装置10和动态图像解码装置30的区别，对本发明的第三实施方式的动态图像编码装置10和动态图像解码装置30进行说明。
在本实施方式中，导出部12c/34c配置为对线性预测参数的大小设置上限值。
例如，导出部12c/34c也可以配置为对线性预测参数应用限幅运算和移位运算。
例如，线性预测参数由符号1位、整数部3位、小数部8位构成，从而成为带符号的12位定点。其结果是，色差线性预测部12d、33d也可以配置为，与插值运算的积和运算器的位数同样地，积和运算器的位数为17位。
另外，线性预测参数也可以构成为带符号的7位定点。其结果是，色差线性预测部12d、33d也可以配置为，与插值运算的乘法器的位数同样地，乘法器的位数为17位。
另外，线性预测参数也可以构成为带符号的7位浮点。其结果是，色差线性预测部12d、33d也可以配置为，与插值运算的乘法器的位数同样地，乘法器的位数为17位且为移位运算的组合。
根据本实施方式的动态图像编码装置10和动态图像解码装置30，在亮度分量的变动较小的情况下，也会将线性预测参数抑制在一定值以下，因此能够抑制超出输入信号的范围而对色差信号进行线性预测的情况。
(第四实施方式)
以下，着眼于与上述第一至第三实施方式的动态图像编码装置10和动态图像解码装置30的区别，对本发明的第四实施方式的动态图像编码装置10和动态图像解码装置30进行说明。
在本实施方式中，确定部12b/34b配置为将已解码亮度分量设为与对应于该已解码亮度分量的色差分量相同的样本数以生成亮度参考信号。
具体地，确定部12b/34b也可以配置为在上部参考亮度分量中应用水平3抽头的平滑滤波器，在左部相邻参考亮度分量中应用垂直2抽头的平滑滤波器。
根据本实施方式的动态图像编码装置10和动态图像解码装置30，能够抑制相邻参考亮度分量中的噪声来提高预测精度。
符号说明
1：动态图像处理系统；10：动态图像编码装置；11、33：帧间预测部；12、34：帧内预测部；12a、33a：变换部；121b、33b：确定部；12c、33c：导出部；12d、33d：色差线性预测部；12e、17、33e、35：加法部；13：变换和量化部；14：熵编码部；15、32：逆变换和逆量化部；16：减法部；18、36：环路滤波部；19、37：帧缓冲部；30：动态图像解码装置；31：熵解码部。
