在内预测模式的基础上处理图像的方法及其装置
本申请是2017年9月25日提交的申请号为201580078205.4 (PCT/KR2015/013170)、申请日为2015年12月3日、标题为“在内预测模式的基础上处理图像的方法及其装置”的专利申请的分案申请。
技术领域
本发明涉及用于处理静止图像或者运动图像的方法，更具体地，涉及用于基于内预测模式编码/解码静止图像或者运动图像的方法和支持其的装置。
背景技术
压缩编码指的是用于经由通信线路发送数字化信息的一系列信号处理技术，或者用于以适用于存储介质的形式存储信息的技术。包括图片、图像、音频等等的介质可以是用于压缩编码的目标，并且具体地，用于对图片执行压缩编码的技术被称为视频图像压缩。
下一代视频内容被假定为是具有高空间分辨率、高帧速率和景物呈现的高维度的特征。为了处理这样的内容，将导致在存储器贮存、存储器存取速率和处理能力方面急剧的增长。
因此，所需要的是设计一种用于有效率地处理下一代视频内容的编译工具。
发明内容
技术问题
在静止图像或者运动图像(moving image)的现有压缩技术中，使用基于块压缩图像的方法，但是图像的特征不能恰当地反映，因为在基于块的图像压缩技术中，图像被以正方形形式的固定形式分割和压缩。具体地，当应用内预测模式(intra-prediction mode)时，存在由于离参考采样的距离变得遥远而使得预测精确度降低的问题。
为了解决这样的问题，本发明的一个目的是提出基于内预测模式的方向分割图像的方法。
此外，本发明的一个目的是提出基于内预测模式的方向对分割的块执行编码/解码的方法。
此外，本发明的一个目的是提出基于内预测模式的方向以正方形块形式重建分割块的方法。
本发明的这些目的不局限于如上所述的技术目的，并且从以下的描述，本领域技术人员可以理解在此处没有提及的其他技术目的。
技术解决方案
在本发明的一个方面中，一种基于内预测模式处理图像的方法，包括步骤：基于处理块的内预测模式，分割处理块，并且对分割的处理块执行内预测，其中分割的处理块的分割方向可以垂直于处理块的内预测模式的预测方向。
在本发明的一个方面中，一种用于基于内预测模式处理图像的装置，包括：分割单元，该分割单元基于处理块的内预测模式来分割处理块；内预测处理单元，该内预测处理单元对分割的处理块执行内预测，其中分割的处理块的分割方向可以垂直于处理块的内预测模式的预测方向。
优选地，当处理块的分割标记是1时，处理块可以被分割。
优选地，可以基于处理块的内预测模式来确定是否按照正方形四叉树方法分割处理块，或者垂直于预测方向分割处理块。
优选地，如果处理块的内预测模式是内平面(intra-planar)或者内 DC(intra-DC)，可以按照正方形四叉树方法来分割处理块，否则处理块可以被垂直于预测方向分割。
优选地，该方法可以进一步包括将分割的处理块重建为正方形块并且对重建的处理块执行变换/逆变换的步骤。
优选地，如果分割的处理块是2N×N/2，分割的处理块可以被分割为每个具有一半水平尺寸的二个块，并且二个块可以被垂直地重新安置以重建正方形N×N块。
优选地，如果分割的处理块是N/2×2N，分割的处理块可以被分割为每个具有一半垂直尺寸的二个块，并且二个块可以被水平地重新安置以重建正方形N×N块。
优选地，分割的处理块中包括的采样可以被以预先确定的顺序重新安置以重建正方形块。
优选地，该方法可以进一步包括构建用于分割的处理块的参考采样的步骤。
优选地，如果分割的处理块的分割方向是水平或者垂直，参考采样可以包括邻近分割的处理块的左边界的采样、邻近分割的处理块的顶边界的采样、以及邻近分割的处理块的左上的采样。
优选地，如果处理块的分割方向是45°，则参考采样可以包括邻近分割的处理块的左边界的采样、邻近分割的处理块的顶边界的采样、以及邻近分割的处理块的左上的采样。
优选地，如果处理块的分割方向是45°，则参考采样可以包括邻近分割的处理块的左上边界的采样、邻近分割的处理块的右边界的采样、邻近分割的处理块的底边界的采样。
有益的技术效果
按照本发明的实施例，基于内预测模式的方向来分割静止图像或者运动图像。因此，预测精确度可以被改善，因为当应用内预测时，在参考采样和预测采样之间的距离被降低。
此外，按照本发明的实施例，通过基于内预测模式的方向，以正方形块形式重新安置(或者重建)分割的块，可以使用预先地定义的变换 /逆变换方案来执行变换/逆变换。
本发明的技术效果不局限于如上所述的技术效果，并且从以下的描述，本领域技术人员可以理解在此处没有提及的其他技术效果。
附图说明
附图作为用于帮助理解本发明的说明书的一部分被包括在此处，其提供了本发明的实施例，并且借助于以下的描述来描述本发明的技术特征。
图1图示作为本发明应用于其的实施例的执行静止图像或者视频信号编码的编码器的示意性框图。
图2图示作为本发明应用于其的实施例的执行静止图像或者视频信号解码的解码器的示意性框图。
图3是用于描述可以应用于本发明的编译单元的分割结构的图。
图4是用于描述可以应用于本发明的预测单元的图。
图5是本发明应用于其的实施例并且是图示内预测方法的图。
图6图示按照内预测模式的预测方向。
图7和8是用于图示在现有内模式预测(intra-mode prediction) 中的问题的图。
图9图示按照本发明的实施例的基于内预测模式的分割方法。
图10图示按照本发明的实施例的基于内预测模式构建用于分割块的参考采样的方法。
图11是用于图示在现有块分割方法和按照本发明的基于块内预测模式的分割方法之间比较的图。
图12是图示按照本发明的实施例的内预测单元的更加详细的图。
图13和14是图示按照本发明的实施例的基于内预测模式处理视频信号的方法的图。
图15是用于图示按照本发明的实施例的重新安置(或者重建)变换单元的方法的图。
图16是用于图示按照本发明的在现有变换块分割方法和变换块重建方法之间比较的图。
图17是用于图示按照本发明的实施例的重新安置(或者重建)变换单元的方法的图。
图18是用于图示按照本发明的实施例的重新安置(或者重建)变换单元的方法的图。
图19是图示按照本发明的实施例的变换单元/逆变换单元的更加详细的图。
图20是图示按照本发明的实施例的基于内预测模式处理视频信号的方法的图。
具体实施方式
在下文中，本发明的优选实施例将通过参考伴随的附图描述。在下面借助于伴随的附图描述的说明书将描述本发明示范的实施例，并且不意欲描述仅仅可以实现本发明的实施例。以下的描述包括特定细节以便提供对本发明完美的理解。但是，应该明白，对于本领域技术人员来说，本发明可以无需特定细节实施。
在一些情形中，为了防止本发明的技术概念不清楚，公知的结构或者设备可以被省略，或者可以作为以结构或者设备的核心功能为中心的框图描述。
此外，虽然当前广泛地使用的常规的术语被尽可能地选择为在本发明中的术语，但是任意地由申请人选择的术语被用在特定情形中。由于在这样的情况下，该术语的含义将在说明书的相应的部分中清楚地描述，应该明白，本发明将不是简单地由仅仅在本发明的描述中使用的术语解释，而是该术语的含义将被领会到。
在以下的描述中使用的特定术语可以被提供以帮助对本发明理解。此外，特定术语可以被修改为在本发明的技术概念范围内的其他形式。例如，信号、数据、采样、图片、帧和块等等可以在每个编译过程中适当地替换和解释。
在下文中，在本说明书中，“处理单元”指的是执行编码/解码处理过程，诸如预测、变换和/或量化的单元。在下文中，为了描述的方便起见，处理单元也可以被称作“处理块”或者“块”。
处理单元可以被认为是具有包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编译树单元(CTU)、编译单元(CU)、预测单元(PU)或者变换单元(TU)。
此外，处理单元可以被认为是用于亮度分量的单元或者用于色度分量的单元。例如，处理单元可以对应于编译树块(CTB)、编译块(CB)、预测块(PB)或者用于亮度分量的变换块(TB)。可替选地，处理单元可以对应于编译树块(CTB)、编译块(CB)、预测块(PB)或者用于色度分量的变换块(TB)。此外，本发明不受限于此，并且处理单元可以被认为是包括用于亮度分量的单元和用于色度分量的单元的含义。
此外，处理单元基本上不局限于正方形块，并且可以以具有三个或更多顶点的多边形形式构建。
此外，在下文中，在本说明书中，像素、图片元素等等被共同地称作采样。此外，使用采样可以指的是使用像素值、图片元素值等等。
图1图示作为本发明应用于其的实施例的执行静止图像或者视频信号编码的编码器的示意性框图。
参考图1，编码器100可以包括视频分割单元110、减法器115、变换单元120、量化单元130、去量化单元140、逆变换单元150、滤波单元160、解码的图片缓冲器(DPB)单元170、预测单元180和熵编码单元190。此外，预测单元180可以包括间预测单元(inter-predictionunit)181和内预测单元(intra-prediction unit)182。
视频分割单元110将输入给编码器100的输入视频信号(或者图片或者帧)分割为一个或多个处理单元。
减法器115通过从输入视频信号减去由预测单元180(即，由间预测单元181或者内预测单元182)输出的预测信号(或者预测块)来生成残留信号(或者残留块)。该生成的残留信号(或者残留块)被发送给变换单元120。
变换单元120通过将变换方案(例如，离散余弦变换(DCT)、离散正弦变换(DST)、基于图形的变换(GBT)或者卡南-洛维变换(KLT))应用于残留信号(或者残留块)来生成变换系数。在这种情况下，可以通过使用应用于残留块的预测模式和基于残留块的尺寸所确定的变换方案执行变换，变换单元120生成变换系数。
具体地，如果当前处理块不是正方形块，按照本发明的变换单元120可以通过以正方形块重建处理块来执行变换。稍后详细描述该变换单元120。
量化单元130量化变换系数，并且将其发送给熵编码单元190，并且熵编码单元190执行量化信号的熵编译操作，以及将其作为比特流输出。
同时，由量化单元130输出的量化的信号可以用于生成预测信号。例如，可以通过经由去量化单元140和逆变换单元150将去量化和逆变换应用于量化信号来重建残留信号。可以通过将重建的残留信号增加给由间预测单元181或者内预测单元182输出的预测信号来生成重建的信号。
同时，在这样的压缩过程期间，邻近块通过不同的量化参数来量化。因此，块边缘示出的伪影(artifact)可能出现。这样的现象被称为块伪影，其是用于评估图像质量的重要因素的一个。为了降低这样的伪影，可以执行滤波处理。经由这样的滤波处理，块伪影被除去，并且当前图片的误差同时被降低，从而改善图像质量。
滤波单元160将滤波应用于重建的信号，并且经由回放设备将其输出，或者将其发送给解码的图片缓冲器170。发送给解码的图片缓冲器170的滤波的信号可以在间预测单元181中用作参考图片。如上所述，可以以图片间预测模式，使用滤波的图片作为参考图片来改善编码速率以及图像质量。
解码的图片缓冲器170可以存储滤波的图片，以便在间预测单元 181中将其用作参考图片。
间预测单元181参考重建的图片来执行时间预测和/或空间预测，以便除去时间冗余和/或空间冗余。在这种情况下，块伪影或者环形伪影可能出现，因为用于执行预测的参考图片是变换的信号，当其被预先地编码/解码时，其在块单元中经历量化或者去量化。
因此，为了解决可归因于这样的信号或者量化的中断的性能退化，在像素之间的信号可以通过将低通滤波器应用于间预测单元181，在子像素单元中被内插。在这种情况下，子像素指的是通过应用内插滤波器生成的虚拟像素，并且整体像素指的是存在于重建的图片之中的实际的像素。线性内插、双线性内插、维纳滤波器等等可以作为内插方法被应用。
内插滤波器可以应用于重建的图片，并且可以改善预测的精确度。例如，间预测单元181可以通过将内插滤波器应用于整体像素生成内插像素并且通过使用包括内插像素的内插块作为预测块来执行预测。
内预测单元182参考邻近现在要编码的块的采样来预测当前块。内预测单元182可以执行以下的过程以便执行内预测。首先，内预测单元182可以准备用于生成预测信号所必需的参考采样。此外，内预测单元182可以使用准备的参考采样来生成预测信号。其次，内预测单元182可以编码预测模式。在这种情况下，可以经由参考采样填充和/或参考采样滤波来准备参考采样。量化误差可能存在，因为参考采样经历预测和重建过程。因此，为了降低这样的误差，可以对用于内预测的每个预测模式执行参考采样滤波处理。
具体地，按照本发明的内预测单元182可以按照基于内预测模式确定的分割方向来分割当前处理块，并且可以对分割的处理块来执行内预测。稍后详细描述该内预测单元182。
经由间预测单元181或者内预测单元182生成的预测信号(或者预测块)可以用于生成重建的信号(或者重建的块)，或者可以用于生成残留信号(或者残留块)。
图2图示作为本发明应用于其的实施例的执行静止图像或者视频信号解码的解码器的示意性框图。
参考图2，解码器200可以包括熵解码单元210、去量化单元220、逆变换单元230、加法器235、滤波单元240、解码的图片缓冲器 (DPB)250和预测单元260。此外，预测单元260可以包括间预测单元 261和内预测单元262。
此外，经由解码器200输出的重建的视频信号可以经由回放设备被回放。
解码器200可以接收由在图1中示出的编码器100输出的信号(即，比特流)。熵解码单元210对接收的信号执行熵解码操作。
去量化单元220使用量化步长尺寸信息(quantization step sizeinformation)，从熵解码的信号获得变换系数。
逆变换单元230通过应用逆变换方案逆变换该变换系数来获得残留信号(或者残留块)。
具体地，如果当前处理块不是正方形块，则按照本发明的逆变换单元230可以通过以正方形块重建当前处理块来执行逆变换。稍后详细描述该逆变换单元230。
加法器235将获得的残留信号(或者残留块)增加给由预测单元 260(即，间预测单元261或者内预测单元262)输出的预测信号(或者预测块)，从而生成重建的信号(或者重建的块)。
滤波单元240将滤波应用于重建的信号(或者重建的块)，并且将滤波的信号输出给回放设备，或者将滤波的信号发送给解码的图片缓冲器250。发送给解码的图片缓冲器250的滤波的信号可以在间预测单元 261中用作参考图片。
在本说明书中，在编码器100的滤波单元160、间预测单元181 和内预测单元182中描述的实施例可以分别地同等地应用于解码器的滤波单元240、间预测单元261和内预测单元262。
具体地，按照本发明的内预测单元262可以按照基于内预测模式确定的分割方向来分割当前处理块，并且可以对分割的处理块来执行内预测。稍后详细描述该内预测单元262。
通常，基于块的图像压缩方法被在静止图像或者视频的压缩技术 (例如，HEVC)中使用。基于块的图像压缩方法是通过将其分割为特定块单元处理图像的方法，并且可以降低存储器使用和计算的负载。
图3是用于描述可以应用于本发明的编译单元的分割结构的图。
编码器将单个图像(或者图片)分割为方格形式的编译树单元 (CTU)，并且按照光栅扫描顺序逐个地编码CTU。
在HEVC中，CTU的尺寸可以确定为64×64、32×32和16×16中的一个。编码器可以基于输入视频信号的分辨率或者输入视频信号的特征来选择和使用CTU的尺寸。CTU包括用于亮度分量的编译树块 (CTB)和用于与其相对应的二个色度分量的CTB。
一个CTU可以以四叉树结构分割。也就是说，一个CTU可以被分割为每个具有正方形形式，并且具有一半水平尺寸和一半垂直尺寸的四个单元，从而能够生成编译单元(CU)。四叉树结构的这样的分割可以递归地执行。也就是说，CU被以四叉树结构从一个CTU分等级地分割。
CU可以指的是用于处理输入视频信号的处理过程的基本单位，例如，执行内/间预测的编译。CU包括用于亮度分量的编译块(CB)和用于与亮度分量相对应的二个色度分量的CB。在HEVC中，CU尺寸可以确定为64×64、32×32、16×16和8×8中的一个。
参考图3，四叉树的根节点与CTU有关。四叉树被分割，直到达到叶节点。叶节点对应于CU。
这些被更详细地描述。CTU对应于根节点，并且具有最小的深度 (即，深度＝0)值。取决于输入视频信号的特征，CTU不能被分割。在这种情况下，CTU对应于CU。
CTU可以以四叉树形式分割。因此，生成下节点，也就是说，深度1(深度＝1)。此外，属于具有深度1的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点a、b和j的CU(a)、 CU(b)和CU(j)已经从CTU分割一次，并且具有深度1。
具有深度1的节点的至少一个可以以四叉树形式分割。因此，生成具有深度1的下节点(即，深度＝2)。此外，属于具有深度2的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点c、h和i的CU(c)、CU(h)和CU(i)已经从CTU分割两次，并且具有深度2。
此外，具有深度2的节点中的至少一个可以以四叉树形式再次分割。因此，生成具有深度3的下节点(即，深度＝3)。此外，属于具有深度3的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点d、e、f和g的CU(d)、CU(e)、CU(f)和CU(g)已经从CTU分割三次，并且具有深度3。
在编码器中，CU的最大尺寸或者最小尺寸可以基于视频图像的特征(例如，分辨率)或者通过考虑编码速率来确定。此外，有关最大或者最小尺寸的信息或者能够得到该信息的信息可以被包括在比特流中。具有最大尺寸的CU被称为最大编译单元(LCU)，并且具有最小尺寸的 CU被称为最小编译单元(SCU)。
此外，具有树结构的CU可以以预先确定的最大深度信息(或者最大级别信息)分等级地分割。此外，每个分割的CU可以具有深度信息。由于深度信息表示分割计数和/或CU的程度，其可以包括有关CU尺寸的信息。
由于LCU被以四叉树形状分割，所以SCU的尺寸可以通过使用 LCU的尺寸和最大深度信息来获得。或者，相反地，LCU的尺寸可以通过使用SCU的尺寸和树的最大深度信息来获得。
对于单个CU，表示是否相应的CU被分割的信息(例如，分割的 CU标记(split_cu_flag))可以转发给解码器。这个分割的信息被包括在除了SCU之外的所有CU中。例如，当表示是否分割的标记的值是“1”时，相应的CU被进一步分割为四个CU，并且当表示是否分割的标记的值是“0”时，相应的CU不再分割，并且可以执行用于相应的CU的处理过程。
如上所述，CU是执行内预测或者间预测的编译的基本单位。HEVC 在用于编译输入视频信号的预测单元(PU)中更加有效地分割CU。
PU是用于生成预测块的基本单位，并且甚至在单个CU中，预测块可以通过PU的单元以不同的方式生成。但是，内预测和间预测没有对于属于单个CU的PU一起地使用，并且属于单个CU的PU通过相同的预测方法(即，内预测或者间预测)编译。
PU没有以四叉树结构分割，但是在单个CU中以预先确定的形状分割一次。这些将通过参考以下的附图来描述。
图4是用于描述可以应用于本发明的预测单元的图。
取决于是否使用内预测模式或者间预测模式用作PU所属于的CU 的编译模式，PU被不同地分割。
图4图示如果使用内预测模式和间预测模式的PU。
参考图4，假设单个CU的尺寸是2N×2N(N＝4、8、16和32)，单个CU可以被分割为二个类型(即，2N×2N或者N×N)。
在这种情况下，如果单个CU被分割为2N×2N形状的PU，这指的是仅仅一个PU存在于单个CU中。
同时，如果单个CU被分割为N×N形状的PU，则单个CU被分割为四个PU，并且对于每个PU单元来生成不同的预测块。但是，只有在用于CU的亮度分量的CB的尺寸是最小尺寸(即，CU是SCU的情形)时，可以执行这样的PU分割。
参考图4，假设单个CU的尺寸是2N×2N(N＝4、8、16和32)，单个CU可以被分割为八个PU类型(即，2N×2N、N×N、2N×N、N×2N、 nL×2N、nR×2N、2N×nU和2N×nD)。
像在内预测中一样，只有在用于CU的亮度分量的CB的尺寸是最小尺寸(即，CU是SCU的情形)时，可以执行N×N形状的PU分割。
间预测以在水平方向上分割的2N×N形状和以在垂直方向上分割的N×2N形状来支持PU分割。
此外，间预测以nL×2N、nR×2N、2N×nU和2N×nD形状来支持 PU分割，其是不对称运动分割(AMP)。在这种情况下，“n”指的是2N 的1/4值。但是，如果PU所属于的CU是最小尺寸的CU，则AMP不能被使用。
为了在单个CTU中有效率地编码输入视频信号，可以经由如下的处理过程基于最小速率失真值来确定编译单元(CU)、预测单元(PU)和变换单元(TU)的最佳分割结构。例如，关于在64×64CTU中的最佳CU 分割过程，可以经由从64×64尺寸的CU到8×8尺寸的CU的分割过程来计算速率失真成本。详细的过程如下。
1)生成最小速率失真值的PU和TU的最佳分割结构通过对64×64 尺寸的CU执行中间/内预测、变换/量化、去量化/逆变换和熵编码来确定。
2)PU和TU的最佳分割结构被确定以将64×64CU分割为32×32 尺寸的四个CU，并且生成用于每个32×32CU的最小速率失真值。
3)PU和TU的最佳分割结构被确定以进一步将32×32CU分割为 16×16尺寸的四个CU，并且生成用于每个16×16CU的最小速率失真值。
4)PU和TU的最佳分割结构被确定以进一步将16×16CU分割为 8×8尺寸的四个CU，并且生成用于每个8×8CU的最小速率失真值。
5)通过将在过程3)中获得的16×16CU的速率失真值与在过程4) 中获得的四个8×8CU的速率失真值的增加比较来确定在16×16块中的 CU的最佳分割结构。也以相同的方式对于剩余的三个16×16CU来执行这个过程。
6)通过将在过程2)中获得的32×32CU的速率失真值与在过程5) 中获得的四个16×16CU的速率失真值的增加比较来确定在32×32块中的CU的最佳分割结构。也以相同的方式对于剩余的三个32×32CU来执行这个过程。
7)最后，在64×64块中CU的最佳分割结构通过将在过程1)中获得的64×64CU的速率失真值与在过程6)中获得的四个32×32CU的速率失真值的增加比较确定。
在内预测模式中，预测模式被选择为PU单元，并且在实际的TU 单元中对选择的预测模式执行预测和重建。
TU指的是执行实际的预测和重建的基本单位。TU包括用于亮度分量的变换块(TB)和用于与亮度分量相对应的二个色度分量的TB。
在图3的示例中，像在一个CTU被以四叉树结构分割以生成CU 的示例中一样，TU被从要编译的一个CU以四叉树结构分等级地分割。
从CU分割的TU可以被分割为更小和更低的TU，因为TU被以四叉树结构分割。在HEVC中，TU的尺寸可以被确定为32×32、16×16、 8×8和4×4中的一个。
返回参考图3，四叉树的根节点假设为与CU相关。四叉树被分割，直到达到叶节点，并且叶节点对应于TU。
这些被更详细地描述。CU对应于根节点，并且具有最小的深度 (即，深度＝0)值。取决于输入图像的特征，CU不能被分割。在这种情况下，CU对应于TU。
CU可以以四叉树形式分割。因此，生成具有深度1(深度＝1)的下节点。此外，属于具有深度1的下节点并且不再分割的节点(即，叶节点)对应于TU。例如，在图3(b)中，对应于节点a、b和j的TU(a)、TU(b) 和TU(j)已经从CU分割一次，并且具有深度1。
具有深度1的节点的至少一个可以再次以四叉树形式分割。因此，生成具有深度2的下节点(即，深度＝2)。此外，属于具有深度2的下节点并且不再分割的节点(即，叶节点)对应于TU。例如，在图3(b)中，对应于节点c、h和i的TU(c)、TU(h)和TU(i)已经从CU分割两次并且具有深度2。
此外，具有深度2的节点的至少一个可以以四叉树形式再次分割。因此，生成具有深度3的下节点(即，深度＝3)。此外，属于具有深度3 的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b) 中，对应于节点d、e、f和g的TU(d)、TU(e)、TU(f)和TU(g)已经从 CU分割三次，并且具有深度3。
具有树结构的TU可以以预先确定的最大深度信息(或者最大级别信息)分等级地分割。此外，每个分割的TU可以具有深度信息。该深度信息可以包括有关TU的尺寸的信息，因为其指示分割数目和/或TU 的程度。
指示是否相应的TU已经相对于一个TU分割的信息(例如，分割的TU标记“split_transform_flag”)可以传送给解码器。分割信息被包括在除了最小尺寸的TU之外的所有TU中。例如，如果指示是否TU已经分割的标记的值是“1”，则相应的TU被分割为四个TU。如果指示是否TU已经分割的标记的值是“0”，则相应的TU不再分割。
图5是本发明应用于其的实施例，并且是图示内预测方法的图。
参考图5，解码器得到当前处理块的内预测模式(S501)。
内预测模式可以取决于预测模式具有用于预测的参考采样位置的预测方向。具有预测方向的内预测模式被称作内角度预测模式 (Intra_Angular预测模式)。相比之下，不具有预测方向的内预测模式包括内平面(INTRA_PLANAR)预测模式和内DC(INTRA_DC)预测模式。
表1图示内预测模式和相关的名称，并且图6图示按照内预测模式的预测方向。
[表1]
在内预测中，基于得到的预测模式对当前处理块执行预测。取决于预测模式，用于预测的参考采样和详细的预测方法是不同的。如果当前块是内预测模式，则解码器得到当前块的预测模式以便执行预测。
解码器检查是否当前处理块的邻近采样可以用于预测，并且构建要用于预测的参考采样(S502)。
在内预测中，当前处理块的邻近采样指的是邻近nS×nS尺寸的当前处理块的左边界的采样，邻近当前处理块的左下的总共2×nS采样，邻近当前处理块的顶边界的采样，邻近当前处理块的右上的总共2×nS 采样，以及邻近当前处理块的左上的一个采样。
但是，当前处理块的邻近采样的一些还没有被编译，或者可能不是可用的。在这种情况下，解码器可以通过以可用的采样替代不可用的采样来构建要用于预测的参考采样。
解码器可以基于内预测模式对参考采样执行滤波(S503)。
是否对参考采样执行滤波可以基于当前处理块的尺寸确定。此外，参考采样的滤波方法可以基于由编码器传送的滤波标记来确定。
解码器基于内预测模式和参考采样来生成用于当前处理块的预测块(S504)。也就是说，解码器基于在得到内预测模式的步骤S501中得到的内预测模式以及经由参考采样构建步骤S502和参考采样滤波步骤 S503获得的参考采样来生成用于当前处理块的预测块(即，生成预测采样)。
如果当前处理块已经以INTRA_DC模式编码，则为了最小化在处理块之间的边缘的中断，在预测块的左边界的采样(即，在邻近左边界的预测块内的采样)和在预测块的顶边界的采样(即，在邻近顶边界的预测块内的采样)可以在步骤S504处被滤波。
此外，在步骤S504处，相对于内角度预测模式的垂直模式和水平模式，像INTRA_DC模式一样，滤波可以应用于左边界采样或者顶边界采样。
这些被更详细地描述。如果当前处理块已经以垂直模式或者水平模式编码，则预测采样的值可以基于位于预测方向的参考采样来得到。在这种情况下，属于预测块的左边界采样和顶边界采样，并且不位于预测方向的边缘采样可能邻近未用于预测的参考采样。也就是说，离未用于预测的参考采样的距离可能比离用于预测的参考采样的距离更加靠近。
因此，解码器可以取决于是否内预测方向是垂直或者水平，对左边界采样或者顶边界采样自适应地应用滤波。也就是说，如果内预测方向是垂直的，则解码器可以对左边界采样应用滤波。如果内预测方向是水平的，则解码器可以对顶边界采样应用滤波。
在按照这样的内预测模式的编码/解码中，存在由于离参考采样的距离变得遥远，预测的精确度降低的问题。这些参考以下的附图描述。
图7是用于图示在现有内模式预测中的问题的图。
图7图示4×4尺寸的TU已经以垂直内预测模式编码的情形。在图7中，箭头指示预测方向。
参考图7，使用位于垂直方向的参考采样来得到预测采样值。
在这种情况下，在TU内位于顶边界的预测采样702具有高的预测精确度，因为它们接近于参考采样701，而在TU内位于底边界的预测采样703具有低的预测精确度，因为它们远离参考采样701。
图8是用于图示在现有内模式预测中的问题的图。
图8图示2N×2N尺寸的PU(即，与CU相同)和N×N尺寸的TU(即，深度＝1)。
在HEVC的内预测编码中，像在图8中一样，TU分割被以正方形形式对CU执行，并且实际的预测和重建被对分割的正方形形状的 TU的每个执行。如图8所示，如果PU的尺寸是2N×2N，并且TU深度是1，则每个TU的右下采样802具有与在参考采样801和相对于除了垂直内预测模式和水平内预测模式之外按照所有方向的内预测模式的预测采样之间的距离N的低预测精确度。
因此，本发明提出了一种通过最小化在内预测中在参考采样和预测采样之间的距离来改善内预测精确度的方法。
具体地，本发明提出了一种基于每个内预测模式以各种形式分割处理单元和执行内预测的方法。
也就是说，提出了一种基于内预测模式分割处理单元和执行内预测的方法。优选地，该处理单元可以被以与每个内预测模式的预测方向正交的形式来分割。
在下文中，在描述本发明的实施例时，为了描述的方便起见，假设在其中执行内预测和变换的单元是变换单元(TU)(或者变换块(TB))，变换单元被从编译单元(CU)(或者编译块)分割，并且在其中确定内预测模式的单元是预测单元(PU)(或者预测块)，但是，这仅仅是示例，并且本发明不受限于此。也就是说，如上所述，变换单元/编译单元/预测单元可以以具有特定尺寸或者形式的处理单元(或者处理块)替代。
图9图示按照本发明的实施例的基于内预测模式的分割方法。
图9图示2N×2N尺寸的PU(即，等同于CU)和深度1的TU。
图9(a)图示以垂直内预测模式分割TU的方法，图9(b)图示以水平内预测模式分割TU的方法，以及图9(c)图示以右下(即，135°)(例如，在图6的示例中，INTRA_ANGULAR18)内预测模式分割TU的方法。
在图9中，箭头指示预测方向。
在图9中，TU的编译顺序以TU_0、TU_1、TU_2和TU_3的顺序执行。在一个TU被编码和解码之后，其用作用于下一个TU编码的参考采样。
像在图9(a)中一样，在垂直内预测模式中，TU可以在水平方向上从CU分割。如上所述，通过在与内预测模式的方向相垂直的方向上分割TU和执行预测，在TU_0中在参考采样901a和最远的右下预测采样902an之间的距离可以被降低为N/2。甚至在TU_1中，同样地，如果在其被编码和解码之后TU_0用作参考像素，则在TU_1中在参考采样和离参考采样最远的右下预测采样之间的距离可以被降低为N/2。甚至在TU_2和TU_3中，在参考采样和离参考采样最远的预测采样之间的距离可以使用相同的方法被降低为N/2。
像在图9(b)中一样，在水平内预测中，TU可以在垂直方向上从 CU分割。如上所述，通过在与内预测模式的方向相垂直的方向上分割 TU和执行预测，在TU_0中在参考采样901b和离参考采样最远的右下预测采样902b之间的距离可以被降低为N/2。甚至在TU_1中，同样地，如果在其被编码和解码之后TU0用作参考像素，在TU_1中在参考采样和离参考采样最远的右下预测采样之间的距离可以被降低为N/2。甚至在TU_2和TU_3中，在参考采样和离参考采样最远的预测采样之间的距离可以使用相同的方法被降低为N/2。
像在图9(c)中一样，在135°方向的内预测模式中，TU可以在45°方向从CU分割。如上所述，通过在与内预测模式的方向相垂直的方向上分割TU和执行预测，在TU_0中在参考采样901c和离参考采样最远的右下预测采样902c之间的距离可以被降低。甚至在TU_1中，同样地，如果在其被编码和解码之后TU_0用作参考像素，在TU_1中在参考采样和离参考采样最远的右下预测采样之间的距离可以被降低为 N/2。甚至在TU_2和TU_3中，在参考采样和离参考采样最远的预测采样之间的距离可以使用相同的方法被降低为N/2。
像在图9(a)至9(c)的示例中一样，TU被在与内预测模式的预测方向正交的方向上从CU分割，但是，可以像在传统技术中一样按照四叉树方法分割。也就是说，一个CU可以被分割为深度1的四个TU。
在图9中，深度1的TU已经图示，但是，为了描述的方便起见，本发明不受限于此。也就是说，TU可以通过将与图9相同的方法应用于具有深度2或更大的TU分割。例如，像在图9(a)的示例中一样，在垂直内预测模式中，具有深度2的TU可以从具有深度1的每个TU分割。因此，深度2的所有TU可以在垂直方向上具有N/8。也就是说，从CU分割深度1的TU的方法可以同等地应用于该分割方法。
按照本发明的一个实施例，从一个CU分割的相同深度的所有TU 可以被分割为具有相同的范围。换句话说，从一个CU分割的相同深度的TU可以被分割为包括相同数目的采样。例如，在图9(c)的情况下，TU 0、TU 1、TU 2和TU 3全部可以被分割为具有相同的范围，或者相同数目的采样。
通过考虑如上所述的预测模式的方向分割TU，内预测性能可以被改善，因为在参考采样和预测采样之间的距离可以被降低。
此外，在图9中，为了描述的方便起见，仅仅已经图示垂直方向、水平方向和135°方向的内预测方向，但是，本发明不受限于此。也就是说，可以在各种内预测方向上在与内预测方向相垂直的方向上分割 TU。例如，在HEVC的情况下，总共35个预测模式用于内预测。如果本发明应用于属于35个预测模式并且具有方向性的33个预测模式，则可以取决于按照33个内预测模式的方向来确定33个TU分割方向(例如，垂直于内预测方向)。
图10图示按照本发明的实施例的基于内预测模式构建用于分割块的参考采样的方法。
图10仅仅图示用于供每个内预测模式的TU 0和TU 2的参考采样，但是，为了描述的方便起见，用于TU 1和TU 3的参考采样可以使用相同的方法构建。
图10(a)图示用于按照垂直内预测模式在水平方向上分割的TU的参考采样。图10(b)图示用于按照水平内预测模式在垂直方向上分割的 TU的参考采样。图10(c)图示用于按照135°方向(例如，在图6的示例中，INTRA_ANGULAR18)的内预测模式在45°方向上分割的TU的参考采样。
参考图10(a)，用于在水平方向上分割的TU的参考采样1001a和 1002a可以包括邻近相应的TU的左边界的采样，邻近相应的TU的顶边界的采样，以及邻近用于每个TU(其是TU1、TU 2、TU 3和TU 4) 的相应的TU的左上的采样。
在这种情况下，参考采样的数目可以基于TU的尺寸和/或TU的分割形式确定。
例如，在像在图10(a)中一样的2N×N/2尺寸的TU的情况下，TU 的参考采样1001a和1002a的总数可能不同于按照现有正方形四叉树方法分割，并且具有相同深度的TU。也就是说，在N×N尺寸的TU以正方形四叉树分割的情况下，参考采样1001a和1002a具有总共4N+1。相比之下，在像在图10(a)中一样的2N×N/2尺寸的TU的情况下，参考采样可以具有总共(3N)+(N/2)+1，也就是说，邻近相应的TU的顶边界的采样的数目和邻近相应的TU的右上的采样的数目是3N，邻近相应的TU的左边界的采样的数目和邻近相应的TU的左下的采样的数目是N/2，并且邻近相应的TU的左上的采样的数目是1。
对于另一个示例，像在图10(a)中一样，在2N×N/2尺寸的TU的情况下，参考采样1001a和1002a可以具有总共(3N)+(N/2)+1，也就是说，邻近相应的TU的左边界的采样的数目和邻近相应的TU的左下的采样的数目是N，邻近相应的TU的顶边界的采样的数目是(2N)+(N/2)，邻近相应的TU的右上的采样的数目是(2N)+(N/2)，以及邻近相应的TU 的左上的采样的数目是1。
参考图10(b)，用于在垂直方向上分割的TU的参考采样1001b和 1002b可以包括邻近相应的TU的左边界的采样，邻近相应的TU的顶边界的采样，以及邻近用于TU每个(TU 1、TU 2、TU 3和TU 4)的相应的TU的左上的采样。
如上所述，可以基于TU的尺寸和/或TU的分割形式来确定参考采样的数目。
例如，像在图10(b)中一样，在N/2×2N尺寸的TU的情况下，TU 的参考采样1001b和1002b的总数可能不同于按照正方形四叉树方法分割的TU的参考采样的总数，并且具有相同的深度。在以正方形四叉树分割的N×N尺寸的TU的情况下，参考采样1001b和1002b具有总共4N+1。相比之下，在像在图10(b)中一样的N/2×2N尺寸的TU的情况下，参考采样可以具有总共(3N)+(N/2)+1，也就是说，邻近相应的 TU的左边界的采样的数目和邻近相应的TU的左下的采样的数目是 3N，邻近相应的TU的顶边界的采样的数目和邻近相应的TU的右上的采样的数目是N/2，以及邻近相应的TU的左上的采样的数目是1。
对于另一个示例，在像在图10(b)中一样的N/2×2N尺寸的TU的情况下，参考采样1001b和1002b可以具有总共(3N)+(N/2)+1，也就是说，邻近相应的TU的左边界的采样的数目和邻近相应的TU的左下的采样的数目是(2N)+(N/2)，邻近相应的TU的顶边界的采样的数目和邻近相应的TU的右上的采样的数目是N，并且邻近相应的TU的左上的采样的数目是1。
参考图10(c)，用于在45°方向上分割的TU的参考采样可以包括邻近用于每个TU的相应的TU的边缘的采样。
也就是说，在TU 0和TU 1的情况下，参考采样1001c可以包括邻近相应的TU的左边界的采样，邻近相应的TU的顶边界的采样，以及邻近相应的TU的左上的采样。
相比之下，在TU 2和TU 3的情况下，参考采样1002c可以包括邻近相应的TU的左上边界的采样，邻近相应的TU的右边界的采样，以及邻近相应的TU的底边界的采样。
图10(c)仅仅图示在45°方向上分割的TU，但是，在除了垂直方向和水平方向之外的预测方向的情况下，参考采样可以按照与图10(c)相同的方法构建。
如上所述，可以基于TU的尺寸和/或TU的分割形式来确定参考采样的数目。
例如，在像在图10(c)中一样分割的TU的情况下，TU的参考采样1001c和1002c的总数可以不同于按照正方形四叉树方法分割的TU 的参考采样的总数，并且具有相同的深度。也就是说，参考采样1001c 和1002c的总数可以不同于以正方形四叉树分割的N×N尺寸的TU的参考采样的总数。
对于另一个示例，在像在图10(c)中一样分割的TU的情况下，参考采样的数目可以仅仅包括邻近相应的TU的边缘的采样。因此，可以取决于参考采样邻近的TU的边缘(例如，边缘的长度)来确定参考采样的数目。
图11是用于图示在现有块分割方法和按照本发明的基于块内预测模式的分割方法之间比较的图。
图11图示如果CU的尺寸是2N×2N并且PU的尺寸类似CU是 2N×2N，按照TU的分割深度的TU的分割形式。
图11(a)图示TU被按照现有正方形四叉树方式分割的情形，以及图11(b)图示TU被基于按照本发明的内预测模式分割的情形。
如上所述，在内预测模式中，内预测模式在PU单元中确定，并且预测和重建可以在TU单元中执行。在这种情况下，按照相同的内预测模式对包括在PU中的TU执行预测和重建。
因此，像在图11中一样，如果PU的预测模式(PredMode)是A，不考虑是否TU被按照现有正方形四叉树方法从CU分割，或者是否 TU被在垂直于按照本发明的内预测方向的方向分割，基于相同的预测模式(PredMode)A，对所有TU执行预测和重建。在图11中，预测模式(PredMode)A假设为是水平内模式预测模式。
按照本发明的TU分割方法，取决于内预测模式的方向来确定分割方向，但是，分割的TU的数目可以与现有正方形四叉树方法相同。也就是说，在深度1的TU的情况下，一个CU被分割为四个TU。在深度2的TU的情况下，一个CU被分割为16个TU。
也就是说，甚至在按照本发明的TU分割方法中，可以应用四叉树方法。因此，每当深度增加1时，一个CU(或者TU)可以被分割为下层的四个TU。
图12是图示按照本发明的实施例的内预测单元的更加详细的图。
参考图12，内预测单元(参考图1的182和图2的262)实施在图7 至11中提出的功能、过程和/或方法。具体地，内预测单元182、262 可以被配置为包括TU分割单元1202和内预测处理单元1203。
此外，内预测单元182、262可以被配置为进一步包括TU分割方法确定单元1201。
TU分割方法确定单元1201基于是否当前TU(或者TB)的分割方法是现有正方形四叉树分割方法或者内预测模式来确定分割方法。
在这种情况下，可以基于内预测模式来确定当前TU(或者TB)的分割方法。例如，像在表1中一样，如果内预测模式已经被定义，则不具有方向性的内预测模式(即，0和1)已经应用于其的TU(或者TB) 的分割方法可以被确定为是正方形四叉树分割方法。具有方向性的内预测模式(即，2至34)已经应用于其的TU(或者TB)的分割方法可以被确定为是基于内预测模式的分割方法。
如果没有对于每个TU(或者TB)确定TU分割方法(例如，如果仅仅基于内预测模式的分割方法被应用于所有当前图片)，TU分割方法确定单元1201可能不被包括在内预测单元182、262中。
TU分割单元1202可以基于内预测模式来分割当前TU(或者TB)。在这种情况下，TU分割单元1202可以像在图9至11中一样在与当前 TU(或者TB)的内预测模式的预测方向正交的方向上，按照四叉树方法分割当前TU(或者TB)。
在这种情况下，解码器可以使用由编码器提供的分割标记来确定是否分割当前TU(或者TB)。
此外，TU分割单元1202可以按照现有正方形四叉树分割方法分割当前TU(或者TB)。
内预测处理单元1203对TU(或者TB)的每个执行内预测。
内预测处理单元1203可以使用按照图5的示例的过程，对当前 TU(或者TB)执行内预测。在这种情况下，参考采样可以按照图10的示例来配置。
图13是图示按照本发明的实施例的基于内预测模式处理视频信号的方法的图。
参考图13，解码器(具体地，内预测单元)确定是否当前TU(或者 TB)的分割标记是1(S1301)。
在这种情况下，当前TU(或者TB)可以被指定，因为用于指定当前TU(或者TB)的位置值(例如，坐标值)被设置为当前TU(或者TB)的左上采样的位置值。
在这种情况下，分割标记可以作为语法元素由编码器提供。
如果在步骤S1301上分割标记是1，解码器基于内预测模式分割当前TU(或者TB)(S1302)。
也就是说，像在图9至11的示例中一样，解码器可以以与内预测模式的预测方向正交的形式来分割当前TU(或者TB)。
在这种情况下，分割当前TU(或者TB)可以指的是用于指定当前TU(或者TB)的位置值(例如，坐标值)基于内预测模式被设置为分割的 TU(或者TB)的特定采样(例如，左上采样的位置值)的位置值。
因此，分割的TU(或者TB)对应于当前TU(或者TB)，并且执行步骤S1301。此外，步骤S1301和S1302被重复地执行，直到当前TU(或者TB)的分割标记不是1。
如果在步骤S1301上分割标记是0，则解码器基于内预测模式对当前TU(或者TB)执行内预测(S1303)。
在这种情况下，解码器可以使用按照图5的示例的过程对当前TU(或者TB)执行内预测。在这种情况下，参考采样可以基于图10的示例构建。
同时，编码器(具体地，内预测单元)可以执行除了图13的步骤 S1301之外相同的过程。也就是说，编码器可以基于内预测模式分割当前TU(或者TB)，并且执行内预测。
图14是图示按照本发明的实施例的基于内预测模式处理视频信号的方法的图。
参考图14，解码器(具体地，内预测单元)确定当前TU(或者TB) 的分割方法(S1401)。
在这种情况下，当前TU(或者TB)的分割方法可以基于内预测模式来确定。例如，如果内预测模式已经如表1中定义，不具有方向性的内预测模式(即，0和1)已经应用于其的TU(或者TB)的分割方法可以确定为是正方形四叉树分割方法，并且具有方向性的内预测模式(即， 2至34)已经应用于其的TU(或者TB)的分割方法可以确定为是基于内预测模式的分割方法。
在这种情况下，当前TU(或者TB)可以被指定，因为用于指定当前TU(或者TB)的位置值(例如，坐标值)被设置为当前TU(或者TB)的左上采样的位置值。
如果在步骤S1404处，当前TU(或者TB)的分割方法是正方形四叉树分割方法，则解码器确定是否当前TU(或者TB)的分割标记是 1(S1402)。
在这种情况下，分割标记可以作为语法元素由编码器提供。
如果在步骤S1402处分割标记是1，则解码器按照正方形四叉树方法分割当前TU(或者TB)(S1403)。
也就是说，像图3的示例一样，解码器可以按照正方形四叉树方法分割当前TU(或者TB)。
在这种情况下，分割当前TU(或者TB)可以指的是用于指定当前 TU(或者TB)的位置值(例如，坐标值)被按照正方形四叉树方法设置为分割的TU(或者TB)的左上采样的位置值。
因此，分割的TU(或者TB)对应于当前TU(或者TB)，并且执行步骤S1402。此外，步骤S1402和S1403被重复，直到当前TU(或者TB) 的分割标记不是1。
相比之下，如果在步骤S1401处，当前TU(或者TB)的分割方法是基于内预测模式的分割方法，则解码器确定是否当前TU(或者TB) 的分割标记是1(S1404)。
在这种情况下，分割标记可以作为语法元素由编码器提供。
如果在步骤S1404处分割标记是1，则解码器基于内预测模式来分割当前TU(或者TB)(S1302)。
也就是说，像在图9至11的示例中一样，解码器可以以与内预测模式的预测方向正交的形式来分割当前TU(或者TB)。
在这种情况下，分割当前TU(或者TB)可以指的是用于指定当前 TU(或者TB)的位置值(例如，坐标值)基于内预测模式被设置为分割的 TU(或者TB)的特定采样的位置值(例如，左上采样的位置值)。
因此，分割的TU(或者TB)对应于当前TU(或者TB)，并且执行步骤S1404。此外，步骤S1404和S1405被重复，直到当前TU(或者TB) 的分割标记不是1。
同时，如果在步骤S1402或者S1404处，分割标记是0，则解码器基于内预测模式对当前TU(或者TB)执行内预测(S1406)。
在这种情况下，解码器可以使用按照图5的示例的过程对当前 TU(或者TB)执行内预测。
在这种情况下，如果当前TU(或者TB)已经按照基于内预测模式的分割方法来分割，则参考采样可以基于图10的示例来构建。
同时，编码器(具体地，内预测单元)可以执行除了图14的步骤 S1402和S1404之外相同的过程。也就是说，可以确定当前TU(或者 TB)的分割方法，当前TU(或者TB)可以按照该分割方法分割，并且可以对当前TU(或者TB)执行内预测。
图15是用于图示按照本发明的实施例的重新安置(或者重建)变换单元的方法的图。
图15示出内模式预测方向是垂直的并且在水平方向上执行从 2N×2N尺寸的CU分割为具有深度1的四个TU的示例。
如果基于由本发明提出的内预测模式执行TU的分割，其难以应用在HEVC中提供的变换。也就是说，在HEVC中，执行变换为正方形形式的TU单元。但是，按照根据本发明的TU分割方法，其难以应用在HEVC中提供的变换，因为TU分割形式基于内预测方向来确定。
因此，以与内预测方向正交的形式分割的TU被重新安置(或者重建)，使得HEVC的变换可以应用于分割的TU。
参考图15，通过分割具有2N×N/2尺寸的TU 0 1510为每个具有一半水平尺寸的二个块1511和1512，并且在垂直方向上重新安置(或者重建)它们来构建正方形形式的N×N尺寸的TU 0 1520。
在这种情况下，TU可以以预先确定的扫描顺序重新安置。例如，按照光栅扫描顺序，由于对左侧TU 0 1511比右侧TU 0 1512更早的执行解码过程，所以当TU被重新安置供变换时，左侧TU 0 1511可以设置在上端1521上，并且右侧TU 0 1512可以设置在下端1522上。
该解码器使用相同的方法对剩余的TU 1、TU 2和TU 3执行相同的过程。
如上所述，解码器基于每个内预测模式在分割的TU单元中执行预测和重建。此外，对于变换，TU被在正方形块中按照预先确定的扫描顺序重新安置，并且在重新安置的TU单元中执行变换。
图16是用于图示按照本发明的在现有变换块分割方法和变换块重建方法之间比较的图。
图16图示TU的分割形式，其中CU的尺寸是2N×2N，并且分割深度是1。
图16(a)图示TU被按照现有正方形四叉树方法分割的情形，以及图16(b)图示TU基于按照本发明的内预测方向分割的情形。具体地，图16(b)图示内模式预测方向是垂直的并且四个TU被在水平方向上分割的情形。
像在图16(a)中一样，如果TU被按照现有正方形四叉树方法分割，则解码器以预先确定的扫描顺序对正方形形式的每个TU执行预测和重建，并且还执行变换。
相比之下，像在图16(b)中一样，如果TU基于内预测模式被分割，则解码器在分割的TU单元中以预先确定的扫描顺序执行预测和重建，使得TU垂直于内预测模式的预测方向。此外，解码器在正方形形式的 TU中重新安置(或者重建)分割的TU，使得它们垂直于预测方向，并且然后执行变换。
在图15和16中，已经图示了内预测模式的预测方向是垂直的情形，但是，以上所述的方法可以同等地应用于预测方向是不同的情形。
图17是用于图示按照本发明的实施例的重新安置(或者重建)TU 的方法的图。
图17图示内模式预测方向是水平的，并且具有深度1的四个TU 被在垂直方向上从2N×2N尺寸的CU分割的情形。
如上所述，其难以应用在HEVC中提供的变换，因为基于内预测方向来确定TU分割形式。TU被重新安置(或者重建)，使得HEVC的变换可以以与内预测方向正交的形式被应用于分割的TU。
参考图17，具有N/2×2N尺寸的TU 0 1710被分割为每个具有一半垂直尺寸的二个块1711和1712。二个块1711和1712被在水平方向上重新安置以构建正方形形式的N×N尺寸的TU 0 1720。
在这种情况下，TU可以以预先确定的扫描顺序重新安置。例如，按照光栅扫描顺序，由于对顶部TU 0 1711比底部TU 0 1712更早的执行解码过程，当TU被重新安置用于变换时，顶部TU 0 1711可以设置在左侧1721中，并且底部TU 0 1712可以设置在右侧1722中。
该解码器使用相同的方法对剩余的TU 1、TU 2和TU 3执行相同的过程。
如上所述，解码器基于每个内预测模式在分割的TU中执行预测和重建。此外，对于变换，解码器在正方形块中以预先确定的扫描顺序重新安置TU，并且在重新安置的TU单元中执行变换。
图18是用于图示按照本发明的一个实施例的重新安置(或者重建)TU的方法的图。
图18图示内模式预测方向是135°方向(例如，在图6的示例中， INTRA_ANGULAR18)，并且具有深度1的四个TU在45°方向上从 2N×2N尺寸的CU分割的情形。
参考图18，基于按照预先确定的顺序的内预测模式，通过重新安置(或者重建)分割的TU 0 1810中包括的采样，解码器构建正方形形式的TU 0 1820。
在这种情况下，TU可以以预先确定的扫描顺序重新安置(或者重建)。例如，按照光栅扫描顺序，包括在分割的TU 0 1810中的采样可以基于内预测模式，从左上采样到右下采样顺序地设置在正方形形式的TU 0 1820中。
同时，虽然预测方向是垂直或者水平的，但是像在图18的示例中一样，可以通过以正方形形式重新安置(或者重建)包括在相应的TU中的采样来构建正方形形式的TU。
图19是图示按照本发明的实施例的变换单元/逆变换单元的更加详细的图。
图19图示为了描述的方便起见，以一个块形式的变换单元/逆变换单元(参考图1的120/150，并且参考图2的230)。但是，如果变换单元/逆变换单元(参考图1的120，并且参考图2的230)被包括在编码器中，变换单元对应于逆变换，并且变换/逆变换单元1093对应于变换处理单元或者逆变换处理单元。同样地，如果变换单元/逆变换单元 120/230被包括在解码器中，则它们对应于逆变换单元，并且变换/逆变换单元1093对应于逆变换处理单元。
参考图19，变换单元/逆变换单元120/230实施在图15至18中提出的功能、过程和/或方法。具体地，变换单元/逆变换单元120/230可以被配置为包括TU分割确定单元1901、TU重建单元1902和变换/逆变换单元1903。
TU分割确定单元1901确定是否当前TU(或者TB)已经以正方形形式分割。也就是说，TU分割确定单元1901确定是否当前TU(或者 TB)已经按照现有正方形四叉树方法分割，或者按照基于内预测模式的分割方法来分割。
在这种情况下，TU分割确定单元1901可以基于当前TU(或者TB) 的内预测模式来确定分割方法。例如，像在表1中一样，如果内预测模式已经定义，不具有方向性的内预测模式(即，0和1)已经应用于其的TU(或者TB)的分割方法可以被确定为是正方形四叉树分割方法，并且具有方向性的内预测模式(即，2至34)已经应用于其的TU(或者TB) 的分割方法可以被确定为是基于内预测模式的分割方法。
TU重建单元1902以正方形块重建(或者重新安置)当前TU(或者 TB)。在这种情况下，TU重建单元1902可以使用按照图15至18的重建(或者重新安置)TU(或者TB)的方法，以正方形块重建(或者重新安置) 当前TU(或者TB)。
变换/逆变换单元1903对当前TU(或者TB)执行变换/逆变换处理。在这种情况下，变换/逆变换单元1903可以使用在图1和2中描述的方法变换/逆变换当前TU(或者TB)。
图20是图示按照本发明的实施例的基于内预测模式处理视频信号的方法的图。
在图20中，为了描述的方便起见，变换/逆变换步骤已经作为一个步骤图示，但是，编码器可以执行变换或者逆变换，并且解码器可以执行逆变换。
参考图20，解码器/编码器(具体地，内预测单元)确定是否当前TU(或者TB)是正方形块(S2001)。
在这种情况下，解码器/编码器可以基于当前TU(或者TB)的内预测模式来确定分割方法。例如，像在表1中一样，如果内预测模式已经定义，不具有方向性的内预测模式(即，0和1)已经应用于其的TU(或者TB)的分割方法可以确定为是正方形四叉树分割方法，并且具有方向性的内预测模式(即，2至34)已经应用于其的TU(或者TB)的分割方法可以确定为是基于内预测模式的分割方法。
如果在步骤S2001上当前TU(或者TB)不是正方形块，则解码器/ 编码器以正方形块形式重建(或者重新安置)当前TU(或者TB)(S2002)。
在这种情况下，解码器/编码器(具体地，内预测单元)可以使用按照图15至18的重建(或者重新安置)TU(或者TB)的方法，以正方形块形式重建(或者重新安置)当前TU(或者TB)。
相比之下，如果在步骤S2001上当前TU(或者TB)是正方形块，或者在步骤S2002处在当前TU(或者TB)被以正方形块形式重建(或者重新安置)之后，解码器/编码器对当前TU(或者TB)执行变换/逆变换 (S2003)。
解码器/编码器可以使用在图1和2中描述的方法对当前TU(或者 TB)变换/逆变换。
在前面提到的实施例中，本发明的元素和特征已经以特定形式合并。该元素或者特征的每个可以被认为是可选择的，除非另外明确地描述的。该元素或者特征的每个可以以不与另一个元素或者特征结合的形式实现。此外，该元素和/或特征的一些可以被合并以形成本发明的一个实施例。与本发明的实施例结合描述的操作顺序可以变化。实施例的一些元素或者特征可以被包括在另一个实施例中，或者可以以另一个实施例的相应的元素或者特征替换。很显然，实施例可以通过合并在权利要求书中不具有明确的引用关系的权利要求来构建，或者可以在提交申请之后，通过修改被包括为新权利要求。
本发明的实施例可以通过各种手段，例如，以硬件、固件、软件或者它们的组合来实现。在通过硬件实现的情况下，本发明的实施例可以使用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程序逻辑设备(PLD)、现场可编程门阵列 (FPGA)、处理器、控制器、微控制器和/或微处理器来实现。
在通过固件或者软件实现的情况下，本发明的实施例可以以用于执行前面提到的功能或者操作的模块、过程或者功能的形式来实现。软件码可以被存储在存储器中，并且由处理器驱动。该存储器可以设置在处理器的内部或者外部，并且可以经由各种公知的手段与处理器交换数据。
对于那些本领域技术人员来说是显然的，不脱离本发明的基本特征，本发明可以以其他特定形式实现。因此，该详细说明从所有方面将不认为是限制性的，而是应该认为是说明性的。本发明的范围将由所附的权利要求书的合理的分析来确定，并且在本发明的等效范围内的所有变化被包括在本发明的范围中。
工业实用性
如上所述，本发明的优选实施例已经为了说明性的目的而公开，并且本领域技术人员可以不脱离在附加的权利要求中公开的本发明的技术精神和范围，改进、变化、替代或者增加各种其他实施例。
