当前位置：首页 > 电学技术 > 电通讯技术> 视频解码的方法和装置独创技术89359字

视频解码的方法和装置

2021-03-31 01:05:19

视频解码的方法和装置

　　通过引用并入本文

　　本公开要求于2018年4月2日提交的、申请号为62/651,547、发明名称为“视频压缩中的多线帧内预测的方法和装置”的美国临时申请，以及于2018年11月26日提交的、申请号为16/200,533、发明名称为“视频压缩中的多线帧内预测的方法和装置”的美国申请的优先权，其全部内容通过引用并入本公开中。

　　技术领域

　　本公开描述总体上涉及视频编解码的实施例。

　　背景技术

　　本文所提供的背景描述旨在整体呈现本公开的背景。在背景技术部分以及本说明书的各个方面中所描述的目前已署名的发明人的工作所进行的程度，并不表明其在本公开提交时作为现有技术，且从未明示或暗示其被承认为本公开的现有技术。

　　通过具有运动补偿的帧间图片预测技术，可以进行视频编码和解码。未压缩的数字视频可包括一系列图片，每个图片具有例如1920×1080亮度样本及相关色度样本的空间维度。所述系列图片具有固定的或可变的图片速率(也非正式地称为帧率)，例如每秒60个图片或60Hz。未压缩的视频具有非常大的比特率要求。例如，每个样本8比特的1080p60 4:2:0的视频(1920x1080亮度样本分辨率，60Hz帧率)要求接近1.5Gbit/s带宽。一小时这样的视频就需要超过600GB的存储空间。

　　视频编码和解码的一个目的，是通过压缩减少输入视频信号的冗余信息。视频压缩可以帮助降低对上述带宽或存储空间的要求，在某些情况下可降低两个或更多数量级。无损和有损压缩，以及两者的组合均可采用。无损压缩是指从压缩的原始信号中重建原始信号精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不完全相同，但是原始信号和重建信号之间的失真足够小，使得重建信号可用于预期应用。有损压缩广泛应用于视频。容许的失真量取决于应用。例如，相比于电视应用的用户，某些消费流媒体应用的用户可以容忍更高的失真。可实现的压缩比反映出：较高的允许/容许失真可产生较高的压缩比。

　　视频编码器和解码器可利用几大类技术，例如包括：运动补偿、变换、量化和熵编码。

　　视频编解码器技术可包括已知的帧内编码技术。在帧内编码中，在不参考先前重建的参考图片的样本或其它数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分为样本块。当所有的样本块都以帧内模式编码时，该图片可以为帧内图片。帧内图片及其衍生(例如独立解码器刷新图片)可用于复位解码器状态，并且因此可用作编码视频比特流和视频会话中的第一图片，或用作静止图像。帧内块的样本可用于变换，且可在熵编码之前量化变换系数。帧内预测可以是使预变换域中的样本值最小化的技术。在某些情形下，变换后的DC值越小，且AC系数越小，则在给定的量化步长尺寸下需要越少的比特来表示熵编码之后的块。

　　如同从诸如MPEG-2代编码技术中所获知的，传统帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括：试图从例如周围样本数据和/或元数据中得到数据块的技术，其中周围样本数据和/或元数据是在空间相邻的编码/解码期间、且在解码顺序之前获得的。这种技术后来被称为"帧内预测"技术。需要注意的是，至少在某些情形下，帧内预测仅使用正在重建的当前图片的参考数据，而不使用参考图片的参考数据。

　　可以存在许多不同形式的帧内预测。当在给定的视频编码技术中可以使用超过一种这样的技术时，所使用的技术可以按帧内预测模式进行编码。在某些情形下，模式可具有子模式和/或参数，且这些模式可单独编码或包含在模式码字中。将哪个码字用于给定模式/子模式/参数组合会通过帧内预测影响编码效率增益，因此用于将码字转换成比特流的熵编码技术也会出现这种情况。

　　H.264引入了一种帧内预测模式，其在H.265中进行了改进，且在诸如联合开发模型(JEM)、通用视频编码(VVC)和基准集合(BMS)的更新的编码技术中进一步被改进。通过使用属于已经可用的样本的相邻样本值可以形成预测块。将相邻样本的样本值按照某一方向复制到预测块中。对所使用方向的引用可以被编码在比特流中，或者本身可以被预测。

　　参照图1，右下方描绘了来自H.265的35个可能的预测方向中已知的九个预测方向的集合。箭头会聚的点(101)表示正在被预测的样本。箭头表示样本正在被预测的方向。例如，箭头(102)表示根据右上方与水平方向成45度角的一个或多个样本，预测样本(101)。类似地，箭头(103)表示根据右下方与水平方向成22.5度角的一个或多个样本，预测样本(101)。

　　仍然参考图1，在右上方示出了一个包括4×4个样本的正方形块(104)(由粗虚线表示)。正方形块(104)包括16个样本，每个样本用“S”、以及其在Y维度上的位置(例如行索引)和在X纬度上的位置(例如列索引)来标记。例如，样本S21是Y维度上的第二个样本(从顶部开始)和X维度上的第一个(从左侧开始)样本。类似地，样本S44在Y维度和X维度上都是块(104)中的第四个样本。由于该块为4×4大小的样本，因此S44位于右下角。还示出了遵循类似编号方案的参考样本。参考样本用"R"、以及其相对于块(104)的Y位置(例如行索引)和X位置(例如列索引)来标记。在H.264与H.265中，预测样本与正在重建的块相邻，因此不需要使用负值。

　　通过从信号通知的预测方向所占用的相邻样本来复制参考样本值，可以进行帧内图片预测。例如，假设编码视频比特流包括信令，对于该块，该信令指示与箭头(102)一致的预测方向，即，根据右上方与水平方向成45度角的一个或多个预测样本来预测样本。在这种情况下，根据同一参考样本R05，预测样本S41、S32、S23和S14。然后，根据参考样本R08，预测样本S44。

　　在某些情况下，例如通过内插，可以合并多个参考样本的值，以便计算参考样本，尤其是当方向不能被45度整除时。

　　随着视频编码技术的发展，可能的方向的数量已经增加了。在H.264(2003年)中，可以表示九种不同的方向。在H.265(2013年)和JEM/VVC/BMS中增加到了33个，而在此公开时，可以支持多达65个方向。已经进行了实验来识别最可能的方向，并且熵编码中的某些技术被用于使用少量比特来表示那些可能的方向，对于较不可能的方向则接受某些代价。此外，有时可以根据在相邻的、已经解码的块中所使用的相邻方向来预测方向本身。

　　表示方向的编码视频比特流中的帧内预测方向比特的映射可以因视频编码技术的不同而不同，并且，例如可以从对帧内预测模式到码字的预测方向的简单直接映射，到包括最可能的模式和类似技术的复杂的自适应方案。然而，在所有情况下，视频内容中可能存在某些方向，其在统计学上比其它方向更不可能出现。由于视频压缩的目的是减少冗余，所以在运行良好的视频编码技术中，与更可能的方向相比，那些不太可能的方向将使用更多数量的比特来表示。

　　发明内容

　　本公开的方面提供了视频解码的方法和装置。在一些实施例中，一种装置包括接收电路和处理电路。处理电路从编码视频比特流中解码块的预测信息，所述预测信息指示从多个可能的参考线中选定的参考线以及从与所述参考线相关联的可能的帧内预测模式的集合中选择的帧内预测模式。然后处理电路根据所述帧内预测模式和所述参考线中的至少一个参考样本重建所述块的至少一个样本。

　　在一些实施例中，所述预测信息指示非零参考线，并且相比于与零参考线相关联的可能的帧内预测模式的第二集合，与所述非零参考线相关联的可能的帧内预测模式的第一集合具有较小数量的可能的帧内预测模式。在一个示例中，所述可能的帧内预测模式的第一集合包括具有偶数模式索引的方向帧内预测模式。在另一个示例中，所述可能的帧内预测模式的第一集合缺少具有奇数模式索引的方向帧内预测模式。在一些示例中，所述可能的帧内预测模式的第一集合包括DC和平面模式。

　　在实施例中，所述可能的帧内预测模式的第一集合仅包括最可能模式。在一个示例中，所述可能的帧内预测模式的第一集合包括从具有偶数模式索引的方向帧内预测模式导出的最可能模式。

　　在一些实施例中，处理电路对指示所述帧内预测模式的第一信号进行解码，并且基于所述帧内预测模式对用于所述参考线的第二信号进行选择性地解码。在一个示例中，当所述帧内预测模式是具有偶数模式索引的方向帧内预测模式时，处理电路对所述第一信号之后接收的所述第二信号进行解码以确定所述参考线。然后，当所述帧内预测模式是具有奇数模式索引的方向帧内预测模式、平面模式和DC模式之一时，处理电路确定所述参考线为默认参考线。

　　在另一个示例中，当所述帧内预测模式是最可能模式之一时，处理电路对所述第一信号之后接收的所述第二信号进行解码以确定所述参考线。然后，当所述帧内预测模式不是最可能模式之一时，处理电路确定所述参考线为默认参考线。

　　本公开的方面还提供了一种非易失性计算机可读存储介质，用于存储指令，当所述指令由用于视频解码的计算机执行时，使得所述计算机执行所述视频解码的方法。

　　附图说明

　　根据以下详细描述和附图，所公开的主题的其它特征、性质和各种优点将进一步明确，其中：

　　图1是根据H.265的帧内预测模式的子集的示意图。

　　图2是根据一实施例的通信系统(200)的简化框图的示意图。

　　图3是根据一实施例的通信系统(300)的简化框图的示意图。

　　图4是根据一实施例的解码器的简化框图的示意图。

　　图5是根据一实施例的编码器的简化框图的示意图。

　　图6示出了根据另一实施例的编码器的框图。

　　图7示出了根据另一实施例的解码器的框图。

　　图8示出了描述65个帧内预测方向的示意图801。

　　图9示出了根据本公开的实施例的多参考线帧内方向预测的示意图900。

　　图10A和10B示出了根据本公开的实施例的用于预测的权重的示例。

　　图11示出了基于相邻样本导出照明补偿(IC)参数的示意图。

　　图12示出了根据本公开的实施例的用于垂直预测的边界滤波的示意图。

　　图13示出了根据示例的当前块的相邻块的示意图。

　　图14示出了根据本公开的实施例的概述一过程示例的流程图。

　　图15是根据一实施例的计算机系统的示意图。

　　具体实施方式

　　图2是根据本公开的实施例的通信系统(200)的简化框图。通信系统(200)包括多个终端装置，所述终端装置可通过例如网络(250)彼此通信。举例来说，通信系统(200)包括通过网络(250)互连的第一对终端装置(210)和终端装置(220)。在图2的实施例中，第一对终端装置(210)和终端装置(220)执行单向数据传输。举例来说，终端装置(210)可对视频数据(例如由终端装置(210)采集的视频图片流)进行编码以通过网络(250)传输到另一终端装置(220)。已编码的视频数据以一个或多个已编码视频码流形式传输。终端装置(220)可从网络(250)接收已编码视频数据，对已编码视频数据进行解码以恢复视频数据，并根据恢复的视频数据显示视频图片。单向数据传输在媒体服务等应用中是较常见的。

　　在另一实施例中，通信系统(200)包括执行已编码视频数据的双向传输的第二对终端装置(230)和(240)，所述双向传输可例如在视频会议期间发生。对于双向数据传输，在一个示例中，终端装置(230)和(240)中的每个终端装置可对视频数据(例如由终端装置采集的视频图片流)进行编码，以通过网络(250)传输到终端装置(230)和(240)中的另一终端装置。终端装置(230)和(240)中的每个终端装置还可接收由终端装置(230)和(240)中的另一终端装置传输的已编码视频数据，且可对所述已编码视频数据进行解码以恢复视频数据，且可根据恢复的视频数据在可访问的显示装置上显示视频图片。

　　在图2的实施例中，终端装置(210)、(220)、(230)和(240)可为服务器、个人计算机和智能电话，但本公开的原理可不限于此。本公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(250)表示在终端装置(210)、(220)、(230)和(240)之间传送已编码视频数据的任何数目的网络，包括例如有线(连线的)和/或无线通信网络。通信网络(250)可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本公开的目的，除非在下文中有所解释，否则网络(250)的架构和拓扑对于本公开的操作来说可能是无关紧要的。

　　作为实施例，图3示出视频编码器和视频解码器在流式传输环境中的放置方式。所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。

　　流式传输系统可包括采集子系统(313)，所述采集子系统可包括数码相机等视频源(301)，所述视频源创建未压缩的视频图片流(302)。在实施例中，视频图片流(302)包括由数码相机拍摄的样本。相较于已编码的视频数据(304)(或已编码的视频码流)，视频图片流(302)被描绘为粗线以强调高数据量的视频图片流，视频图片流(302)可由电子装置(320)处理，所述电子装置(320)包括耦接到视频源(301)的视频编码器(303)。视频编码器(303)可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流(302)，已编码的视频数据(304)(或已编码的视频码流(304))被描绘为细线以强调较低数据量的已编码的视频数据(304)(或已编码的视频码流(304))，其可存储在流式传输服务器(305)上以供将来使用。一个或多个流式传输客户端子系统，例如图3中的客户端子系统(306)和客户端子系统(308)，可访问流式传输服务器(305)以检索已编码的视频数据(304)的副本(307)和副本(309)。客户端子系统(306)可包括例如电子装置(330)中的视频解码器(310)。视频解码器(310)对已编码的视频数据的传入副本(307)进行解码，且产生可在显示器(312)(例如显示屏)或另一呈现装置(未描绘)上呈现的输出视频图片流(311)。在一些流式传输系统中，可根据某些视频编码/压缩标准对已编码的视频数据(304)、视频数据(307)和视频数据(309)(例如视频码流)进行编码。该些标准的实施例包括ITU-T H.265。在实施例中，正在开发的视频编码标准非正式地称为下一代视频编码(Versatile Video Coding，VVC)，所公开的主题可用于VVC标准的上下文中。

　　应注意，电子装置(320)和电子装置(330)可包括其它组件(未示出)。举例来说，电子装置(320)可包括视频解码器(未示出)，且电子装置(330)还可包括视频编码器(未示出)。

　　图4是根据本公开的实施例的视频解码器(410)的框图。视频解码器(410)可设置在电子装置(430)中。电子装置(430)可包括接收器(431)(例如接收电路)。视频解码器(410)可用于代替图3实施例中的视频解码器(310)。

　　接收器(431)可接收将由视频解码器(410)解码的一个或多个已编码视频序列；在同一实施例或另一实施例中，一次接收一个已编码视频序列，其中每个已编码视频序列的解码独立于其它已编码视频序列。可从信道(401)接收已编码视频序列，所述信道可以是通向存储已编码的视频数据的存储装置的硬件/软件链路。接收器(431)可接收已编码的视频数据以及其它数据，例如，可转发到它们各自的使用实体(未标示)的已编码音频数据和/或辅助数据流。接收器(431)可将已编码视频序列与其它数据分开。为了防止网络抖动，缓冲存储器(415)可耦接在接收器(431)与熵解码器/解析器(420)(此后称为“解析器(420)”)之间。在某些应用中，缓冲存储器(415)是视频解码器(410)的一部分。在其它情况下，所述缓冲存储器(415)可设置在视频解码器(410)外部(未标示)。而在其它情况下，视频解码器(410)的外部设置缓冲存储器(未标示)以例如防止网络抖动，且在视频解码器(410)的内部可配置另一缓冲存储器(415)以例如处理播出定时。而当接收器(431)从具有足够带宽和可控性的存储/转发装置或从等时同步网络接收数据时，也可能不需要配置缓冲存储器(415)，或可以将所述缓冲存储器做得较小。当然，为了在互联网等业务分组网络上使用，也可能需要缓冲存储器(415)，所述缓冲存储器可相对较大且可具有自适应性大小，且可至少部分地实施于操作系统或视频解码器(410)外部的类似元件(未标示)中。

　　视频解码器(410)可包括解析器(420)以根据已编码视频序列重建符号(421)。这些符号的类别包括用于管理视频解码器(410)的操作的信息，以及用以控制显示装置(412)(例如，显示屏)等显示装置的潜在信息，所述显示装置不是电子装置(430)的组成部分，但可耦接到电子装置(430)，如图4中所示。用于显示装置的控制信息可以是辅助增强信息(Supplemental Enhancement Information，SEI消息)或视频可用性信息(VideoUsability Information，VUI)的参数集片段(未标示)。解析器(420)可对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可根据视频编码技术或标准进行，且可遵循各种原理，包括可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文灵敏度的算术编码等等。解析器(420)可基于对应于群组的至少一个参数，从已编码视频序列提取用于视频解码器中的像素的子群中的至少一个子群的子群参数集。子群可包括图片群组(Group of Pictures，GOP)、图片、图块、条带、宏块、编码单元(Coding Unit，CU)、块、变换单元(Transform Unit，TU)、预测单元(Prediction Unit，PU)等等。解析器(420)还可从已编码视频序列提取信息，例如变换系数、量化器参数值、运动矢量等等。

　　解析器(420)可对从缓冲存储器(415)接收的视频序列执行熵解码/解析操作，从而创建符号(421)。

　　取决于已编码视频图片或一部分已编码视频图片(例如：帧间图片和帧内图片、帧间块和帧内块)的类型以及其它因素，符号(421)的重建可涉及多个不同单元。涉及哪些单元以及涉及方式可由解析器(420)从已编码视频序列解析的子群控制信息控制。为了简洁起见，未描述解析器(420)与下文的多个单元之间的此类子群控制信息流。

　　除已经提及的功能块以外，视频解码器(410)可在概念上细分成如下文所描述的数个功能单元。在商业约束下运行的实际实施例中，这些单元中的许多单元彼此紧密交互并且可以彼此集成。然而，出于描述所公开主题的目的，概念上细分成下文的功能单元是适当的。

　　第一单元是缩放器/逆变换单元(451)。缩放器/逆变换单元(451)从解析器(420)接收作为符号(421)的量化变换系数以及控制信息，包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(451)可输出包括样本值的块，所述样本值可输入到聚合器(455)中。

　　在一些情况下，缩放器/逆变换单元(451)的输出样本可属于帧内编码块；即：不使用来自先前重建的图片的预测性信息，但可使用来自当前图片的先前重建部分的预测性信息的块。此类预测性信息可由帧内图片预测单元(452)提供。在一些情况下，帧内图片预测单元(452)采用从当前图片缓冲器(458)提取的已重建信息生成大小和形状与正在重建的块相同的周围块。举例来说，当前图片缓冲器(458)缓冲部分重建的当前图片和/或完全重建的当前图片。在一些情况下，聚合器(455)基于每个样本，将帧内预测单元(452)生成的预测信息添加到由缩放器/逆变换单元(451)提供的输出样本信息中。

　　在其它情况下，缩放器/逆变换单元(451)的输出样本可属于帧间编码和潜在运动补偿块。在此情况下，运动补偿预测单元(453)可访问参考图片存储器(457)以提取用于预测的样本。在根据符号(421)对提取的样本进行运动补偿之后，这些样本可由聚合器(455)添加到缩放器/逆变换单元(451)的输出(在这种情况下被称作残差样本或残差信号)，从而生成输出样本信息。运动补偿预测单元(453)从参考图片存储器(457)内的地址获取预测样本可受到运动矢量控制，且所述运动矢量以所述符号(421)的形式而供运动补偿预测单元(453)使用，所述符号(421)例如是包括X、Y和参考图片分量。运动补偿还可包括在使用子样本精确运动矢量时，从参考图片存储器(457)提取的样本值的内插、运动矢量预测机制等等。

　　聚合器(455)的输出样本可在环路滤波器单元(456)中被各种环路滤波技术采用。视频压缩技术可包括环路内滤波器技术，所述环路内滤波器技术受控于包括在已编码视频序列(也称作已编码视频码流)中的参数，且所述参数作为来自解析器(420)的符号(421)可用于环路滤波器单元(456)。然而，在其他实施例中，视频压缩技术还可响应于在解码已编码图片或已编码视频序列的先前(按解码次序)部分期间获得的元信息，以及响应于先前重建且经过环路滤波的样本值。

　　环路滤波器单元(456)的输出可以是样本流，所述样本流可输出到显示装置(412)以及存储在参考图片存储器(457)，以用于后续的帧间图片预测。

　　一旦完全重建，某些已编码图片就可用作参考图片以用于将来预测。举例来说，一旦对应于当前图片的已编码图片被完全重建，且已编码图片(通过例如解析器(420))被识别为参考图片，则当前图片缓冲器(458)可变为参考图片存储器(457)的一部分，且可在开始重建后续已编码图片之前重新分配新的当前图片缓冲器。

　　视频解码器(410)可根据例如ITU-T H.265标准中的预定视频压缩技术执行解码操作。在已编码视频序列遵循视频压缩技术或标准的语法以及视频压缩技术或标准中记录的配置文件的意义上，已编码视频序列可符合所使用的视频压缩技术或标准指定的语法。具体地说，配置文件可从视频压缩技术或标准中可用的所有工具中选择某些工具作为在所述配置文件下可供使用的仅有工具。对于合规性，还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，层级限制最大图片大小、最大帧率、最大重建取样率(以例如每秒兆(mega)个样本为单位进行测量)、最大参考图片大小等。在一些情况下，由层级设定的限制可通过假想参考解码器(Hypothetical ReferenceDecoder，HRD)规范和在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。

　　在实施例中，接收器(431)可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器(410)用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可呈例如时间、空间或信噪比(signal noise ratio，SNR)增强层、冗余条带、冗余图片、前向纠错码等形式。

　　图5是根据本公开的实施例的视频编码器(503)的框图。视频编码器(503)设置于电子装置(520)中。电子装置(520)包括传输器(540)(例如传输电路)。视频编码器(503)可用于代替图3实施例中的视频编码器(303)。

　　视频编码器(503)可从视频源(501)(并非图5实施例中的电子装置(520)的一部分)接收视频样本，所述视频源可采集将由视频编码器(503)编码的视频图像。在另一实施例中，视频源(501)是电子装置(520)的一部分。

　　视频源(501)可提供将由视频编码器(503)编码的呈数字视频样本流形式的源视频序列，所述数字视频样本流可具有任何合适位深度(例如：8位、10位、12位……)、任何色彩空间(例如BT.601Y CrCB、RGB……)和任何合适取样结构(例如Y CrCb4:2:0、Y CrCb 4:4:4)。在媒体服务系统中，视频源(501)可以是存储先前已准备的视频的存储装置。在视频会议系统中，视频源(501)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图片，当按顺序观看时，这些图片被赋予运动。图片自身可构建为空间像素阵列，其中取决于所用的取样结构、色彩空间等，每个像素可包括一个或多个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。

　　根据实施例，视频编码器(503)可实时或在由应用所要求的任何其它时间约束下，将源视频序列的图片编码且压缩成已编码视频序列(543)。施行适当的编码速度是控制器(550)的一个功能。在一些实施例中，控制器(550)控制如下文所描述的其它功能单元且在功能上耦接到这些单元。为了简洁起见，图中未标示耦接。由控制器(550)设置的参数可包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值等)、图片大小、图片群组(group of pictures，GOP)布局，最大运动矢量搜索范围等。控制器(550)可用于具有其它合适的功能，这些功能涉及针对某一系统设计优化的视频编码器(503)。

　　在一些实施例中，视频编码器(503)在编码环路中进行操作。作为简单的描述，在实施例中，编码环路可包括源编码器(530)(例如，负责基于待编码的输入图片和参考图片创建符号，例如符号流)和嵌入于视频编码器(503)中的(本地)解码器(533)。解码器(533)以类似于(远程)解码器创建样本数据的方式重建符号以创建样本数据(因为在公开的主题中所考虑的视频压缩技术中，符号与已编码视频码流之间的任何压缩是无损的)。将重建的样本流(样本数据)输入到参考图片存储器(534)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果，因此参考图片存储器(534)中的内容在本地编码器与远程编码器之间也是按比特位精确对应的。换句话说，编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。这种参考图片同步性基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)也用于一些相关技术。

　　“本地”解码器(533)的操作可与例如已在上文结合图4详细描述视频解码器(410)的“远程”解码器相同。然而，另外简要参考图4，当符号可用且熵编码器(545)和解析器(420)能够无损地将符号编码/解码为已编码视频序列时，包括缓冲存储器(415)和解析器(420)在内的视频解码器(410)的熵解码部分，可能无法完全在本地解码器(533)中实施。

　　此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式存在于对应的编码器中。出于此原因，所公开的主题侧重于解码器操作。可简化编码器技术的描述，因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述，并且在下文提供。

　　在操作期间，在一些实施例中，源编码器(530)可执行运动补偿预测编码。参考来自视频序列中被指定为“参考图片”的一个或多个先前已编码图片，所述运动补偿预测编码对输入图片进行预测性编码。以此方式，编码引擎(532)对输入图片的像素块与参考图片的像素块之间的差异进行编码，所述参考图片可被选作所述输入图片的预测参考。

　　本地视频解码器(533)可基于源编码器(530)创建的符号，对可指定为参考图片的已编码视频数据进行解码。编码引擎(532)的操作可为有损过程。当已编码视频数据可在视频解码器(图5中未示)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(533)复制解码过程，所述解码过程可由视频解码器对参考图片执行，且可使重建的参考图片存储在参考图片高速缓存(534)中。以此方式，视频编码器(503)可在本地存储重建的参考图片的副本，所述副本与将由远端视频解码器获得的重建参考图片具有共同内容(不存在传输误差)。

　　预测器(535)可针对编码引擎(532)执行预测搜索。即，对于将要编码的新图片，预测器(535)可在参考图片存储器(534)中搜索可作为所述新图片的适当预测参考的样本数据(作为候选参考像素块)或某些元数据，例如参考图片运动矢量、块形状等。预测器(535)可基于样本块逐像素块操作，以找到合适的预测参考。在一些情况下，根据预测器(535)获得的搜索结果，可确定输入图片可具有从参考图片存储器(534)中存储的多个参考图片取得的预测参考。

　　控制器(550)可管理源编码器(530)的编码操作，包括例如设置用于对视频数据进行编码的参数和子群参数。

　　可在熵编码器(545)中对所有上述功能单元的输出进行熵编码。熵编码器(545)根据本领域技术人员已知的，例如霍夫曼编码、可变长度编码、算术编码等技术对各种功能单元生成的符号进行无损压缩，从而将所述符号转换成已编码视频序列。

　　传输器(540)可缓冲由熵编码器(545)创建的已编码视频序列，从而为通过通信信道(560)进行传输做准备，所述通信信道可以是通向将存储已编码的视频数据的存储装置的硬件/软件链路。传输器(540)可将来自视频编码器(503)的已编码视频数据与要传输的其它数据合并，所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。

　　控制器(550)可管理视频编码器(503)的操作。在编码期间，控制器(550)可以为每个已编码图片分配某一已编码图片类型，但这可能影响可应用于相应的图片的编码技术。例如，通常可将图片分配为以下任一种图片类型：

　　帧内图片(I图片)，其可以是不将序列中的任何其它图片用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新(Independent Decoder Refresh，“IDR”)图片。所属领域的技术人员了解I图片的变体及其相应的应用和特征。

　　预测性图片(P图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。

　　双向预测性图片(B图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地，多个预测性图片可使用多于两个参考图片和相关联元数据以用于重建单个块。

　　源图片通常可在空间上细分成多个样本块(例如，4×4、8×8、4×8或16×16个样本的块)，且逐块进行编码。这些块可参考其它(已编码)块进行预测编码，根据应用于块的相应图片的编码分配来确定所述其它块。举例来说，I图片的块可进行非预测编码，或所述块可参考同一图片的已经编码的块来进行预测编码(空间预测或帧内预测)。P图片的像素块可参考一个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。B图片的块可参考一个或两个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。

　　视频编码器(503)可根据例如ITU-T H.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器(503)可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此，已编码视频数据可符合所用视频编码技术或标准指定的语法。

　　在实施例中，传输器(540)可在传输已编码的视频时传输附加数据。源编码器(530)可将此类数据作为已编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、冗余图片和条带等其它形式的冗余数据、补充增强信息(SEI)消息、视觉可用性信息(VUI)参数集片段等。

　　采集到的视频可作为呈时间序列的多个源图片(视频图片)。帧内图片预测(常常简化为帧内预测)利用给定图片中的空间相关性，而帧间图片预测则利用图片之间的(时间或其它)相关性。在实施例中，将正在编码/解码的特定图片分割成块，正在编码/解码的特定图片被称作当前图片。在当前图片中的块类似于视频中先前已编码且仍被缓冲的参考图片中的参考块时，可通过称作运动矢量的矢量对当前图片中的块进行编码。所述运动矢量指向参考图片中的参考块，且在使用多个参考图片的情况下，所述运动矢量可具有识别参考图片的第三维度。

　　在一些实施例中，双向预测技术可用于帧间图片预测中。根据双向预测技术，使用两个参考图片，例如按解码次序都在视频中的当前图片之前(但按显示次序可能分别是过去和将来)第一参考图片和第二参考图片。可通过指向第一参考图片中的第一参考块的第一运动矢量和指向第二参考图片中的第二参考块的第二运动矢量对当前图片中的块进行编码。具体来说，可通过第一参考块和第二参考块的组合来预测所述块。

　　此外，合并模式技术可用于帧间图片预测中以改善编码效率。

　　根据本公开的一些实施例，帧间图片预测和帧内图片预测等预测的执行以块为单位。举例来说，根据HEVC标准，将视频图片序列中的图片分割成编码树单元(coding treeunit，CTU)以用于压缩，图片中的CTU具有相同大小，例如64×64像素、32×32像素或16×16像素。一般来说，CTU包括三个编码树块(coding tree block，CTB)，所述三个编码树块是一个亮度CTB和两个色度CTB。更进一步的，还可将每个CTU以四叉树拆分为一个或多个编码单元(coding unit，CU)。举例来说，可将64×64像素的CTU拆分为一个64×64像素的CU，或4个32×32像素的CU，或16个16×16像素的CU。在实施例中，分析每个CU以确定用于CU的预测类型，例如帧间预测类型或帧内预测类型。此外，取决于时间和/或空间可预测性，将CU拆分为一个或多个预测单元(prediction unit，PU)。通常，每个PU包括亮度预测块(predictionblock，PB)和两个色度PB。在实施例中，编码(编码/解码)中的预测操作以预测块为单位来执行。以亮度预测块作为预测块为例，预测块包括像素值(例如，亮度值)的矩阵，例如8×8像素、16×16像素、8×16像素、16×8像素等等。

　　图6是根据本公开的另一实施例的视频编码器(603)的图。视频编码器(603)用于接收视频图片序列中的当前视频图片内的样本值的处理块(例如预测块)，且将所述处理块编码到作为已编码视频序列的一部分的已编码图片中。在本实施例中，视频编码器(603)用于代替图3实施例中的视频编码器(303)。

　　在HEVC实施例中，视频编码器(603)接收用于处理块的样本值的矩阵，所述处理块为例如8×8样本的预测块等。视频编码器(603)使用例如率失真(rate-distortion)优化来确定是否使用帧内模式、帧间模式或双向预测模式来编码所述处理块。当在帧内模式中编码处理块时，视频编码器(603)可使用帧内预测技术以将处理块编码到已编码图片中；且当在帧间模式或双向预测模式中编码处理块时，视频编码器(603)可分别使用帧间预测或双向预测技术将处理块编码到已编码图片中。在某些视频编码技术中，合并模式可以是帧间图片预测子模式，其中，在不借助预测值外部的已编码运动矢量分量的情况下，从一个或多个运动矢量预测值导出运动矢量。在某些其它视频编码技术中，可存在适用于主题块的运动矢量分量。在实施例中，视频编码器(603)包括其它组件，例如用于确定处理块模式的模式决策模块(未示出)。

　　在图6的实施例中，视频编码器(603)包括如图6所示的耦接到一起的帧间编码器(630)、帧内编码器(622)、残差计算器(623)、开关(626)、残差编码器(624)、通用控制器(621)和熵编码器(625)。

　　帧间编码器(630)用于接收当前块(例如处理块)的样本、比较所述块与参考图片中的一个或多个参考块(例如先前图片和后来图片中的块)、生成帧间预测信息(例如根据帧间编码技术的冗余信息描述、运动矢量、合并模式信息)、以及基于帧间预测信息使用任何合适的技术计算帧间预测结果(例如已预测块)。在一些实施例中，参考图片是基于已编码的视频信息解码的已解码参考图片。

　　帧内编码器(622)用于接收当前块(例如处理块)的样本、在一些情况下比较所述块与同一图片中已编码的块、在变换之后生成量化系数、以及在一些情况下还(例如根据一个或多个帧内编码技术的帧内预测方向信息)生成帧内预测信息。在实施例中，帧内编码器(622)还基于帧内预测信息和同一图片中的参考块计算帧内预测结果(例如已预测块)。

　　通用控制器(621)用于确定通用控制数据，且基于所述通用控制数据控制视频编码器(603)的其它组件。在实施例中，通用控制器(621)确定块的模式，且基于所述模式将控制信号提供到开关(626)。举例来说，当所述模式是帧内模式时，通用控制器(621)控制开关(626)以选择供残差计算器(623)使用的帧内模式结果，且控制熵编码器(625)以选择帧内预测信息且将所述帧内预测信息添加在码流中；以及当所述模式是帧间模式时，通用控制器(621)控制开关(626)以选择供残差计算器(623)使用的帧间预测结果，且控制熵编码器(625)以选择帧间预测信息且将所述帧间预测信息添加在码流中。

　　残差计算器(623)用于计算所接收的块与选自帧内编码器(622)或帧间编码器(630)的预测结果之间的差(残差数据)。残差编码器(624)用于基于残差数据操作，以对残差数据进行编码以生成变换系数。在实施例中，残差编码器(624)用于将残差数据在频域中进行转换，且生成变换系数。变换系数接着经由量化处理以获得量化的变换系数。在各种实施例中，视频编码器(603)还包括残差解码器(628)。残差解码器(628)用于执行逆变换，且生成已解码残差数据。已解码残差数据可适当地由帧内编码器(622)和帧间编码器(630)使用。举例来说，帧间编码器(630)可基于已解码残差数据和帧间预测信息生成已解码块，且帧内编码器(622)可基于已解码残差数据和帧内预测信息生成已解码块。适当处理已解码块以生成已解码图片，且在一些实施例中，所述已解码图片可在存储器电路(未示出)中缓冲并用作参考图片。

　　熵编码器(625)用于将码流格式化以产生已编码的块。熵编码器(625)根据HEVC标准等合适标准产生各种信息。在实施例中，熵编码器(625)用于获得通用控制数据、所选预测信息(例如帧内预测信息或帧间预测信息)、残差信息和码流中的其它合适的信息。应注意，根据所公开的主题，当在帧间模式或双向预测模式的合并子模式中对块进行编码时，不存在残差信息。

　　图7是根据本公开的另一实施例的视频解码器(710)的图。视频解码器(710)用于接收作为已编码视频序列的一部分的已编码图像，且对所述已编码图像进行解码以生成重建的图片。在实施例中，视频解码器(710)用于代替图3实施例中的视频解码器(310)。

　　在图7实施例中，视频解码器(710)包括如图7中所示耦接到一起的熵解码器(771)、帧间解码器(780)、残差解码器(773)、重建模块(774)和帧内解码器(772)。

　　熵解码器(771)可用于根据已编码图片来重建某些符号，这些符号表示构成所述已编码图片的语法元素。此类符号可包括例如用于对所述块进行编码的模式(例如帧内模式、帧间模式、双向预测模式、后两者的合并子模式或另一子模式)、可分别识别供帧内解码器(772)或帧间解码器(780)用以进行预测的某些样本或元数据的预测信息(例如帧内预测信息或帧间预测信息)、呈例如量化的变换系数形式的残差信息等等。在实施例中，当预测模式是帧间或双向预测模式时，将帧间预测信息提供到帧间解码器(780)；以及当预测类型是帧内预测类型时，将帧内预测信息提供到帧内解码器(772)。残差信息可经由逆量化并提供到残差解码器(773)。

　　帧间解码器(780)用于接收帧间预测信息，且基于所述帧间预测信息生成帧间预测结果。

　　帧内解码器(772)用于接收帧内预测信息，且基于所述帧内预测信息生成预测结果。

　　残差解码器(773)用于执行逆量化以提取解量化的变换系数，且处理所述解量化的变换系数，以将残差从频域转换到空间域。残差解码器(773)还可能需要某些控制信息(用以获得量化器参数QP)，且所述信息可由熵解码器(771)提供(未标示数据路径，因为这仅仅是低量控制信息)。

　　重建模块(774)用于在空间域中组合由残差解码器(773)输出的残差与预测结果(可由帧间预测模块或帧内预测模块输出)以形成重建的块，所述重建的块可以是重建的图片的一部分，所述重建的图片继而可以是重建的视频的一部分。应注意，可执行解块操作等其它合适的操作来改善视觉质量。

　　应注意，可使用任何合适的技术来实施视频编码器(303)、视频编码器(503)和视频编码器(603)以及视频解码器(310)、视频解码器(410)和视频解码器(710)。在实施例中，可使用一个或多个集成电路来实施视频编码器(303)、视频编码器(503)和视频编码器(603)以及视频解码器(310)、视频解码器(410)和视频解码器(710)。在另一实施例中，可使用执行软件指令的一个或多个处理器来实施视频编码器(303)、视频编码器(503)和视频编码器(603)以及视频解码器(310)、视频解码器(410)和视频解码器(710)。

　　本公开的方面提供了多线帧内预测的技术。

　　为了捕获自然视频中呈现的任意边缘方向，可以扩展方向帧内模式的数量，例如从33扩展到65，等等。通常，平面和DC模式保持不变。这些较密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

　　图8示出了描述65个帧内预测方向的示意图801。在一些实施例中，使用总共67种帧内预测模式。在这67种帧内预测模式中，帧内预测模式0是平面模式，帧内预测模式1是DC模式，帧内预测模式2至帧内预测模式66分别对应于65个帧内预测方向，并且被称为方向帧内预测模式。如图8中所示，一些方向帧内预测模式由虚线箭头标识，并且与奇数帧内预测模式索引相关联，因此被称为奇数帧内预测模式。其他方向帧内预测模式由实线箭头标识，并且与偶数帧内预测模式索引相关联，因此被称为偶数帧内预测模式。在本文中，如图8中的实线或虚线箭头所指示的方向帧内预测模式也被称为角度模式。

　　在一个示例中，总共67种帧内预测模式用于亮度帧内预测。在一些实施例中，为了对当前块的帧内预测模式进行编码，基于当前块的相邻块的帧内预测模式构建尺寸为6的最可能模式(MPM)列表。例如，从相邻块的帧内预测模式中选择六种帧内预测模式以形成MPM列表。当当前块的帧内预测模式不在MPM列表中时，用信号通知一个标志来指示帧内预测模式是否属于MPM列表中的所选择的帧内预测模式。在另一个示例中，在MPM列表中存在16种选择的帧内预测模式，这16种选择的帧内预测模式是在角度模式中每四个角度模式被均匀选择的。在另一个示例中，导出16种二次最可能模式以代替均匀选择的帧内预测模式。

　　根据本公开的一些方面，用于预测当前块的参考样本不限于当前块的最近线(行或列)。在多参考线帧内预测的方法中，对于帧内方向模式，候选参考线(行或列)的索引号从零(即，最近)增加到N-1，其中N是等于或大于1的整数。在一些示例中，最近的参考线被称为零参考线，而其他参考线被称为非零参考线。在一些示例中，参考线也被称为参考层。

　　图9示出了根据本公开的实施例的多参考线帧内方向预测的示意图(900)。图(900)示出了具有多个参考层(例如N个参考层)的预测单元(910)(例如，4x4预测单元)。帧内方向模式可以任意选择N个参考层中的一个来生成预测器。在一个示例中，根据例如来自不同参考层的左上参考样本S0、S1、S2、S3、…、SN的其中之一生成预测器p(x，y)。用信号通知一个标志以指示为帧内方向模式选择哪个参考层。如果N被设置为0，则帧内方向预测方法与限于最近线的传统方法相同。在图9中，参考线由六个段以及左上参考样本组成。在本文中，参考层也被称作参考线。当前块单元内的左上像素的坐标是(0，0)，零参考线中的左上像素是(-1，-1)。

　　在一些示例中，对于亮度分量，在生成过程之前对用于生成帧内预测样本的相邻样本进行滤波。滤波由给定的帧内预测模式和变换块尺寸来控制。在一个示例中，当帧内预测模式是DC或变换块尺寸等于4x4时，不对相邻样本进行滤波。在另一个示例中，当给定的帧内预测模式和垂直模式(或水平模式)之间的距离大于预定阈值时，启用滤波过程。在一个示例中，对于相邻样本滤波，可以使用[1，2，1]滤波器和双线性滤波器。

　　在一些实施例中，在帧内预测中使用位置相关的帧内预测组合(PDPC)技术。PDPC是一种帧内预测技术，其调用未滤波的边界参考样本和具有已滤波的边界参考样本的HEVC型帧内预测的组合。在一个示例中，位于(x,y)处的每个预测样本pred[x][y]计算如下：

　　pred[x][y]＝(wL×R_(-1,y)+wT×R_(x,-1)+wTL×R_(-1,-1)+(64-wL-wT-wTL)×pred[x][y]+32)＞＞6 (等式1)

　　其中R_(x,-1)、R_(-1,y)分别表示位于当前样本(x,y)的顶部和左侧的未滤波的参考样本，R_(-1,-1)表示位于当前块的左上角的未滤波参考样本，并且wT、wL和wTL表示权重。权重由等式2-等式5来计算，width表示当前块的宽度，height表示当前块的高度：

　　wT＝32＞＞((y＜＜1)＞＞shift) (等式2)

　　wL＝32＞＞((x＜＜1)＞＞shift) (等式3)

　　wTL＝-(wL＞＞4)-(wT＞＞4) (等式4)

　　shift＝(log2(width)+log2(height)+2)＞＞2(等式5)

　　图10A示出了用于预测样本(0,0)的权重。在图10A的示例中，当前块是4x4块，宽度是4，高度也是4，因此移位是1。然后，wT是32，wL是32，并且wTL是-4。

　　图10B示出了用于预测样本(1,0)的权重。在图10B的示例中，当前块是4x4块，宽度是4，高度也是4，因此移位是1。然后，wT是32，wL是16，并且wTL是-3。

　　在一些示例中，使用局部照明补偿(LIC)。LIC基于用于照明变化的线性模型。基于缩放因子a和偏移b可以创建线性模型。缩放因子a和偏移b被称为照明补偿(IC)参数。针对每个帧间模式编码的编码单元(CU)，可以自适应地启用或禁用LIC。

　　图11示出了基于相邻样本导出照明补偿(IC)参数的示意图。图11示出了当前CU(1110)和参考块(1120)。在一个示例中，参考块(1120)位于具有当前CU(1110)的当前图片之前的参考图片中。用于当前CU(1110)的相邻样本被示为(1130)，用于参考块(1120)的相邻样本被示为(1140)。此外，在图11中，使用子采样技术来选择相邻样本的子集。例如，当使用2:1子采样时，从当前CU(1110)的相邻样本(1130)中选择子集(1150)，并从参考块(1120)的相邻样本(1140)中选择对应的子集(1160)。基于子集(1150)和子集(1160)，采用最小二乘误差法来导出IC参数a和b。

　　在一些实施例中，导出IC参数并分别应用于每个预测方向。当采用合并模式对CU进行编码时，以类似于合并模式中的运动信息复制的方式，从相邻块复制LIC标志；否则，向CU发信号通知LIC标志以指示是否应用LIC。

　　根据本公开的第一方面，对于多线帧内预测，不是为所有块设置相同数量的参考层，而是可以使用自适应地为每个块选择参考层的数量的技术。在本文中，最近参考线的索引表示为0。

　　在实施例中，上方/左侧块的块尺寸可用于确定当前块的参考层的数量。例如，当上方和/或左侧块的尺寸大于MxN时，当前块的参考层的数量被限制为L。M和N可以是4、8、16、32、64、128、256和512，L可以是1～8。在一个示例中，当M和/或N等于或大于64时，L被设置为1。在另一个示例中，上方候选参考行的数量和左侧候选参考列的数量的比率与块宽度与块高度的比率相同。例如，当当前块尺寸是MxN时，当前块上方的候选参考行的数量是m，当前块左侧的候选参考列的数量是n，则M:N＝m:n。

　　在另一个实施例中，左侧和上方块的最后系数的位置可用于确定当前块的参考层的数量。最后系数指的是当前块的指定扫描顺序中的最后非零系数。例如，当最后系数的位置在上方和/或左侧块的第一MxN区域内时，当前块的参考层的数量被限制为L(例如L可以是1～8)，M和N可以是1～1024。在一个示例中，当上方和/或左侧块中没有系数时，当前块的参考层的数量被限制为1。在另一个示例中，当上方和/或左侧块中的系数在2x2左上区域内时，当前块的参考层的数量被限制为1～2。

　　在另一个实施例中，上方和/或左侧块中的参考样本的像素值可用于确定当前块的参考层的数量。例如，当具有索引Li的参考线和具有索引Lj(Li<Lj)的参考线之间的差异非常小(例如，小于阈值)时，将从参考线列表中移除参考线Lj。Li和Lj可以是1～8。在某些情况下，因为所有参考线之间的差异非常小，所以将索引号大于0的参考线全部移除(零参考线保留)。测量两条参考线之间的差异的方法包括但不限于梯度、SATD、SAD、MSE、SNR和PSNR。在示例中，当Li和Lj的平均值SAD小于2时，将参考线Lj从参考线列表中移除。在另一个示例中，上方和/或左侧模式信息的预测模式可用于确定当前块的参考层的数量。在另一个示例中，当上方和/或左侧块的预测模式是跳过模式时，当前块的参考层的数量被限制为L。L可以是1～8。

　　根据本公开的第二方面，无论对于分离的树还是相同的树，色度块的参考线索引可以从亮度块导出。这里，最近参考线的索引表示为0。

　　对于相同的树，当共置的亮度块的参考线索引>＝2时，当前色度块的参考线索引设置为1。否则，当前色度块的参考线索引设置为0。

　　对于分离的树，当色度块仅覆盖亮度分量中的一个块时，参考线索引的推导算法与用于相同的树的算法相同。当色度块覆盖亮度分量中的多个块时，参考线索引的推导算法可以是示例之一。在一个示例中，对于亮度分量中的共置的块，当大多数块的参考线索引小于2时，导出当前色度块的参考线索引为0；否则，导出当前色度块的参考线索引为1。测量大多数的方法可以包括但不限于块的区域尺寸和块的数量。在另一个示例中，对于亮度分量中的共置的块，当一个块的参考线索引等于或大于2时，导出当前色度块的参考线索引为1；否则，导出当前色度块的参考线索引为0。在另一个示例中，对于亮度分量中的共置的块，当大多数块的参考线索引小于2时，导出当前色度块的参考线索引为0；否则，导出当前色度块的参考线索引为1。

　　在另一个实施例中，根据上述本公开的第一方面，限制当前色度块的参考层的数量。在应用根据本公开的第一方面的限制之后，参考层的数量被设置为LC1。然后，从亮度块导出色度块的参考线索引的推导算法也被应用以获得当前块LC2的行索引。然后，LC1和LC2中的最小值是当前色度块的最后的参考线索引。

　　根据本公开的第三方面，不同的参考线具有不同数量的帧内预测模式。最近参考线的索引表示为0。

　　在实施例中，当67种帧内预测模式用于帧内预测时，零参考线具有67种模式，第一参考线具有35种模式，第二参考线具有17种模式，第三参考线具有9种模式，等等。

　　在另一个实施例中，非零参考线共享相同数量的帧内模式，但是远少于零参考线的帧内模式，例如等于或小于零参考线的帧内预测模式的一半。

　　在一个示例中，对于非零参考线，仅允许具有偶数模式索引的方向帧内预测模式。如图8中所示，具有奇数模式索引的方向帧内预测模式用虚线箭头标记，而具有偶数模式索引的方向帧内预测模式用实线箭头标记。

　　在另一个示例中，对于非零参考线，仅允许具有偶数模式索引的方向帧内预测模式以及DC和平面模式。在另一个示例中，对于非零参考线，仅允许最可能模式(MPM)，包括第一级MPM和第二级MPM。

　　在另一个示例中，因为仅对偶数帧内预测模式启用非零参考线，所以当对帧内预测模式进行编码时，如果用信号通知非零索引，则将某些帧内预测模式(例如，平面模式、DC模式和奇数帧内预测模式)从MPM推导和MPM列表中移除，从第二级MPM推导和第二级MPM列表中移除，并且从剩余的非MPM模式列表中移除。

　　在另一个实施例中，在用信号通知帧内预测模式之后用信号通知参考线索引，并且是否用信号通知参考线索引取决于用信号通知的帧内预测模式。

　　在一个示例中，对于非零参考线，仅允许具有偶数模式索引的方向帧内预测模式。当用信号通知的帧内预测模式是具有偶数模式索引的方向预测时，用信号通知所选择的参考线索引；否则，对于帧内预测仅允许一个默认参考线(零参考线)，例如，最近参考线，并且不用信号通知索引。

　　在另一个示例中，对于非零参考线仅允许最可能模式(MPM)。当用信号通知的帧内预测来自MPM时，需要用信号通知所选择的参考线索引；否则，对于帧内预测仅允许一个默认参考线(零参考线)，例如，最近参考线，并且不用信号通知索引。

　　在另一个示例中，对于所有方向帧内预测模式，或所有帧内预测模式仍然启用非零参考线，并且帧内预测模式索引可用作用于对参考线索引进行熵编码的上下文。

　　在另一个实施例中，对于已经导出(未用信号通知)参考线索引的角度帧内预测模式，例如，奇数方向帧内预测模式和/或平面/DC，多线参考样本用于生成当前块的预测器。

　　在一个示例中，对于已经导出(未用信号通知)参考线索引的角度帧内预测模式，使用多个预测器的加权和来生成预测样本值。多个预测器中的每一个是使用多个参考线之一生成的预测。例如，加权和使用分别应用于第一参考线和第二参考线生成的预测器的{3，1}加权。在另一个示例中，加权取决于块尺寸、块宽度、块高度、待预测当前块内的样本位置、和/或帧内预测模式。

　　在另一个示例中，对于具有奇数索引的给定角度预测模式，使用零参考线生成一个预测块单元Pred1，并且使用第一参考线生成另一个预测块单元Pred2。然后，当前块单元中的每个像素的最终预测值是两个生成的预测块单元的加权和。这个过程可以由等式6来表示，其中Wi是用于同一块中的所有像素的相同值。无论帧内预测模式和块尺寸如何，或者取决于帧内预测模式和块尺寸，相同的技术可以适当地应用于不同的块。

　　在另一个实施例中，每个参考线的帧内预测模式的数量是通过该参考线中的参考样本之间的差异导出的。测量差异的技术包括但不限于梯度、SATD、SAD、MSE、SNR和PSNR。

　　在一个示例中，当参考样本的上方行和左列非常相似时，模式的数量可以减少到4、9、17或35种模式。在使用4种模式的示例中，四种模式是平面、DC、垂直模式(同一列)和水平模式(同一行)。

　　在另一个示例中，当仅参考样本的上方行非常相似时，对垂直类预测模式中的模式进行下采样。在特殊情况下，仅保留模式50，并且排除模式35～模式49以及模式51～模式66。为了使总的帧内预测模式为9、17或35，相应地减少水平方向的帧内预测模式。

　　在另一个示例中，当仅参考样本的左列非常相似时，对水平方向上的模式进行下采样。在特殊情况下，仅保留模式18，并且排除模式2～模式17以及模式19～模式33。为了使总的帧内预测模式为9、17或35，相应地减少垂直方向的帧内预测模式。

　　根据本公开的第四方面，基于当前参考线及其相邻参考线(多个)中的相邻样本平滑当前参考线中的样本。

　　在实施例中，对于当前参考线中的每个像素，参考线1至L中的所有像素可以用于平滑当前线中的像素。L是帧内预测的最大允许参考线数量，L可以是1至8。

　　在一个示例中，对于除边界像素之外的参考线中的每个像素，使用KxL滤波器来平滑每个像素。对于边界像素，使用1xL滤波器来平滑该像素。K可以是3、5或7。

　　可以对边界像素进行滤波或不进行滤波。当对边界像素进行滤波时，同一参考线中的每个边界像素使用相同的滤波器。不同的参考线中的边界像素可以使用不同的滤波器。例如，可以使用[3，2，2，1]滤波器对零参考线中的边界像素进行滤波，可以使用[2，3，2，1]滤波器对第一参考线中的边界像素进行滤波，可以使用[1，2，3，2]滤波器对第二参考线中的边界像素进行滤波，可以使用[1，2，2，3]滤波器对第三参考线中的边界像素进行滤波。

　　在另一个示例中，对于其他像素，每个参考线中的像素可以使用相同的滤波器，并且不同参考线中的像素可以使用不同的滤波器。可替换地，对于其他像素，不同位置的像素可以使用不同的滤波器。在一个示例中，滤波器是预定义的，并且编码器不需要用信号通知滤波器的索引。

　　在另一个示例中，对于每个参考线的滤波操作可以是帧内预测模式和变换尺寸相关的。仅当帧内预测模式和变换尺寸满足特定条件时才启用滤波操作。例如，当变换尺寸等于4x4或更小时，禁用滤波操作。

　　在另一个示例中，用于平滑每个像素的滤波器可以具有不规则的滤波器支撑形状，而不是矩形形状。滤波器支撑形状可以预定义，并且滤波器支撑形状可以取决于编码器和解码器都可用的任何信息，包括但不限于：参考线索引、帧内模式、块高度和/或宽度。

　　在另一个实施例中，对于零参考线中的每个像素，零参考线和第一参考线中的像素可以用于平滑该像素。对于第一参考线中的每个像素，零参考线、第一参考线和第二参考线中的像素可以用于平滑该像素。对于第二参考线中的每个像素，第一参考线、第二参考线和第三参考线中的像素可以用于平滑该像素。对于第三参考线中的每个像素，第二参考线和第四参考线中的像素可以用于平滑该像素。换句话说，当使用四个参考线时，基于两个参考线中的像素对零参考线和第三参考线中的像素进行滤波，并且对于第一参考线和第二参考线中的像素，3个参考线中的像素用来对每个像素进行滤波。

　　例如，第一参考线和第二参考线中的经滤波的像素可以通过等式7至等式10中的一个来计算，零参考线中的经滤波的像素可以通过等式11～等式15中的一个来计算，第三参考线中的经滤波的像素可以通过等式16～等式20来计算。此外，可以将舍入(例如舍入到零、舍入到正无穷大或舍入到负无穷大等)应用于滤波计算。

　　p′(x,y)＝(p(x-1,y)+p(x,y-1)+p(x,y+1)+p(x+1,y)+4×p(x,y))＞＞3(等式7)

　　p′(x,y)＝(p(x,y+1)-p(x,y-1)+p(x,y))(等式8)

　　p′(x,y)＝(p(x-1,y)+p(x-1,y-1)+p(x-1,y+1)+p(x,y-1)+p(x,y+1)+p(x+1,y-1)+p(x+1,y)+p(x+1,y+1)+8×p(x,y))＞＞4 (等式9)

　　p′(x,y)＝(p(x-1,y)+p(x,y-1)+p(x+1,y)+5*p(x,y))＞＞3 (等式11)

　　p′(x,y)＝(p(x-1,y)+p(x,y-1)+p(x+1,y)+p(x,y))＞＞2 (等式12)

　　p′(x,y)＝(2p(x,y)-p(x,y-1)) (等式13)

　　p′(x,y)＝(p(x-1,y)+p(x-1,y-1)+p(x,y-1)+p(x+1,y-1)+p(x+1,y)+3*p(x,y))＞＞3 (等式14)

　　p′(x,y)＝(p(x-1,y)+p(x,y+1)+p(x+1,y)+5*p(x,y))＞＞3 (等式16)

　　p′(x,y)＝(p(x-1,y)+p(x,y+1)+p(x+1,y)+p(x,y))＞＞2 (等式17)

　　p′(x,y)＝(2p(x,y)-p(x,y+1)) (等式18)

　　p′(x,y)＝(p(x-1,y)+p(x-1,y+1)+p(x,y+1)+p(x+1,y+1)+p(x+1,y)+3*p(x,y))＞＞3 (等式19)

　　根据本公开的第五方面，在当前块中，不同位置的样本可以使用具有不同线索引的参考样本的不同组合来进行预测。

　　在实施例中，对于给定的帧内预测模式，每个参考线i可以生成一个预测块Predi。对于当前块的不同位置处的像素，可以使用生成的预测块Predi的不同组合来计算不同位置处的像素，以生成最终预测块。具体而言，对于在位置(x，y)处的像素，可以使用等式21来计算预测值。

　　其中，Wi表示预测块Predi的权重，并且是位置相关的。换句话说，加权因子对于相同位置是相同的，并且加权因子对于不同位置是不同的。

　　在另一个实施例中，给定帧内预测模式时，对于每个样本，从多个参考线中选择参考样本的集合，并且计算所选择的参考样本的集合的加权和作为最终预测值。参考样本的选择可以取决于预测样本的帧内模式和位置，并且加权可以取决于预测样本的帧内模式和位置。

　　在另一个实施例中，当第K个参考线(K是正整数)用于帧内预测时，对于每个样本，比较零参考线和第K个参考线的预测值，并且当第K个参考线的预测值与零参考线的预测值非常不同(例如，大于阈值)时，则排除来自第K个参考线的预测值，并且可以替代地使用零参考线。测量当前位置的预测值和其相邻位置的预测值之间的差异的技术包括但不限于梯度、SATD、SAD、MSE、SNR和PSNR。在一个示例中，从不同的参考线生成多于2个预测值，并且使用中值(或平均或最频繁出现的值)作为样本的预测。

　　在另一个实施例中，当第K个参考线用于帧内预测时，对于每个样本，比较零参考线和第K个参考线的预测值，并且如果线1生成非常不同的预测值，则排除来自线x的预测值，并且可以替代地使用线1。测量当前位置的预测值和其相邻位置的预测值之间的差异的方式包括但不限于梯度、SATD、SAD、MSE、SNR和PSNR。

　　根据本公开的第六方面，在帧内预测之后，不是仅使用最近参考线中的像素，而是使用多个参考线中的像素对每个块的预测值进行滤波。例如，PDPC被扩展用于多线帧内预测。位于(x,y)处的每个预测样本pred[x][y]根据等式22进行计算：

　　其中m可以是-8至-2。

　　在一个示例中，最近的2线中的参考样本用于对当前块中的样本进行滤波。对于左上像素，仅使用第一行中的左上样本，例如等式23中示出的：

　　在另一个示例中，边界滤波器可以扩展到多个参考线。例如，在DC预测之后，通过相邻参考像素对前几列和前几行中的像素进行滤波。可以使用等式24对第一列中的像素进行滤波，可以使用等式25对第一行中的像素进行滤波：

　　在一些特殊情况下，可以使用等式26对第一列中的像素进行滤波，可以使用等式27对第一行中的像素进行滤波：

　　p′(0,y)＝p(0,y)+R-1,y-R-2,y(等式26)

　　p′(x,0)＝p(x,0)+Rx,-1-Rx,-2(等式27)

　　在另一个示例中，在垂直预测之后，可以使用等式28对前几列中的像素进行滤波；以及在水平预测之后，可以使用等式29对前几行中的像素进行滤波：

　　在另一个示例中，对于垂直/水平预测，当非零参考线用于生成预测样本时，零参考线和非零参考线中的对应像素用于边界滤波。

　　图12示出了根据本公开的实施例的用于垂直预测的边界滤波的示意图。在图12中，第一参考线用于生成当前块的预测样本，并且垂直方向上的像素(示为1220)用于垂直预测。在垂直预测之后，使用零参考线中具有对角线纹理的像素(示为1230)和第一参考线中具有对角线纹理的像素(示为1240)对当前块中的前几列进行滤波。垂直预测之后的滤波过程可以由等式30表示，其中m表示所选择的参考线索引，并且m可以是2～8。n是右移位的数量，可以是1～8。对于水平预测，滤波过程可以由等式31表示。

　　p′(x,y)＝p(x,y)+(p(-1,y)-p(-1,-m))＞＞n(等式30)

　　p′(x,y)＝p(x,y)+(p(x,-1)-p(-m,-1))＞＞n(等式31)

　　在另一个实施例中，当使用非零参考线时，在对角线预测(例如图8中的模式2和模式66)之后，沿着从零参考线到非零参考线的对角线方向的像素被用于对当前块的前几列/行中的像素进行滤波。具体而言，在模式2预测之后，可以使用等式32对前几行中的像素进行滤波。在模式66预测之后，可以使用等式33对前几列中的像素进行滤波。m表示当前块的非零参考线索引，并且可以是2～8。n是右移位的数量，并且可以是2～8。Wi是加权系数，并且是整数。

　　根据本公开的第七方面，对于多参考线帧内预测，针对非零参考线添加修改的DC和平面模式。在实施例中，对于平面模式，当使用不同的参考线时，使用不同的预定义的右上和左下参考样本生成预测样本。在另一个实施例中，当使用不同的参考线时，使用不同的帧内平滑滤波器。

　　在实施例中，对于DC模式，对于零参考线，使用上方行和左列中的所有像素计算DC值。对于非零参考线，仅使用一些像素计算DC值。例如，使用零参考线中的上方像素计算用于第一参考线的DC值，使用零参考线中的左侧像素计算用于第二参考线的DC值，使用零参考线中的左侧像素的一半和上方像素的一半计算用于第三参考线的DC值。在另一个实施例中，对于DC模式，使用所有可用的候选线(行和列)中的所有参考像素计算DC预测器。

　　根据本公开的第八方面，多参考线技术可以扩展到IC模式。在实施例中，使用多个上方/左侧参考线计算IC参数。在另一个实施例中，可以用信号通知用于计算IC参数的参考线。

　　根据本公开的第九方面，用信号通知参考线的索引。在实施例中，使用可变长度编码来用信号通知参考线索引。在距离上越接近当前块，码字就越短。例如，如果参考线索引是0、1、2、3，其中0最接近当前块，3最远，则用于它们的码字是1、01、001、000，其中0和1可以交替。

　　在另一个实施例中，使用固定长编码来用信号通知参考线索引。例如，如果参考线索引是0、1、2、3，其中0最接近当前块，3最远，则用于它们的码字是10、01、11、00，其中0和1可以交替，并且顺序可以改变。

　　在另一个实施例中，使用可变长度编码来用信号通知参考线索引，其中码字表中的索引的顺序(从最短码字到最长码字)如下：0、2、4、…2k、1、3、5、…2k+1(或2k-1)。索引0表示最接近当前块的参考线，2k+1是最远的。

　　在又一个实施例中，使用可变长度编码来用信号通知参考线索引，其中码字表中的索引的顺序(从最短码字到最长码字)如下：最接近、最远、第二最接近、第二最远、…等等。在一个特定的示例中，如果参考线索引是0、1、2、3，其中0最接近当前块，3最远，用于它们的码字对于索引0是0，对于索引3是10，对于索引2是110，对于索引1是111。用于参考线索引1和2的码字可以切换。码字中的0和1可以改变。

　　根据本公开的第十方面，当上方参考线(行)的数量不同于左侧参考线(列)的数量时，用信号通知参考线的索引。在实施例中，如果上方参考线(行)的数量是M并且左侧参考线(列)的数量是N，则max(M,N)的参考线索引可以使用上述任何信令技术，或它们的组合。min(M,N)的参考线索引从用于指示max(M,N)的参考线索引的码字中获取码字的子集，通常是较短的码字。例如，如果M＝4、N＝2，并且用于发信号通知M(4)参考线索引{0,1,2,3}的码字是1、01、001、000，则用于发信号通知N(2)参考线索引{0,1}的码字是1、01。

　　在另一个实施例中，如果上方参考线(行)的数量是M并且左侧参考线(列)的数量是N，并且如果M和N不同，则用于发信号通知上方参考线(行)索引和左侧参考线(列)索引的参考线索引可以是单独的，并且独立地使用上述任何信令技术或它们的组合。

　　根据本公开的第十一方面，可以用于帧内预测的参考线的最大数量可以被约束为不多于在其他编码工具(例如去块滤波器或基于模板匹配的帧内预测)中使用的参考线的数量，以便潜在地节约像素线缓冲器。

　　根据本公开的第十二方面，多线帧内预测和其他编码工具/模式可以相互作用。在实施例中，其他语法元素/编码工具/模式的使用和/或信令包括但不限于：cbf、最后位置、变换跳过、变换类型、第二变换索引、主变换索引、PDPC索引，可以取决于多线参考线索引。在一个示例中，当多线参考索引是非零时，不使用变换跳过，并且不用信号通知变换跳过标志。在另一个示例中，用于发信号通知其他编码工具的上下文(例如，变换跳过、cbf、主变换索引、二次变换索引)可以取决于多线参考索引的值。

　　在另一个实施例中，可以在其他语法元素(包括但不限于：cbf、最后位置、变换跳过、变换类型、二次变换索引、主变换索引、PDPC索引)之后用信号通知多线参考索引，并且多线参考索引的使用和/或信令可以取决于其他语法元素。

　　根据本公开的第十三方面，参考线索引可以用作用于对另一语法元素进行熵编码的上下文，包括但不限于帧内预测模式、MPM索引、主变换索引、二次变换索引、变换跳过标志、编码块标志(CBF)和变换系数，反之亦然。

　　根据本公开的第十四方面，可以将参考线信息包括在MPM列表中。当当前块的预测模式与MPM列表中的一个候选相同时，将帧内预测和所选择候选的所选择参考线都应用于当前块，并且不用信号通知帧内预测模式和参考线索引。另外，预定义了用于不同参考线索引的MPM候选的数量。

　　在一个实施例中，每个参考线索引的MPM的数量是预定义的，并且可以作为更高级的语法元素(例如在序列参数集(SPS)、图片参数集(PPS)、条带头、瓦片头、编码树单元(CTU)头中)，或作为用于图片的区域的公共语法元素或参数用信号通知。因此，MPM列表的长度可以在不同的序列、图片、条带、瓦片、编码块组或图片的区域中有所不同。例如，零参考线的MPM的数量是6，并且具有每个其他参考线索引的MPM的数量是2。因此，如果总参考线数量是4，则MPM列表的总数量是12。

　　在另一个实施例中，将所有帧内预测模式连同其在上方、左侧、左上、右上和左下块中的参考线索引一起包括到MPM列表中。

　　图13示出了根据示例的当前块的相邻块的示意图。如图13中所示，A是左下块，B、C、D和E是左侧块，F是左上块，G和H是顶部块，I是右上块。在将相邻块的模式添加到MPM列表中之后，如果具有给定参考线号的MPM候选的数量小于预定义的数量，则使用默认模式来填充MPM列表。

　　在一个示例中，对于具有零参考线的MPM候选，平面、DC、垂直、水平、模式2(对角线模式)和模式66(对角线模式)按此顺序被添加到MPM列表中，直到具有零参考线的MPM候选的长度达到预定义的数量。对于具有其他参考线索引的MPM候选，垂直和水平模式按此顺序被添加到MPM中。

　　在另一个实施例中，当当前块的模式等于MPM列表中的候选之一时，不用信号通知参考线索引。如果当前块的模式不等于MPM列表中的任何候选，则用信号通知参考线索引。在一个示例中，当零参考线用于当前块时，仍然使用第二级MPM模式，但是第二级MPM仅包括帧内预测模式信息。在另一个示例中，对于非零参考线，不使用第二级MPM，并且使用固定长编码对剩余模式进行编码。

　　图14示出了根据本公开的一实施例的概述过程(1400)的流程图。过程(1400)可以用于重建以帧内模式编码的块，以便为正在重建的块生成预测块。在各种实施例中，过程(1400)由处理电路执行，例如终端设备(210)、(220)、(230)和(240)中的处理电路、执行视频编码器(303)的功能的处理电路、执行视频解码器(310)的功能的处理电路、执行视频解码器(410)的功能的处理电路、执行帧内预测模块(452)的功能的处理电路、执行视频编码器(503)的功能的处理电路、执行预测器(535)的功能的处理电路、执行帧内编码器(622)的功能的处理电路、执行帧内解码器(772)的功能的处理电路等。在一些实施例中，过程(1400)以软件指令实现，因此当处理电路执行软件指令时，处理电路执行过程(1400)。该过程开始于步骤(S1401)并执行步骤(S1410)。

　　在步骤(S1410)，从编码视频比特流中解码块的预测信息。该预测信息指示帧内预测模式和参考线。该参考线从多个可能的(potential)参考线中选择。该帧内预测模式从与该参考线相关联的可能的帧内预测模式的集合中选择。不同的参考线具有分别与各自的参考线相关联的可能的帧内预测模式的不同的集合。

　　在步骤(S1420)，确定该帧内预测模式和该参考线。

　　在步骤(S1430)，根据该帧内预测模式和该参考线中的参考样本创建块的样本。然后，过程执行到(S1499)并且结束。

　　上述技术可以通过计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图15示出了计算机系统(1500)，其适于实现所公开主题的某些实施例。

　　所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由一个或多个计算机中央处理单元(CPU)，图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。

　　所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。

　　图15所示的用于计算机系统(1500)的组件本质上是示例性的，并不用于对实现本公开实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机系统(1500)的示例性实施例中所示的任一组件或其组合具有任何依赖性或要求。

　　计算机系统(1500)可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)，对一个或多个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体，气与人类有意识的输入不必直接相关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。

　　人机界面输入设备可包括以下中的一个或多个(仅绘出其中一个)：键盘(1501)、鼠标(1502)、触控板(1503)、触摸屏(1510)、数据手套(未示出)、操纵杆(1505)、麦克风(1506)、扫描仪(1507)、照相机(1508)。

　　计算机系统(1500)还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏(1510)、数据手套(未示出)或操纵杆(1505)的触觉反馈，但也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如，扬声器(1509)、耳机(未示出))、视觉输出设备(例如，包括阴极射线管屏幕、液晶屏幕、等离子屏幕、有机发光二极管屏的屏幕(1510)，其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出；虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。

　　计算机系统(1500)还可以包括人可访问的存储设备及其相关介质，如包括具有CD/DVD的高密度只读/可重写式光盘(CD/DVD ROM/RW)(1520)或类似介质(1521)的光学介质、拇指驱动器(1522)、可移动硬盘驱动器或固体状态驱动器(1523)，诸如磁带和软盘(未示出)的传统磁介质，诸如安全软件保护器(未示出)等的基于ROM/ASIC/PLD的专用设备，等等。

　　本领域技术人员还应当理解，结合所公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。

　　计算机系统(1500)还可以包括通往一个或多个通信网络的接口。例如，网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络还包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、卫星电视、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络通常需要外部网络接口适配器，用于连接到某些通用数据端口或外围总线(1549)(例如，计算机系统(1500)的USB端口)；其它系统通常通过连接到如下所述的系统总线集成到计算机系统(1500)的核心(例如，以太网接口集成到PC计算机系统或蜂窝网络接口集成到智能电话计算机系统)。通过使用这些网络中的任何一个，计算机系统(1500)可以与其它实体进行通信。所述通信可以是单向的，仅用于接收(例如，无线电视)，单向的仅用于发送(例如CAN总线到某些CAN总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机系统。上述的每个网络和网络接口可使用某些协议和协议栈。

　　上述的人机界面设备、人可访问的存储设备以及网络接口可以连接到计算机系统(1500)的核心(1540)。

　　核心(1540)可包括一个或多个中央处理单元(CPU)(1541)、图形处理单元(GPU)(1542)、以现场可编程门阵列(FPGA)(1543)形式的专用可编程处理单元、用于特定任务的硬件加速器(1544)等。这些设备以及只读存储器(ROM)(1545)、随机存取存储器(1546)、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等)(1547)等可通过系统总线(1548)进行连接。在某些计算机系统中，可以以一个或多个物理插头的形式访问系统总线(1548)，以便可通过额外的中央处理单元、图形处理单元等进行扩展。外围装置可直接附接到核心的系统总线(1548)，或通过外围总线(1549)进行连接。外围总线的体系结构包括外部控制器接口PCI、通用串行总线USB等。

　　CPU(1541)、GPU(1542)、FPGA(1543)和加速器(1544)可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM(1545)或RAM(1546)中。过渡数据也可以存储在RAM(1546)中，而永久数据可以存储在例如内部大容量存储器(1547)中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU(1541)、GPU(1542)、大容量存储器(1547)、ROM(1545)、RAM(1546)等紧密关联。

　　所述计算机可读介质上可具有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可以是为本公开的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。

　　作为实施例而非限制，具有体系结构(1500)的计算机系统，特别是核心(1540)，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供执行包含在一个或多个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及具有非易失性的核心(1540)的特定存储器，例如核心内部大容量存储器(1547)或ROM(1545)。实现本公开的各种实施例的软件可以存储在这种设备中并且由核心(1540)执行。根据特定需要，计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心(1540)特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在RAM(1546)中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代，计算机系统可以提供逻辑硬连线或以其它方式包含在电路(例如，加速器(1544))中的功能，该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包含执行逻辑的电路，或两者兼备。本公开包括任何合适的硬件和软件组合。

　　附录A：首字母缩略词

　　JEM：联合开发模型

　　VVC：通用视频编码

　　BMS：基准集合

　　MV：运动向量

　　HEVC：高效视频编码

　　SEI：补充增强信息

　　VUI：视频可用性信息

　　GOPs：图片组

　　TUs：变换单元

　　PUs：预测单元

　　CTUs：编码树单元