在多参考列预测中编码视频数据的设备及方法
相关申请的交叉引用
本申请请求于2018年3月28日提交的美国临时申请No.62/649,135的权益及优先权，其发明名称为Reference Line Setting Method for Intra Prediction，其代理人卷号为US73435(以下称为US73435申请)。US73435申请的揭露内容在此通过引用完全并入本申请中。
技术领域
本揭露大体上系关于视频编码，且特别是用于在多参考列预测中模式选择的技术。
背景技术
帧内预测是用於视频编码的编码工具。在常见的视频编码方法中，编码器和解码器仅使用与编码块相邻的最近像素线中的先前重建的像素来生成参考像素和预测子，以沿着一定向预测或重建所述编码块。
然而，最接近的像素线可以包括编码块中与第二物体不同的第一物体的纹理和/或信号噪声。因此，编码器可以利用最接近的像素线和最接近的像素线附近的其他相邻像素线来生成参考像素和预测子。当编码器利用一条以上的像素线生成参考像素和预测子时，编码器需要将表示所选参考线的标志发送到比特流中。结果，解码器需要从比特流中解析标志，并基于该标志确定为编码块选择了哪些像素线。
另外，当编码器基于包括在预定义模式列表中的多个帧内模式来选择不同的参考线以预测编码块时，多个预测结果的数量对于编码器而言可能太大以至于编码器无法快速选择合适的预测结果。因此，编码器可针对不同参考线需要不同模式列表。
发明内容
本揭露针对一种用于基于多条参考线对视频数据进行编码的设备和方法。
附图说明
当与附图一起阅读时，示例性揭露的各方面可从以下详细描述被最佳地理解。为了清楚的讨论，各种特征没有按比例绘制，各种特征的尺寸可以任意增加或减小。
图1是根据本揭露的一种或多种技术的被配置为对视频数据进行编码和解码的系统的示例性实施方式的方框图。
图2是图1的系统中的目的地设备的解码器模块的示例性实施方式的方框图。
图3绘示根据用于帧内预测的模式选择方法的第一示例性实施方式的流程图。
图4是块单元以及与块单元相邻的多个参考线候选的一个示例性实施方式的示意图。
图5绘示根据用于帧内预测的模式选择方法的第二示例性实施方式的流程图。
图6绘示根据用于帧内预测的模式选择方法的第三示例性实施方式的流程图。
图7绘示根据用于帧内预测的模式选择方法的第四示例性实施方式的流程图。
图8是图1的系统中的来源设备的编码器模块的示例性实施方式的方框图。
图9绘示根据用于帧内预测的模式发送方法的第一示例性实施方式的流程图。
图10绘示根据用于帧内预测的模式发送方法的第二示例性实施方式的流程图。
具体实施方式
以下叙述含有与本揭露中的示例性实施例相关的特定信息。本揭露中的附图和其随附的详细叙述仅为示例性实施例。然而，本揭露并不局限于此些例示性实施例。本领域技术人员将会想到本揭露的其他变化与实施例。除非另有说明，否则附图中的相同或对应的组件可由相同或对应的附图标号指示。此外，本申请中的附图与例示通常不是按比例绘制的，且非旨在与实际的相对尺寸相对应。
出于一致性和易于理解的目的，在示例性附图中藉由标号以标示相同特征(虽在一些示例中并未如此标示)。然而，不同实施方式中的特征在其他方面可能不同，因此不应狭义地局限于附图所示的特征。
说明中所使用的词组「在一个实施方式中，」或「在一些实施方式中，」，其可各自参考相同或不同的一个或多个实施方式。术语「耦合」被定义为直接或通过中间组件间接连结且不必限于实体连结。在使用术语「包含，」时表示「包括，但不必要限于」；其明确指出开放式包含或所叙述的组合、组、系列和等同者的成员。
再者，出于解释和非限制的目的，阐述诸如功能实体、技术、协议、标准等的具体细节以提供对所叙述技术的理解。在其他示例中，省略了对众所周知的方法、技术、系统、架构和同等的详细叙述，以免不必要的细节模糊叙述。
本领域技术人员将立即认识到本揭露中叙述的任何编码功能或算法可由硬件、软件或软件和硬件的组合实施方式。所叙述的功能可对应于模块可为软件、硬件、固件或其任何组合。软件实施方式可包含存储在诸如存储器或其他类型的存储设备的计算机可读媒体上的计算机可执行指令。例如，具有通信处理能力的一个或多个微处理器或通用计算机可用对应的可执行指令编程和执行所叙述的网络功能或算法。微处理器或通用计算机可由专用集成电路ASIC(Applications Specific Integrated Circuitry)、可编程化逻辑阵列和/或使用一个或多个数字信号处理器DSP(Digital Signal Processor)形成。尽管在本说明书中叙述的若干示例性实施方式倾向在计算机硬件上安装和执行的软件，但是，实施方式以固件或硬件或硬件和软件的组合的替代示例性实施方式亦在本揭露的范围内。
计算机可读介质包括但不限于随机存取存储器RAM(Random Access Memory)、只读存储器ROM(Read Only Memory)、可擦可编程只读存储器EPROM(Erasable ProgrammableRead-Only Memory)、电可擦可编程只读存储器EEPROM(Electrically ErasableProgrammable Read-Only Memory)、闪存、光盘只读存储器CD ROM(Compact Disc Read-Only Memory)、磁盒、磁带、磁盘存储器或任何其他能够存储计算机可读指令的等效介质。
图1是根据本揭露的一种或多种技术的可被配置为对视频数据进行编码和解码的系统的示例性实施方式的方框图。在所述实施方式中，所述系统包括来源设备11、目的地设备12和通信介质13。在至少一个实施方式中，所述来源设备11可以包括被配置为对视频数据进行编码并将编码后的视频数据发送至所述通信介质13的任何设备。在至少一个实施方式中，所述目的地设备12可以包括被配置为经由所述通信介质13接收编码的视频数据并且对编码的视频数据进行解码的任何设备。
在至少一个实施方式中，所述来源设备11可以经由所述通信介质13与所述目的地设备12有线和/或无线地通信。所述来源设备11可包括来源模块111、编码器模块112和第一接口113。所述目的地设备12可包括显示模块121、解码器模块122和第二接口123。在至少一个实施方式中，所述来源设备11可为视频编码器，并且所述目的地设备12可为视频解码器。
在至少一个实施方式中，所述来源设备11和/或所述目的地设备12可为移动电话、平板电脑、台式计算机、笔记本计算机或其他电子设备。图1仅绘示所述来源设备11和所述目的地设备12的一个示例，并且在其他实施方式中的所述来源设备11和所述目的地设备12可以包括比所绘示的更多或更少的组件，或者具有各种组件的不同配置。
在至少一个实施方式中，所述来源设备11的所述来源模块111可以包括用于撷取新视频的视讯撷取设备、存储先前撷取的视频的视频存档和/或从视频内容提供商接收视频的视频馈送接口。在至少一个实施方式中，所述来源设备11的所述来源模块111可以生成基于计算机图形的数据作为来源视频，或者是实时视频，存档视频和计算机生成的视频的组合。在至少一个实施方式中，视讯撷取设备可以是电荷耦合器件CCD(Charge-CoupledDevice)图像传感器、互补金属氧化物半导体CMOS(Complementary Metal–Oxide–Semiconductor)图像传感器或照相机。
在至少一个实施方式中，所述编码器模块112和所述解码器模块122可各自被实现为多种合适的编码器/解码器电路中的任何一种，例如一个或多个微处理器、中央处理单元CPU(Central Processing Unit)、图形处理单元GPU(Graphic Processing Unit)、系统单芯片SoC(System On Chip)、数字信号处理器DSPs(Digital Signal Processors)、专用集成电路ASICs(Applications Specific Integrated Circuits)、现场可编程门阵列FPGAs(Field Programmable Gate Arrays)、离散逻辑、软件、硬件、固件或其任意组合。当技术部分地以软件实施时，设备可将用于软件的指令存储在合适的非暂时性计算机可读介质中，并使用一个或多个处理器以硬件方式执行指令以执行本揭露的技术。在至少一个实施方式中，所述编码器模块112和所述解码器模块122中的每一个可以被包括在一个或多个编码器或解码器中，它们中的任何一个可以被集成为相应设备中的组合编码器/解码器CODEC(combined encoder/decoder)的一部分。
在至少一个实施方式中，所述第一接口113和所述第二接口123可以采用定制协议或遵循现有标准或事实标准。现有标准或事实标准包括但不限于以太网、IEEE 802.11或IEEE 802.15系列、无线USB或电信标准。电信标准包括但不限于GSM、CDMA2000、TD-SCDMA、WiMAX、3GPP-LTE或TD-LTE。在至少一个实施方式中，所述第一接口113和所述第二接口123的每个可以包括被配置为向所述通信介质13发送和/或存储兼容的视频比特流并且从所述通信介质13接收兼容的视频比特流的任何设备。在至少一个实施方式中，所述第一接口113和所述第二接口123可以包括计算机系统接口，该计算机系统接口可以使兼容的视频比特流能够被存储在存储设备上或从存储设备接收。例如，所述第一接口113和所述第二接口123可以包括支持外部组件互连PCI(Peripheral Component Interconnect)和外部组件互连快速PCIe(Peripheral Component Interconnect Express)总线协议、专有总线协议、通用串行总线USB(Universal Serial Bus)协议、I2C或用于互连对等设备的其他逻辑和物理结构的一芯片组。
在至少一个实施方式中，尽管在其他实施方式中可以使用其他显示技术，所述显示模块121可以包括使用液晶显示器LCD(Liquid Crystal Display)技术、等离子显示技术、有机发光二极管OLED(Organic Light Emitting Diode)显示技术或发光聚合物显示LPD(Light Emitting Polymer Display)技术的显示器。在至少一个实施方式中，所述显示模块121可以包括高清晰度显示器或超高清晰度显示器。
图2是解码器模块222的方框图，所述解码器模块222表示图1的系统中的所述目的地设备12的所述解码器模块122的示例性实施方式。在至少一个实施方式中，所述解码器模块222包括熵解码器(例如：熵解码单元2221)、预测处理器(例如：预测处理单元2222)、逆量化/逆变换处理器(例如：逆量化/逆变换单元2223)、加法器(例如：第一加法器2224)、滤波器(例如：滤波单元2225)和解码图片缓冲器(例如：解码图片缓冲器2226)。在至少一个实施方式中，所述解码器模块222的所述预测处理单元2222还包括帧内预测处理器(例如：帧间预测单元22221)和帧间预测处理器(例如：帧间预测单元22222)。在至少一个实施方式中，所述解码器模块222接收比特流，并对比特流进行解码，输出解码的视频。
在至少一个实施方式中，所述熵解码单元2221可以从图1中的所述第二接口123接收包括多个语法元素的比特流，并对比特流执行解析操作以从比特流中提取语法元素。所述熵解码单元2221可以对比特流进行熵解码以生成量化的变换系数、量化参数、变换数据、运动向量、帧内模式、分割信息和其他语法信息，作为执行解析操作的一部分。在至少一个实施方式中，所述熵解码单元2221可以执行上下文自适应可变长度编码CAVLC(ContextAdaptive Variable Length Coding)、上下文自适应二元算术编码CABAC(ContextAdaptive Binary Arithmetic Coding)、基于语法的上下文自适应二进制算术编码SBAC(Syntax-based Context-Adaptive Binary Arithmetic Coding)、概率区间划分熵PIPE(Probability Interval Partitioning Entropy)编码或另一种熵编码技术来生成量化的变换系数。在至少一个实施方式中，所述熵解码单元2221将量化的变换系数、量化参数和变换数据提供给所述逆量化/逆变换单元2223，并提供运动向量、帧内模式、分割信息和其他语法信息发送给所述预测处理单元2222。
在至少一个实施方式中，所述预测处理单元2222可以从所述熵解码单元2221接收语法元素，诸如运动向量、帧内模式、分割信息和其他语法信息。在至少一个实施方式中，所述预测处理单元2222可以接收包括分割信息的语法元素，然后根据分割信息划分多个图像帧。在至少一个实施方式中，可以根据分割信息将每个图像帧划分为至少一个图像块。至少一个图像块可以包括用于重建多个亮度样本的亮度块以及用于重建多个色度样本的至少一个色度块。亮度块和至少一个色度块可以被进一步划分以生成宏块、编码树单元CTU(Coding Tree Units)、编码块CB(coding blocks)、其子分割和/或另一等效编码单元。
在至少一个实施方式中，在解码处理期间，所述预测处理单元2222接收预测数据，所述预测数据包括针对所述多个图像帧中特定的一个的当前图像块的帧内模式或运动向量。当前图像块可以是所述特定图像帧中的所述亮度块和所述至少一色度块中的一个。
在至少一个实施方式中，所述帧内预测单元22221可以基于与帧内模式相关的语法元素，对与当前块单元相同的帧中的一个或多个相邻块执行当前块单元的帧内预测编码，以生成预测块。在至少一个实施方式中，帧内模式可以指定从当前帧内的相邻块中选择的参考样本的位置。
在至少一个实施方式中，当通过所述预测处理单元2222重建当前块的亮度分量时，所述帧内预测单元22221可基于当前块单元的多个亮度分量来重建当前块单元的多个色度分量。
在至少一个实施方式中，所述帧间预测单元22222可以基于与运动向量有关的语法元素，相对于一个或多个参考图像块中的一个或多个块，对当前块单元执行帧间预测编码，以生成预测块。在至少一个实施方式中，运动向量可以指示当前图像块内的当前块单元相对于参考图像块内的参考块单元的位移。参考块单位是被确定为与当前块单位紧密匹配的块。在至少一个实施方式中，所述帧间预测单元22222接收存储在所述解码图片缓冲器2226中的参考图像块，并基于接收到的参考图像块来重建当前块单元。
在至少一个实施方式中，所述逆量化/逆变换单元2223可以使用逆量化和逆变换以重建像素域中的残值块。在至少一个实施方式中，所述逆量化/逆变换单元2223可以将逆量化使用于残值量化变换系数以生成残值变换系数，然后将逆变换使用于残值变换系数以生成像素域中的残值块。在至少一个实施方式中，逆变换可以对变换过程进行逆向使用，例如离散余弦变换DCT(Discrete Cosine Transform)、离散正弦变换DST(Discrete SineTransform)、自适应多重变换AMT(Adaptive Multiple Transform)、模式相关的不可分二次变换MDNSST(Mode-Dependent Non-Separable Secondary Transform)、立方体吉文斯变换HyGT(Hypercube-Givens Transform)、F信号依赖变换、Karhunen-Loéve变换KLT(Karhunen-Loéve Transform)、小波变换、整数变换、子带变换或概念上类似的变换。在至少一个实施方式中，逆变换可以将残值信息从诸如频域的变换域转换回像素域。在至少一个实施方式中，可以通过调整量化参数来修改逆量化的程度。
在至少一个实施方式中，所述第一加法器2224将重建的残值块添加到从所述预测处理单元2222提供的预测块中，以产生重建块。
在至少一个实施方式中，所述滤波单元2225可以包括去块滤波器、采样自适应偏移SAO(Sample Adaptive Offset)滤波器、双边滤波器和/或自适应环路滤波器ALF(Adaptive Loop Filter)，以从重建块去除块状伪像。除了去块滤波器、SAO滤波器、双边滤波器和ALF之外，还可以使用其他滤波器(环路内或环路后)。为了简洁起见，未示出此类滤波器，但是如果需要，则可以对所述第一加法器2224的输出进行滤波。在至少一个实施方式中，所述滤波单元2225可以在对特定图像帧的重建块执行滤波处理之后，所述滤波单元2225将解码的视频输出至所述显示模块121或其他视频接收单元。
在至少一个实施方式中，所述解码图片缓冲器2226可以是参考图片存储器，其存储例如在帧间编码模式下用于由所述预测处理单元2222对比特流进行解码的参考块。所述解码图片缓冲器2226可以由多种存储设备中的任何一种形成，例如动态随机存取存储器DRAM(Dynamic Random Access Memory)，包括同步动态随机存取存储器SDRAM(Synchronous DRAM)、磁阻随机存取存储器MRAM(Magneto-resistive RAM)、电阻随机存取存储器RRAM(Resistive RAM)或其他类型的存储设备。在至少一个实施方式中，所述解码图片缓冲器2226可以与所述解码器模块222的其他组件一起在芯片上，或者相对于那些组件在芯片外。
图3示出了根据用于帧内预测的模式选择方法的第一示例实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图3的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框31，所述解码器模块222根据视频数据从图像帧确定具有帧内预测模式的块单元。
在至少一个实施方式中，视频数据可以是比特流。所述目的地设备12可以通过所述目的地设备12的所述第二接口123从诸如所述来源设备11的编码器接收比特流。所述第二接口123将比特流提供给所述解码器模块222。所述解码器模块222根据比特流确定图像帧，并根据比特流中的多个分割指示对图像帧进行划分以确定块单位。例如，所述解码器模块222可以划分图像帧以生成多个编码树单元，并且还基于任何的视频编码标准中根据分割指示来分割编码树单元中的一个，以确定块单元。
在至少一个实施方式中，所述熵解码单元2221可以对比特流进行解码以确定针对块单元的多个预测指示，然后所述解码器模块222可以进一步基于预测指示来重建块单元。在至少一个实施方式中，预测指示可以包括多个标志和多个索引。
在框32，所述帧内预测单元22221基于参考线索引RefIdx(reference lineindex)和最可能模式mpm(most probable mode)标志中的一个来确定多个模式索引中的哪一个指示了块单元的帧内预测模式。在至少一个实施方式中，当参考线索引不同于第一预定值时，或者当最可能模式标志等于第二预定值时，程序进行到框33。在至少一个实施方式中，当最可能模式标志与第二预定值不同时，程序进行到框34。
在至少一个实施方式中，在块单元附近有多个参考线候选。在至少一个实施方式中，每个参考线候选包括多个候选线样本。在至少一个实施方式中，所述编码器模块112可以选择参考线候选中的一个以预测块单元，并且将指示所选择的参考线候选的参考线索引提供给所述目的地设备12。在所述实施方式中，所述解码器模块222可以基于参考线索引确定选择的参考线候选，并且所述帧内预测单元22221可以将选择的参考线候选中的候选线样本确定为多个参考线样本。因此，所述解码器模块222可以基于参考线样本来重建块单元。
图4是所述块单元41以及与所述块单元41相邻的多个参考线候选420、421，422和423的一个示例性实施方式的示意图。在至少一个实施方式中，所述帧内预测单元22221可以基于参考线索引选择皆具有多个候选线样本的参考线候选420-423中的一个，并确定所选择的参考线候选中的参考线样本。在至少一个实施方式中，当参考线索引等于第一预定值时，所述帧内预测单元22221可以选择第一参考线候选420并确定第一参考线候选420中的参考线样本。在至少一个实施方式中，当参考线索引不同于第一预定值时，所述帧内预测单元22221可以选择参考线候选421-423中的一个。在至少一个实施方式中，参考线索引可以是通用视频编码VVC(Versatile Video Coding)或VVC测试模型VTM(VVC test model)中的语法元素intra_luma_ref_idx。在至少一个实施方式中，第一预定值可以等于零。
在至少一个实施方式中，所述帧内预测单元22221可以从多个帧内模式候选中选择帧内预测模式以预测块单元。在至少一个实施方式中，帧内模式候选可以包括多个非角度模式和多个角度模式。在实施方式中，非角度模式可以包括平面模式和DC模式。在一个实施方式中，当所述解码器模块222以VVC或VTM对块单元进行解码时，角度模式的数量可以等于65。在另一实施方式中，当所述解码器模块222以高效视频编码HEVC(high efficiencyvideo coding)对块单元进行解码时，角度模式的数量可以等于32。在至少一个实施方式中，所述帧内预测单元22221可以基于与块单元相邻的多个相邻块，从帧内模式候选中确定多个最可能模式。在至少一个实施方式中，当所述帧内预测单元22221根据多个帧内模式候选中的特定的一个重建多个相邻块中的特定的一个时，可以将帧内候选模式中所述特定的一个设置为块单元的多个最可能模式中的一个。另外，所述帧内预测单元22221可基于所述特定的帧内模式候选导出多个最可能模式中的另一个。在所述实施方式中，当所述帧内预测单元22221从帧内模式候选中选出最可能模式时，所有未选择的模式候选可以被视为多个剩余模式候选。在至少一个实施方式中，当所述编码器模块112从最可能模式中选择帧内预测模式时，所述编码器模块112可以将mpm标志设置为等于第二预定值。在至少一个实施方式中，当所述编码器模块112从剩余模式候选中选择帧内预测模式时，所述编码器模块112可以将mpm标志设置为与第二预定值不同。在至少一个实施方式中，mpm标志可以是HEVC中的语法元素prev_intra_luma_pred_flag。在至少一个实施方式中，mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_flag。在至少一个实施方式中，第二预定值可以等于一。
在至少一个实施方式中，当所述编码器模块112选择参考线候选中的第一个以预测块单元时，所述编码器模块112可以从最可能模式和剩余模式候选中选择帧内预测模式。在至少一个实施方式中，当所述编码器模块112选择不同于第一参考线候选的参考线候选中的特定一个来预测块单元时，所述编码器模块112可以仅从最可能模式中选择帧内预测模式。
在至少一个实施方式中，当所述帧内预测单元22221基于参考线索引选择与第一参考线候选不同的所述特定参考线候选以重建块单元时，所述帧内预测单元22221仅从最可能模式中选择帧内预测模式。因此，当所述帧内预测单元22221在解析mpm标志之前确定参考线索引不同于第一预定值时，所述帧内预测单元22221可以直接确定帧内预测模式包括在最可能模式中。在所述实施方式中，当所述帧内预测单元22221确定参考线索引不同于第一预定值时，所述帧内预测单元22221可以直接确定帧内预测模式包括在最可能模式中而不解析mpm标志。
在至少一个实施方式中，当所述帧内预测单元22221确定帧内预测模式包括在最可能模式中时，所述帧内预测单元22221仅从最可能模式中选择帧内预测模式。在一个实施方式中，当所述帧内预测单元22221在解析参考线索引之前确定mpm标志等于第二预定值时，所述帧内预测单元22221可以直接确定帧内预测模式包括在最可能模式中。因此，当所述帧内预测单元22221确定mpm标志等于第二预定值时，所述帧内预测单元22221可以直接确定帧内预测模式包括在最可能模式中而不解析参考线索引。在另一实施方式中，当所述帧内预测单元22221在解析mpm标志之前确定选择参考线候选中的第一个来重建块单元时，可以从最可能模式和剩余模式候选中选择帧内预测模式。因此，所述帧内预测单元22221可以进一步确定mpm标志是否等于第二预定值。在所述实施方式中，当所述帧内预测单元22221在解析参考线索引之后确定mpm标志等于第二预定值时，所述帧内预测单元22221可以确定帧内预测模式包括在最可能模式中。
在至少一个实施方式中，当所述帧内预测单元22221确定帧内预测模式不包括在最可能模式中时，所述帧内预测单元22221仅从剩余模式候选中选择帧内预测模式。在一个实施方式中，当所述帧内预测单元22221在解析参考线索引之前确定mpm标志与第二预定值不同时，所述帧内预测单元22221可以直接确定帧内预测模式包括在剩余模式候选中。因此，当所述帧内预测单元22221确定mpm标志与第二预定值不同时，所述帧内预测单元22221可以直接确定帧内预测模式被包括在剩余模式候选中而无需解析参考线索引。在另一实施方式中，当所述帧内预测单元22221在解析mpm标志之前确定选择参考线候选中的第一个来重建块单元时，可以从最可能模式和剩余模式候选中选择帧内预测模式。因此，所述帧内预测单元22221可以进一步确定mpm标志是否等于第二预定值。在所述实施方式中，当所述帧内预测单元22221在解析参考线索引之后确定mpm标志与第二预定值不同时，所述帧内预测单元22221可以确定帧内预测模式包括在剩余模式候选中。
在框33，所述帧内预测单元22221基于多个模式索引中的第一个来确定块单元的帧内预测模式。
在至少一个实施方式中，当参考线索引不同于第一预定值或者mpm标志等于第二个预定值时，所述帧内预测单元22221可以确定块单元的帧内预测模式被包括在最可能模式中。在所述实施方式中，所述帧内预测单元22221可以基于模式索引中的第一个选择最可能模式中的一个作为帧内预测模式。在至少一个实施方式中，预测指示可以包括模式索引。在至少一个实施方式中，模式索引中的第一个可以是用于从最可能模式中选择帧内预测模式的mpm索引。在至少一个实施方式中，mpm索引可以是HEVC中的语法元素mpm_idx。在至少一个实施方式中，mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_idx。
在至少一个实施方式中，当所述编码器模块112选择第一参考线候选以预测块单元时，所述编码器模块112可以将非角度模式添加到最可能模式中。因此，当所述编码器模块112选择第一参考线候选以预测块单元时，所述编码器模块112可以将平面模式和DC模式添加到最可能模式中。在所述实现中，当所述帧内预测单元22221基于参考线索引选择第一参考线候选以重建块单元时，所述帧内预测单元22221还确定平面模式和DC模式包括在最可能模式中。换句话说，当所述帧内预测单元22221选择第一参考线候选以重建块单元时，可以基于模式索引中的第一个选择平面模式和DC模式来重建块单元。
在至少一个实施方式中，当所述编码器模块112选择不同于第一参考线候选的特定参考线候选以预测块单元时，所述编码器模块112可以从最可能模式中排除非角度模式。因此，当所述编码器模块112未选择第一参考线候选以预测块单位时，最可能模式不包括平面模式和DC模式。在所述实施方式中，当所述帧内预测单元22221基于参考线索引确定选择了不同于第一参考线候选的特定参考线候选以重建块单位时，所述帧内预测单元22221可以从最可能模式中排除平面模式和DC模式。换句话说，当所述帧内预测单元22221选择与第一参考线不同的特定参考线候选重建块单元时，可以基于模式索引中的第一个仅从包括在最可能模式中的角度模式中选择帧内预测模式。
在框34，所述帧内预测单元22221基于多个模式索引中的第二个，确定块单元的帧内预测模式。
在至少一个实施方式中，当mpm标志不同于第二预定值时，所述帧内预测单元22221可以确定在剩余模式候选中包括块单元的帧内预测模式。在所述实施方式中，所述帧内预测单元22221可以基于模式索引中的第二个来选择剩余模式候选中的一个作为帧内预测模式。在至少一个实施方式中，模式索引中的第二个可以是用于从剩余模式候选中选择帧内预测模式的非mpm索引。在至少一个实施方式中，非mpm索引可以是HEVC中的语法元素rem_intra_luma_pred_mode。在至少一个实施方式中，非mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_remainder。
在至少一个实施方式中，当所述编码器模块112选择不同于第一参考线候选的特定参考线候选以预测块单元时，所述编码器模块112可以仅从最可能模式中选择帧内预测模式。因此，当所述编码器模块112从剩余模式候选中选择帧内预测模式时，第一参考线候选被所述编码器模块112选择来预测块单位。在至少一个实施方式中，当所述帧内预测单元22221基于参考线索引选择第一参考线候选以重建块单元时，所述帧内预测单元22221可以将非角度模式添加到最可能模式中。换句话说，非角度模式不包括在剩余模式候选中。因此，当所述帧内预测单元22221基于多个模式索引中的第二个来确定块单元的帧内预测模式时，平面模式和DC模式不会被选择。
在框35，所述帧内预测单元22221基于帧内预测模式来重建图像帧的块单元。
在至少一个实施方式中，块单元可以包括多个块组件。在所述实施方式中，每个块组件可以是像素组件。所述帧内预测单元22221可以基于帧内预测模式，为每个块组件在所选参考线候选中选择的参考线样本中的至少一个。然后，所述帧内预测单元22221可以为每个块组件生成多个预测子中的一个。
在至少一个实施方式中，所述目的地设备12中的所述解码器模块222的第一加法器2224可以将预测子添加到从比特流确定的多个残差样本中，以重建块单元。另外，解码器模块222可以重建图像帧中的所有其他块单元，以重建图像帧和视频。
图5示出了根据用于帧内预测的模式选择方法的第二示例实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供模式选择方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图5的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框51，所述解码器模块222根据视频数据从图像帧确定具有帧内预测模式的块单元。
在至少一个实施方式中，视频数据可以是比特流。所述目的地设备12可以通过所述目的地设备12的所述第二接口123从诸如所述来源设备11的编码器接收比特流。所述第二接口123将比特流提供给所述解码器模块222。所述解码器模块222根据比特流确定图像帧，并根据比特流中的多个分割指示对图像帧进行划分以确定块单位。例如，所述解码器模块222可以划分图像帧以生成多个编码树单元，并且还基于任何的视频编码标准中根据分割指示来分割编码树单元中的一个，以确定具有块大小的块单元。
在至少一个实施方式中，所述熵解码单元2221可以对比特流进行解码以确定针对块单元的多个预测指示，然后所述解码器模块222可以进一步基于预测指示来重建块单元。在至少一个实施方式中，预测指示可以包括多个标志和多个索引。
在框52，所述帧内预测单元22221基于最可能模式mpm(most probable mode)标志来确定块单元是否基于多个最可能模式中的一个来预测。在至少一个实施方式中，当最可能模式标志等于第二预定值时，程序进行到框53。在至少一个实施方式中，当最可能模式标志与第二预定值不同时，程序进行到框54。
在至少一个实施方式中，所述帧内预测单元22221可以从多个帧内模式候选中选择帧内预测模式以预测块单元。在至少一个实施方式中，帧内模式候选可以包括多个非角度模式和多个角度模式。在实施方式中，非角度模式可以包括平面模式和DC模式。在一个实施方式中，当所述解码器模块222以VVC或VTM对块单元进行解码时，角度模式的数量可以等于65。在另一实施方式中，当所述解码器模块222以高效视频编码对块单元进行解码时，角度模式的数量可以等于32。在至少一个实施方式中，所述帧内预测单元22221可以基于与块单元相邻的多个相邻块，从帧内模式候选中确定多个最可能模式。在至少一个实施方式中，当所述帧内预测单元22221根据多个帧内模式候选中的特定的一个重建多个相邻块中的特定的一个时，可以将帧内候选模式中所述特定的一个设置为块单元的多个最可能模式中的一个。另外，所述帧内预测单元22221可基于所述特定的帧内模式候选导出多个最可能模式中的另一个。在所述实施方式中，当所述帧内预测单元22221从帧内模式候选中选出最可能模式时，所有未选择的模式候选可以被视为多个剩余模式候选。在至少一个实施方式中，当所述编码器模块112从最可能模式中选择帧内预测模式时，所述编码器模块112可以将mpm标志设置为等于第二预定值。在至少一个实施方式中，当所述编码器模块112从剩余模式候选中选择帧内预测模式时，所述编码器模块112可以将mpm标志设置为与第二预定值不同。在至少一个实施方式中，mpm标志可以是HEVC中的语法元素prev_intra_luma_pred_flag。在至少一个实施方式中，mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_flag。在至少一个实施方式中，第二预定值可以等于一。
在框53，所述帧内预测单元22221基于参考线索引确定多个参考线样本，并且基于多个模式索引中的第一个确定块单元的帧内预测模式。
在至少一个实施方式中，在块单元附近有多个参考线候选。在至少一个实施方式中，每个参考线候选包括多个候选线样本。在至少一个实施方式中，所述编码器模块112可以选择参考线候选中的一个以预测块单元，并且将指示所选择的参考线候选的参考线索引提供给所述目的地设备12。在所述实施方式中，所述解码器模块222可以基于参考线索引确定选择的参考线候选，并且所述帧内预测单元22221可以将选择的参考线候选中的候选线样本确定为多个参考线样本。因此，所述解码器模块222可以基于参考线样本来重建块单元。在至少一个实施方式中，参考线索引可以是VCC或VTM中的语法元素intra_luma_ref_idx。在至少一个实施方式中，第一预定值可以等于零。
在至少一个实施方式中，当所述编码器模块112选择参考线候选中的第一个以预测块单元时，所述编码器模块112可以从最可能模式和剩余模式候选中选择帧内预测模式。在至少一个实施方式中，当所述编码器模块112选择不同于第一参考线候选的参考线候选中的特定一个来预测块单元时，所述编码器模块112可以仅从最可能模式中选择帧内预测模式。因此，在所述帧内预测单元22221确定从最可能模式中选择了帧内预测模式之后，每个参考线候对于块单元而言都是可选择的。
在至少一个实施方式中，当mpm标志等于第二个预定值时，所述帧内预测单元22221可以确定块单元的帧内预测模式被包括在最可能模式中。在所述实施方式中，所述帧内预测单元22221可以基于模式索引中的第一个选择最可能模式中的一个作为帧内预测模式。在至少一个实施方式中，预测指示可以包括模式索引。在至少一个实施方式中，模式索引中的第一个可以是用于从最可能模式中选择帧内预测模式的mpm索引。在至少一个实施方式中，mpm索引可以是HEVC中的语法元素mpm_idx。在至少一个实施方式中，mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_idx。
在至少一个实施方式中，当所述编码器模块112选择第一参考线候选以预测块单元时，所述编码器模块112可以将非角度模式添加到最可能模式中。因此，当所述编码器模块112选择第一参考线候选以预测块单元时，所述编码器模块112可以将平面模式和DC模式添加到最可能模式中。在所述实现中，当所述帧内预测单元22221基于参考线索引选择第一参考线候选以重建块单元时，所述帧内预测单元22221还确定平面模式和DC模式包括在最可能模式中。换句话说，当所述帧内预测单元22221选择第一参考线候选以重建块单元时，可以基于模式索引中的第一个选择平面模式和DC模式来重建块单元。
在至少一个实施方式中，当所述编码器模块112选择不同于第一参考线候选的特定参考线候选以预测块单元时，所述编码器模块112可以从最可能模式中排除非角度模式。因此，当所述编码器模块112未选择第一参考线候选以预测块单位时，最可能模式不包括平面模式和DC模式。在所述实施方式中，当所述帧内预测单元22221基于参考线索引确定选择了不同于第一参考线候选的特定参考线候选以重建块单位时，所述帧内预测单元22221可以从最可能模式中排除平面模式和DC模式。换句话说，当所述帧内预测单元22221选择与第一参考线不同的特定参考线候选重建块单元时，可以基于模式索引中的第一个仅从包括在最可能模式中的角度模式中选择帧内预测模式。
在框54，所述帧内预测单元22221在不解析参考线索引的情况下确定多个参考线样本，并且基于多个模式索引中的第二个来确定块单元的帧内预测模式。
在至少一个实施方式中，当所述编码器模块112选择参考线候选中的第一个以预测块单元时，所述编码器模块112可以从最可能模式和剩余模式候选中选择帧内预测模式。然而，当所述编码器模块112选择不同于第一参考线候选的特定参考线候选以预测块单元时，所述编码器模块112可以仅从最可能模式中选择帧内预测模式。因此，在所述帧内预测单元22221基于mpm标志而确定帧内预测模式是从剩余模式候选中选出之后，所述帧内预测单元22221可以直接将第一参考线候选确定为所选参考线候选而不解析参考线索引。
在至少一个实施方式中，当mpm标志不同于第二预定值时，所述帧内预测单元22221可以确定在剩余模式候选中包括块单元的帧内预测模式。在所述实施方式中，所述帧内预测单元22221可以基于模式索引中的第二个来选择剩余模式候选中的一个作为帧内预测模式。在至少一个实施方式中，模式索引中的第二个可以是用于从剩余模式候选中选择帧内预测模式的非mpm索引。在至少一个实施方式中，非mpm索引可以是HEVC中的语法元素rem_intra_luma_pred_mode。在至少一个实施方式中，非mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_remainder。
在至少一个实施方式中，当所述帧内预测单元22221选择第一参考线候选以重建块单元时，所述帧内预测单元22221可以将非角度模式添加到最可能模式中。换句话说，非角度模式不包括在剩余模式候选中。因此，当所述帧内预测单元22221基于多个模式索引中的第二个来确定块单元的帧内预测模式时，平面模式和DC模式不会被选择。
在框55，所述帧内预测单元22221根据参考线样本基于帧内预测模式来重建图像帧的块单元。
在至少一个实施方式中，块单元可以包括多个块组件。在所述实施方式中，每个块组件可以是像素组件。所述帧内预测单元22221可以基于帧内预测模式，为每个块组件在所选参考线候选中选择的参考线样本中的至少一个。然后，所述帧内预测单元22221可以为每个块组件生成多个预测子中的一个。
在至少一个实施方式中，所述目的地设备12中的所述解码器模块222的第一加法器2224可以将预测子添加到从比特流确定的多个残差样本中，以重建块单元。另外，解码器模块222可以重建图像帧中的所有其他块单元，以重建图像帧和视频。
图6示出了根据用于帧内预测的模式选择方法的第三示例实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图6的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框61，所述解码器模块222根据视频数据从图像帧确定具有帧内预测模式的块单元。
在至少一个实施方式中，视频数据可以是比特流。所述目的地设备12可以通过所述目的地设备12的所述第二接口123从诸如所述来源设备11的编码器接收比特流。所述第二接口123将比特流提供给所述解码器模块222。所述解码器模块222根据比特流确定图像帧，并根据比特流中的多个分割指示对图像帧进行划分以确定块单位。例如，所述解码器模块222可以划分图像帧以生成多个编码树单元，并且还基于任何的视频编码标准中根据分割指示来分割编码树单元中的一个，以确定块单元。
在至少一个实施方式中，所述熵解码单元2221可以对比特流进行解码以确定针对块单元的多个预测指示，然后所述解码器模块222可以进一步基于预测指示来重建块单元。在至少一个实施方式中，预测指示可以包括多个标志和多个索引。
在框62，所述帧内预测单元22221确定用于选择多个参考线候选中的一个的参考线索引Refidx(reference line index)。在至少一个实施方式中，当参考线索引等于第一预定值时，程序进行到框63。在至少一个实施方式中，当参考线索引不同于第一预定值时，程序进行到框64。
在至少一个实施方式中，每个参考线候选包括多个候选线样本。在至少一个实施方式中，所述编码器模块112可以选择参考线候选中的一个以预测块单元，并且将指示所选择的参考线候选的参考线索引提供给所述目的地设备12。在所述实施方式中，所述解码器模块222可以基于参考线索引确定选择的参考线候选，并且所述帧内预测单元22221可以将选择的参考线候选中的候选线样本确定为多个参考线样本。因此，所述解码器模块222可以基于参考线样本来重建块单元。图4是所述块单元41以及与所述块单元41相邻的多个参考线候选420-423的一个示例性实施方式的示意图。在至少一个实施方式中，所述帧内预测单元22221可以基于参考线索引选择皆具有多个候选线样本的参考线候选420-423中的一个，并确定所选择的参考线候选中的参考线样本。在至少一个实施方式中，当参考线索引等于第一预定值时，所述帧内预测单元22221可以选择第一参考线候选420并确定第一参考线候选420中的参考线样本。在至少一个实施方式中，当参考线索引不同于第一预定值时，所述帧内预测单元22221可以选择参考线候选421-423中的一个。在至少一个实施方式中，参考线索引可以是VVC或VTM中的语法元素intra_luma_ref_idx。在至少一个实施方式中，第一预定值可以等于零。
在至少一个实施方式中，所述帧内预测单元22221可以从多个帧内模式候选中选择帧内预测模式以预测块单元。在至少一个实施方式中，帧内模式候选可以包括多个非角度模式和多个角度模式。在实施方式中，非角度模式可以包括平面模式和DC模式。在一个实施方式中，当所述解码器模块222以VVC或VTM对块单元进行解码时，角度模式的数量可以等于65。在另一实施方式中，当所述解码器模块222以HEVC对块单元进行解码时，角度模式的数量可以等于32。在至少一个实施方式中，所述帧内预测单元22221可以基于与块单元相邻的多个相邻块，从帧内模式候选中确定多个最可能模式。在至少一个实施方式中，当所述帧内预测单元22221根据多个帧内模式候选中的特定的一个重建多个相邻块中的特定的一个时，可以将帧内候选模式中所述特定的一个设置为块单元的多个最可能模式中的一个。另外，所述帧内预测单元22221可基于所述特定的帧内模式候选导出多个最可能模式中的另一个。在所述实施方式中，当所述帧内预测单元22221从帧内模式候选中选出最可能模式时，所有未选择的模式候选可以被视为多个剩余模式候选。
在至少一个实施方式中，当所述编码器模块112选择参考线候选中的第一个以预测块单元时，所述编码器模块112可以从最可能模式和剩余模式候选中选择帧内预测模式。在至少一个实施方式中，当所述编码器模块112选择不同于第一参考线候选的参考线候选中的特定一个来预测块单元时，所述编码器模块112可以仅从最可能模式中选择帧内预测模式。
在至少一个实施方式中，当所述帧内预测单元22221基于参考线索引选择所述特定参考线候选以重构块单元时，所述帧内预测单元22221仅从最可能模式中选择帧内预测模式。因此，当所述帧内预测单元22221在确定指示帧内预测模式是否从最可能模式中选择的列表标志之前，确定参考线索引与第一预定值不同时，所述帧内预测单元22221可以直接确定帧内预测模式包括在最可能模式中。在所述实施方式中，当所述帧内预测单元22221确定参考线索引不同于第一预定值时，所述帧内预测单元22221可以不解析列表标志下，直接确定帧内预测模式包括在最可能模式中。
在至少一个实施方式中，当所述帧内预测单元22221确定参考线候选中的第一个被选择来重建块单元时，帧内预测模式可以从最可能模式和剩余模式候选中选择。因此，所述帧内预测单元22221可以进一步确定是否从最可能模式或剩余模式候选中选择帧内预测模式。
在框63，所述帧内预测单元22221基于最可能模式mpm(most probable mode)标志来确定块单元是否基于最可能模式之一来预测。在至少一个实施方式中，当参考线索引等于第二预定值时，程序进行到框64。在至少一个实施方式中，当参考线索引不同于第二预定值时，程序进行到框65。
在至少一个实施方式中，当所述编码器模块112从最可能模式中选择帧内预测模式以预测块单元时，所述编码器模块112可以将mpm标志设置为等于第二预定值。在至少一个实施方式中，当所述编码器模块112从剩余模式候选中选择帧内预测模式以预测块单元时，所述编码器模块112可以将mpm标志设置为与第二预定值不同。在至少一个实施方式中，mpm标志可以是HEVC中的语法元素prev_intra_luma_pred_flag。在至少一个实施方式中，mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_flag。在至少一个实施方式中，第二预定值可以等于一。
在至少一个实施方式中，当所述帧内预测单元22221在解析列表标志之前确定选择第一参考线候选以重建块单元时，帧内预测模式可以从最可能模式和剩余模式候选中选择。在所述实施方式中，列表标志是用于确定帧内预测模式从最可能模式还是剩余模式候选中选择的mpm标志。因此，所述帧内预测单元22221可以进一步确定mpm标志是否等于第二预定值。在一个实施方式中，当所述帧内预测单元22221确定mpm标志与第二预定值不同时，所述帧内预测单元22221可确定帧内预测模式包括在剩余模式候选中。在另一实施方式中，当所述帧内预测单元22221确定mpm标志等于第二预定值时，所述帧内预测单元22221可以确定帧内预测模式包括在最可能模式中。
在框64，所述帧内预测单元22221基于多个模式索引中的第一个来确定块单元的帧内预测模式。
在至少一个实施方式中，当参考线索引不同于第一预定值或者mpm标志等于第二个预定值时，所述帧内预测单元22221可以确定块单元的帧内预测模式被包括在最可能模式中。在所述实施方式中，所述帧内预测单元22221可以基于模式索引中的第一个选择最可能模式中的一个作为帧内预测模式。在至少一个实施方式中，预测指示可以包括模式索引。在至少一个实施方式中，模式索引中的第一个可以是用于从最可能模式中选择帧内预测模式的mpm索引。在至少一个实施方式中，mpm索引可以是HEVC中的语法元素mpm_idx。在至少一个实施方式中，mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_idx。
在至少一个实施方式中，当所述编码器模块112选择第一参考线候选以预测块单元时，所述编码器模块112可以将非角度模式添加到最可能模式中。因此，当所述编码器模块112选择第一参考线候选以预测块单元时，所述编码器模块112可以将平面模式和DC模式添加到最可能模式中。在所述实现中，当所述帧内预测单元22221基于参考线索引选择第一参考线候选以重建块单元时，所述帧内预测单元22221还确定平面模式和DC模式包括在最可能模式中。换句话说，当所述帧内预测单元22221选择第一参考线候选以重建块单元时，可以基于模式索引中的第一个选择平面模式和DC模式来重建块单元。
在至少一个实施方式中，当所述编码器模块112选择不同于第一参考线候选的特定参考线候选以预测块单元时，所述编码器模块112可以从最可能模式中排除非角度模式。因此，当所述编码器模块112未选择第一参考线候选以预测块单位时，最可能模式不包括平面模式和DC模式。在所述实施方式中，当所述帧内预测单元22221基于参考线索引确定选择了不同于第一参考线候选的特定参考线候选以重建块单位时，所述帧内预测单元22221可以从最可能模式中排除平面模式和DC模式。换句话说，当所述帧内预测单元22221选择与第一参考线不同的特定参考线候选重建块单元时，可以基于模式索引中的第一个仅从包括在最可能模式中的角度模式中选择帧内预测模式。
在框65，所述帧内预测单元22221基于多个模式索引中的第二个来确定块单元的帧内预测模式。
在至少一个实施方式中，当mpm标志不同于第二预定值时，所述帧内预测单元22221可以确定在剩余模式候选中包括块单元的帧内预测模式。在所述实施方式中，所述帧内预测单元22221可以基于模式索引中的第二个来选择剩余模式候选中的一个作为帧内预测模式。在至少一个实施方式中，模式索引中的第二个可以是用于从剩余模式候选中选择帧内预测模式的非mpm索引。在至少一个实施方式中，非mpm索引可以是HEVC中的语法元素rem_intra_luma_pred_mode。在至少一个实施方式中，非mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_remainder。
在至少一个实施方式中，当帧内预测模式从剩余模式候选中选择时，第一参考线候选被选择来重建块单位。在至少一个实施方式中，当所述帧内预测单元22221基于参考线索引选择第一参考线候选以重建块单元时，所述帧内预测单元22221可以将非角度模式添加到最可能模式中。换句话说，非角度模式不包括在剩余模式候选中。因此，当所述帧内预测单元22221基于多个模式索引中的第二个来确定块单元的帧内预测模式时，平面模式和DC模式不会被选择。在所述实施方式中，当所述帧内预测单元22221基于多个模式索引中的第二个来确定块单元的帧内预测模式时，帧内预测模式是角度模式中的一个。
在框66，所述帧内预测单元22221根据所选的参考线候选基于帧内预测模式来重建图像帧的块单元。
在至少一个实施方式中，块单元可以包括多个块组件。在所述实施方式中，每个块组件可以是像素组件。所述帧内预测单元22221可以基于帧内预测模式，为每个块组件在所选参考线候选中选择的参考线样本中的至少一个。然后，所述帧内预测单元22221可以为每个块组件生成多个预测子中的一个。
在至少一个实施方式中，所述目的地设备12中的所述解码器模块222的第一加法器2224可以将预测子添加到从比特流确定的多个残差样本中，以重建块单元。另外，解码器模块222可以重建图像帧中的所有其他块单元，以重建图像帧和视频。
图7示出了根据用于帧内预测的模式选择方法的第四示例实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图2所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图7的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框71，所述解码器模块222根据视频数据从图像帧确定具有帧内预测模式的块单元。
在至少一个实施方式中，视频数据可以是比特流。所述目的地设备12可以通过所述目的地设备12的所述第二接口123从诸如所述来源设备11的编码器接收比特流。所述第二接口123将比特流提供给所述解码器模块222。所述解码器模块222根据比特流确定图像帧，并根据比特流中的多个分割指示对图像帧进行划分以确定块单位。例如，所述解码器模块222可以划分图像帧以生成多个编码树单元，并且还基于任何的视频编码标准中根据分割指示来分割编码树单元中的一个，以确定块单元。
在至少一个实施方式中，所述熵解码单元2221可以对比特流进行解码以确定针对块单元的多个预测指示，然后所述解码器模块222可以进一步基于预测指示来重建块单元。在至少一个实施方式中，预测指示可以包括多个标志和多个索引。
在框72，所述帧内预测单元22221确定用于选择多个参考线候选中的一个的参考线索引RefIdx(reference line index)。在至少一个实施方式中，当参考线索引不同于第一预定值时，程序进行到框73。在至少一个实施方式中，当参考线索引等于第一预定值时，程序进行到框74。
在至少一个实施方式中，每个参考线候选包括多个候选线样本。在至少一个实施方式中，所述编码器模块112可以选择参考线候选中的一个以预测块单元，并且将指示所选择的参考线候选的参考线索引提供给所述目的地设备12。在所述实施方式中，所述解码器模块222可以基于参考线索引确定选择的参考线候选，并且所述帧内预测单元22221可以将选择的参考线候选中的候选线样本确定为多个参考线样本。因此，所述解码器模块222可以基于参考线样本来重建块单元。图4是所述块单元41以及与所述块单元41相邻的多个参考线候选420-423的一个示例性实施方式的示意图。在至少一个实施方式中，所述帧内预测单元22221可以基于参考线索引选择皆具有多个候选线样本的参考线候选420-423中的一个，并确定所选择的参考线候选中的参考线样本。在至少一个实施方式中，当参考线索引等于第一预定值时，所述帧内预测单元22221可以选择第一参考线候选420并确定第一参考线候选420中的参考线样本。在至少一个实施方式中，当参考线索引不同于第一预定值时，所述帧内预测单元22221可以选择参考线候选421-423中的一个。在至少一个实施方式中，参考线索引可以是VCC或VTM中的语法元素intra_luma_ref_idx。在至少一个实施方式中，第一预定值可以等于零。
在至少一个实施方式中，所述帧内预测单元22221可以从多个帧内模式候选中选择帧内预测模式以预测块单元。在至少一个实施方式中，帧内模式候选可以包括多个非角度模式和多个角度模式。在实施方式中，非角度模式可以包括平面模式和DC模式。在一个实施方式中，当所述解码器模块222以VVC或VTM对块单元进行解码时，角度模式的数量可以等于65。在另一实施方式中，当所述解码器模块222以HEVC对块单元进行解码时，角度模式的数量可以等于32。在至少一个实施方式中，所述帧内预测单元22221可以基于与块单元相邻的多个相邻块，从帧内模式候选中确定多个最可能模式。在至少一个实施方式中，当所述帧内预测单元22221根据多个帧内模式候选中的特定的一个重建多个相邻块中的特定的一个时，可以将帧内候选模式中所述特定的一个设置为块单元的多个最可能模式中的一个。另外，所述帧内预测单元22221可基于所述特定的帧内模式候选导出多个最可能模式中的另一个。在所述实施方式中，当所述帧内预测单元22221从帧内模式候选中选出最可能模式时，所有未选择的模式候选可以被视为多个剩余模式候选。
在至少一个实施方式中，当所述帧内预测单元22221选择参考线候选中的第一个以预测块单元时，非角度模式可被添加到最可能模式中。换句话说，非角度模式被排除在剩余模式候选之外。在至少一个实施方式中，当所述帧内预测单元22221选择不同于第一参考线候选的参考线候选中的特定一个来预测块单元时，非角度模式被排除在最可能模式之外。
在框73，所述帧内预测单元22221将非角度模式排除在最可能模式之外。
在至少一个实施方式中，由于非角度模式不被添加到最可能模式中，因此最可能模式中每一个都是从角度模式中选出。在所述实施方式中，当帧内预测模式从最可能模式中选择时，帧内预测模式是角度模式中的一个。
在框74，所述帧内预测单元22221将非角度模式添加到最可能模式中。
在至少一个实施方式中，由于非角度模式被添加到最可能模式中，因此剩余模式候选中每一个都是从角度模式中选出。在实施方式中，当帧内预测模式从剩余模式候选中选择时，帧内预测模式是角度模式中的一个。另外，当帧内预测模式从最可能模式中选择时，帧内预测模式是非角度模式和角度模式中的一个。
在框75，所述帧内预测单元22221确定从最可能模式或剩余模式候选中选择的帧内预测模式，以根据所选的参考线候选来重建块单元。
在至少一个实施方式中，当所述编码器模块112选择参考线候选中的第一个以预测块单元时，所述编码器模块112可以从最可能模式和剩余模式候选中选择帧内预测模式。在至少一个实施方式中，当所述编码器模块112选择不同于第一参考线候选的所述特定参考线候选来预测块单元时，所述编码器模块112可以仅从最可能模式中选择帧内预测模式。
在至少一个实施方式中，当所述帧内预测单元22221基于参考线索引选择特定参考线候选以重建块单元时，所述帧内预测单元22221仅从最可能模式中选择帧内预测模式。因此，当所述帧内预测单元22221确定参考线索引不同于第一预定值时，所述帧内预测单元22221可以直接确定帧内预测模式被包括在最可能模式中，而每个最可能模式都与非角度模式不同的。换句话说，当所述帧内预测单元22221选择与第一参考线候选不同的特定参考线候选以重建块单元时，帧内预测模式可以基于多个模式索引中的第一个仅从包括在最可能模式中的角度模式中选择。在至少一个实施方式中，预测指示可以包括模式索引。在至少一个实施方式中，模式索引中的第一个可以是用于从最可能模式中选择帧内预测模式的mpm索引。在至少一个实施方式中，mpm索引可以是HEVC中的语法元素mpm_idx。在至少一个实施方式中，mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_idx。
在至少一个实施方式中，当所述帧内预测单元22221基于参考线索引选择第一参考线候选以重建块单元时，所述帧内预测单元22221从最可能模式和剩余模式候选中选择帧内预测模式。因此，当所述帧内预测单元22221确定参考线索引等于第一预定值时，所述帧内预测单元22221进一步确定帧内预测模式是包括在具有非角度模式的最可能模式或是与非角度模式不同的剩余模式候选中。在一个实施方式中，当所述帧内预测单元22221确定帧内预测模式是基于参考线索引和最可能模式mpm(most probable mode)标志中的一个从最可能模式中选择时，所述帧内预测单元22221可以基于模式索引中的第一个来确定帧内预测模式。在至少一个实施方式中，mpm标志可以是HEVC中的语法元素prev_intra_luma_pred_flag。在至少一个实施方式中，mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_flag。在另一实施方式中，当所述帧内预测单元22221确定帧内预测模式基于mpm标志从剩余模式候选中选择时，所述帧内预测单元22221可基于模式索引中的第二模式索引来确定帧内预测模式。在至少一个实施方式中，模式索引中的第二个可以是用于从剩余模式候选中选择帧内预测模式的非mpm索引。在至少一个实施方式中，非mpm索引可以是HEVC中的语法元素rem_intra_luma_pred_mode。在至少一个实施方式中，非mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_remainder。
在至少一个实施方式中，块单元可以包括多个块组件。在所述实施方式中，每个块组件可以是像素组件。所述帧内预测单元22221可以基于帧内预测模式，为每个块组件在所选参考线候选中选择的参考线样本中的至少一个。然后，所述帧内预测单元22221可以为每个块组件生成多个预测子中的一个。
在至少一个实施方式中，所述目的地设备12中的所述解码器模块222的第一加法器2224可以将预测子添加到从比特流确定的多个残差样本中，以重建块单元。另外，解码器模块222可以重建图像帧中的所有其他块单元，以重建图像帧和视频。
图8是表示图1的系统中的来源设备11的编码器模块812的示例性实施方式的编码器模块812的方框图。在至少一个实施方式中，编码器模块812包括预测处理器(例如：预测处理单元8121)、至少一个加法器(例如：第一加法器8122和第二加法器8125)、变换/逆量化处理器(例如：变换/量化单元8123)、逆量化/逆变换处理器(例如：逆量化/逆变换单元8124)、滤波器(例如：滤波单元8126)、解码图片缓冲器(例如：解码图片缓冲器8127)和熵编码单元(例如：熵编码单元8128)。在至少一个实施方式中，所述编码器模块812的所述预测处理单元8121还包括分割处理器(例如：分割单元81211)、帧内预测单元81212和帧间预测单元81213。在至少一个实施方式中，所述编码器模块812接收来源视频，并对来源视频进行编码以输出比特流。
在至少一个实施方式中，所述编码器模块812可以接收包括多个图像帧的来源视频，然后根据编码结构分割图像帧。在至少一个实施方式中，每个图像帧可以分割为至少一个图像块。至少一个图像块可以包括具有多个亮度样本的亮度块以及具有多个多个色度样本的至少一个色度块。亮度块和至少一个色度块可以被进一步分割以生成宏块、编码树单元(Coding Tree Units，CTU)、编码块(coding blocks，CB)、其子分割和/或另一等效编码单元。在至少一个实施方式中，编码器模块812可以执行来源视频的另外的细分割。应当注意，无论在编码之前和/或编码期间如何分割来源视频，所述的揭露内容通常可应用于视频编码。
在至少一个实施方式中，在编码处理期间，所述预测处理单元8121接收所述多个图像帧中的特定一个的当前图像块。当前图像块可以是所述特定图像帧中的亮度块和至少一色度块中的一个。所述分割单元81211将当前图像块分割为多个块单元。所述帧内预测单元81212可以在与当前块单元相同的帧中相对于一个或多个相邻块执行当前块单元的帧内预测编码，以提供空间预测。所述帧间预测单元81213可以相对于一个或多个参考图像块中的一个或多个块执行当前块单元的帧间预测编码，以提供时间预测。
在至少一个实施方式中，所述预测处理单元8121可以基于诸如成本函数的模式选择方法来选择由所述帧内预测单元81212和所述帧间预测单元81213生成的多个编码结果中的一个。在至少一个实施方式中，模式选择方法可以是率失真优化RDO(Rate-DistortionOptimization)过程。所述预测处理单元8121确定选择的编码结果，并且将与选择的编码结果相对应的预测块提供给所述第一加法器8122以生成残值块，并且提供给所述第二加法器8125以重建编码的块单元。在至少一个实施方式中，所述预测处理单元8121还可以将诸如运动向量、帧内模式指示符，分割信息和其他语法信息的语法元素提供给所述熵编码单元8128。
在至少一个实施方式中，所述帧内预测单元81212可以对当前块单元进行帧内预测。在至少一个实施方式中，所述帧内预测单元81212可以确定指向与当前块单元相邻的重建样本的帧内预测模式以对当前块单元进行编码。在至少一个实施方式中，所述帧内预测单元81212可以使用各种帧内预测模式对当前块单元进行编码，并且所述帧内预测单元81212或所述预测处理单元8121可以从测试模式中选择适当的帧内预测模式。在至少一个实施方式中，所述帧内预测单元81212可以使用交叉分量预测模式来对当前块单元进行编码，以基于当前块单元的亮度分量来预测当前块单元的两个色度分量中的一个。另外，所述帧内预测单元81212可以基于当前块单元的两个色度分量中的另一个来预测当前块单元的两个色度分量中的第一个。
在至少一个实施方式中，如上所述，所述帧间预测单元81213可以对当前块单元进行帧间预测，以作为由所述帧内预测单元81212执行的帧内预测的替代。所述帧间预测单元81213可以执行运动估计以估计当前块单元的运动以生成运动向量。运动向量可以指示当前图像块内的当前块单元相对于参考图像块内的参考块单元的位移。在至少一个实施方式中，所述帧间预测单元81213接收存储在所述解码图片缓冲器8127中的至少一个参考图像块，并基于接收到的参考图像块来估计运动以生成运动向量。
在至少一个实施方式中，所述第一加法器8122通过从原始当前块单元减去由所述预测处理单元8121确定的预测块来生成残值块。所述第一加法器8122代表执行该减法运算的一个或多个元件。
在至少一个实施方式中，所述变换/量化单元8123将变换应用于残值块以产生残值变换系数，然后对残值变换系数进行量化以进一步降低比特率。在至少一个实施方式中，所述变换可以是DCT、DST、AMT、MDNSST、HyGT、信号相关变换、KLT、小波变换、整数变换、子带变换或概念上类似的变换。在至少一个实施方式中，所述变换可以将残值信息从像素值域转换到变换域，例如频域。在至少一个实施方式中，可以通过调整量化参数来修改量化程度。在至少一个实施方式中，所述变换/量化单元8123可以对包括量化的变换系数的矩阵进行扫描。或者，所述熵编码单元8128可以执行扫描。
在至少一个实施方式中，所述熵编码单元8128可以从所述预测处理单元8121以及所述变换/量化单元8123接收包括量化参数、变换数据、运动向量、帧内模式、分割信息和其他语法信息的多个语法元素，并且将语法元素编码编码到比特流中。在至少一个实施方式中，所述熵编码单元8128对经量化的变换系数进行熵编码。在至少一个实施方式中，所述熵编码单元8128可以执行CAVLC、CABAC、SBAC、PIPE编码或另一熵编码技术以生成编码的比特流。在至少一个实施方式中，编码的比特流可以被发送到另一设备(例如，所述目的地设备12)或被存档以用于稍后的发送或索取。
在至少一个实施方式中，所述逆量化/逆变换单元8124可以应用逆量化和逆变换来重建像素域中的残余块，以供以后用作参考块。在至少一个实施方式中，所述第二加法器8125将重建的残余块添加到从所述预测处理单元8121提供的预测块中，以产生重建的块以存储在所述解码图片缓冲器8127中。
在至少一个实施方式中，所述滤波单元8126可以包括解块滤波器、SAO滤波器、双边滤波器和/或ALF，以从重建块去除块状伪像。除了解块滤波器、SAO滤波器、双边滤波器和ALF之外，还可以使用其他滤波器(环路内或环路后)。为了简洁起见，未示出此类滤波器，但是如果需要，可以对第二加法器8125的输出进行滤波。
在至少一个实施方式中，所述解码图片缓冲器8127可以是参考图片存储器，该参考图片存储器存储例如在帧内或帧间编码模式下用于由所述编码器模块812对视频进行编码的参考块。所述解码图片缓冲器8127可以由多种存储设备中的任何一个形成，诸如包括SDRAM、MRAM、RRAM的DRAM，或其他类型的存储设备。在至少一个实施方式中，所述解码图片缓冲器8127可以与所述编码器模块812的其他组件一起在芯片上，或者相对于那些组件在芯片外。
图9示出了根据用于帧内预测的模式信号发送选择方法的第一示例实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图8所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图9的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框91，所述编码器模块812从视频数据确定图像帧中的块单位。
在至少一个实施方式中，视频数据可以是视频。所述来源设备11可以由所述来源模块111接收视频。所述编码器模块812从视频确定图像帧，并且划分图像帧以确定块单位。
在至少一个实施方式中，所述来源设备11的所述预测处理单元8121经由所述分割单元81211从视频确定块单元，然后所述编码器模块812基于所述分割单元81211的分割结果将多个分割指示提供给比特流。
在至少一个实施方式中，所述目的地设备12的所述预测处理单元8121确定与块单元相邻的相邻块。在至少一个实施方式中，相邻块可以在预测块单元之前被预测，因此，相邻块可以包括用于预测块单元的多个参考线样本。在至少一个实施方式中，块单元可以在预测一些相邻块之前进行预测，因此未预测的相邻块可以不包括用于该块单元的参考线样本。
在框92，所述帧内预测单元81212选择与该块单元相邻的多个参考线候选中的一个，并且基于所选的参考线候选来确定多个最可能模式，以确定帧内预测模式。
在至少一个实施方式中，每个参考线候选包括多个候选线样本。在至少一个实施方式中，所述编码器模块812可以选择参考线候选中的一个以预测块单元，并且将指示所选的参考线候选的参考线索引提供给所述目的地设备12。图4是块单元41以及与块单元41相邻的参考线候选420-423的示例实施方式的示意图。在至少一个实施方式中，所述帧内预测单元81212可以选择都具有用于预测块单元41的候选线样本的参考线候选420-423中的一个。
在至少一个实施方式中，所述帧内预测单元81212可以从多个帧内模式候选中选择帧内预测模式以预测块单元。在至少一个实施方式中，帧内模式候选可以包括多个非角度模式和多个角度模式。在所述实施方式中，非角度模式可以包括平面模式和DC模式。
在至少一个实施方式中，所述帧内预测单元81212可以基于与块单元相邻的相邻块，从帧内模式候选中确定多个最可能模式。在至少一个实施方式中，当所述编码器模块812根据特定帧内模式候选重建相邻块中特定的一个时，所述特定的帧内候选模式可以设置为该块单元的最可能模式之一。另外，所述帧内预测单元81212可以基于所述特定的帧内候选模式来推导最可能模式中的另一个。在所述实施方式中，所有未选择的模式候选可以被视为多个剩余模式候选者。在至少一个实施方式中，当所述帧内预测单元81212选择参考线候选中的第一个以预测块单元时，每个非角度模式可以被添加到最可能模式中。换句话说，当所述帧内预测单元81212选择参考线候选中的第一个以预测块单元时，非角度模式可以被排除在剩余模式候选之外。至少一个实施方式中，当所述帧内预测单元81212选择不同于第一参考线候选的参考线候选中的特定一个来预测块单元时，非角度模式可以被排除在最可能模式之外。
在至少一个实施方式中，所述预测处理单元8121可以基于诸如成本函数的模式选择方法，选择由所述帧内预测单元81212根据帧内模式候选和参考线候选生成的编码结果中的一个。在至少一个实施方式中，模式选择方法可以是速率失真优化RDO(rate-distortion optimization)过程。在所述实施方式中，用于根据所选参考线候选生成所选编码结果的所选帧内模式候选可以通过所述帧内预测单元81212设置为帧内预测模式。
在框93，所述帧内预测单元81212确定帧内预测模式是否被包括在最可能模式中。在至少一个实施方式中，当帧内预测模式被包括在最可能模式中时，程序进行到框94。在至少一个实施方式中，当最可能模式中的每一个与帧内预测模式不同时，程序进行到框95。
在至少一个实施方式中，当所述帧内预测单元81212选择参考线候选中的第一个来预测块单元时，所述帧内预测单元81212可以从最可能模式和剩余模式候选中选择帧内预测模式。在至少一个实施方式中，当所述帧内预测单元81212选择与第一参考线候选不同的特定参考线候选以预测块单元时，所述帧内预测单元81212可以仅从最可能模式中选择帧内预测模式。
在一个实施方式中，当帧内预测模式被包括在最可能模式中时，每个参考线候选对于块单元是可选择的。因此，所述编码器模块812可以将指示帧内预测模式包括在最可能模式中的最可能模式mpm(most probable mode)标志和指示所选的参考线候选的参考线索引编码到比特流中。在另一实施方式中，当帧内预测模式不包括在最可能模式中时，与第一参考线候选不同的特定参考线候选可以被排除针对块单元的可选择参考线候选之外。因此，由于当帧内预测模式不包括在最可能模式中时，所述编码器模块812可以直接将第一参考线候选设置为所选参考线候选，所以所述编码器模块812可以不将参考线索引编码到比特流中。另外，所述编码器模块812可以将mpm标志编码到比特流中，以指示最可能模式中不包括帧内预测模式。
在框94，所述编码器模块812将等于第二预定值的mpm标志和指示所选的参考线候选的参考线索引编码到比特流中。
在至少一个实施方式中，当所述编码器模块812从最可能模式中选择帧内预测模式时，所述编码器模块812可以将mpm标志设置为等于第二预定值。在至少一个实施方式中，mpm标志可以是HEVC中的语法元素prev_intra_luma_pred_flag。在至少一个实施方式中，mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_flag。在至少一个实施方式中，第二预定值可以等于一。另外，所述编码器模块812可以对指示所选的参考线候选的参考线索引进行编码。
在框95，所述编码器模块812将不同于第二预定值的mpm标志编码到比特流中。
在至少一个实施方式中，当所述编码器模块812从剩余模式候选中选择帧内预测模式时，所述编码器模块812可以将mpm标志设置为与第二预定值不同。在所述实施方式中，当帧内预测模式不包括在最可能模式中时，所述编码器模块812可以在不用信号发送参考线索引的情况下对视频进行编码。
在框96，所述编码器模块812将指示帧内预测模式的模式索引编码到比特流中。
在至少一个实施方式中，模式索引可以是用于从最可能模式中选择帧内预测模式的mpm索引。在至少一个实施方式中，mpm索引可以是HEVC中的语法元素mpm_idx。在至少一个实施方式中，mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_idx。在至少一个实施方式中，模式索引可以是用于从剩余模式候选中选择帧内预测模式的非mpm索引。在至少一个实施方式中，非mpm索引可以是HEVC中的语法元素rem_intra_luma_pred_mode。在至少一个实施方式中，非mpm索引可以是VCC或VTM中的语法元素intra_luma_mpm_remainder。
图10示出了根据用于帧内预测的模式信号发送选择方法的第二示例实施方式的流程图。因为存在多种方式来执行该方法，因此仅通过示例的方式提供示例方法。例如，可以使用图1和图8所示的配置来执行以下描述的方法，并且在解释示例方法时参考了这些图的各种组件。显示在图10的每一框表示在示例方法中执行的一个或多个过程、方法或子例程。此外，框的顺序仅是说明性的，并且可以改变。在不脱离本揭露的情况下，可以添加额外的框或可以利用更少的框。
在框1001，所述编码器模块812从视频数据确定图像帧中的块单位。在至少一个实施方式中，在框1001中的确定方法实质上与在框91中的确定方法相同。
在框1002，所述帧内预测单元81212选择与块单元相邻的多个参考线候选中的一个，并且基于所选的参考线候选来确定多个最可能模式以确定帧内预测模式。在至少一个实施方式中，在框1002中的选择方法和确定方法实质上与在框92中的选择方法和确定方法相同。
在框1003，所述帧内预测单元81212确定所选的参考线候选是否是参考线候选中的第一个。在至少一个实施方式中，当所选的参考线候选是参考线候选中的第一个时，程序进行到框1004。在至少一个实施方式中，当所选的参考线候选是与第一参考线候选不同的参考线候选中的特定一个时，程序进行到框1005。
在至少一个实施方式中，当所述帧内预测单元81212选择参考线候选中的第一个以预测块单元时，所述帧内预测单元81212可以从包括最可能模式的多个帧内模式候选中选择帧内预测模式。在所述实施方式中，所述编码器模块812可以将等于第一预定值的参考线索引和指示帧内预测模式是包括在最可能模式中还是多个剩余模式候选中的最可能模式mpm(most probable mode)标志编码到比特流中。在所述实施方式中，剩余模式候选是通过从帧内模式候选中去除最可能模式来生成。
在至少一个实施方式中，当所述帧内预测单元81212选择与第一参考线候选不同的特定参考线候选以预测块单元时，所述帧内预测单元81212可以仅从最可能模式中选择帧内预测模式。因此，当所述编码器模块812确定所选的参考线候选与第一参考线候选不同时，所述编码器模块812可以将不同于第一预定值的参考线索引编码到比特流中。另外，因为当所选的参考线候选与第一个参考候选不同时，所述解码器模块222可以直接确定帧内预测模式包括在最可能模式中，所以所述编码器模块812可以不将mpm标志编码到比特流中。
在框1004，所述编码器模块812将等于第一预定值的参考线索引和指示帧内预测模式是否包括在最可能模式中的mpm标志编码到比特流中。
在至少一个实施方式中，当所述编码器模块812选择第一参考线候选以预测块单元时，所述编码器模块812可以将参考线索引设置为等于第一预定值。在至少一种实施方式中，参考线索引可以是VVC或VTM中的语法元素intra_luma_ref_idx。在至少一个实施方式中，第一预定值等于零。另外，所述编码器模块可以对用于指示帧内预测模式是否包括在最可能模式中的mpm标志进行编码。
在框1005，所述编码器模块812将与第一预定值不同的参考线索引编码到比特流中。
在至少一个实施方式中，当所选择的参考线候选与第一参考线候选不同时，所述编码器模块812可以设置参考线索引与第一预定值不同。因此，当基于不同于第一参考线候选的特定参考线候选来预测块单元时，所述编码器模块812可以在不用信号通知用于块单元的mpm标志的情况下对视频进行编码。
在框1006，所述编码器模块812将指示帧内预测模式的模式索引编码到比特流中。
在至少一个实施方式中，模式索引可以是用于从最可能模式中选择帧内预测模式的mpm索引。在至少一个实施方式中，模式索引可以是用于从剩余模式候选中选择帧内预测模式的非mpm索引。在至少一个实施方式中，在HEVC，mpm索引可以是语法元素mpm_idx，非mpm索引可以是语法元素rem_intra_luma_pred_mode。在至少一个实施方式中，在VCC或VTM，mpm索引可以是语法元素intra_luma_mpm_idx，非mpm索引可以是语法元素intra_luma_mpm_remainder。
惟以上所述者，显而易见的是，在不脱离那些概念的范围的情况下，可以使用各种技术来实施本申请中描述的概念。此外，在所述概念已经具体参考某些实施方式来描述下，本领域普通技术人员将认识到在不脱离那些概念的范围内可以在形式和细节上进行改变。这样，所描述的实施方式在所有方面都应被认为是说明性的而非限制性的。还应该理解，本申请不限于上述特定实施方式，而是在不脱离本揭露的范围的情况下，许多重新布置，修改和替换是可能的。
