通过像素值到像素的映射控制图像显示
技术领域
下面的公开内容总体涉及用于控制图像数据在显示面板上的显示的技术，并且更具体地，涉及用于将像素值映射到显示面板的像素的技术。
背景技术
对增加视觉显示分辨率的需求已经导致图像数据大小和相关传输带宽使用的大的相应增加。例如，增加游戏设备、视频显示设备、移动计算、通用计算等中的视觉显示分辨率已经导致了更高的传输带宽。高动态范围数据使用更大的每像素带宽来呈现增强的图像真实感。此外，虚拟现实(“VR”)和增强现实(“AR”)系统，特别是使用头戴式显示(“HMD”)器的那些系统的日益普及的普及进一步增加了这种需求。虚拟现实系统通常完全包围佩戴者的眼睛，并用“虚拟”现实代替佩戴者前方的实际视图(或实际现实)，而增强现实系统通常提供佩戴者眼睛前方的一个或多个屏幕的半透明或透明覆盖，从而用附加信息增强实际视图。
然而，这种头戴式显示器具有观看者眼睛与显示器之间的距离减小并且经常具有完全模糊的视场，以传统的显示和传输能力不能满足并且同时还经常将佩戴者的目光和注意力集中在显示器的一部分上的方式增加了显示器的性能要求。
附图说明
图1A是包括适于执行本公开中所描述的至少一些技术的一个或多个系统的网络化环境的示意图，包括图像数据管理器(“IDM”)系统的实施方式。
图1B是示出用于执行本公开中所描述的至少一些技术的显示设备的示例性配置的硬件电路的示意图。
图2A至图2C示出了通过根据本文描述的技术的IDM系统的实施方式对用于显示的图像数据进行编码和解码的示例。
图3是IDM系统的图像数据像素值到像素映射器例程的示例性实施方式的流程图。
图4是IDM系统的图像数据显示管理器例程的示例性实施方式的流程图。
具体实施方式
本公开总体上涉及用于至少部分地基于像素值到像素的映射来控制图像数据在显示面板上的显示的技术，诸如用于与视频数据和/或其它图像的帧一起使用，并且在一些实施方式中用于与一个或多个显示面板一起使用，所述一个或多个显示面板是在用于VR和/或AR显示技术的头戴式显示(“HMD”)设备的一部分，在至少一些这样的实施方式中，该技术包括使用显示面板的不同区域中被映射到单个图像数据像素值的不同数量的显示面板像素。例如，在至少一些这样的实施方式中，这样的技术可包括将显示面板分成多个区域，其中至少一个主区域具有显示图像数据的最高分辨率(例如，通过使用图像像素值到显示面板像素的1对1映射，使得每个这样的图像像素值均控制一个这样的像素的显示)，并且一个或多个辅助区域具有显示图像数据的一个或多个较低分辨率(例如，针对每个这样的辅助区域，通过使用图像像素值到显示面板像素的1到M映射，其中M大于1，使得每个这样的图像像素值均控制M个这样的像素的显示，并且可选地具有用于不同辅助区域的不同M值)。在至少一些这样的实施方式中，图像数据还可根据这样的显示面板布置进行编码以及可选地进行解码，以便在传输到显示面板之前，对每个显示面板布置的图像数据进行编码，以减小其尺寸，并且可选地在传输之后对图像数据进行解码，以在整个传输过程中重新创建具有1对1像素值到像素的图像数据，或者替代地使用编码的图像数据来直接控制显示面板上的像素的显示，而不进行这样的解码。在至少一些实施方式中。该技术还可与VR头戴式耳机和/或其它VR或AR显示器的每个显示面板一起使用，以便在显示面板上显示的图像的中心(或其它选定部分)提供所显示的图像数据的最高分辨率(例如，以反映观看者聚焦的图像和/或显示面板的区域，以反映具有特定重要性或兴趣的图像的区域等)。本文描述的技术中的一些或全部可经由图像数据管理器(“IDM”)系统的实施方式的自动化操作来执行，如下面更详细讨论的。
例如，在一些实施方式中，获取包括用于相关联的视频帧的像素值信息的视频帧数据，其中像素值信息包括用于相关联的视频帧的多个单维像素阵列行和单维像素阵列列中的每个像素的像素值。例如基于用于对视频帧数据进行编码的各种标准，确定用作具有多个显示区域的显示面板布置的空间分区结构，包括确定相关联的视频帧的主显示区域和相关联的视频帧的多个辅助显示区域的相应尺寸和位置，并且还包括为多个辅助显示区域中的每个选择像素簇尺寸。对于多个辅助显示区域中的每个，通过将来自所包括的两个或更多个单维像素阵列的一个或更多个源单维像素阵列中的每个的像素值分配给与源单维像素阵列相邻的辅助显示区域的一个或多个目的地单维像素阵列的像素，修改辅助显示区域的内容，使得辅助显示区域包括多个像素簇，每个像素簇均具有所选择的像素簇尺寸和单个像素值。在编码完成之后，编码的视频帧数据可被存储以供稍后显示，或者转发到一个或多个显示设备以供呈现。
如上所述，所述技术可用于至少一些实施方式中，以至少部分地基于像素值到像素的映射来控制图像数据在显示面板上的显示，包括在显示面板的不同区域中使用被映射到单个图像数据像素值的不同数量的显示面板像素。在各种实施方式中，可以以各种方式来确定使用单个像素值到其控制显示的一个或多个显示面板像素的量的什么映射。例如，在一些实施方式中，映射可以是静态的，使得每个图像均可使用相同的映射进行编码和/或显示，而在其它实施方式中，所使用的映射可针对不同的图像动态地变化。作为一个示例，一些显示面板可伴随有眼睛跟踪或其他目光跟踪系统(例如，作为VR和/或AR系统的一部分)，眼睛跟踪或其他目光跟踪系统能够识别观看者当前聚焦的显示面板和/或显示图像的区域，如果是这样，则可动态地调整所使用的映射，使得所识别的区域被确定为使用对应于最高图像分辨率的映射的主显示区域，而显示面板的一个或多个其他区域可确定为使用对应于较低图像分辨率的一个或多个其他映射的辅助显示区域，在这样的实施方式中，可在不同的时间动态地修改映射(例如，对于每个显示的图像，当观看者的聚焦区域改变至少阈值量时，在每X个图像之后，其中X可大于1，当满足一个或多个其它标准时等)。此外，在一些实施方式中，正在生成或以其他方式提供用于显示的图像的软件程序或其他系统可将图像的一个或多个区域识别为主显示区，该主显示区由IDM系统确定为具有对应于最高图像分辨率的映射(例如，由正在生成或以其他方式提供图像的软件程序或其他系统指示的映射或分辨率，由IDM系统选择以对应于这样的主显示区的映射或分辨率，由观看者的设置或其他动作或偏好等指定或影响的映射或分辨率)，并且可以可选地进一步将图像的一个或多个其他区识别为辅助显示区，该辅助显示区由IDM系统确定为具有对应于较低图像分辨率的一个或多个其他映射。此外，在一些实施方式中，观看者或其他用户可提供由IDM系统使用的各种输入，诸如以下各项中的一个或多个：IDM系统将使用相应的映射和其他所描述的技术为主显示区域提供最高分辨率，以识别显示面板的一个或多个主显示区域；IDM系统将使用相应的映射和其它描述的技术为主显示区提供最高分辨率，以识别图像的一个或多个主显示区；以识别用于一个或多个主显示面板区域/图像区域和/或一个或多个辅助显示面板区域/图像区域的映射和/或分辨率等。在其它实施方式中，在显示面板的不同部分中的不同显示图像分辨率可以以其它方式实现，包括通过在显示面板的不同区域中构造具有不同尺寸像素的显示面板(例如，角落中的像素尺寸是中心中的像素尺寸的四倍的显示面板，使得角落中的像素仅具有用于控制其显示的单个对应像素值。但是产生类似于使用1对4映射的视觉效果，其中使用单个像素值来控制在整个显示面板中具有均匀尺寸的角落中的4个像素的显示)。下面包括与至少部分地基于像素值到像素的映射来控制图像数据在显示面板上的显示有关的附加细节。
在所描述的技术的至少一些实施方式中的益处包括：通过减小图像数据大小来寻址和减轻用于图像编码的增加的媒体传输带宽，提高控制显示面板像素的速度(例如，至少部分地基于对应的减小的图像数据大小)，改进凹形图像系统和反映显示面板的子集和/或特定兴趣的图像的其它技术等。凹形图像编码系统利用人类视觉系统的特定方面(其可提供仅焦点处和焦点周围的详细信息)，但是可以是计算密集的(例如，使用更大的计算能力来处理更高分辨率的视频和图像数据，以便减小用于传输该视频和图像数据的相应带宽)。在某些VR和AR显示器的情况下，用于处理高分辨率媒体的带宽和计算使用量都被加剧，因为特定的显示设备涉及具有两个可单独寻址的像素阵列的两个单独的显示面板(即，每只眼睛一个)，每个像素阵列涉及适当的分辨率。因此，所描述的技术可用于例如减小视频帧或其它图像的本地和/或远程显示的传输带宽，同时保持图像内的观看者的“感兴趣区域”中的分辨率和细节，同时使用于处理这样的图像数据的计算使用量最小化。此外，在头戴式显示设备中使用透镜并具有其它显示器可在显示面板的子集上提供更大的焦点或分辨率，使得当在这样的实施方式中使用这样的技术时，使用这样的技术在显示面板的其它部分中显示较低分辨率的信息可进一步提供益处。
出于说明性目的，下面描述一些实施方式，其中以用于特定类型的结构的特定类型的方式并通过使用特定类型的设备获取和使用特定类型的信息。然而，应当理解，这样描述的技术可在其它实施方式中以其它方式使用，因此本发明不限于所提供的示例性细节。作为一个非排他性示例，在此讨论的各种实施方式包括使用作为视频帧的图像，然而，尽管为了方便起见，在此描述的许多示例涉及“视频帧”，但是应当理解，可针对各种类型的一个或多个图像来使用参考这些示例描述的技术，包括连续的多个视频帧(例如，以每秒30或60或90或一些其它量的帧)、其它视频内容、照片、计算机生成的图形内容、其它可视媒体制品或其一些组合的非排他性示例。作为另一非排他性示例，虽然一些所示实施方式讨论了以特定方式使用特定显示行和/或列(例如，一维阵列)的所述技术的实施方式的实现，诸如将特定辅助显示区域中的这种行和/或列中的像素值复制到一个或多个其它相邻或附近的行和/或列，但是其它实施方式可以以其它方式以1到M映射来实现像素值的使用。作为另一非排他性示例，虽然一些所示实施方式讨论了使用用于主显示区域的1对1映射和用于辅助显示区域的1到M映射，但是在其它实施方式中可使用用于复制像素值的其它映射或技术(例如，用于主显示区域的1到N映射，其中N是1或更大；用于主显示区域或辅助显示区域的J到K映射，其中J和K是不同的，并且K大于或小于J等)。此外，出于示例性目的，在附图和文本中提供了各种细节，但并不旨在限制本发明的范围。
作为一个示例，在某些实施方式中，可修改跨越像素值阵列的具有均匀显示分辨率的视频帧，使得视频帧分割成主显示区域(通常朝向视频帧的中心定位)和多个辅助显示区域(通常朝向视频帧的边缘布置)。作为处理由一个或多个显示面板显示的视频帧数据的至少一部分，通过选择性地将来自每个辅助显示区域内的一列或一行(“单维像素阵列”)的像素值分配给相邻列或行的相邻或附近像素来降低与该视频帧数据相关联的数据密度，使得相邻或附近像素的单独像素值不包括在经编码的减少的数据中。有效地，复制这些辅助显示区域的相邻列和/或行，以便在传输与视频帧相对应的数据之前(例如，在一个或多个计算机网络上，诸如关于因特网视频流；在本地总线或电缆或其它传输路径上，诸如在视频处理设备与显示设备之间的有线或无线连接中)，减小视频帧的总体数据密度。应当理解，在各种实施方式中，可以以各种方式来执行从多个原始像素值中选择要编码和使用的单个代表性像素值，包括经由下采样或求平均值，子采样或拾取4个值中的单个值等。此外，在至少一些实施方式中，压缩程度(例如，将使用单个编码的代表像素值来显示的多个原始像素值和/或解码的像素值的量)可以以不同于显示面板和图像的区域的方式变化，以便执行压缩量的颜色特定的变化(例如，对于绿色通道，使用比红色或蓝色通道更少的压缩)。和/或以颜色特定的方式改变动态范围分量。通过以这种方式选择性地减少视频帧中的唯一像素值的量，可提供相当大的带宽传输节省。例如，利用这些用于视频处理的技术的示例性情况可导致传输带宽从67.1Gb/秒减小到29.4Gb/秒，带宽减小约44％。
在某些实施方式中，负责对视频帧数据或其它图像数据进行编码以供显示的系统或设备可在空间上将相应的视频帧划分成主显示区和辅助显示区的各种结构布置，主显示区和辅助显示区对应于将在其上显示视频帧数据的显示面板的相关联的主显示区域和辅助显示区域。作为一个非限制性示例，在一个实施方式中，系统可将与视频帧本身类似但较小比例的中心区指定为视频帧的几何中心处或附近的主显示区域，将视频帧到主显示区域的每侧的部分指定为其中将每列的像素值复制到相邻列中的辅助显示区域，并且将视频帧的在主显示区域上方和下方的部分指定为其中将每行的像素值复制到相邻行中的辅助显示区域。在其它实施方式中，出于对视频帧或其它数据进行编码的目的，诸如如果确定相应视频帧的观看者的可能焦点将与显示器像素阵列的几何中心相距一些距离，则主显示区域可以以非对称方式定位在较大的显示器像素阵列内。这种系统或设备的一个或多个硬件处理器或其它配置的硬件电路可包括例如一个或多个GPU(“图形处理单元”)和/或CPU(“中央处理单元”)，诸如硬件处理器是HMD设备或其它设备的一部分，所述HMD设备或其它设备包括一个或多个显示面板，图像数据将在该显示面板上显示，和/或作为计算系统的一部分，所述计算系统生成或以其它方式准备图像数据以发送到显示面板进行显示，如下面进一步讨论的。更一般地，这样的硬件处理器或其它配置的硬件电路可包括但不限于：一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如，通过执行适当的指令，并且包括微控制器和/或嵌入式控制器)，现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)、数字信号处理器(DSP)、可编程逻辑控制器(PLC)等。还在本文别处提供了主显示区域和辅助显示区域的附加细节和示例性布置，包括以下关于图2A至图2C的内容。
在各种实施方式中，可根据一个或多个标准来确定用于以所述方式对基于像素的数据进行编码的特定显示分区布置。这种标准的非限制性示例可包括：数据传输带宽限制，诸如如果数据传输带宽较少，则将相应视频帧的较小部分指定为主显示区域；数据传输带宽目标，诸如如果优选使用较小的数据传输带宽来传输这样的视频帧数据，则利用较大的像素簇尺寸；图形计算能力限制或目标，诸如使用更大量的更小的辅助显示区域来划分要编码的数据，以便获得更高的感知内容质量；媒体类型(例如，要编码的内容先前是否已经以可能影响传输带宽的另一种方式进行编码，诸如经由无损或有损压缩)；媒体内容(例如，基于观看者的预测或期望的焦点，基于对待编码的内容内的视频帧数据集合的分析，基于待编码的内容中包括的一个或多个标签或元数据等)；指示类型的目的地显示设备；图形限制和目标(例如，目标视频帧分辨率或目标帧速率)；视觉跟踪信息(诸如基于用户眼睛或目光位置和焦点的一个或多个指示)；一个或多个预定用户偏好；一个或多个预定义的分区结构，诸如如果单个标准化分区结构或这种标准化分区结构的有限子集将用于以所述方式编码的所有媒体内容；配置信息；以及其他适当的标准。
如本文中所使用的，“像素”是指显示器的最小的可寻址图像元件，其可被激活从而为该显示器提供所有可能的颜色值。在许多情况下，像素包括单独的相应子元件(在一些情况下作为单独的“子像素”)，用于单独产生红光、绿光和蓝光以供人类观看者感知。本文中使用的像素“值”是指对应于单个像素的那些相应RGB元件中的一个或多个的相应激励水平的数据值。应当理解，如在本文中所使用的，术语“相邻”可指定直接与对象像素相邻或简单地与对象像素邻近的像素或像素阵列。例如，将来自三个像素中的第一像素的值分配给其它两个像素可被描述为将来自第一像素的这些值分配给两个“相邻”像素，即使第三像素通过居间的第二像素与第一像素分开。
图1A是包括本地媒体再现(LMR)系统110(例如，游戏系统)的网络化环境100a的示意图，本地媒体再现(LMR)系统110包括本地计算系统120和显示设备180a和/或180b，显示设备180a和/或180b适于执行本文中所述的至少一些技术。在所描述的实施方式中，LMR系统110经由一个或多个计算机网络101和网络链路102可通信地连接到示例性网络可访问媒体内容提供商190，该媒体内容提供商190还可向LMR系统110提供内容以供显示，并且在一些实施方式中可采用一个或多个这样的技术。在各种实施方式中，本地计算系统120可包括(作为非限制性示例)：通用计算系统；游戏控制台；视频流处理设备；移动计算设备(例如，蜂窝电话、PDA或其它移动设备)；VR或AR处理设备；或其它计算系统。在某些实施方式中，本地计算系统120可提供与这些中的一个、多个或所有相关联的功能。在图1A所示的实施方式中，本地媒体再现系统110包括一个或多个显示设备180，显示设备180经由传输链路115(其可以是有线的，诸如经由一个或多个电缆，或无线的)通信地连接至本地计算系统120。显示设备包括面板显示设备180a和/或头戴式显示器(“HMD”)设备180b，其中的每个均包括一个或多个可寻址像素阵列，所述可寻址像素阵列在图1A中以旨在清楚而不是按比例精确的方式图示(例如，常规的基于像素的显示器的每个像素通常以微米为单位测量)。
在所示实施方式中，本地计算系统120具有包括以下的部件：一个或多个通用硬件处理器(例如，集中式处理单元或“CPU”)125；存储器130；各种I/O(“输入/输出”)硬件部件127(例如，键盘、鼠标、一个或多个游戏控制器、扬声器、麦克风、IR发射器和/或接收器等)；视频子系统140，其包括一个或多个专用硬件处理器(例如，图形处理单元或“GPU”)144和视频存储器(VRAM)148；计算机可读存储装置150；以及网络连接160。同样在所示实施方式中，IDM(图像数据管理器)系统135的实施方式在存储器130中执行，以便执行所述技术中的至少一些，诸如通过使用CPU 125和/或GPU 144来执行实现所述技术的自动化操作。IDM系统135的所示实施方式包括图像数据像素值到像素映射器组件139，其执行自动化操作以编码和传输图像数据，并且存储器130可任选地进一步执行IDM系统135的图像数据显示管理器组件137和/或一个或多个其它程序133(例如，以生成将显示在显示设备180上的视频或其它图像)。在其它实施方式中，图像数据显示管理器组件137替代地全部或部分地在显示设备上实现，所述显示设备包括将在其上发生显示的一个或多个显示面板，以便使用HMD设备180b或其它显示设备180a的配置的硬件电路来执行自动化操作以解码和显示图像数据。作为实现本文中所述的至少一些技术的自动化操作的一部分，在存储器130中执行的IDM系统135和/或其它图像生成程序133可存储和/或检索各种类型的数据，包括在存储装置150的示例性数据库数据结构中。在该示例中，所使用的数据可包括数据库(“DB”)154中的各种类型的图像数据信息、DB152中的各种类型的应用数据、DB 157中的各种类型的配置数据，并且可包括附加信息，诸如系统数据或其它信息。
同样在图1A所示的实施方式中，网络可访问媒体内容提供商190包括一个或多个服务器计算系统192、内容存储装置194和一个或多个网络连接196。所示的服务器计算系统192可各自具有与本地计算系统120的组件类似的组件，包括一个或多个硬件处理器、I/O部件，本地存储设备和存储器，尽管为了简洁起见未示出服务器计算系统的一些细节。
作为涉及由本地媒体再现系统本地执行的操作的一个示例，假定本地计算系统120是游戏计算系统，使得应用数据152包括经由CPU125使用存储器130执行的一个或多个游戏应用，并且各种视频帧显示数据由IDTM系统135生成和/或处理，诸如结合视频子系统140的GPU 144。为了提供高质量的游戏体验，由本地计算系统生成大量的视频帧数据(对应于每个视频帧的高图像分辨率，以及约每秒60至180个这样的视频帧的高“帧速率”)，并经由传输链路115将其提供给显示设备180中的一个或多个。
应当理解，虽然在图1A所示的实施方式中显示设备180a和/或180b描述为与本地计算系统120不同和分离，但是在某些实施方式中，本地计算系统的一些或所有组件可集成和/或容纳在单个设备内，诸如移动游戏设备、便携式VR娱乐系统等。在这样的实施方式中，传输链路115可例如包括一个或多个系统总线和/或视频总线架构。此外，在一些实施方式中，可在显示设备180a和/或180b上执行所述技术中的至少一些，以便对通过连接115从本地计算系统120接收的编码形式的图像数据进行解码，图1B示出了用于执行诸如HMD设备180b的此类图像解码技术的硬件电路的一个示例，如以下进一步讨论的。
还应当理解，计算系统120和190仅是说明性的，而不是旨在限制本发明的范围。计算系统可替代地各自包括多个交互计算系统或设备，并且计算系统可连接至未示出的其它设备，包括通过诸如因特网的一个或多个网络、经由Web、或经由私有网络(例如，移动通信网络等)。更一般地，计算系统或其它计算节点可包括可交互并执行所述类型的功能的硬件或软件的任何组合，包括但不限于台式或其它计算机、游戏系统、数据库服务器、网络存储设备和其它网络设备、PDA、蜂窝电话、无线电话、寻呼机、电子记事簿、因特网设备、基于电视的系统(例如，使用机顶盒和/或个人/数字录像机)，以及包括适当的通信能力的各种其它消费产品。此外，系统135所提供的功能在一些实施方式中可分布在一个或多个部件中，如本文中别处所述，并且在一些实施方式中，系统135的功能中的一些可不提供和/或其它附加功能可以是可用的。还应当理解，虽然在使用时将各种项目示出为存储在存储器中或存储在存储装置上，但是出于存储器管理和数据完整性的目的，可在存储器与其它存储设备之间传送这些项目或它们的部分。因此，在一些实施方式中，所描述的技术中的一些或全部可由包括一个或多个处理器或其它配置的硬件电路和/或存储器和/或存储装置的硬件装置来执行，诸如当由一个或多个软件程序(例如，由系统135和/或其部件)和/或数据结构(诸如通过执行一个或多个软件程序的软件指令和/或通过存储这样的软件指令和/或数据结构)来配置时。部件、系统和数据结构中的一些或全部也可存储(例如，作为软件指令或结构化数据)在非暂时性计算机可读存储介质上，诸如硬盘或闪存驱动器或其它非易失性存储设备、易失性或非易失性存储器(例如，RAM)、网络存储设备或要由适当驱动器读取的便携式媒体制品(例如，DVD盘、CD盘、光盘等)或经由适当的连接。在一些实施方式中，系统、部件和数据结构还可作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)在各种计算机可读传输介质上传输，所述计算机可读传输介质包括基于无线和基于有线/电缆的介质，并且可采用各种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。在其它实施方式中，这种计算机程序产品也可采用其它形式。因此，本发明可用其它计算机系统配置来实践。
图1B示出了显示设备(诸如HMD设备180b)上的硬件电路的一个示例，其可配置成执行自动化操作以解码以编码形式接收的图像数据，并根据所述技术启动在一个或多个显示面板上显示图像数据。特别地，图1B包括具有像素阵列103的示例性显示系统100b，在像素阵列103中，多个像素P布置在R行和C列中。尽管仅示出了一个示例性行(标记为Rx)和一个示例性列(标记为cy)，并且示出了在它们的交叉点处的一个示例性像素(标记为Pxy)，实际上，像素阵列103可以是任何M×N阵列。其中M是像素阵列中的行数，N是列数。显示系统100b可以是例如LCD系统或OLED系统。在显示系统100b是彩色显示器的实施例中，像素P可包括子像素，每个子像素均产生不同的颜色(例如，红色、绿色、蓝色)。
邻近显示系统100b的像素阵列103的是外围区，该外围区包括用于驱动像素阵列103的各个像素以及可选地执行其它功能的硬件电路。特别地，硬件电路包括有时也被称为栅极或扫描驱动电路的行驱动电路(例如，IC或集成电路)106，以及有时也被称为数据驱动电路的列驱动电路(例如，IC)108。行驱动电路106和列驱动电路108在这里可统称为“像素驱动子系统”。驱动电路106和108中的每个均可例如由一个或多个集成电路形成。在实践中，显示器端口113从外部视频源系统116(例如图1A的本地计算系统120)接收图像数据输入，例如以如本文别处所论述的经编码形式，并将所接收的数据传输至桥接IC 117。桥接IC117配置为实现执行自动化操作的逻辑，以如本文中所述的对接收到的编码数据进行解码，并且将相应的信息转发到行和列驱动电路以实现解码的像素值。特别地，行驱动电路106包括多个行选择线112，每个行选择线112用于像素阵列103中的像素(或子像素)的R行中的每一行，其中，行选择线112中的每个均电联接至像素阵列103的相应行中的像素的扫描电极。列驱动电路108类似地包括多个数据线114，每个数据线114用于像素阵列103中的像素(或子像素)的C列中的每一列，其中，每个数据线114均电联接至像素阵列103的相应列中的像素的数据电极。在桥接IC 117的控制下，行驱动电路106经由行选择线112一次选择性地启用像素阵列103的一个或多个行，以及在桥接IC 117的控制下，列驱动电路108在数据线114上针对像素阵列103中的像素列中的每个输出数据(例如，电压电平)。因此，当行驱动电路106经由行选择线112将像素的扫描电极脉冲地较高时，由列驱动电路108经由数据线114施加至像素的数据电极的驱动电压来确定由每个像素透射的光的强度。在至少一些实施例中，驱动电路106和108和/或桥接IC 117可配置为同时加载具有相同的数据或类似的数据的多个行。
如前所述，桥接IC 117经由显示器端口输入113可操作地联接至视频源系统116，显示器端口输入113将图像流(例如，经处理的视频数据)馈送到桥接IC 117以在显示系统100b上显示。视频源系统116可以是利用显示系统的任何视频输出源系统，诸如平板电视、膝上型计算机、平板计算机、移动电话、头戴式显示器、可佩戴计算机等。视频源系统116可以是较大系统的组件(例如，图形控制器)。桥接IC 117接收图像流，并将其转换为适当的电压编程信息，以提供给像素阵列103中的像素，从而顺序地显示图像流中存在的图像。桥接IC 117可包括例如电平移位器、定时和模拟函数生成器。通常，桥接IC 117可通过取用图像流信号(例如，数字信号)、同步信息、定时信息等中的一个或多个作为来自视频源系统116的输入，生成用于偏置行驱动电路106和列驱动电路108的定时和数据信号。
在所示示例中，显示系统100b还包括单独的微控制器111，以便生成信息并将信息传输回视频源系统116，尽管其他实施方式可不包括作为显示系统100b的一部分的这种微控制器(例如，如果一个或多个这样的微控制器是显示设备的一个或多个其他系统的一部分，或者在特定实施方式中不实现)。所传输的信息可包括例如以下的一个或多个：在其上实现显示系统的显示设备(例如，HMD设备180b)的位置和/或定向信息；佩戴者用户瞳孔和/或目光方向信息等，尽管在一个实施方式中，一个或多个这种类型的信息可从显示设备上与显示系统100b分开的其它硬件电路(未示出)传输至视频源系统。桥接IC 117和/或微控制器111可包括存储器、I/O接口、通信系统等，以及一个或多个处理器(例如，一个或多个中央处理单元(CPU)、微处理器，数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、其它可编程电路、上述的组合等)。
在某些实施方式中，作为生成一个或多个视频帧的视频帧数据的一部分或作为对这种视频帧数据的后续处理的一部分，对视频帧数据进行编码，以反映主显示区域和一个或多个辅助显示区域。这样的编码可包括例如使用用于主显示区域的1对1映射，并且还包括修改每个辅助显示区域的内容，以反映用于每个辅助显示区域的1对多映射，诸如通过将来自辅助显示区域的一些像素的像素值分配给该辅助显示区域的多个其他像素，例如，关于特定的辅助显示区域，实现1对多映射可包括将来自辅助显示区域内的第一单维像素阵列(即，列或行)的像素值分配给一个或多个相邻单维像素阵列(即，相邻列或相邻行)的像素。在各种实施方式中，在每个辅助显示区域内，这种复制的或“镜像的”像素与原始“源”像素的比率可由辅助显示区域内的连续像素簇的所得尺寸来表征，其中这种像素簇内的所有像素由IDM系统分配单个像素值。此外，在一些实施方式中，IDM系统还可提供沿着主显示区域与辅助显示区域之间(例如，沿着1：1主区域的内侧边缘)和/或两个或更多个辅助显示区域之间的边界的模拟映射，其中，模拟映射在远离边界的像素距离上使用羽化和/或内插，以便使得具有不同映射的区域的边界不容易出现离散的边界伪影，并且因此视觉上可感知性较低。此外，在一些实施方式中，IDM系统还可针对对应于不同显示区域的视频帧数据的不同部分对那些不同部分进行预处理，以不同地反映其具有不同映射的后续显示，例如，在一个实施方式中，用于不同显示区域的图像数据可应用不同的图像滤波，以便补偿那些区域可具有不同尺寸的变化的频率调制响应曲线。用于辅助显示区域中的一个或多个的像素簇尺寸(即，用于1到M映射的M的大小)可由IDM系统基于各种标准来选择，这种标准的非限制性示例包括以下：数据传输带宽限制，诸如如果较少的数据传输带宽可用于传输这种视频帧数据，则利用较大的像素簇尺寸；数据传输带宽目标，诸如如果优选使用较小的数据传输带宽来传输这样的视频帧数据，则利用较大的像素簇尺寸；图形计算能力限制或目标；媒体类型(例如，待编码的内容先前是否已经以可能影响传输带宽的另一种方式编码，诸如经由无损或有损压缩)；媒体内容(例如，基于观看者的预测焦点，或基于对待编码的视频帧数据集合的分析)；指示类型的目的地显示设备；图形限制和目标(例如，目标视频帧分辨率或目标帧速率)；视觉跟踪信息(诸如基于用户眼睛位置和焦点的一个或多个指示)；一个或多个预定义的用户偏好；配置信息；以及其他适当的标准。
在至少一些实施方式中，IDM系统可动态地确定将显示器划分成主显示区域和辅助显示区域的方式，和/或用于对基于像素的数据(诸如用于每一视频帧或其它图像)进行编码的像素簇尺寸。例如，这种显示分区可由IDM系统根据当前可用传输带宽容量来执行，当前可用传输带宽容量可大于或小于先前或未来可用传输带宽容量(例如，在“峰值”网络利用时间期间对用于传输的视频流进行编码的计算系统可选择使用比在低网络利用时间期间对用于传输的相同视频流进行编码的相同计算系统更小的主显示区域来划分视频流的视频帧数据)。可替代地，或结合较小的主显示区域，编码计算系统可确定为辅助显示区域中的一个或多个利用较大的像素簇尺寸作为编码过程的一部分。
在一个或多个实施方式中，IDM系统可确定对先前已经以上述方式编码的视频帧数据进行解码，诸如在显示设备(例如，显示设备180a和/或180b)上启动视频帧数据(或其它图像)的显示的部分。例如，IDM系统可通过使用1对1像素映射来控制视频帧数据的主显示区域的显示，并且使用每个编码的辅助显示区域的每个像素值来控制该辅助显示区域内的多个像素的显示(即，根据由先前对视频帧数据进行编码的所选像素簇尺寸所指示的1对多像素映射)，来启动这种编码的视频帧数据在显示设备上的显示。
作为涉及由本地媒体再现系统110和媒体内容提供商两者190执行的操作的另一示例，假定本地计算系统120是视频流处理设备，用于经由计算机网络101和网络链路102(例如，响应于对包括视频帧数据的特定媒体内容的请求)从媒体内容提供商接收视频帧数据，并且在显示设备180上处理和再现该媒体内容。在该第二示例中，媒体内容提供商190响应于来自本地计算系统的请求从内容存储装置194检索所请求的媒体内容，其中，媒体内容由媒体内容提供商以类似于上述(关于至少一个主显示区域和一个或多个辅助显示区域)的方式在传输到本地媒体再现系统之前对媒体内容进行编码(例如，由IDM系统，未示出，在媒体内容提供商190的服务器计算系统192中的一个或多个的本地存储器中执行)。在某些实施方式中，所检索的媒体内容可先前已进行编码，或者它可替代地在检索和传输时被动态编码，作为具有先前编码的内容的这种实施方式的一个示例，内容存储装置194可包括所请求的媒体内容的多个版本(每个版本根据各种编码方案进行编码)，并且可响应于特定请求基于各种标准中的一个或多个来选择和使用版本中的一个。这种标准的非限制性示例可包括上面关于在第一示例中用于辅助显示区域的特定像素簇尺寸的选择的所描述的那些。在该示例中，媒体内容提供商190经由网络101和网络链路102将所请求的媒体内容的所选择和编码的版本传输到本地媒体再现系统110。一旦所请求的媒体内容的编码版本由本地媒体再现系统部分地或完全地接收，则IDM系统135以上述方式经由一个或多个显示设备180启动所接收的媒体内容的解码和所解码的媒体内容的显示，使用1对1像素映射来控制视频帧数据的主显示区域的显示，以及使用每个编码的辅助显示区域的每个像素值来控制该辅助显示区域内的多个像素的显示(即，根据由所选择的像素簇尺寸所指示的1对多像素映射，视频帧数据先前由媒体内容提供商190以该像素簇尺寸进行编码。)
图2A示出了根据本文描述的技术的一个实施方式对用于显示的视频帧数据进行编码的结果。具体地，图2A描绘了该技术与平板控制台显示设备200的使用，但是类似的技术可代之以与头戴式显示设备295的一个或多个显示面板一起使用，如关于图2B和图2C进一步所示，在该示例中，显示设备200包括像素阵列，该像素阵列已经被划分用于将这种视频帧数据编码为主显示区域210和辅助显示区域212(包括区域212a和212b)、214(包括区域214a和214b)和216(包括区域216a、216b、216c和216d)。辅助显示区域212a和212b分别位于主显示区域与像素阵列的顶部和底部边缘之间。辅助显示区域214a和214b分别位于主显示区域与像素阵列的左右边缘之间。辅助显示区域216a至216d分别位于像素阵列的角落中并勾画辅助显示区域212和214的四个连接结。
在图2A至图2C所示的实施方式中，每个分区的显示区域用像素簇的指示尺寸(以像素为单位，并且具有由方向指示符201描绘的水平x和竖直y方向)标记，作为在该显示区域内的单维像素阵列上执行的编码操作的结果，所述像素簇共享相同像素值。例如，在具有所指示的像素尺寸“1×1”的显示区域中，在以1对1映射进行编码期间，保持显示区域的原始分辨率和像素值；在具有所指示的像素尺寸“2×2”的显示区域中，编码过程产生2个像素(水平地)×2个像素(竖直地)的像素簇，所述像素簇从对应于1对4映射(具有单个源像素值和3个重复像素值)的单个源像素值分配有相同的像素值，并给出4个像素的像素簇大小；以及在具有所指示的像素尺寸“2×3”(未示出)的显示区域中，编码过程产生2个像素(水平地)×3个像素(竖直地)的像素簇，该像素簇分配有相同的像素值，给出6个像素的像素簇大小。
再次参考图2A的具体实施方式，主显示区域210包括对应于全“1×1”分辨率的像素值信息，指示1对1像素映射，在该映射中没有像素从主显示区域内的相邻像素分配像素值，因此，例如，如果主显示区域210的大小是例如1000像素×800像素，则区域210的编码数据将包括800,000个像素值的数据。在该所示实施方式中，辅助显示区域212a和212b在所示实施方式中被识别为具有像素簇，该像素簇指示以“1×2”方式构造的具有1个水平像素到2个竖直像素的1对2映射(即，像素簇尺寸为2)。例如，如扩展视图205所示，212b的辅助显示区域包括单维像素阵列(行)230c和230d。假设在对视频帧进行编码之前，行230c和230d中的每一行均具有唯一的像素值集合。作为对视频帧进行编码的一部分，将区域212b的行230c内的像素的像素值指派(诸如基于本文中别处更详细描述的标准)到相邻行230d内的对应像素。因此，具有1个水平像素×2个竖直像素的尺寸的像素簇241包括分别位于列220a与行230c的交点和列220a与行230d的交点处的两个以前不同的像素；类似地，列220b的行230c和230d形成使用单个像素值(例如，用于行230c和列220b的原始像素值)的附加像素簇。以此方式，在编码过程之前，区域212b的行230c中的唯一像素值集合进行扩展或“镜像”，以在区域212b中形成新的扩展行212b-1；在编码过程之前，对区域212b的行230e中的唯一像素值集合进行类似的镜像，以在区域212b中形成新的扩展行212b-2；对于整个辅助显示区域212b依此类推。因此，对应于辅助显示区域212b的那部分帧数据的有效分辨率(和传输带宽)降低了一半。以类似的方式执行对与辅助显示区域212a的像素相对应的帧数据进行编码的操作。
以类似的方式，考虑辅助显示区域214b，其在所示实施方式中被识别为具有以“2×1”方式构造的1对2映射(即，像素簇尺寸为2)的像素簇，所述“2×1”方式具有2个水平像素到1个竖直像素，并且该像素簇包括单维像素阵列(列)220c、220d、220e和220f。再次假设在编码之前，每个这样的列具有唯一的像素值集合。作为对视频帧进行编码的一部分，将列220c内的像素的像素值指派给相邻列220d内的对应像素。因此，具有2个水平像素×1个竖直像素的尺寸的像素簇243包括分别位于行230a与列220c的交点处和行230a与列220d的交点处的两个以前不同的像素。以此方式，在编码过程之前，区域214b的列220c中的唯一像素值的集合被镜像到列220d，以形成新的扩展列214b-1；在编码过程之前，区域214b的列220e中的唯一像素值的集合被镜像到列220f，以形成新的扩展列214b-2；对于整个辅助显示区域214b依此类推。因此，以类似于以上关于辅助显示区域212b所述的方式，对应于辅助显示区域214b的那部分帧数据的有效分辨率(和传输带宽)减小了一半。对辅助显示区域214a类似地执行对帧数据的编码。
在图2A所示的实施方式中，对应于辅助显示区域216a至216d的视频帧数据的编码过程以类似于辅助显示区域212a至212b和214a至214b的方式执行。具体地，并且参考如扩展视图205中所示的辅助显示区域216d，辅助显示区域216d的每个单维像素阵列均假定为在编码之前包括唯一的像素值集合。作为对视频帧数据编码的一部分，将第一单维像素阵列的像素值(诸如辅助显示区域216d内的行230c的部分的像素值)指派给该辅助显示区域内的相邻行230d的部分的对应像素。类似地，将区域216d的列220e的部分中的单维像素阵列的像素值指派给相邻列220f的部分的对应像素。所得到的像素簇245具有为辅助显示区域216d所指示的“2×2”尺寸大小，其中所有四个像素共享先前在未编码帧数据内针对位于行230c和列220e的交叉处的唯一像素所指示的像素值。尽管在此示例中通过首先将所指示的行值加倍以及然后将所指示的列值加倍来设定像素簇内的四个像素，但在其它实施方式中可以以其它方式(例如，在单个操作中)设定四个值。
应当理解，在本示例中用于辅助显示区域的1对多像素映射反映了重复的行和/或重复的列方法，在各种环境和实施方式中，IDM系统可使用像素簇尺寸和1对多像素映射的其它布置和配置，并且可利用上述关于特定像素值分配和像素值映射的编码方案的许多变化，而不脱离所述技术的范围。作为一个示例，可通过IDM系统以各种方式进行第一单维像素阵列的选择，从所述第一单维像素阵列将像素值指派给一个或多个相邻的和/或邻近的单维像素阵列，而基本上不影响编码过程。例如，在某些实施方式中，形成主显示区域210的边界(诸如图2A中的行230b)的单维像素阵列可用作相邻辅助显示区域212的边缘(诸如对应于行230c)上的单维像素阵列的像素值的“源”。在某些实施方式中，可以以不同于上述的方式来镜像单维像素阵列，诸如以与这样的单维像素阵列所处的辅助显示区域的相对比例正交的方式，例如以有效地镜像辅助显示区域212b内的列的方式(诸如将来自列220a的像素的值指派给列220b的像素)而不是行来指派像素值，和/或指派像素值以有效地镜像辅助显示区域214b的行而不是列(诸如将来自行230b的像素的值指派给行230a的像素)。
作为另一示例，并且如下面关于图2B和2C所讨论的，像素簇的多个像素可分配有来自单个像素的值，诸如如果来自未编码的单维像素阵列230d的像素值分配给单维像素阵列230c、230e和230f的相应像素。在这样的示例中，辅助显示区域212b和216d将分别具有1×4和2×4的复制结构，从而相应地增加了对应于那些辅助显示区域的编码视频帧数据的必要传输带宽的减小。
图2B和图2C描绘用于将像素阵列分割成主显示区域和辅助显示区域的替代实施方式和布置，诸如其中编码计算系统已确定根据不同标准或根据相同标准但在改变的情况下(诸如如果可用传输带宽已改变，指定用户偏好已改变或不同类型的媒体将进行编码/解码)来分割视频帧数据的实施方式。此外，图2B和2C描绘了该技术与头戴式显示设备295的两个显示面板中的一个显示面板的使用，其中示出了设备295的一半，而且尽管未示出，但是类似的技术可用在设备295的另一半(未示出)中的附加显示面板中。
在图2B的示例性实施方式中，以类似于以上关于图2A的主显示区域210所描述的方式，IDM系统确定在头戴式显示设备295的较大像素阵列的近似地理中心中划分全分辨率主显示区域250，其中像素映射为1对1，且相应的簇结构为1×1。与图2A中所示的分区布置明显不同，图2B的中心主显示区域由两个不同的辅助显示区域层包围，其中，辅助显示区域的最外层分配了比直接与主显示区域250相邻的那些辅助显示区域的像素映射和簇尺寸更大的像素映射和簇尺寸，如下所述。辅助显示区域252a和252b分配有2×1的像素簇结构，并且分别位于主显示区域的左右边界附近。辅助显示区域254a和254b分配有3×1的像素簇结构，其中辅助显示区域254a位于辅助显示区域252a与面板显示设备的最左边边缘之间，而辅助显示区域254b位于辅助显示区域252b与面板显示设备的最右边边缘之间。辅助显示区域256a和256b分配有1×2的像素簇结构，并且分别定位在主显示区域的顶部和底部边界附近。辅助显示区域258a和258b分配有1×3的像素簇结构，其中，辅助显示区域258a位于辅助显示区域256a与面板显示设备的最顶部边缘之间，而辅助显示区域258b位于辅助显示区域256b与面板显示设备的底部边缘之间。辅助显示区域260a至260d分配有2×2的像素簇结构，并且分别位于辅助显示区域256a和252a、256a和252b、252a和256b、以及252b和256b的连接结处。辅助显示区域262a至262d分配有3×2的像素簇结构，并且分别位于辅助显示区域256a和254a、256a和254b、256b和254a、以及256b和254b的连接结处。辅助显示区域264a至264d分配有2×3的像素簇结构，并且分别位于辅助显示区域258a和252a、258a和252b、258b和252a以及258b和252b的连接结处。辅助显示区域266a至266d分配有3×3的像素簇结构，并且分别位于辅助显示区域258a和254a、258a和254b、258b和254a，以及258b和254b的连接结处。
以类似于关于图2A的实施方式中的帧数据的编码所描述的方式，通过将来自辅助显示区域内的第一像素(且具体来说，在此示例中为一个或多个第一单维像素阵列)的像素值分配给辅助显示区域内的一个或多个第二像素(再一次，在此示例中为一个或多个第二单维像素阵列)，修改对应于多个辅助显示区域中的每个的视频帧数据。例如，在所描述的实施方式中，来自辅助显示区域256b内的源行的像素值分配给该辅助显示区域内的相邻行的对应像素(导致辅助显示区域256b的所指示的1×2的像素簇尺寸)；来自辅助显示区域258b内的源行的像素值分配给该辅助显示区域内的两个相邻行的对应像素(导致辅助显示区域258b的所指示的1×3的像素簇尺寸)。类似地，将来自辅助显示区域252b内的源列的像素值分配给与该辅助显示区域内的源列相邻的列的对应像素(导致辅助显示区域252b的指示的2×1的像素簇尺寸)；来自辅助显示区域254b内的源列的像素值分配给与该辅助显示区域内的源列相邻的两列的对应像素(导致辅助显示区域254b的指示的3×1的像素簇尺寸)。辅助显示区域260a至260d、262a至262d、264a至264d以及266a至266d以类似于图2A的辅助显示区域216a至216d的方式进行处理。
在图2C的示例性实施方式中，以与上面关于图2A和图2B所描述的相反的方式，编码计算系统确定将视频帧数据划分为非对称配置。如本文别处所述，这种分区确定可基于各种标准进行，并且在一些情况下可反映动态确定以图2B中所示的方式对HMD设备295的显示面板的第一视频帧或其它图像进行编码，以及动态确定以图2C中所示的方式对HMD设备295的显示面板的后续视频帧或其它图像(例如，下一视频帧或其它图像)进行编码，因此，在这样的实施方式中，主显示区域和/或辅助显示区域的位置(例如，位置和/或大小)可针对不同的图像而改变。然而，在保持显示区域的大小(同时位置可选地改变)的实施方式中，可以以恒定的方式保持编码图像的大小(例如，编码图像中的数据量)和相应的传输速率。例如，在图2C中确定将具有最高分辨率的主显示区域270定位在远离头戴式显示设备295的显示面板的地理中心的位置处可基于眼睛跟踪或目光跟踪数据，诸如如果人类观看者的注意力的焦点正由通信地联接至编码计算系统的一个或多个设备监视。可替代地，图2C中确定将具有最高分辨率的主显示区域270定位在远离显示面板的地理中心的位置处可基于正被编码的媒体的内容(诸如如果由包含待编码的视频帧数据的视频序列描绘的动作朝向对应视频帧的左上角定位，或如果对应视频帧中的细节水平朝向左上角显著较高)，或者替代地基于其他标准。此外，对于这种非对称布置，图2C的主显示区域270在顶部和左侧上以单层辅助显示区域为边界，而在底部和右侧上以两层辅助显示区域为边界。
在图2C的这个示例中，辅助显示区域272a和272b分配有2×1的像素簇结构，并且分别位于主显示区域270的左侧和右侧附近。辅助显示区域274a和274b分配有1×2的像素簇结构，并且分别位于主显示区域的顶侧和底侧附近。辅助显示区域276分配有4×1的像素簇结构，并且位于辅助显示区域272b与面板显示设备的最右边边缘之间。辅助显示区域278分配有1×4的像素簇结构，并且位于辅助显示区域274b与面板显示设备的底部边缘之间。辅助显示区域280a至280d分配有2×2的像素簇结构，并且分别位于辅助显示区域274a和272a、274a和272b、274b和272a、以及274b和272b的连接结处。辅助显示区域282a至282b分配有2×4的像素簇结构，并且分别位于辅助显示区域278与辅助显示区域272a和272b的连接结处。辅助显示区域284a至284b分配有4×2的像素簇结构，并且分别位于辅助显示区域276与辅助显示区域274a和274b的连接结处。辅助显示区域286分配有4×4的像素簇结构，并且位于辅助显示区域276和278的连接结处。
以类似于关于图2A和图2B的实施方式中的帧数据的编码所描述的方式，通过将来自辅助显示区域内的一个或多个第一单维像素阵列中的每个的像素值分配给辅助显示区域内的一个或多个第二单维像素阵列，修改对应于多个辅助显示区域中的每个的视频帧数据。例如，来自辅助显示区域274b内的源行的像素值分配给与该辅助显示区域274b内的源行相邻的行的对应像素(导致所指示的1×2的像素簇尺寸)；来自辅助显示区域278内的源行的像素值分配给与该辅助显示区域258b内的每个这样的源行相邻的三行的对应像素(导致用于辅助显示区域的所指示的1×4的像素簇尺寸)。类似地，来自辅助显示区域272b内的源列的像素值分配给与该辅助显示区域272b内的每个这样的源列相邻的列的对应像素(导致所指示的2×1的像素簇尺寸)；来自辅助显示区域276内的源列的像素值分配给与该辅助显示区域276内的每个这样的源列相邻的三列的对应像素(导致所指示的4×1的像素簇尺寸)。其它辅助显示区域如所示地并且以类似于上述的方式来构造和管理。如别处所述，应理解的是，虽然针对此示例所描述的1对多像素映射利用关于辅助显示区域的单维像素阵列的所述映射，但在各种情形和实施方式中，可在其它配置中使用这种映射，诸如将单个像素值映射到具有任何适当像素簇尺寸的像素簇。
为了在这里清楚和易于表示，图2A至2C的所示示例利用仅包括代表性视频帧的矩形分区的显示分区布置。然而，应理解的是，在不背离所呈现技术的预期范围的情况下，可利用各种替代性分区形状，使得以上文描述的方式对目的地像素阵列进行编码，即，使得提供具有第一分辨率的一个或多个主显示区域，其中对一个或多个辅助显示区域进行编码，以通过将来自一个或多个源像素的像素值分配给每个辅助显示区域内的一个或多个镜像的像素，有效地降低其相应边界内的第一分辨率。例如，在某些实施方式中，可利用圆形或椭圆形主显示区域，其中，显示像素阵列的剩余部分根据与主显示区域的相对距离、与显示像素阵列的一个或多个边缘的相对距离或其它方式划分成一个或多个辅助显示区域。
图3是像素值到像素映射器例程300的示例性实施方式的流程图。例程300可由例如图1A的图像数据像素值到像素映射器组件139和/或执行如关于图2A至图2C和本文别处所讨论的用于对图像数据进行编码的操作的系统来执行，以便根据所确定的具有至少一个主显示区域和一个或多个辅助显示区域的像素布置结构来对图像数据进行编码。虽然所示的例程300的实施方式讨论了一次对单个图像执行操作，但是应当理解，例程300的操作可应用于多个图像(例如，多个连续视频帧)的序列。还应当理解，例程的所示实施方式可适当地以软件和/或硬件来实现，并且可由例如在HMD上或在另一单独的计算设备上运行的系统来执行。
例程300的所示实施方式在框305处开始，在框305处，例程获得图像数据和关于显示该图像数据的显示面板的信息。在框310和315中，例程识别用于对数据进行编码的区域，诸如通过接收关于在框305中使用的布置的信息(例如，用于所有图像的固定结构)，或者替代地通过基于当前上下文(例如，诸如来自观看者的目光跟踪的关于图像的重点部分的信息，来自生成或以其它方式提供图像的程序的信息等)动态地确定要使用的结构。具体地，在框310中，例程识别显示面板的主显示区域和像素值到像素的相应1对N映射，其中N大于或等于1，以及在框315中，识别显示面板的一个或多个辅助显示区域，以及用于每个辅助显示区域的像素值到像素的相应1对M像素映射，其中M大于1(反映1对多像素映射)。
然后，例程前进到框320，在框320中，例程根据所识别的1对N和1对M像素映射从所获得的图像数据中选择像素值，以用于照射每个显示区域内的像素。在框325中，例程然后存储和/或发送与映射数据相关联的关于所选像素值的编码信息，以便在显示面板上的后续显示中使用，诸如以类似于关于图4所讨论的方式。然后，例程进行到框360，在框360中，例程确定是否要获得和编码附加图像数据，例如继续，直到接收到要终止的明确指示为止。如果是，则例程返回到框305以获得附加图像数据，如果不是，则例程前进到框399并结束。
图4是图像数据显示管理器例程400的示例性实施方式的流程图。例程400可由例如图1A的图像数据显示管理器组件137(例如，如在HMD设备的配置的硬件电路上实现的，诸如以关于图1B所讨论的方式)和/或执行如关于图2A-2C以及本文别处所讨论的用于接收和显示编码图像数据的操作的系统来执行，以便接收根据所确定的具有至少一个主显示区域和一个或多个辅助显示区域的像素布置结构来编码的图像数据，以及在一个或多个显示面板上执行相应的显示操作。虽然所示的例程400的实施方式讨论了一次对单个图像执行操作，但是应当理解，例程400的操作可应用于多个图像(例如，多个连续视频帧)的序列。还将理解，例程的所示实施方式可适当地以软件和/或硬件来实现，并且可由例如在HMD上或在另一单独的计算设备上运行的系统来执行。
例程400的所示实施方式在框405处开始，在框405处获得用于在所指示的显示面板上显示的经编码图像数据信息，所获得的图像数据包括与用于所指示的显示面板的多个显示区域的映射数据相关联使用的选定像素值，诸如以关于图3论述的方式编码的数据。在一些实施方式和情形中，用于显示面板的显示区域的已定义结构将是已知的，或者将在框405中获得(例如，将是经编码图像数据的一部分，诸如对于结构可针对不同图像动态地改变的情形)。一旦获得了图像数据和显示信息，例程进行到框410，在框410中，例程根据所获得的图像数据信息和显示区域的相应结构来加载所选择的像素值，以在所指示的显示面板上显示。然后，例程前进到框425，并启动在所指示的显示面板上显示所加载的像素值。然后，例程前进到框460，以确定是否要获得和显示附加图像数据信息，诸如继续直到接收到要终止的明确指示。如果是，则例程返回到框405以获得附加图像数据，如果不是，则例程前进到框499并结束。
应当理解，在一些实施方式中，可以以替代的方式来提供由上述例程提供的功能，诸如在更多的例程之间进行拆分，或者合并成更少的例程。类似地，在一些实施方式中，所示例程可提供比所描述的更多或更少的功能，诸如当其它所示例程替代地分别缺少或包括这样的功能时，或者当所提供的功能量改变时。此外，虽然可将各种操作示出为以特定方式(例如，串行或并行)和/或以特定顺序执行，但是本领域技术人员将理解，在其它实施方式中，可以以其它顺序和其它方式执行操作。将类似地理解，上述数据结构可以以不同的方式构造，包括用于数据库或用户界面屏幕/页面或其它类型的数据结构，诸如通过将单个数据结构分成多个数据结构或通过将多个数据结构合并成单个数据结构。类似地，在一些实施方式中，所示的数据结构可存储比所描述的更多或更少的信息，诸如当其它所示的数据结构替代地分别缺少或包括这样的信息时，或者当所存储的信息量或类型改变时。
此外，附图中的元件的尺寸和相对位置不必按比例绘制，包括各种元件和角度的形状，其中一些元件被放大和定位以改进图的可读性，并且选择至少一些元件的特定形状以便于识别，而不需要传送关于那些元件的实际形状或比例的信息。此外，为了清楚性和强调，可省略一些元件。此外，在不同附图中重复的参考标记可表示相同或相似的元件。
从上文可理解，尽管本文为了说明的目的描述了特定的实施方式，但是可在不脱离本发明的精神和范围的情况下进行各种修改。此外，虽然本发明的某些方面有时以某些权利要求的形式呈现，或者有时可能不在任何权利要求中体现，但发明人以任何可用的权利要求的形式设想了本发明的各个方面。例如，虽然在计算机可读介质中体现的特定时间可仅叙述本发明的一些方面，但是也可同样体现其它方面。
本发明要求优先权的于2018年3月23日提交的第No.15/934,789号美国专利申请通过引用以其整体并入本文中。
