用于渲染来自3D环境的数据的系统和方法
技术领域
本公开大体上涉及将三维环境渲染到数据集中以指示能量场投影装置输出四维能量场。
背景技术
通过Gene Roddenberry的《星际迷航(Star Trek)》推广的“全息甲板”室内的交互式虚拟世界的梦想最初是在20世纪初由作家Alexander Moszkowski设想出来的，近一个世纪以来它一直是科幻和技术创新的灵感来源。然而，除了文学、媒体以及儿童和成年人等的集体想象之外，这种体验并不存在令人信服的实施方案。本申请教示了将来自3D环境的信息渲染为一种格式以允许4D能量场投影系统从3D环境输出在场景上建模的4D能量场的系统和方法。
发明内容
在一个实施例中，一种用于从三维(3D)环境渲染三维(4D)能量场的方法包括以下步骤：在3D环境中提供场景，所述场景由位于所述场景中各处的多个能量数据点描述；以及在所述场景中的虚拟像素平面上定位多个虚拟像素，其中每个虚拟像素具有已知的唯一4D坐标，所述坐标包括2D角坐标和2D空间坐标。在此实施例中，每个虚拟像素的所述2D角坐标描述所述虚拟像素与位于所述场景中的虚拟检视平面上的多个虚拟检视位置中的虚拟检视位置之间的角度相关性，且其中每个虚拟像素的所述2D空间坐标识别位于所述场景中的虚拟显示平面上的多个虚拟孔径中的虚拟孔径的位置。接下来，从所述虚拟检视平面沿着多条射线对所述场景中的所述多个能量数据点中的能量数据点进行取样，其中每条射线与一个虚拟检视位置和一个虚拟像素相交，相交角度由和所述射线相交的所述一个虚拟像素的所述2D角坐标确定，且其中每条射线与由和所述射线相交的所述一个虚拟像素的所述2D空间坐标确定的一个虚拟孔径相交。在此实施例中，此方法包含使沿着每条射线取样的所述能量数据点与和所述射线相交的所述一个虚拟像素的能量值相关；以及将每条射线的所述一个虚拟像素的所述能量值和每条射线的所述一个虚拟像素的所述已知唯一4D坐标渲染为数据集，所述数据集的格式可用于指示能量装置输出4D能量场。
在实施例中，所述多条射线中的至少一条射线与所述多个虚拟检视位置中的每个虚拟检视位置相交。。在一个实施例中，所述多条射线中的一条射线与所述多个虚拟像素中的每个虚拟像素相交在一些实施例中，所述4D能量场包括光场、触感场(haptic field)或触觉场(tactile field)。
在一个实施例中，所述能量数据点包含描述以下至少一项的值：能量频率、能量强度、能量透明度、能量折射率、能量反射率。在一个实施例中，所述3D环境可以通过将深度图应用于二维空间中的点来确定的。在另一实施例中，所述虚拟显示平面对应于能量引导装置的波导系统，并且能量可用于根据所述数据集被引导通过所述波导系统，以形成所述场景的至少一部分的可检测4D能量表示。
在实施例中，所述多个虚拟像素对应于所述波导系统的第一侧上的多个能量位置。在另一实施例中，所述数据集进一步包含向量化材料特性数据。在操作中，所述方法的至少一部分可以实时进行。在另一种技术中，所述方法可以完全实时地进行。在另一实施例中，所述方法的至少两个部分在不同的时间段中进行。
在一些实施例中，所述数据集描述可通过视觉、音频、纹理、感觉或气味传感器感知的信号。在实施例中，沿着所述多条射线中的每条射线取样的所述能量数据点同时与能量值相关。在某些情况下，所述数据集是以二进制文件格式存储。
在实施例中，所述多条射线中的每条射线经由所述多个虚拟孔径中的所述一个虚拟孔径延伸到并超出所述多个虚拟像素中的所述一个虚拟像素，且其中所述多个能量数据点中的能量数据点是从所述虚拟检视平面取样的。
在一个实施例中，以上步骤可以无限地重复。在另一实施例中，以上步骤可以无限地重复以从3D环境渲染动态4D能量场。
在实施例中，渲染所述能量数据进一步包括针对所述能量装置校准所述能量数据。在一个实施例中，射线文件存储3D空间坐标，所述3D空间坐标识别每个虚拟检视位置的所述位置以及与每条射线相交的所述一个虚拟像素的所述2D角坐标。在另一实施例中，所述射线文件使每个虚拟检视位置的所述3D空间坐标与相交于和所述虚拟检视位置相交的每条射线的每个虚拟像素的所述2D角坐标相关联。在又一实施例中，所述射线文件针对每条射线提供指令以用于从和所述射线相交的所述一个虚拟检视位置沿着所述射线对所述多个能量数据点中的能量数据点进行取样，其中所述指令至少由和所述射线相交的所述一个虚拟检视位置的所述3D空间坐标和与所述射线相交的所述一个虚拟像素的所述2D角坐标确定。
在一个实施例中，一种用于从动态三维(3D)环境渲染四维(4D)能量场的系统包含：处理子系统，其具有感觉数据引擎和渲染引擎，其中所述感觉数据引擎在3D环境中提供场景，所述场景由位于所述场景中各处的多个能量数据点描述。在此实施例中，所述感测数据引擎在所述场景中的虚拟像素平面上定位多个虚拟像素，其中每个虚拟像素具有已知的唯一4D坐标，所述坐标包括2D角坐标和2D空间坐标。每个虚拟像素的所述2D角坐标通过所述感觉数据引擎描述所述虚拟像素与位于所述场景中的虚拟检视平面上的多个虚拟检视位置中的虚拟检视位置之间的角度相关性，且其中每个虚拟像素的所述2D空间坐标通过所述感觉数据引擎识别位于所述场景中的虚拟显示平面上的多个虚拟孔径中的虚拟孔径的位置。
在此实施例中，所述渲染引擎从所述虚拟检视平面沿着多条射线对所述场景中的所述多个能量数据点中的能量数据点进行取样，其中每条射线与一个虚拟检视位置和一个虚拟像素相交，相交角度由和所述射线相交的所述一个虚拟像素的所述2D角坐标确定，且其中每条射线与由和所述射线相交的所述一个虚拟像素的所述2D空间坐标确定的一个虚拟孔径相交。
仍然在此实施例中，述渲染引擎使沿着每条射线取样的所述能量数据点与所述多个虚拟像素中的所述一个虚拟像素的能量值相关，并且所述渲染引擎将所述多个虚拟像素中的所述一个虚拟像素的所述能量值和所述多个虚拟像素中的所述一个虚拟像素的所述已知唯一4D坐标渲染为数据集，所述数据集的格式可用于指示能量装置输出4D能量场。
在实施例中，所述多条射线中的至少一条射线与所述多个虚拟检视位置中的每个虚拟检视位置相交。在另一实施例中，所述多条射线中的一条射线与所述多个虚拟像素中的每个虚拟像素相交。在一些实施例中，所述4D能量场可以是光场、触感场或触觉场。
在实施例中，所述能量数据点包括描述以下至少一项的值：能量频率、能量强度、能量透明度、能量折射率、能量反射率。在操作中，所述3D环境是通过将深度图应用于二维空间中的点来确定的。
在一个实施例中，所述虚拟显示平面对应于能量引导装置的波导系统，并且能量可用于根据所述数据集被引导通过所述波导系统，以形成所述场景的至少一部分的可检测4D能量表示。在另一实施例中，所述多个虚拟像素对应于所述波导系统的第一侧上的多个能量位置。在另一实施例中，所述数据集进一步包含向量化材料特性数据。
在操作中，所述系统的至少一部分是实时进行的。在另一操作中，所述系统完全实时地进行。在另一实施例中，所述系统的至少两个部分在不同的时间段内进行。
在一个实施例中，所述数据集描述能通过视觉、音频、纹理、感觉或气味传感器感知的信号。在另一实施例中，沿着所述多条射线中的每条射线取样的所述能量数据点同时与能量值相关。在又一实施例中，所述数据集是以二进制文件格式存储。
在实施例中，所述多个能量数据点中的能量数据点由所述渲染引擎沿着从所述虚拟检视平面经由所述多个虚拟孔径中的所述一个虚拟孔径延伸到且超出所述多个虚拟像素中的所述一个虚拟像素的所述多条射线中的每条射线进行取样。在另一实施例中，所述系统可以无限地操作以从3D环境渲染动态4D能量场。在又一实施例中，所述系统进一步包含用于存储所述数据集的存储器。在一个实施例中，所述渲染系统针对所述能量装置校准所述能量数据。在另一实施例中，所述系统进一步包括用于存储所述多个能量数据点的存储器。
在一个实施例中，射线文件存储3D空间坐标，所述3D空间坐标识别每个虚拟检视位置的所述位置以及与每条射线相交的所述一个虚拟像素的所述2D角坐标在另一实施例中，所述射线文件使每个虚拟检视位置的所述3D空间坐标与相交于和所述虚拟检视位置相交的每条射线的每个虚拟像素的所述2D角坐标相关联。在又一实施例中，所述射线文件针对每条射线提供指令以用于从和所述射线相交的所述一个虚拟检视位置沿着所述射线对所述多个能量数据点中的能量数据点进行取样，其中所述指令至少由和所述射线相交的所述一个虚拟检视位置的所述3D空间坐标和与所述射线相交的所述一个虚拟像素的所述2D角坐标确定。
在一个实施例中，一种用于用于渲染来自三维(3D)环境的能量数据的方法包含以下步骤：在3D环境中提供场景，所述场景由位于所述场景中各处的多个能量数据点描述；以及在所述场景中的虚拟像素平面上定位多个虚拟像素，其中每个虚拟像素具有已知的唯一4D坐标，所述坐标包括2D角坐标和2D空间坐标。每个虚拟像素的所述2D角坐标描述所述虚拟像素与位于所述场景中的虚拟检视平面上的多个虚拟检视位置中的虚拟检视位置之间的角度相关性，且其中每个虚拟像素的所述2D空间坐标识别位于所述场景中的虚拟显示平面上的多个虚拟孔径中的虚拟孔径的位置。所述方法的下一步骤包含从所述虚拟检视平面沿着多条射线对所述场景中的所述多个能量数据点中的能量数据点进行取样，其中每条射线与一个虚拟检视位置和一个虚拟像素相交，相交角度由和所述射线相交的所述一个虚拟像素的所述2D角坐标确定，且其中每条射线与由和所述射线相交的所述一个虚拟像素的所述2D空间坐标确定的一个虚拟孔径相交。在一种方法中，下一步骤包含使沿着每条射线取样的所述能量数据点与和所述射线相交的所述一个虚拟像素的能量值相关；以及将每条射线的所述一个虚拟像素的所述能量值和每条射线的所述一个虚拟像素的所述已知唯一4D坐标渲染为数据集，所述数据集的格式可用于指示能量装置输出能量数据。
在一个实施例中，每个虚拟孔径与两条射线相交。在另一实施例中，所述多个虚拟检视位置包括两个虚拟检视位置。在一些实施例中，所述数据集的格式可用于指示能量装置输出立体图像，所述数据集的格式可用于指示能量装置输出虚拟现实图像，或者所述数据集的格式可用于指示能量装置输出增强现实图像。
在一个实施例中，每个虚拟孔径与数条射线相交。在另一实施例中，所述数据集的格式可用于指示能量装置输出来自多个视图的图像，其中所述多个视图对应于与每个虚拟孔径相交的所述数条射线。
附图说明
图1是示出用于能量引导系统的设计参数的示意图；
图2是示出具有带机械外壳的有源装置区域的能量系统的示意图；
图3是示出能量中继系统的示意图；
图4是示出粘合在一起且紧固到底座结构上的能量中继器元件的实施例的示意图；
图5A是示出通过多芯光纤的中继图像的实例的示意图；
图5B是示出通过能量中继器的中继图像的实例的示意图，所述能量中继器展现横向安德森局域化原理的特性；
图6是展示从能量表面传播到检视者的射线的示意图；
图7A示出根据本公开的一个实施例的具有底座结构、四个能量装置和四个能量中继器元件从而形成无缝能量表面的能量波导系统的透视图；
图7B示出根据本公开的一个实施例的能量中继系统；
图7C示出根据本公开的一个实施例的能量波导系统的实施例的自上向下的透视图；
图7D示出图7C中展示的实施例的正面透视图；
图7E-7L示出能量抑制元件的各种实施例；
图8是示出用于处理全息感测数据的过程的实施例的流程图；
图9是由感测数据构建的虚拟环境的示意图；
图10是示出能量跟踪的实施例的示意图；
图11是示出能量引导装置1000经历跟踪过程的实施例的示意图；
图12是用于处理全息感测数据的处理系统的示意图；
图13是示出向量化过程的实施例的框图；
图14示出在3D环境中对能量建模的一些方面；
图15是示出用于从3D环境渲染4D能量场的过程的实施例的流程图；
图16描绘3D环境的视觉表示；
图17描绘来自3D环境的虚拟像素、虚拟孔径和虚拟检视位置的一个透视图；
图18描绘来自3D环境的虚拟像素、虚拟孔径和虚拟检视位置的一个透视图；
图19从虚拟检视位置的视角描绘3D环境的视觉表示；
图20是示出用于从3D环境渲染能量数据的过程的实施例的流程图；
图21是经由数字立体表示中的各个对象的反向跟踪的示意图；以及
图22是示出用于从3D环境渲染4D能量场的系统的实施例的示意图。
具体实施方式
全息甲板(统称为“全息甲板设计参数”)的实施例提供足以迷惑人类感觉受体以使其相信在虚拟、社交和交互环境内接收到的能量脉冲为真实的能量刺激，从而提供：1)在没有外部配件、头戴式眼镜或其它外围设备的情况下的双眼视差；2)任何数目个检视者同时的整个视体中的准确运动视差、阻挡和不透明度；3)通过眼睛对所有所感知射线的同步汇聚、调节和缩瞳的视觉焦点；以及4)汇聚具有足够密度和分辨率的能量波传播以超过人类视觉、听觉、触觉、味觉、嗅觉和/或平衡的感觉“分辨率”。
基于迄今为止的常规技术，我们距离能够按照如全息甲板设计参数(包含视觉、听觉、体感、味觉、嗅觉和前庭系统)所提出的令人信服的方式实现所有感受野有数十年，甚至几个世纪的差距。
在本公开中，术语光场和全息可互换使用以限定用于刺激任何感觉受体响应的能量传播。尽管初始公开可涉及通过全息图像和立体触感的能量表面的能量和机械能传播的实例，但本公开中设想了所有形式的感觉受体。此外，本文中所公开的沿着传播路径传播能量的原理可适用于能量发射和能量捕获。
当今存在的许多技术通常令人遗憾地与全息图混淆，全息图包含透镜印刷、佩珀尔幻象(Pepper's Ghost)、无眼镜立体显示器、水平视差显示器、头戴式VR和AR显示器(HMD)，以及其它概括为“配镜(fauxlography)”的此类幻象。这些技术可能会展现出真正的全息显示器的一些所要特性，但是它们无法通过任何足以实现四个识别出的全息甲板设计参数中的至少两个的方式刺激人类视觉响应。
常规技术尚未成功实施这些挑战以产生足以用于全息能量传播的无缝能量表面。存在各种方法来实施立体和方向复用光场显示器，包含视差屏障、微元(hogel)、体素、衍射光学件、多视图投影、全息漫射器、旋转镜、多层显示器、时序显示器、头戴式显示器等，但是常规方法可能涉及对图像质量、分辨率、角取样密度、尺寸、成本、安全性、帧速率等的牺牲，这最终使得技术不可行。
为了实现视觉、听觉、体感系统的全息甲板设计参数，需要研究和理解相应系统中的每一个的人类敏锐度来传播能量波，以便充分迷惑人类感觉受体。视觉系统能够分辨到大致1弧分，听觉系统可以区分小到三度的位置差异，且手部的体感系统能够辨别分隔2-12mm的点。尽管测量这些敏锐度的方式各种各样且相互矛盾，但是这些值足以理解刺激能量传播的感知的系统和方法。
在所提到的感觉受体中，人类视觉系统到目前为止是最敏感的，因为即使是单个光子也可诱发感觉。出于此原因，这一介绍的大部分将集中在视觉能量波传播，且联接在所公开的能量波导表面内的分辨率低得多的能量系统可将适当的信号汇聚以诱发全息感觉感知。除非另外指出，否则所有公开内容适用于所有能量和感觉域。
在给定视体和视距的情况下计算视觉系统的能量传播的有效设计参数时，所要能量表面可设计成包含有效能量位置密度的数十亿像素。对于宽视体或近场检视，所要能量表面的设计参数可包含具有有效能量位置密度的数千亿像素或更多。相比而言，所需能量源可设计成取决于输入环境变量，针对立体触感的超声波传播具有1到250个有效百万像素的能量位置密度，或针对全息声音的声学传播具有36到3,600个有效能量位置的阵列。重要的是注意在所公开的双向能量表面架构的情况下，所有组件都可被配置成形成适用于任何能量域的结构来实现全息传播。
然而，目前实现全息甲板的主要挑战涉及可用视觉技术和能量装置限制。鉴于基于相应感受野中的感觉敏锐度的所要密度的数目级差异，声学和超声波装置不太具有挑战性，但不应低估复杂性。尽管存在分辨率超过所要密度的全息乳剂来对静态图像中的干扰图案进行编码，但是现有技术的显示装置受到分辨率、数据吞吐量和制造可行性的限制。迄今为止，没有一个显示装置能够有意义地产生具有对视觉敏锐度的近全息分辨率的光场。
能够满足令人信服的光场显示器的期望分辨率的单个硅基装置的生产可能是不实际的，并且可能会涉及极其复杂的超出当前制造能力的制造工艺。对将多个现有显示装置平铺在一起的限制涉及由封装、电子器件、壳体、光学器件的物理尺寸形成的缝隙和空隙以及从成像、成本和/或尺寸角度来看会不可避免地导致技术不可行的数个其它挑战。
本文中所公开的实施例可提供构建全息甲板的现实路径。
现将在下文中参考附图描述实例实施例，附图形成本发明的一部分并示出可以实践的实例实施例。如在本公开和所附权利要求书中所用，术语“实施例”、“实例实施例”和“示例性实施例”不一定指代单个实施例但可以指代单个实施例，且各种实例实施例可容易地组合和互换，而不脱离实例实施例的范围或精神。此外，如本文所使用的术语仅出于描述实例实施例的目的，且并不打算为限制。就此而言，如本文中所使用，术语“在……中”可包含“在……中”和“在……上”，并且术语“一”、“一个”和“所述”可包含单数引用和复数引用。另外，如本文中所使用，术语“通过(by)”还可依据上下文意指“根据(from)”。此外，如本文所使用，术语“如果”还可依据上下文意指“当……时”或“在……时”。此外，如本文中所使用，词语“和/或”可指代并涵盖相关联的所列项目中的一个或多个的任何和所有可能组合。
全息系统考虑因素：
光场能量传播分辨率概述
光场和全息显示是多个投影的结果，其中能量表面位置提供在视体内传播的角度、颜色和强度信息。所公开的能量表面提供机会供额外信息通过相同表面共存和传播以引发其它感觉系统响应。不同于立体显示器，在空间中汇聚的能量传播路径的检视位置在检视者在视体中四处移动时不会变化，且任何数目的检视者可同时在现实空间中看见所传播的对象，就像它真的在现实空间中一样。在一些实施例中，能量的传播可位于相同的能量传播路径中，但是沿着相反的方向。例如，在本公开的一些实施例中，沿着能量传播路径的能量发射和能量捕获均为可能的。
图1是示出与感觉受体响应的刺激相关的变量的示意图。这些变量可包含表面对角线101、表面宽度102、表面高度103、所确定目标就座距离118、从显示器104的中心起的目标就座视场、在本文中展示为眼睛105之间的样本的中间样本的数目、平均成人眼间间隔106、以弧分为单位的人眼的平均分辨率107、在目标检视者位置和表面宽度之间形成的水平视场108、在目标检视者位置和表面高度之间形成的竖直视场109、所得水平波导元件分辨率或元件在表面上的总数110、所得竖直波导元件分辨率或元件在表面上的总数111、基于眼睛之间的眼间间距和眼睛之间的角度投影的中间样本的数目的样本距离112，角度取样113可基于样本距离和目标就座距离、从所要角度取样导出的每波导元件总分辨率Horizontal 114、从所要角度取样导出的每波导元件总分辨率Vertical 115，装置Horizontal是所确定数目个所要精密能量源的计数116，且装置Vertical是所确定数目个所要精密能量源的计数117。
一种理解所要最小分辨率的方法可基于以下判据来确保视觉(或其它)感觉受体响应的足够刺激：表面尺寸(例如8"对角线)、表面纵横比(例如16:9)、就座距离(例如距离显示器128")、就座视场(例如120度或围绕显示器的中心+/-60度)、在一定距离处的所要中间样本(例如眼睛之间的一个额外传播路径)、成人的平均眼间间隔(大约65mm)，以及人眼的平均分辨率(大约1弧分)。应依据特定应用设计参数将这些实例值视为占位符。
此外，归于视觉感觉受体的每个值可由其它系统代替以确定所要传播路径参数。对于其它能量传播实施例，可考虑低至三度的听觉系统的角度敏感度，以及手部的小至2到12mm的体感系统的空间分辨率。
尽管测量这些感觉敏锐度的方法各种各样且相互矛盾，但这些值足以理解刺激虚拟能量传播的感知的系统和方法。考虑设计分辨率具有许多方式，并且下文提出的方法组合了实用产品考虑因素与感觉系统的生物分辨极限。所属领域的技术人员应了解，以下概述是对任何此类系统设计的简化，并且应仅出于示例性目的考虑。
在理解了感觉系统的分辨率极限的情况下，给定下式可以计算总能量波导元件密度，使得接收感觉系统无法辨别来自邻近元件的单个能量波导元件：
·
·
·
·
·
·
·
上述计算得到大约32×18°视场，从而产生所要大约1920×1080(舍入到最接近格式)个能量波导元件。还可约束变量，使得视场对于(u，v)两者都是一致的，从而提供能量位置的更规则的空间取样(例如像素纵横比)。给定下式，系统的角度取样采用限定的目标视体位置和处于优化距离的两个点之间的额外传播能量路径：
·
·
在此情况下，利用眼间距离来计算样本距离，但可利用任何度量将适当数目的样本用作给定距离。考虑到上述变量，可能需要大约每0.57°一条射线，且给定下式，可确定每独立感觉系统的总系统分辨率：
·
·总分辨率H＝N*水平元件分辨率
·总分辨率V＝N*竖直元件分辨率
在上述情形下，给定能量表面的尺寸和针对视敏度系统所处理的角度分辨率，所得能量表面可合乎需要地包含大约400k×225k个像素的能量分辨率位置，或900亿像素全息传播密度。所提供的这些变量仅出于示例性目的，且能量的全息传播的优化应考虑许多其它感觉和能量计量考虑因素。在另一实施例中，基于输入变量，可能需要1千兆像素的能量分辨率位置。在另一实施例中，基于输入变量，可能需要1,000千兆像素的能量分辨率位置。
当前技术局限：
有源区域、装置电子学、封装和机械包络
图2示出具有带特定机械外观尺寸的有源区域220的装置200。装置200可以包含驱动器230和电子器件240，用于为有源区域220供电和介接到有源区域220，有源区域具有如x和y箭头所示的尺寸。此装置200不考虑用于驱动、供电和冷却组件的走线和机械结构，且机械占用面积可通过引入排线到装置200中来进一步最小化。此装置200的最小占地面积也可以称为机械包络210，其具有如M:x和M:y箭头所示的尺寸。此装置200仅出于说明的目的，且自限定电子件设计可进一步减少机械外壳开销，但几乎在所有情况中可能都不是装置的有源区域的确切尺寸。在实施例中，此装置200示出对电子件的依赖性，因为其涉及微OLED、DLP芯片或LCD面板或目的是图像照明的任何其它技术的有源图像区域220。
在一些实施例中，还有可能考虑将多个图像聚合到更大的整体显示器上的其它投影技术。然而，这些技术可能会以投射距离、最短聚焦、光学质量、均匀场分辨率、色差、热特性、校准、对准、额外尺寸或外观尺寸的更大复杂性为代价。对于大多数实际应用，容纳数十或数百个这些投影源200可能产生大得多而可靠性更低的设计。
仅出于示例性目的，假设具有3840×2160个位点的能量位置密度的能量装置，给定下式，可确定能量表面所要的个别能量装置(例如，装置100)的数目：
·
·
给定上述分辨率考虑因素，可能需要类似于图2中所示的装置的大约105×105个装置。应注意，许多装置由可能映射或可能不会映射到规则网格的各种像素结构构成。在每个全像素内存在额外亚像素或位置的情况下，这些可利用来产生额外分辨率或角度密度。额外信号处理可用于取决于像素结构的指定位置而确定将光场转换成校正(u，v)坐标的方式，且可以是已知和已校准的每个装置的明显特性。此外，其它能量域可涉及这些比和装置结构的不同处理，且所属领域的技术人员将理解每个所要频率域之间的直接内在关系。这将在后续公开内容中更详细地示出和论述。
可使用所得计算值来理解可能需要多少个这些个别装置来产生全分辨率能量表面。在此情况下，可能需要大约105×105个或大约11,080个装置来实现所述视敏度阈值。从这些可用的能量位置制出无缝能量表面以进行足够的感觉全息传播存在挑战性和新颖性。
无缝能量表面概述:
能量中继器阵列的配置和设计
在一些实施例中，公开解决以下挑战的方法：由个别装置阵列产生高能量位置密度而不存在因装置的机械结构的限制所致的接缝。在实施例中，能量传播中继系统可允许有源装置区域的有效大小增大以满足或超过用以配置中继器阵列并形成单个无缝能量表面的机械尺寸。
图3示出此类能量中继系统300的实施例。如所示，中继系统300可包含安装到机械外壳320的装置310，其中能量中继器元件330传播来自装置310的能量。中继器元件330可配置成提供减少任何间隙340的能力，所述间隙可能在装置的多个机械外壳320被放置到多个装置310的阵列中时产生。
例如，如果装置的有源区域310是20mm×10mm，且机械外壳320是40mm×20mm，那么能量中继器元件330可设计有2:1的放大率，以产生在缩小端(箭头A)上为20mm×10mm且在放大端(箭头B)上为40mm×20mm的锥形形式，从而提供将这些元件330的阵列无缝地对准在一起而不更改或妨碍每个装置310的机械外壳320的能力。中继器元件330可以机械方式接合或熔合在一起以便对准和抛光，从而确保装置310之间的接缝间隙340最小。在一个此类实施例中，有可能实现小于眼睛的视敏度限值的接缝间隙340。
图4示出具有能量中继器元件410的基座结构400的实例，所述能量中继器元件形成在一起且牢牢地紧固到额外机械结构430。无缝能量表面420的机械结构提供通过接合或安装中继器元件410、450的其它机械过程将多个能量中继器元件410、450串联联接到同一基座结构的能力。在一些实施例中，每个中继器元件410可熔合、接合、粘合、压配、对准或以其它方式附接到一起以形成所得无缝能量表面420。在一些实施例中，装置480可安装到中继器元件410的后部上，且被动地或主动地对准以确保维持所确定容限内的适当能量位置对准。
在实施例中，无缝能量表面包括一个或多个能量位置，且一个或多个能量中继器元件堆叠包括第一和第二侧，且每个能量中继器元件堆叠被布置成形成单个无缝显示表面，从而沿着在一个或多个能量位置与无缝能量表面之间延伸的传播路径引导能量，且其中终端能量中继器元件的任何两个邻近第二侧的边缘之间的间隔小于最小可感知轮廓，所述最小可感知轮廓由在大于单个无缝能量表面的宽度的距离处具有优于20/40的视力的人眼视敏度限定。
在实施例中，每个无缝能量表面包括一个或多个能量中继器元件，每个能量中继器元件具有形成带横向和纵向定向的第一和第二表面的一个或多个结构。第一中继器表面具有不同于第二中继器表面的面积，从而形成正放大或负放大，且配置有明确的表面轮廓以供第一和第二表面将能量传送通过第二中继器表面，从而大体上填充相对于整个第二中继器表面上的表面轮廓的法线的+/-10度角。
在实施例中，可在单个能量中继器内或多个能量中继器之间配置多个能量域，以引导包含视觉、声学、触觉或其它能量域的一个或多个感觉全息能量传播路径。
在实施例中，无缝能量表面配置有能量中继器，所述能量中继器包括两个或更多个第一侧以供每个第二侧同时接收和发射一个或多个能量域，从而在整个系统中提供双向能量传播。
在实施例中，将能量中继器提供为松散相干元件。
组件工程化结构简介：
横向安德森局域化能量中继器的已公开进展
根据本文中针对引发横向安德森局域化的能量中继器元件所公开的原理，可显著优化能量中继器的特性。横向安德森局域化是输送通过横向无序但纵向一致的材料的射线的传播。
这意味着相比于其中波干扰可能完全限制横向定向上的传播而在纵向定向上继续的多个散射路径之间的随机化，产生安德森局域化现象的材料效应受到全内反射的影响可能更小。
最显著的额外益处是：消除了传统多芯光纤材料的包层。包层是为了在功能上消除光纤之间的能量散射，而同时充当能量射线的屏障，由此使传输至少减少芯皮比(coreto clad ratio)(例如，70:30的芯皮比将最多传输70％的所接收能量传输)，且另外在传播的能量中形成强像素化图案化。
图5A示出这样一个非安德森局域化能量中继器500的实例的端视图，其中图像通过多芯光纤中继，其中由于光纤的内在特性可能呈现像素化和光纤噪声。对于传统多模和多芯光纤，由于芯的离散阵列的全内反射的特性，中继的图像在本质上可能被像素化，其中芯之间的任何串扰将降低调制传递函数并增大模糊。通过传统多芯光纤产生的所得图像往往会具有类似于图3所示的那些的残差固定噪声光纤图案。
图5B示出通过能量中继器的相同中继图像550的实例，所述能量中继器包括呈现横向安德森局域化特性的材料，其中相比于图5A的固定光纤图案，所述中继图案具有更大密度的颗粒结构。在实施例中，包括随机化微观组件工程化结构的中继器引发横向安德森局域化，且更高效地输送光，与市售多模玻璃光纤相比，传播的可分辨分辨率更高。
横向安德森局域化材料特性在成本和重量两个方面均存在显著优势，其中类似的光学级玻璃材料的成本和重量可能比实施例内产生的相同材料的成本高10到100倍，其中所公开的系统和方法包括随机化微观组件工程化结构，相比于所属领域中已知的其它技术，它们有大量机会来改进成本和质量。
在实施例中，呈现横向安德森局域化的中继器元件可在布置成三维光栅的三个正交平面中的每一个平面中包括多个至少两种不同组件工程化结构，且所述多个结构在三维光栅内的横向平面中形成材料波传播特性的随机化分布以及在三维光栅内的纵向平面中形成具有材料波传播特性的类似值的通道，其中相较于横向定向，传播通过能量中继器的局域化能量波在纵向定向上具有更高输送效率。
在实施例中，可在单个横向安德森局域化能量中继器内或在多个横向安德森局域化能量中继器之间配置多个能量域以引导包含视觉、声学、触觉或其它能量域的一个或多个感觉全息能量传播路径。
在实施例中，无缝能量表面配置有横向安德森局域化能量中继器，所述中继器包括两个或更多个第一侧以供每个第二侧同时接收和发射一个或多个能量域，从而在整个系统中提供双向能量传播。
在实施例中，横向安德森局域化能量中继器被配置为松散相干的或柔性的能量中继器元件。
4D全光函数的考虑因素：
通过全息波导阵列的能量的选择性传播
如上文和此处所论述，光场显示系统大体上包含能量源(例如，照明源)和配置有足够能量位置密度的无缝能量表面，如上文论述中所阐述。可使用多个中继器元件将能量从能量装置中继到无缝能量表面。一旦能量被递送到具有必需的能量位置密度的无缝能量表面，能量就可根据4D全光函数传播通过所公开的能量波导系统。如所属领域的普通技术人员将了解，4D全光函数在所属领域中众所周知，且在本文中将不另外详述。
能量波导系统选择性地将能量传播通过沿着无缝能量表面的多个能量位置，所述能量位置表示4D全光函数的空间坐标，其中结构配置成更改通过的能量波的角方向，所述角方向表示4D全光函数的角分量，其中所传播的能量波可根据通过4D全光函数引导的多个传播路径而在空间中会聚。
现参考图6，其示出根据4D全光函数的4D图像空间中的光场能量表面的实例。本图示出能量表面600到检视者620的射线轨迹，其描述能量射线如何从视体内的各个位置会聚在空间630中。如所示，每个波导元件610限定描述通过能量表面600的能量传播640的四个信息维度。两个空间维度(在本文中称为x和y)是可在图像空间中检视到的物理多个能量位置，以及在投影通过能量波导阵列时在虚拟空间中观察到的角分量θ和
然而，所属领域的技术人员应理解，光场和全息显示技术的显著挑战源于不受控的能量传播，因为设计没有精确地考虑到以下中的任一个：衍射、散射、漫射、角方向、校准、焦点、准直、曲率、均一性、元件串扰以及促使有效分辨率降低及无法以足够的保真度精确地会聚能量的大量其它参数。
在实施例中，用于解决与全息显示相关联的挑战的选择性能量传播的方法可包含能量抑制元件，以及利用进入由4D全光函数限定的环境中的近准直能量大体上填充波导孔径。
在实施例中，能量波导阵列可针对每个波导元件限定多个能量传播路径，所述能量传播路径配置成在由规定的4D函数限定的唯一方向上延伸通过且大体上填充波导元件的有效孔径到沿着无缝能量表面的多个能量位置，所述能量位置被一个或多个元件抑制，所述一个或多个元件定位成将每个能量位置的传播限制于仅穿过单个波导元件。
在实施例中，可在单个能量波导内或多个能量波导之间配置多个能量域，以引导包含视觉、声学、触觉或其它能量域的一个或多个感觉全息能量传播。
在实施例中，能量波导和无缝能量表面配置成接收和发射一个或多个能量域，以在整个系统中提供双向能量传播。
在实施例中，能量波导配置成针对包含墙壁、桌子、地板、天花板、房间或其它基于几何布置的环境的任何无缝能量表面定向，利用数字编码的、衍射、折射、反射、grin、全息、菲涅耳(Fresnel)等波导配置来传播能量的非线性或不规则分布，包含非传输空隙区域。在另一实施例中，能量波导元件可配置成产生各种几何布置，所述几何布置提供任何表面轮廓和/或桌面查看，从而允许用户从360度配置的能量表面的各个位置检视全息图像。
在实施例中，能量波导阵列元件可为反射表面，且所述元件的布置可为六边形、正方形、不规则的、半规则的、弯曲、非平面、球面、圆柱形、倾斜规则的、倾斜不规则的、空间变化的和/或多层的。
对于无缝能量表面内的任何组件，波导或中继器组件可包含但不限于光纤、硅、玻璃、聚合物、光学中继器、衍射、全息、折射或反射元件、光学面板、能量组合器、分束器、棱镜、偏振元件、空间光调制器、有源像素、液晶单元、透明显示器或呈现安德森局域化或全内反射的任何类似材料。
实现全息甲板:
在全息环境内刺激人类感觉受体的双向无缝能量表面系统的聚合
有可能通过将多个无缝能量表面平铺、熔合、接合、附接和/或拼接在一起以形成包含整个房间的任意大小、形状、轮廓或外观尺寸来构造无缝能量表面系统的大型环境。每个能量表面系统可包括组合件，所述组合件具有基座结构、能量表面、中继器、波导、装置和电子件，它们共同配置成用于双向全息能量传播、发射、反射或感测。
在实施例中，平铺无缝能量系统的环境聚合以形成大型无缝平面或弯曲壁，所述壁包含包括多达给定环境中的所有表面的设施，且被配置为无缝、不连续平面、有刻面、弯曲、圆柱形、球面、几何或不规则几何布置的任何组合。
在实施例中，平面表面的聚合平铺块形成用于剧场的或基于场所的全息娱乐的墙壁大小的系统。在实施例中，对于基于洞穴的全息设施，平面表面的聚合平铺块覆盖具有包含顶部和地面在内的四个到六个壁的空间。在实施例中，弯曲表面的聚合平铺块产生圆柱形无缝环境以用于沉浸式全息设施。在实施例中，无缝球面表面的聚合平铺块形成用于基于全息甲板的沉浸式体验的全息圆顶。
在实施例中，无缝弯曲能量波导的聚合平铺块提供遵循沿着能量波导结构内的能量抑制元件的边界的精确图案的机械边缘，以接合、对准或熔合邻近波导表面的邻近平铺机械边缘，从而产生模块化的无缝能量波导系统。
在聚合平铺环境的另一实施例中，针对多个同时能量域，双向传播能量。在另一实施例中，能量表面提供同时从相同能量表面进行显示和捕捉的能力，其中波导被设计成使得光场数据可通过照明源投影通过波导且同时通过相同能量表面接收。在另一实施例中，可利用额外深度感测和主动扫描技术以在准确的世界坐标中实现能量传播与检视者之间的交互。在另一实施例中，能量表面和波导可用来发射、反射或会聚频率以引发触感或立体触感反馈。在一些实施例中，双向能量传播和聚合表面的任何组合是可能的。
在实施例中，系统包括能量波导，所述能量波导能够通过能量表面双向发射和感测能量，其中一个或多个能量装置独立地与两个或更多个路径能量组合器配对，以将至少两个能量装置配对到无缝能量表面的相同部分，或一个或多个能量装置固定在能量表面后面并接近于固定到基座结构上的额外组件，或接近于在用于轴外直射或反射投影或感测的波导的FOV的前面和外部的位置，且所得能量表面实现能量的双向传输，从而允许波导会聚能量、允许第一装置发射能量且允许第二装置感测能量，且其中信息被处理以执行计算机视觉相关任务，包含但不限于对传播的能量图案内的干扰的4D全光眼动和视网膜跟踪或感测、深度估计、接近、运动跟踪、图像、颜色或声音形成，或其它能量频率分析。在另一实施例中，所跟踪位置基于双向捕捉的数据与投影信息之间的干扰进行主动计算并修改能量位置。
在一些实施例中，针对组合成单个第二能量中继器表面的传播能量的三个第一中继器表面中的每一个表面，将包括超声波传感器、可见能量显示器和超声波发射装置的三个能量装置的多个组合配置在一起，其中所述三个第一表面中的每一个表面包括特定于每个装置的能量域的工程化特性，且两个工程化波导元件分别针对超声波和能量配置以能够独立引导和会聚每个装置的能量，且大体上不受配置成用于单独能量域的其它波导元件影响。
在一些实施例中，公开一种实现高效制造以消除系统伪影并产生与编码/解码技术一起使用的所得能量表面的几何映射的校准程序，以及用于将数据转换成适合基于校准配置文件进行能量传播的校准信息的专用集成系统。
在一些实施例中，串联的额外能量波导和一个或多个能量装置可集成到系统中以产生不透明全息像素。
在一些实施例中，可集成包括能量抑制元件、分束器、棱镜、有源视差屏障或偏振技术的额外波导元件，以便提供大于波导直径的空间和/或角度分辨率或用于其它超分辨率目的。
在一些实施例中，所公开的能量系统还可配置为可穿戴双向装置，例如虚拟现实(VR)或增强现实(AR)。在其它实施例中，能量系统可包含使所显示或所接收的能量聚焦接近于空间中对于检视者来说确定的平面的调整光学元件。在一些实施例中，波导阵列可并入到全息头戴式显示器中。在其它实施例中，系统可包含多个光学路径，以允许检视者看到能量系统和现实世界环境(例如，透明的全息显示)。在这些情况下，除了其它方法之外，系统可呈现为近场。
在一些实施例中，数据的传输包括具有可选择或可变压缩比的编码过程，所述编码过程接收信息和元数据的任意数据集；分析所述数据集并接收或指派材料特性、向量、表面ID、新像素数据，从而形成更稀疏的数据集，且其中接收到的数据可包括：2D、立体、多视图、元数据、光场、全息、几何布置、向量或向量化元数据，且编码器/解码器可提供包括图像处理的实时或离线转换数据的能力，以用于：2D；2D+深度、元数据或其它向量化信息；立体、立体+深度、元数据或其它向量化信息；多视图；多视图+深度、元数据或其它向量化信息；全息；或光场内容；在具有或不具有深度元数据的情况下通过深度估计算法；以及逆射线跟踪方法通过特征化4D全光函数以适当方式将各种2D、体视、多视图、立体、光场或全息数据的逆射线跟踪所产生的所得转换数据映射到现实世界坐标中。在这些实施例中，所要的总数据传输可以是比原始光场数据集少多个数目级的传输信息。
适用于呈现全息感觉数据的能量引导装置
在实施例中，光力学显示装置能够发射和导引光以形成2D、体视、多视图、全光、4D、立体、光场、全息或光的任何其它视觉表示。
图7A是光场光力学系统在配置有发射显示装置、光学中继器和被实现为例如微透镜阵列等折射元件阵列的波导的情况下的实例，其中来自一个或多个显示器的可见图像可被光学中继，之后传输到能量表面，其中所述折射元件阵列提供能量表面上的每个位置与所述位置的光的投影方向之间的映射，使得可投影4D立体光场图像。
在实施例中，波导可用来会聚射线以引发检视者视角的聚散和调节。
在实施例中，波导和能量中继器可形成或抛光有各种表面几何布置。在实施例中，能量中继器包含引发横向安德森局域化的元件。在实施例中，能量中继器是双向的，且可发射和/或投影能量。
在一个实施例中，一种配置成根据四维(4D)全光函数引导能量的能量系统包含多个能量装置。在一些实施例中，所述多个能量装置包含发射图像信息的照明源，其中所述图像信息包含利用可见光、IR、UV、相干的、激光、红外线、偏振的或任何其它电磁照明源的发射、投影或反射显示技术。在其它实施例中，所述多个能量装置包含配置成从声场提供沉浸式音频或立体触感的机械能发射装置。
在一些实施例中，如上配置的能量系统还可包含基座结构(例如72)，使得所述多个能量装置、所述能量中继系统和所述能量波导系统都可联接到所述基座结构。在其它实施例中，所述多个能量装置、所述能量中继系统和所述能量波导系统可通过一个或多个安装托架联接到所述基座结构。
在一些实施例中，所述多个能量装置包含用于捕捉或感测能量的能量装置，所述能量包含机械能、化学能、转移能、热能、电能、势能、动力的、磁性的、重力的、辐射的能量、结构化、非结构化或其它形式的能量。在其它实施例中，所述多个能量装置包含用于传播或发射能量的能量装置，所述能量包含机械能、化学能、转移能、热能、电能、势能、动力的、磁性的、重力的、辐射的能量、结构化、非结构化或其它形式的能量。在其它实施例中，所述多个能量装置包含配置成提供感觉反馈或可听控制的声学接收装置。
在一个实施例中，所述能量系统另外包含能量中继系统(例如如最佳在图7B中示出的6110)，所述能量中继系统具有一个或多个能量中继器元件，其中一个或多个能量中继器元件中的每个者包含第一表面和第二表面，所述一个或多个能量中继器元件的第二表面被布置成形成所述能量中继系统的单个无缝能量表面，且其中第一多个能量传播路径从所述多个能量装置中的能量位置延伸通过所述能量中继系统的所述单个无缝能量表面。这将在下文更详细地论述。
现在参考图7B，其示出根据本公开的一个实施例的正交视图的能量中继系统6110。在一个实施例中，能量中继系统6110可包含两个或更多个中继器元件6112，每个中继器元件6112由一个或多个结构形成，每个中继器元件6112具有第一表面6114、第二表面6116、横向定向(大体上平行于表面6114、6116)和纵向定向(大体上垂直于表面6114、6116)。在一个实施例中，第一表面6114的表面积可不同于第二表面6116的表面积。例如，第一表面6114的表面积可大于或小于第二表面6116的表面积。在另一实施例中，第一表面114的表面积可与第二表面6116的表面积相同。能量波可从第一表面6114传送到第二表面6116，或反之亦然。
在一个实施例中，能量中继系统6110的中继器元件6112包含第一表面6114与第二表面6116之间的倾斜轮廓部分6118。在操作中，在第一表面6114与第二表面6116之间传播的能量波在纵向定向上的输送效率可高于横向定向上的输送效率，且通过中继器元件6112的能量波可引起空间放大或空间缩小。换句话说，通过中继器元件装置6110的中继器元件6112的能量波可经历增加的放大或减小的放大。在一些实施例中，用于形成能量中继器元件6110的一个或多个结构可包含玻璃、碳、光纤、光学薄膜、塑料、聚合物或其混合物。
在一个实施例中，通过第一表面6114的能量波具有第一分辨率，而通过第二表面6116的能量波具有第二分辨率，且第二分辨率不小于第一分辨率的约50％。在另一实施例中，尽管在呈现到第一表面时具有均一特征曲线，但能量波可穿过第二表面，在每个方向上辐射，且在前向方向上具有基本上填充相对于第二表面的法线具有+/-10度张角的圆锥的某一能量密度，而无关于在第二中继器表面上的位置。
在一些实施例中，第一表面6114可配置成从能量波源接收能量，所述能量波源包含宽度不同于第一表面6114和第二表面6116中的至少一个的宽度的机械外壳。
在每个中继器6112中，能量在限定纵向定向的第一表面与第二表面之间输送，每个中继器的第一和第二表面大体上沿着由第一和第二方向限定的横向定向延伸，其中纵向定向大体上与横向定向正交。在一个实施例中，传播通过所述多个中继器的能量波因与纵向定向上的最小折射率变化关联的横向定向上的随机折射率变化性而在纵向定向上具有比横向定向上高的输送效率。在每个中继器由多芯光纤构造的一些实施例中，在每个中继器元件内传播的能量波可在纵向定向上行进，所述纵向定向通过对准此定向上的光纤而确定。
在实施例中，终端能量中继器元件的任何两个邻近第二侧的边缘之间的间隔可小于最小可感知轮廓，所述最小可感知轮廓由在距所述单个无缝能量表面某一距离处具有优于20/40的视力的人眼视敏度限定，所述距离大于所述单个无缝能量表面的高度或所述单个无缝能量表面的宽度中的较小者。
在一个实施例中，成堆叠配置的多个能量中继器元件可包含多个面板。在一些实施例中，所述多个面板可具有不同长度，或是松散相干光学中继器。在其它实施例中，所述多个元件可具有类似于图7B的倾斜轮廓部分的倾斜轮廓部分，其中所述倾斜轮廓部分可为成角度的、线性的、弯曲的、锥形的、有刻面的或相对于中继器元件的法线轴成一非垂直角度对准的。在又一实施例中，传播通过所述多个中继器的能量波因与纵向定向上的最小折射率变化关联的横向定向上的随机折射率变化性而在纵向定向上具有比横向定向上高的输送效率。在每个能量中继器由多芯光纤构造的实施例中，在每个中继器元件内传播的能量波可在纵向定向上行进，所述纵向定向通过对准此定向上的光纤而确定。
在一些实施例中，所述一个或多个中继器元件(例如6112)包含熔合或平铺的镶嵌件，其中邻近熔合或平铺的镶嵌件之间的任何接缝分隔开或小于最小可感知轮廓，所述最小可感知轮廓由在处于或大于所述单个无缝能量表面的宽度或高度的距离处具有优于20/40视力的人眼视敏度限定。
在其它实施例中，所述一个或多个中继器元件(例如6112)包含：光纤、硅、玻璃、聚合物、光学中继器、衍射元件、全息光学元件、折射元件、反射元件、光学面板、光合路器、分束器、棱镜、偏振组件、空间光调制器、有源像素、液晶单元、透明显示器或用于形成所述单个无缝能量表面的具有安德森局域化或全内反射特性的任何类似材料。
在其它实施例中，所述一个或多个中继器元件(例如6112)配置成适应所述单个无缝能量表面的形状，包含平面、球面、圆柱形、圆锥形、有刻面的、平铺、规则、不规则或任何其它用于指定应用的几何布置。
在另一实施例中，所述系统另外包含具有能量波导阵列的能量波导系统(例如在图7C到7L中最佳示出的7100)，其中第二多个能量传播路径在由4D全光函数确定的方向上从所述单个无缝能量表面延伸通过所述能量波导阵列。
图7C示出可用于限定多个能量传播路径7108的能量波导系统7100的实施例的自上向下的透视图。能量波导系统7100包括能量波导7112阵列，其配置成沿着所述多个能量传播路径7108引导自其穿过的能量。在实施例中，所述多个能量传播路径7108延伸通过阵列第一侧7116上的多个能量位置7118到阵列第二侧7114。
参考图7C和7L，在实施例中，所述多个能量传播路径7108的第一子组7290延伸通过第一能量位置7122。第一能量波导7104配置成沿着所述多个能量传播路径7108的第一子组7290中的第一能量传播路径7120引导能量。第一能量传播路径7120可由形成于第一能量位置7122与第一能量波导7104之间的第一主射线7138限定。第一能量传播路径7120可包括形成于第一能量位置7122与第一能量波导7104之间的射线7138A和7138B，其由第一能量波导7104分别沿着能量传播路径7120A和7120B引导。第一能量传播路径7120可从第一能量波导7104朝向阵列第二侧7114延伸。在实施例中，沿着第一能量传播路径7120引导的能量包括能量传播路径7120A与7120B之间的或包含能量传播路径7120A和7120B的一个或多个能量传播路径，其在大体上平行于第一主射线7138传播通过第二侧7114的方向上被引导通过第一能量波导7104。
实施例可配置成使得沿着第一能量传播路径7120引导的能量可在大体上平行于能量传播路径7120A和7120B且平行于第一主射线7138的方向上离开第一能量波导7104。可假定延伸穿过第二侧7114上的能量波导元件7112的能量传播路径包括具有大体上类似传播方向的多个能量传播路径。
图7D是能量波导系统7100的实施例的正视图图解。第一能量传播路径7120可朝向阵列第二侧7114在延伸自第一能量波导7104的唯一方向7208上延伸，所述唯一方向至少由第一能量位置7122确定。第一能量波导7104可由空间坐标7204限定，且至少由第一能量位置7122确定的唯一方向7208可由角坐标7206限定，所述角坐标限定第一能量传播路径7120的方向。空间坐标7204和角坐标7206可形成四维全光坐标集7210，其限定第一能量传播路径7120的唯一方向7208。
在实施例中，沿着第一能量传播路径7120引导通过第一能量波导7104的能量大体上填充第一能量波导7104的第一孔径7134，且沿着一个或多个能量传播路径传播，所述一个或多个能量传播路径处于能量传播路径7120A与7120B之间且平行于第一能量传播路径7120的方向。在实施例中，大体上填充第一孔径7134的一个或多个能量传播路径可包括大于50％的第一孔径7134直径。
在优选实施例中，沿着第一能量传播路径7120引导通过第一能量波导7104的大体上填充第一孔径7134的能量可包括50％到80％之间的第一孔径7134直径。
转回到图7C和7E到7L，在实施例中，能量波导系统7100还可包括能量抑制元件7124，所述能量抑制元件定位成限制第一侧7116与第二侧7114之间的能量传播且抑制邻近波导7112之间的能量传播。在实施例中，能量抑制元件配置成抑制沿着多个能量传播路径7108的第一子组7290中未延伸通过第一孔径7134的一部分的能量传播。在实施例中，能量抑制元件7124可位于能量波导7112阵列与多个能量位置7118之间的第一侧7116上。在实施例中，能量抑制元件7124可位于多个能量位置7118与能量传播路径7108之间的第二侧7114上。在实施例中，能量抑制元件7124可位于与能量波导7112阵列或多个能量位置7118正交的第一侧7116或第二侧7114上。
在实施例中，沿着第一能量传播路径7120引导的能量可与沿着通过第二能量波导7128的第二能量传播路径7126引导的能量会聚。第一和第二能量传播路径可会聚在阵列7112的第二侧7114上的位置7130处。在实施例中，第三能量传播路径7140和第四能量传播路径7141也可会聚在阵列7112的第一侧7116上的位置7132处。在实施例中，第五能量传播路径7142和第六能量传播路径7143也可会聚在阵列7112的第一侧7116与第二侧7114之间的位置7136处。
图7E到7L是能量抑制元件7124的各种实施例的图解。为免生疑问，这些实施例出于示例性目的而提供，且决不局限于本公开的范围内提供的组合或实施方案的范围。
图7E示出多个能量位置7118的实施例，其中能量抑制元件7251邻近能量位置7118的表面而放置，且包括指定的折射、衍射、反射或其它能量更改特性。能量抑制元件7251可配置成通过抑制沿着能量传播路径7252的能量传播而将第一子组能量传播路径7290限制于更小范围的传播路径7253。在实施例中，能量抑制元件是数值孔径小于1的能量中继器。
图7F示出多个能量位置7118的实施例，其中将能量抑制结构7254正交放在能量位置7118的区域之间，且其中能量抑制结构7254呈现吸收性特性，且其中抑制能量结构7254沿着能量传播路径7256具有限定的高度，使得某些能量传播路径7255被抑制。在实施例中，能量抑制结构7254是六边形的形状。在实施例中，能量抑制结构7254是圆形的形状。在实施例中，能量抑制结构7254的形状或大小沿着传播路径的任何定向是不均匀的。在实施例中，能量抑制结构7254内嵌于具有额外特性的另一结构内。
图7G示出多个能量位置7118，其中第一能量抑制结构7257配置成将自其穿过而传播的能量7259大体上定向成第一状态。第二能量抑制结构7258配置成允许大体上定向成第一状态的能量7259自其穿过而传播，且限制大体上以与第一状态不相似的方式定向的能量7260的传播。在实施例中，能量抑制元件7257、7258是能量偏振元件对。在实施例中，能量抑制元件7257、7258是能量波带通元件对。在实施例中，能量抑制元件7257、7258是衍射波导对。
图7H示出多个能量位置7118的实施例，其中能量抑制元件7261被构造成取决于能量传播路径7263延伸通过多个能量位置7118中的哪些能量位置而将能量传播路径7263更改到某一范围。能量抑制元件7261可沿着能量传播路径7263以均一或非均一方式更改能量传播路径7263，使得某些能量传播路径7262被抑制。能量抑制结构7254正交放在能量位置7118的区域之间，且其中能量抑制结构7254呈现吸收性特性，且其中抑制能量结构7254沿着能量传播路径7263具有限定高度，使得某些能量传播路径7262被抑制。在实施例中，抑制元件7261是场透镜。在实施例中，抑制元件7261是衍射波导。在实施例中，抑制元件7261是弯曲波导表面。
图7I示出多个能量位置7118的实施例，其中能量抑制元件7264提供吸收性特性以限制能量7266的传播，同时允许其它传播路径7267进行传送。
图7J示出多个能量位置7118和多个能量波导7112的实施例，其中第一能量抑制结构7268配置成将自其穿过而传播的能量7270大体上定向成第一状态。第二能量抑制结构7271配置成允许大体上定向成第一状态的能量7270自其穿过而传播，且限制大体上以与第一状态不相似的方式定向的能量7269的传播。为了进一步控制通过系统的能量传播，例如杂散能量传播7272，能量抑制结构7268、7271可能需要组合式能量抑制元件来确保能量传播维持准确的传播路径。
图7K示出多个能量位置7118的实施例，且其中能量抑制元件7276提供吸收性特性来限制沿着能量传播路径7278的能量传播，同时针对波导阵列7112内的有效孔径7284，允许沿着能量传播路径7277的其它能量穿过一对能量波导7112。在实施例中，能量抑制元件7276包括黑铬。在实施例中，能量抑制元件7276包括吸收性材料。在实施例中，能量抑制元件7276包括透明像素阵列。在实施例中，能量抑制元件7276包括阳极化材料。
图7L示出包括多个能量位置7118和多个能量波导7112的实施例，其中第一能量抑制结构7251邻近能量位置7118的表面放置，且包括指定的折射、衍射、反射或其它能量更改特性。能量抑制结构7251可配置成通过抑制沿着能量传播路径7274的能量传播而将第一子组能量传播路径7290限制于更小范围的传播路径7275。第二能量抑制结构7261被构造成取决于能量传播路径7275延伸通过多个能量位置7118中的哪些能量位置而将能量传播路径7275更改到某一范围。能量抑制结构7261可以均一或非均一方式更改能量传播路径7275，使得某些能量传播路径7274被抑制。第三能量抑制结构7254正交放在能量位置7118的区域之间。能量抑制结构7254呈现吸收性特性，且沿着能量传播路径7275具有限定高度，使得某些能量传播路径7274被抑制。能量抑制元件7276提供吸收性特性以限制能量280的传播，同时允许能量7281穿过。类似或相异波导元件7112的组合式系统定位成利用来自多个能量位置7118的能量大体上填充有效波导元件孔径7285，且如特定系统所限定来更改能量的传播路径7273。
在实施例中，能量抑制结构7124可位于第一能量波导7122附近，且大体上朝向第一能量波导7104延伸。在实施例中，能量抑制结构7124可位于第一能量波导7104附近，且大体上朝向第一能量位置7122延伸。
在一个实施例中，所述能量系统配置成沿着所述第二多个能量传播路径将能量引导通过所述能量波导系统到所述单个无缝能量表面，且沿着所述第一多个能量传播路径将能量从所述单个无缝能量表面引导通过所述能量中继系统到所述多个能量装置。
在另一实施例中，所述能量系统配置成沿着所述第一多个能量传播路径将能量从所述多个能量装置引导通过所述能量中继系统到所述单个无缝能量表面，且沿着所述第二多个能量传播路径将能量从所述单个无缝能量表面引导通过所述能量波导系统。
在又一实施例中，所述单个无缝能量表面可用于将局域化光传输导引到可见光的三个或更少波长内。
适用于全息显示器的感觉数据
从能量引导表面穿过表面的全光4D函数从包括能量位置且引导穿过第二坐标的第一平面沿着包括波导参数ul，vl的第二平面提供两个空间坐标xl，yl，从而限定能量传播路径的向量fl(xl，yl，ul，vl)。考虑到多个能量引导表面，全光5D函数从包括一个或多个能量位置且引导穿过第二坐标的第一坐标沿着包括波导参数ul，vl的平面提供三个空间坐标xl，yl，zl，从而限定能量传播路径的向量fl(xl，yl，zl，ul，vl)。对于4D或5D中的每一个，时间和颜色的额外变量fl(λl，tl)即使为了功能和论述的简单而未明确指出，也可以认为并假定包含应用所必要的全光函数中的任一个。为了避免疑问，对能量引导表面的引用仅出于示例性目的，并且可以包括空间中用于定位5D坐标的任何其它点、位置、方向或平面，且统称为能量“引导表面”。
图8是示出用于确定内容数据的四维(4D)全光坐标的过程800的实施例的流程图。过程800可包含接收内容数据的步骤802，所述内容数据可包含可通过视觉、音频、纹理、感觉或嗅觉传感器感知的任何信号。图9是示出内容数据的实施例的示意图，所述内容数据可包含以下至少之一：对象位置、材料特性(例如材料特性906、907和908)、虚拟光源904、非对象位置处的几何布置902、参考表面之外的内容、虚拟相机位置914、对象的分段910、背景纹理912和分层内容。
参考图8和9，过程800可进一步包含步骤804，其中相对于第一表面920确定数据点的位置，以创建内容数据的数字立体表示922。第一表面920可以用作用于限定数据点在空间中的位置的参考表面。在实施例中，过程800可进一步包含步骤806，其中通过将立体表示中的数据点的位置跟踪到应用了4D函数的第二表面，来在第二表面处确定数据点的4D全光坐标。在实施例中，过程800可进一步包含步骤808，其中为具有第一会聚点的4D全光坐标确定能量源位置值。
在步骤802中接收的内容数据可包含N个视图，其中N是一或大于一。可以呈现具有或不具有深度通道的单个视图。可以呈现具有或不具有深度通道的立体视图。可以呈现具有或不具有深度通道的多视图图像。另外，可以呈现有或没有深度通道的4D光场。
步骤806的跟踪可以使用能量系统的校准几何布置的先验知识，其可以作为全局模型或个别表征的系统或两种方法的某种组合存储在存储器中。
在实施例中，输入数据和输出能量源之间的映射提供了一种在各种位率源之间准确映射的方法。步骤806的跟踪提供了从上面列出的部分样本中推断完整立体4D数据集的能力。需要提供深度信息或根据可用数据计算深度信息。利用已知或计算的深度信息，可以基于进入4D空间的深度坐标，通过对来自已知立体表示的样本进行三角测量来逆跟踪N个视图。
三角测量可以假设在提供能量波导与能量源位置格式分辨率之间的映射的情况下，N个源内容中的每个可用能量源位置表示每个能量波导的能量源位置。在N个源内容分辨率较低的情况下，可以实施超分辨率或缩放算法。在N个源图像的分辨率高于能量引导装置中能量波导的数目的情况下，可以执行超取样能量源位置之间的内插以在所得4D逆射线轨迹中产生每个能量波导更高量的能量源位置。
以上假设距离信息可以根据深度图确定，所述深度图取决于所提供或计算的深度信息的形式而可能是准确的或不准确的，并且在已知或假定距离信息的情况下，如通过能量引导装置特性确定的距离信息与x-y能量源位置坐标和(u，v)角信息的组合可以被视为具有有限成像数据样本的4D或5D光场。基于距离信息，将成像样本三角测量回分别可能存在于每个能量波导后面的适当能量源位置，并且在步骤808中通过本文含有的公开内容生成遗漏数据。
参考图7C、8、9、10，在实施例中，能量位置可以位于第一表面920中，并且应用了4D函数的第二表面可以对应于能量引导装置的波导系统7100，并且能量可操作以根据数据点的4D全光坐标引导通过波导系统，以形成内容数据的可检测立体表示。
在实施例中，过程800可进一步包括步骤810，其中为具有第一会聚点的4D坐标确定能量源位置值。为了提供本公开的实例实施方案，图10示出了能量引导装置1000的实施例，所述能量引导装置经历跟踪过程，其中呈图像1002形式的内容数据在参考能量位置1010所确定的最小位置1006和最大位置1008内具有可提供或计算的距离位置1004。在实施例中，能量位置1010可包括能量引导装置表面。来自由4D全光函数限定的能量位置1010的已知几何布置允许将图像1002的虚拟表面上的点1014的三角测量沿射线1016追溯到各自具有唯一x-y坐标的特定能量位置1018。可以基于数据集中含有的可用信息来计算遗漏样本。
当提供额外的N个样本时，将相同的方法与额外多透视成像数据一起应用，从而产生一组更丰富的逆射线跟踪样本，并提供出色的全息结果。来自多个(N个)样本的深度信息可以在已知源位置(N+X透视图)与源深度图(N+X深度图)之间的映射的情况下通过单个深度图或高达N个或大于N个深度图提供，以确保执行适当的逆射线跟踪。
在提供了例如中心N个透视图的单一深度图的情况下，可以通过计算每个相邻视图之间的视差来内插额外深度图，以准确地映射N与N+X视点之间的源位置和目标位置。使用这种方法，有可能将取决于适当视图的映射逆射线跟踪到4D光场，使得将正确的透视图投影到适当的波导坐标上，且导致检视者能够在相关联视点中维持正确的视图相依性。
编码器和解码器功能强大，且可以解译多种数据类型，包含但不限于2D/平面文件、具有深度的2D、立体、具有单个深度通道的立体、具有双深度通道的立体、无深度的N+X多视图、具有N+Y个深度的N+X多视图、基于几何布置或向量的场景文件(可包括纹理、几何布置、照明、材料特性等以重建环境)、可针对每个x-y坐标提供多个RGBAZ值的深度成像文件、4D或5D(4D加深度)光场，或提供为N+X视图加N+Y增量通道数据集，其中深度通道提供较低带宽方法，仅用于渲染所确定的能量引导装置视场所需的一定量的能量源位置数据。处理器能够以高达或超过实时速度的逆射线跟踪，以便提供适当的4D光场供呈现给检视者，无论是否具有世界坐标位置、是否补偿了最小和最大投影世界位置，且考虑到所表征和/或设计的能量引导装置本质。
在实施例中，过程800可进一步包括步骤812，其中应用在波导系统7100的第一侧上的能量位置7122与来自波导系统7100的第二侧上的波导元件7100的能量传播路径7120的角方向之间的映射。这样做可以允许确定波导系统7100的第一侧上的对应于数据点的4D全光坐标的多个能量位置。
图12是包括与处理子系统通信的数据输入/输出接口1201的处理系统1200的示意图，所述处理子系统具有感觉数据处理器1202、向量化引擎1204和跟踪引擎1206。应了解，感觉数据处理器1202、向量化引擎1204和跟踪引擎1206可以实施在一个或多个处理器上，无论是个别地还是以其任意组合。过程800的步骤802可以通过数据输入/输出接口1201将内容数据输入到处理子系统1220。感觉数据处理器1202可以执行步骤804以创建内容数据的立体表示。步骤806
在实施例中，应用映射可以包括对波导系统7100中的失真进行校准，其可进一步包括针对选自由以下各项组成的群组中的至少一个失真进行校准：空间失真、角度失真、强度失真和颜色失真。
在实施例中，能量引导装置可以进一步包括在波导系统7100的第一侧上的中继系统6110，所述中继系统具有与波导系统7100相邻的第一表面6116，且在波导系统的第一侧上的能量位置7112可以定位成邻近于中继系统6110的第二表面6114。
在实施例中，应用映射可包含针对波导系统7100中的失真进行校准。在实施例中，应用映射可包含针对中继系统6110中的失真和波导系统7100中的失真两者进行校准。在实施例中，待校准的失真可包含选自由以下各项组成的群组中的至少一个失真：空间失真、角度失真、强度失真和颜色失真。
在实施例中，所述方法的一部分可以实时地进行，或者所述方法可以完全实时地进行，或者所述方法的至少两个部分可以在不同的时间段中进行。
2D到光场的转换
在实施例中，内容数据可以包括二维(2D)空间中的数据点，并且步骤704的确定位置可以包括将深度图应用于二维空间中的数据点。
存在若干方法将二维图像或平面图像转换为光场数据。这些方法包含通过运动分析经由深度估计深度信息、经由手动或渲染方式提供深度通道，或手动创建视差、深度、遮挡、几何布置和/或称为用于视觉效果内容创建以通过经由手动和自动过程对整个环境进行再生来再现整个光场的标准的任何其它方法。
在第一实施例中，包含实时或离线处理器以根据可用能量源位置信息执行深度估计的系统是可能的。这可以在能量引导装置处作为机顶盒或作为离线过程来执行。可以利用时间信息和/或现有技术的纹理合成或本领域已知的其它技术来执行针对遗漏的立体数据的额外计算。
在第二实施例中，深度信息被提供为图像流，并且可以被嵌入图像格式中。类似地，可以针对遗漏的立体数据执行额外计算。
在第三实施例中，利用艺术家或过程来生成遗漏的环境信息，所述信息可包含以下过程：隔离或分割场景中的每个对象，随着时间推移手动、半自动或自动地跟踪所述对象、将对象置于空间利用视差空间、能量引导装置空间、光学空间或世界坐标中、通过本领域已知的视觉效果过程合成背景和前景遗漏信息以重建背景、透明度、边缘细节等以再生环境。为了避免疑问，所实施的过程可以是用于重建这些环境的任何、没有或所有列出的实施例。所生成的环境信息应包含尽可能多的遗漏信息，这些信息由能量引导装置的视角确定，并且艺术家可以知道这些视角，以确保适当地生成适当的遮挡和取决于视图的信息。
另外，可以生成场景中每个对象的表面模型，作为部分模型或完全构建的模型，并将来自图像数据的纹理投影到几何图形的表面上，以为后续的逆射线跟踪提供适当形状。
另外，可以计算或手动引入材料特性，以确保可以与虚拟照明源一起引入取决于视图的照明，以进一步提高4D光场再生的准确度。
另外，可以引入CG或合成内容的添加以扩增现有的转换材料。也可以并有立体数据的添加。还可以引入N+X内容的相互混合，以在CG、2D、立体、多视图和/或4D媒体之间提供无缝混合，以形成单个复合物。
所得的2D到光场转换后的内容可以保留为几何场景文件，包含CG场景本身中指示的几何布置、纹理、照明、材料等，渲染为具有N+D深度通道的N+X视图、渲染为4D或5D(4D+深度)光场、格式对于每个x-y能量源位置坐标允许多个RGBAZ样本而每个x-y坐标限制或不限制Z样本的堆叠的深度图像，或提供为N+X视图加上N+Y增量信道数据集，其中深度通道提供较低带宽方法，仅用于渲染所确定的能量引导装置视场所需的一定量的能量源位置数据。可以提供工具以允许生成这些相应的输出格式中的全部、一些或一种。
立体和多视图到光场的转换
从上面利用单视图内容的过程可以应用于立体和多视图材料。通过运动分析以及立体、多视图和/或视差分析、通过手动或渲染方式提供的一个或多个深度通道或或手动创建视差、深度、遮挡、几何布置和/或称为用于视觉效果内容创建以通过经由手动和自动过程对整个环境进行再生来再现整个光场的标准的任何其它方法并且利用适当数据来进一步保持取决于视图的内容可用于所提供的成像材料中来经由深度获得深度信息的估计。
在实施例中，在步骤102中接收的内容数据可以包括三维(3D)空间中的数据点，并且确定位置可以包括调整3D空间中的数据点。
在实施例中，调整3D空间中的数据点可包含将深度图应用于3D空间中的数据点、添加新数据点、重建遮挡的数据点，或其任何组合。
此方法的显著优点在于，立体视差估计的准确度远高于仅运动视差或其它类似2D估计过程的准确度。另外，由于可获得一些取决于视图的条件，包含但不限于照明、透明度、材料、遮挡等，因此所得转换后的4D光场的图像质量更加准确。
保留多视图图像数据的显式角度相依性的能力依赖于计算与中心视点相机或某个其它限定的中心点有关的表面法线的能力。在已知这些法线和视差或深度信息的情况下，有可能基于能量引导装置的视角在视点之间进行内插，然后将其直接应用于逆射线跟踪，或者在逆射线跟踪期间将其合成为纹理合成的一部分。
为简洁起见，可以将所有先前公开的用于将2D重建为光场图像的方法都应用于重建立体或多视图数据集。
从4D或5D光场生成N×N RGB图像
通过利用4D或5D光场，有可能生成N×N或最多为N×N个数目的任何值的RGB多视图图像。通过考虑每个波导下面的每个左下坐标来适应此过程(假设正方形网格、0,0位置和右上位置为N,N位置)。网格仅是示例性的，并且可以利用任何其它映射方法。对于每个0,0到N,N位置，都有可能基于所利用的捕获系统从具有最大可能景深的光场形成全分辨率图像，其中阵列中的每个波导都被视为单个能量源位置，并且每个波导下的每个坐标都是分别用于从0,0到N,N的每个完整图像的较大能量源位置阵列的单个能量源位置。对于深度信息的5D光场也可以重复此过程。以此方式，有可能轻松地在4D或5D光场之间转换为数据集的任何子集，所述子集由于各种散发原因而需要包含2D、立体、多视图、点云、CG场景文件或可以从4D或5D光场导出的数据的任何其它所需组合。对于非规则或正方形封装的4D或5D结构，需要进一步内插以将能量源位置对准规则的网格，或者可以实施能量源位置与非正方形封装结构之间的线性映射，其中所得图像可能不出现为直线形，并且也可能含有能量源位置伪影。
图11例示了通过分别根据能量波导元件位置和能量位置坐标从每个能量波导元件1104的下方布置能量位置1102来将4D或5D光场转换成多个视点的方法。这提供了在光场与较小数据集之间无缝转换的能力。
N+X RGB和N+Y深度数据集
在平衡数据传输大小的同时提供最高质量的理想数据集格式包含使用N+X RGB和N+Y深度+向量化通道，其中N+X RGB信息含有：N个RGB图像，其可以表示特定的分辨率和格式；和X，其可表示RGB数据的不同分辨率和格式以包含较低分辨率、增量信息等；和含有N个深度+向量化通道的N+Y深度+向量化通道，其可表示特定分辨率和格式；以及Y，其可表示深度+向量通道的不同分辨率和格式，以包含较低分辨率、增量信息等。
可以在规则网格上、从带有或不带有中心视图的中心点周围的半径、带有或不带有中心视图的中心点周围的多个半径或确定视图数目与相关联填充或透视位置的映射的任何方法生成数目N+X个视图。视角的配置可以含于文件的元数据中，或所提供的深度+向量化通道可包含直接映射到世界坐标，使得成像数据无需其它必要的元数据即可与XYZ空间中的相同坐标对准。
4D磁盘反转和能量引导装置兼容性处理
对于使用全光或光场4D或5D系统捕获的任何数据，包含潜在地使用具有4D或5D光场系统的光学模拟的虚拟装备捕获的数据，所得的蝇眼视角含有表示光场的uv向量的磁盘。但是，这些坐标假定能量聚焦元件可能在能量引导装置中不存在。在所提出的能量引导装置解决方案中，聚焦元件可能是检视者的眼睛，并且捕获系统之间的映射以及原始捕获方法与所检视到的能量引导装置之间的映射不再正确。
为了对此进行反转并校正与捕获系统相比时系统中额外遗漏的能量引导元件，有可能个别地翻转每个磁盘，其中每个(u，v)坐标的x-y位置分别基于每个波导的中心点重新定位。以此方式，由于主波导而形成的图像的反转被反转，并且允许光场能量引导装置以正确的x-y-u-v定向投影射线。
此情况的另一实施例可以实施硬件修改，其中利用能量波导阵列提供每个呈现的能量波导能量源位置的直接反转。对于光场能量引导装置，这对于在电位捕获系统与能量引导装置之间具有直接映射是有利的。这进一步对于包括HMD系统或立体不透明能量引导装置的实施例为有利的，使得可以通过去除为获得准确x-y-u-v坐标而中继更多时间的必要性来消除整个阵列中的一组能量波导。
另外，并非所有光场都相同。可以用不同的NA、FOV、N值、光学处方等来捕获它们。可以理解输入光场数据的本征和非本征，并将其转换为能量引导装置的特性。这可以通过本公开中含于的用于全息和光场数据的通用参数化的实施例来执行。
能量引导系统通过逆能量跟踪和感觉特性的向量化来对全息感觉数据输送进行通用参数化
从能量引导表面穿过表面的全光4D函数从包括能量位置且引导穿过第二坐标的第一平面沿着包括波导参数ul，vl的第二平面提供两个空间坐标xl，yl，从而限定能量传播路径的向量fl(xl，yl，ul，vl)。考虑到多个能量引导表面，全光5D函数从包括一个或多个能量位置且引导穿过第二坐标的第一坐标沿着包括波导参数ul，vl的平面提供三个空间坐标xl，yl，zl，从而限定能量传播路径的向量fl(xl，yl，zl，ul，vl)。对于4D或5D中的每一个，时间和颜色的额外变量fl(λl，tl)即使为了功能和论述的简单而未明确指出，也可以认为并假定包含应用所必要的全光函数中的任一个。为了避免疑问，对能量引导表面的引用仅出于示例性目的，并且可以包括空间中用于定位5D坐标的任何其它点、位置、方向或平面，且统称为能量“引导表面”。
沿着能量传播路径的第一向量，包括能量会聚的多个交叉点可以与额外能量传播路径一起出现。在此交叉点处，3D点或深度参数在具有4D或5D函数的多个能量传播路径中的位置处Xl，Yl，Zl形成，其中3D会聚点Xl，Yl，Zl在多个能量传播路径中，其中对于一个或多个能量引导表面内所含有的xl，yl或xl，yl，zl坐标，只存在单个ul，vl传播路径，其形成于第一坐标与会聚3D点之间。4D函数fZ(xl，yl，ul，vl)或5D函数fZ(xl，yl，zl，ul，vl)共同限定所有4D xl，yl或5D xl，yl，zl坐标以及对于每个会聚点在Xl，Yl，Zl处存在的相称ul，vl传播路径。
在由于沿着通过能量引导表面Xl，Yl，Zl的多个能量传播路径的能量会聚而产生的第一5D坐标处，所述坐标可以表示较大的对象、体积、粒子或局域化能量参数内的点，其中在接近第一5D坐标的额外坐标处的会聚能量可能表现出环境或全息数据集中感觉能量的额外向量化特性。这些向量化特性可以包括关于每个5D坐标、关于4D数据集内的每个能量位置坐标、关于4D或5D数据集中的任一个内的区域或包括能量表面的其它坐标子集的信息。
在实施例中，公开用于传播用于光栅和向量2D、3D、4D和5D数据集的感觉系统响应的视觉、听觉、体感、味觉、嗅觉、前庭或其它所需能量的4D和5D全息感觉能量特性的通用参数化，其中参考4D能量引导表面的第二平面的第二坐标，2D数据可以包括单个角度样本，3D数据可以包括单个维度上的两个或更多个角度样本，4D数据可以包括两个维度上的多个角度样本，或5D数据可以包括三个或更多个维度上的多个角度样本。
接收到的样本数据的实施例可以包括以下任何一个：
1).2D或单像、平面、点云、uv映射几何布置、本征几何布置、深度图像、分层图像、CAD文件(本征)、单点取样、单相机捕获、单投影仪投影、立体(在体积中具有向量的单像单个取样点)、3个自由度(DoF；具有围绕单个点的单像x、y、z旋转的光栅)的源、非光场6DoF的源(光栅+来自单像样本的向量)、立体能量引导装置(体积中的单像样本)、具有佩珀尔幻象的源(单点投影)、2D AR HMD的源(单像单个或多个聚焦平面；分层单像)、2D VR HMD的源(单像单个或多个聚焦平面；分层单像)，或二维光栅或向量信息的任何其它表示；
2).3D或立体、三重(单个基线)、多视图(1D)、1D多样本、1D多视角、仅水平或垂直视差、1D投影阵列、两点取样、1D点取样、水平或垂直阵列、项目符号时间、3DoF的源(光栅；围绕单个点的立体x、y、z旋转)、3DoF的源(围绕单个点的立体x、y、z旋转内的3D光栅)、非光场6DoF的源(3D光栅+来自立体样本的向量)、1D立体能量引导装置的源(含有1D视差的样本)、自动立体数据源、水平多视图能量引导装置的源、3D AR HMD(立体单或多聚焦平面；分层立体)、3D VR HMD的源(立体单或多聚焦平面；分层立体)或三维光栅或向量信息的任何其它表示；
3).4D或全光(5D)、多视点、积分图像、光场(4D)、全息(4D)、2D多视图、2D多样本、2D多视角、2D视差、水平和垂直视差、2D投影阵列、2D点取样、运动捕获阶段(沿表面)、平面阵列、示位相机阵列、渲染或射线跟踪的几何表示(4D表示)、非本征几何布置(4D表示)、光场6DoF的源(平面光场样本内的4D光栅)、自由视点6DoF的源(4D光栅+来自4D光场样本的向量)、4D立体能量引导装置的源(含有2D视差的样本)、光场能量引导装置的源(4D取样)、光场HMD的源(近场4D取样)、全息能量引导装置的源(4D取样)或四维光栅或向量信息任何其它表示；
4).5D或全光+深度、光场+深度、全息(5D取样、4D+深度)、任意多视图(沿所有x、y及z轴)、多取样(沿所有xyz)、多视角(沿所有xyz)、立体视差(沿着所有xyz)、投影阵列(沿着所有xyz)、点取样(沿着所有xyz)、运动捕获阶段(沿着所有xyz)、示位相机阵列(任意xyz配置)、渲染或射线跟踪的几何表示(5D表示)、立方或立体渲染(沿着所有xyz)、非本征几何布置(5D表示)、光场6DoF的源(立体光场样本内的5D光栅)、自由视点6DoF的源(5D光栅+来自5D光场样本的向量)、5D立体能量引导装置的源(多平面4D取样)、5D光场能量引导装置的源(5D取样，4D+多个平面)、5D光场HMD的源(近场5D取样，4D+多个平面)、全息能量引导装置的源(5D取样，4D+多个平面)，或五维光栅或向量信息的任何其它表示。
在每个第二坐标处，所提供的数据可以包括光栅或向量样本的子集或超集，且其中样本可以表示且包含其它向量化信息，以使得能够通过对光栅或向量样本的子集或超集的解译或处理变换为增大的取样密度。
对于所提供2D、3D、4D或5D数据集中的每一个，通过向量化信息、手动识别、计算机视觉分析、自动处理或其它方式转换信息，以将所提供的样本从原始数据集转换到5D坐标系。对于所提供的2D、3D、4D或5D数据集中的每一个，所述信息可包括多个样本或样本层，以及关于每个所提供的数据集的起始角度取样分量的额外向量化特性(参考4D能量引导表面的第二平面的第二坐标)，或可包括2D、3D、4D或5D额外提供的数据集中的任一个的构成样本的组合。
所提供的每个样本都包括每个所需坐标的本征能量，其中所述本征能量可包含额外非本征能量属性，其中在没有其它外部样本、特性或环境条件的情况下，所述本征能量表示给定5D坐标下的值。在电磁频谱中，这可以称为反照率，是对应于白色对象的反射率的无量纲测量，所述白色对象反射所有入射辐射，但显式扩展到每个所需的感觉能量，其中无量纲值的范围与指定的感觉能量相称。在视觉感觉系统内，此范围约为400nm至700um，且在听觉感觉系统内，此范围约为20Hz至20kHz。
在过去的几十年中，巨大的技术进步使得能够人为地利用对通过电子手段检测到的感觉、香气和味道的复杂模式识别来再现人类的感觉。对于可能存在于电磁频谱之外的其它系统，可以基于感测到的敏锐度响应以相同方式表征这些无量纲值。尽管全息感觉能量技术是新兴的，但在本实施例中公开的内容包括用于在虚拟环境中刺激所有人类感觉的系统、方法和格式，以阐明用于各种感觉参数的通用构造，从而提供到用于完全沉浸在所构造的虚拟环境所需的任何感觉能量参数或装置、从所述参数或装置和在其之间的适当数据处置、传输、存储、向量化，且在将来的应用中将公开用于全息感觉技术的能量传播的实施例。另外，本公开的意图是使其它模拟装置(包含新颖性(例如经典的“嗅觉-视觉”)或现代版本(如FeelReal的嗅觉VR耳机))能够利用本文中的数据集的向量化中提供的参数化值。
在实施例中，可以基于限定灵敏度的组件来限定体感系统，所述组件包含：用于纹理的机械感受器，其在皮肤中的压力敏感度范围可以归一化于50Hz至300Hz之间；热感受器，其在皮肤中的温度敏感度范围可以归一化于0°c到50°c之间(但此范围可能宽得多，上限和下限由温度的极限值限定)或其表面变形性限定材料的粘弹性行为的范围，所述行为测量在随时间推移在应力与应变之间经历变形时的粘性和弹性特性两者，其提供多种物理量，包含用于时间、应变、模数以及其它动力学的变量，并且出于本公开的目的，简化为无量纲归一化标度，对于不可移动的固体(如花岗岩)，值为0，且对于例如水等低粘度液体，值为1。本领域技术人员将理解，所提供的实际向量将包括必要的物理量，以适当地限定材料的粘弹性，并且仅出于示例性目的对其进行了归一化。
最后，包含味觉和嗅觉装置的人工电子感测的最新进展演示了可行的途径，以进一步向量化Holodeck设计参数所公开的感觉参数，并且使得能够通过全息波导手段对人工味道和气味进行电子再现，如本文所述。人工电子味道和气味受体通过新兴的纳米装置取得了长足进步，其中基于频率的人工味道受体使用酶促生物传感器来通过编码和转换为基于频率的脉冲来取样化学刺激的强度，从而重复且准确地通过模式识别系统将味道检测为所取样化学组合物的频率，从而检测出构成人味觉的味道。相信所述技术可以扩展到所有类型的可检测到的味道，并且人工嗅觉系统的类似进步已经论证了使用针对鼻甲的弱电脉冲来刺激气味受体的数字接口，并且正在进行研究以通过电信号的变化来进一步参数化特定嗅觉响应的频率内含有的模式。
通过建立用于任意生成频率和表示嗅觉、味觉和其它感觉系统的复杂电子模式的路径，在一个实施例中，针对味道的敏锐度响应可以被向量化以包括针对每个电子控制参数的归一化标度，沿着标度从0到1表示最小和最大的味觉响应，以使人的平均2,000-8,000个味蕾饱和，可能包括但不限于用于酸味、咸味、苦味(辛辣)、甜味和滋味(鲜味)的向量，其中向量和向量化信号的空间坐标可以为复杂嗅觉实施的产生提供信息。
在另一实施例中，可以进一步向量化对于气味的敏锐度响应，以包括针对每个电子控制参数的归一化标度，沿着标度从0到1表示最小和最大的嗅觉响应，以使人的平均10cm2嗅上皮饱和，对于每个高度复杂的嗅觉空间，可能包括但不限于用于芳香、果味、柑橘、木质(树脂)、化学、甜味、薄荷(胡椒薄荷)、烘烤(坚果)、辛辣和腐烂的向量，其中向量和向量化信号的空间坐标可以为复杂嗅觉实施的产生提供信息。
这些向量中的每一个都可以提供表示用于味道、气味或其它感觉域的这些模式的归一化值，并根据所提供的向量化值的适当应用的需要而将其转换为波、振幅、量值或其它属性。虽然嗅觉和味觉是感觉系统内最高度退化的感觉中的两个，具有参数化的值以向量化复杂的融合，但在实施例中，另外可能的是，对任何此类感觉能量的敏感性提供基于用户的交互式控制以提供视觉、听觉、体感、味觉、嗅觉、前庭或其它所需感觉系统响应的个性化定制。
在实施例中，样本的每个所表示的感觉反照率能量值可以另外包括融入单个样本值的非本征能量属性，其表示其它外部样本、特性或环境条件的每个相应所提供样本的累加结果。在这种配置中，复合样本值可能会或可能不会在基于物理或模拟的环境中表现出来自其它样本的其它能量的潜在属性。传输参数化和重建的全息数据集的最有效且最纯净的方法是基于单个本征样本信息，以提供简化和较低带宽的频率信息，但并非总是可能在完全合成的环境之外接收，尤其是对于基于物理的成像或声学系统。在任何现实世界环境中，总会有一定量的非本征因素影响所得的样本信息。某些系统(例如光舞台或本领域已知的有助于反射率、形状、纹理和运动捕获的估计的其它系统)会利用某种形式的结构化照明和一个或多个成像装置，以直接或间接地分析反照率、深度信息、表面法线和双向散射分布表面特性。
双向散射分布函数(BSDF)是双向投影率分布函数(BTDF)、双向纹理函数(BTF)和双向反射率分布函数(BRDF)的广义超集，它们通常由广义函数fr(wi,wr)表示，共同充当模型以参数化和识别本领域中已知的计算机图形和视觉算法中的表面特性。所述函数描述了在对于能量传播路径给定传入入射方向wi和传出反射或投影方向wr的情况下可见光如何反射、投影或以其它方式与表面相互作用，其中表面法线垂直于对象表面的切线，并且所述函数描述了沿传出路径wr射出的反射辐射与沿传入路径wi入射在表面上的辐照度的比率，其中每个wi，wr可以包括4D函数以为入射光路径和出射光路径中的每一个限定参数化的方位角和顶点角。
可以针对xi能量λi冲射表面的第一位置进一步阐明所述函数，然后在材料特性将能量在内部散射到xr能量λr的第二位置后退出，以考虑到可见光波长效应，例如虹彩、发光、次表面散射、非局部散射效应、镜面反射、阴影、掩蔽、相互反射等，所得输出能量是基于表面的材料特性、输入能量和位置、跨越对象的表面、体积或点的输出能量和位置。
因此，用于描述能量如何在冲射表面的任意两个能量射线之间输送的广义特性(包含波长或频率相依性和空间上变化的材料特性或表面)可以表示为10D函数，并且fr(λi，xi，wi，λr，xr，wr)针对数据集中的每一个或任何可用或所提供的样本加以指定以考虑输入能量、向量化表面轮廓的影响以及来自任何能量域的反射、折射、镜面反射、投影、散射、扩散或其它材料特性输出结果(给定功能的泛化)fr。
现在考虑能量引导表面，全光4D函数从包括能量位置且引导穿过第二坐标的第一平面沿着包括波导参数ul，vl的第二平面提供两个空间坐标xl，yl，从而限定能量传播路径的向量fl(xl，yl，ul，vl)。考虑到多个能量引导表面，全光5D函数从包括一个或多个能量位置且引导穿过第二坐标的第一坐标沿着包括波导参数ul，vl的平面提供三个空间坐标xl，yl，zl，从而限定能量传播路径的向量fl(xl，yl，zl，ul，vl)。对于4D或5D中的每一个，时间和颜色的额外变量fl(λl，tl)即使为了功能和论述的简单而未明确指出，也可以认为并假定包含应用所必要的全光函数中的任一个。
沿着能量传播路径的第一向量，包括能量会聚的多个交叉点可以与额外能量传播路径一起出现。在此交叉点处，3D点或深度参数在具有4D或5D全光函数的多个能量传播路径中的位置处Xl，Yl，Zl形成，其中3D会聚点Xl，Yl，Zl在多个能量传播路径中，其中对于能量引导4D表面或5D表面内所含有的每个xl，yl或xl，yl，zl坐标，只存在单个ul，vl传播路径角度，其形成于第一坐标与会聚3D点之间。4D函数fZ(xl，yl，ul，vl)或5D函数fZ(xl，yl，zl，ul，vl)共同限定所有4D xl，yl或5D xl，yl，zl坐标以及对于每个会聚点在Xl，Yl，Zl处存在的相称ul，vl传播路径。
在会聚坐标Xl，Yl，Zl处，形成表面，并且所述表面可以包括点、体积、对象，或包括会聚能量传播路径的3D位置的另一实施例。为每个表面位置提供的样本可以包括一个或多个表面特性、向量、材料、特征或其它识别特性Vi以表征或以其它方式处理所得能量以及在表面位置附近冲射给定点的一个或多个输入能量源，其中反射函数现在包括针对表面的各种特性的广义向量，并且表示为11D通用对象参数化函数fr(λi，xi，wi，λr，xr，wr，Vi)。
11D通用全息参数化函数fr(λi，xi，wi，λr，xr，wr，Vi)限定给定环境和向量化对象特性的所得值，且4D函数fl(xl，yl，ul，vl)限定从能量引导装置表面的能量传播路径，且因此可以进一步推广为15D通用全息参数化函数fr(λi，xi，wi，λr，xr，wr(xl，yl，ul，vl)，Vi)，其中传输方向wr限定且等于传播路径ul，vl，从而限定空间坐标xl，yl，且对于每个传输方向wr，可能只有一个值集fl(xl，yl，ul，vl)满足wr＝ul，vl。除了与所公开的4D和5D全息感觉能量特性的通用参数化相关联的渲染要求之外，本领域技术人员还将理解各种变换和数学构造。
在完整15D函数来描述所有感觉能量特性的向量化以与空间中的会聚点形成的表面重合的情况下，从根本上消除了多个数量级的所需数据，从而为实现真正的全息数据集的传输提供了一条可行的途径。
向量化特性致力于为每个感觉域的特性提供准确的物理量，所述特性可以合成方式编程、捕获或在计算上评估，其中Vi可以规定关于通用系统元数据或每个或任何感觉能量域的所提供数据集内的给定样本的对象的每个表面、体积或3D坐标Xl，Yl，Zl向量化特性的属性，包括：
1.)系统元数据可以为每个样本的表面特性提供任何感觉能量特定特性或系统范围参考，包含法线、深度信息、环境特性、用于给定3D坐标的多个角度样本、程序纹理、几何布置、点云、深度图像数据、静态帧、时间帧、视频数据、表面ID、表面通过、坐标图、虚拟相机坐标、虚拟照明和可见能量信息、环境图、视觉感觉样本信息领域之外的场景信息、曲线、顶点、时间信息、联网数据、数据库、对象识别、能量装置、外部数据源、用于系统修改和交互的传感器、系统状态、语音识别、嗅觉检测、听觉检测、面部识别、体感识别、味觉识别、UI、UX、用户配置文件、流和运动向量、层、区、透明度、区段、动画、序列信息、程序信息、位移图或为每个样本的适当处理提供足够数据所必需的任何其它场景数据；
2.)视觉感觉能量可以提供表面特性，以限定适当的可见或不可见电磁能量、虹彩、发光、次表面散射、非局部散射效应、镜面反射、阴影、吸收率、投影、掩蔽、互反射、反照率、透明度、物理、动力学、反射、折射、衍射、光学效应、大气效应、频率、调制、表面轮廓、纹理、位移图、物理和动力学，以与其它感觉能量特定地相关，并基于所提供的能量(例如更改反射率特性的声音振动或造成表面变形的触觉材料变形)、层、区、透明度、区段、曲线、动画、序列信息、程序信息、材料的大小、环境条件、房间动力学或用于表面、环境、房间、对象、点、体积等的其它相关材料特性做出响应；
3.)听觉感觉能量：与局域化声场的放置有关的向量、量值、振幅、质量、材料传播参数、吸收率、投影、告知声学反射率的材料特性、扩散、投影、扩增、掩蔽、散射、定位、频率相依性或调制、音高、音调、粘度、平滑度、纹理、模数、确定声波在对象、表面、介质或其它对象内传播的任何其它参数、物理和动力学，以与其它感觉能量特定地相关，并基于所提供的能量(例如更改材料的声音的温度)、层、区、透明度、区段、曲线、动画、序列信息、程序信息、材料的大小、环境条件、房间动力学或用于表面、环境、房间、对象、点、体积等的其它相关材料特性做出响应；
4.)与用于纹理的机械感受器有关的体感能量向量、压力、热感受器、温度、表面变形性参数，以及限定材料粘弹性行为范围的向量，所述行为测量在随时间推移在应力与应变之间经历变形时的粘性和弹性特性两者，其提供多种物理量，包含用于时间、应变、模数以及其它动力学、层、区、透明度、区段、曲线、动画、序列信息、程序信息、材料的大小、环境条件、房间动力学、或用于表面、环境、房间、对象、点、体积的其它相关材料特性或其它体感参数的变量；
5.)用于芳香、果味、柑橘、木质(树脂)、化学、甜味、薄荷(胡椒薄荷)、烘烤(坚果)、辛辣和腐烂的味觉感觉能量向量，其中向量和向量化信号的空间坐标可以为复杂嗅觉实施的产生提供信息，并进一步提供持续时间、量值、频率、长度、时间、半径、调制、层、区、透明度、区段、曲线、动画、序列信息、程序信息、材料的大小、环境条件、房间动力学或用于表面、环境、房间、对象、点、体积的其它相关材料特性或其它味觉感觉参数；
6.)用于酸味、咸味、苦味(辣味)、甜味和咸味(不鲜)的嗅觉感觉能量向量，其中向量和向量化信号的空间坐标可以提供用于复杂嗅觉实施的产生的信息，并进一步提供持续时间、量值、频率、长度、时间、半径、调制、层、区、透明度、区段、曲线、动画、序列信息、程序信息、材料的大小、环境条件、房间动力学或用于表面、环境、房间、对象、点、体积的其它相关材料特性或其它嗅觉参数；
7.)或其它相关感觉动力学，其基于来自任何其它感觉样本数据集的物理、合成、传输或计算的相互依赖性；需要、设计或要求的感觉系统向量；以及任何额外感官特性，其中特定特征的参数化对广义全息构造数据的重建、存储、处理或传输是有益的。
在所接收的数据集包括具有单个角度样本的2D数据的情况下，3D数据在单个维度上具有两个或更多个角度样本，4D数据在两个维度上具有多个角度样本，或5D数据在三个或更多个维度中具有多个角度样本。
对于所有提供的源材料，每种源材料都可能要经受额外处理，以适当地准备全息数据集的有效向量化。对于表现出比能量引导表面低的空间或角度分辨率的任何所提供的源材料，可能需要变换过程以便将原始源准确转换为4D或5D数据集。
为了适当的准备，在实施例中，所提供的2D或3D源材料包括来自标准成像系统的照片捕获。在此图像序列内是光栅化反射、折射、透明元件以及与基于物理的照明发生的材料特性交互作用的其它类似实例。
在仅通过识别具有已光栅化材料特性的表面的表面ID来准备内容的情况下，有效数据可能足以会聚到4D坐标系，然而，应用于这些表面的任何额外渲染都将表现出用于照片以及参数化合成渲染反射率特性两者的物理量的双重图像。用于高效全息传输的理想源数据集包括样本源信息的反照率表示，加上每个指定能量域的向量化材料特性，其中元数据形成了反照率多视图样本的基于对象的立体取样，且其中所有材料特性基于指定的向量化表面特性准确地提供准确的表面识别和渲染以及其它感觉能量的定位或投影。
在实施例中，提供手动、半自动、计算机视觉或自动过程以按算法方式或手动地评估源样本数据集中的内容，且其中执行手动或算法分析，由此执行分段和本领域中已知的其它对象隔离方法以识别包含不期望的物理光栅化效果的区。在实施例中，在背景之前拍摄人物，其中人物的材料特性包含来自环境的反射，并且背景对象被拍摄的人物遮挡。在将这些区识别为不良区之后，可以利用一个过程来：1)隔离相关对象；2)将所有对象元素分成核心组件，以考量遮挡、透明度、边缘或其它元素；3)通过图像分析、时间分析、能量分析，并借助机器学习、计算机视觉、另外捕获有关场景、对象和/或环境的信息的额外硬件和能量装置，或者通过完全手动的方式，提供对象元素，使得应表现出材料特性的任何表面都具有通过计算机视觉、算法、处理器或手动视觉效果去除的任何此类融入材料特性，其中手动过程在本领域中通常是用于去除线、油漆修复、清洁板、图像修复、α哑光创建、遮挡填充、对象重建、图像投影、运动跟踪、相机跟踪、旋转镜、光流等的方法，目的是在不存在非本征材料特性的情况下再生本征材料特性，从而为所述数据集准备最有效传输和传播的内容；4)以上额外过程涉及手动或计算机辅助识别每个所需样本的深度或3D坐标值；以及5)在此实施例中还包括对相关联的材料特性的识别，每个材料特性表示材料的点、数据区、表面、对象或其它表示，使得可以轻松地在能量引导装置的显示器驱动器或能够编码和解码参数化数据集的任何额外系统内进一步渲染数据。
在实施例中，来自以上的数据集包括用反照率视觉能量样本准备的3D多视图样本，每个样本具有多层rgba信息、向量化材料特性的集合以使每个分段材料与表面ID和一系列表面参数相关联以在去除非本征图像数据之前紧密重建原始源数据集，且其中为声学数据集提供与视觉能量系统的材料特性相关联的向量化材料特性以及各自具有已识别频率、调制、空间放置和其它声音定位特性的多个声音通道，且其中为视觉能量数据集中含有的表面的子集提供体感感觉能量数据集，以另外包括粘弹性和温度向量化材料特性，两者均与其它向量化数据集相关。
从任何提供的数据集中，评估视觉能量数据集中每个提供的样本相对于能量引导装置表面的相对深度位置，且其中任何一个视觉能量样本中的每个样本都置于3D坐标系中，且其中相对于使每个3D坐标与在4D或5D全光函数内的多个能量传播路径中的位置X1，Yl，Z1处与第一3D点相交的多个并存的会聚能量传播路径相关的函数来评估每个所提供样本的能量传播路径长度，其中对于能量引导4D表面或5D表面内所含有的每个xl，yl或xl，yl，zl坐标，只存在单个ul，vl传播路径角度，其形成于第一坐标与会聚3D点之间。4D函数fZ(xl，yl，ul，vl)或5D函数fZ(xl，yl，zl，ul，vl)共同限定能量引导装置内所含有的所有4D xl，yl或5Dxl，yl，zl坐标和对于在Xl，Yl，Zl处的每个会聚点存在的相称ul，vl传播路径，且其中在执行此分析过程之后根据所呈现的或可用的4D xl，yl或5D xl，yl，zl空间坐标而已知样本的总数目，且其中在位置Xl，Yl，Zl处的每个3D点与4D或5D坐标位置之间的总能量传播路径长度已知，且其中基于每4D或5D坐标的总可用样本和到可用的多个3D坐标数据中取样的3D坐标值的最小路径长度的加权分布提供了从任意数据集对4D或5D光场的完整取样。
作为上述的另一实施例，在将1)视觉、声学、体感和任何其它所提供能量样本中的任何一个的每个样本2)基于所提供的数据集、额外处理或额外向量化特性置于3D坐标系中之后，且在执行坐标分析之前；3)评估15D通用全息参数化函数fr(λi，xi，wi，λr，xr，wr(xl，yl，ul，vl)，Vi)，其中4)提供额外的已知环境场景、几何布置、元数据等，各自具有独立的向量化材料特性；5)提供虚拟照明信息，并评估额外的感觉能量元数据特性，以评估所述特性之间的任何潜在干扰，这些干扰可能会更改渲染功能，并且6)15D参数化函数针对每个提供的3D坐标和相称的向量化材料特性进行评估，以7)通过在线、离线、实时、处理器、ASIC、FPGA、云或其它形式的渲染过程执行渲染过程，以在给定任意提供的数据集的情况下产生新的多个角度变化的材质特性，且其中8)渲染过程特定于限定且等于每个传播路径ul，vl的每个传输方向wr，从而限定空间坐标xl，yl，并且对于每个传输方向wr，可能仅存在一个值集合fl(xl，yl，ul，vl)满足wr＝ul，vl，且其中9)基于渲染结果和所得的可用的新的角度变化的材料特性，相对于使每个3D坐标与在4D或5D全光函数内的多个能量传播路径中的位置Xl，Yl，Zl处与第一3D点相交的多个共存的会聚能量传播路径相关的函数评估包括用于每个所提供样本的能量传播路径长度的每个4D或5D坐标，其中对于在能量引导4D表面或5D表面内所含有的每个xl，yl或xl，yl，zl坐标，仅存在单个ul，vl传播路径角度，其形成于第一坐标与会聚3D点之间。4D函数fZ(xl，yl，ul，vl)或5D函数fZ(xl，yl，zl，ul，vl)共同限定能量引导装置内所含有的所有4D xl，yl或5D xl，yl，zl坐标和对于每一会聚点在Xl，Yl，Zl处存在的相称ul，vl传播路径，且其中在执行此分析过程之后根据所呈现的或可用的4D xl，yl或5D xl，yl，zl空间坐标而已知样本的总数目，且其中在位置Xl，Yl，Zl处的每个3D点与4D或5D坐标位置之间的总能量传播路径长度已知，且其中基于每4D或5D坐标的总可用样本和到可用的多个3D坐标数据中取样的3D坐标值的最小路径长度的加权分布提供了从任意数据集对用于所有所提供感觉能量的4D或5D光场的完整取样。
上述系统的额外实施例，其中渲染另外考量了双向能量引导表面，使得感测到的电磁能量表示现实世界环境的照明，或者环境中某些声频的吸收可导致渲染过程的动态或离线更新，或评估其它感测到的交互式现实世界元素，且其中调整照明和声源或其它源以适应环境条件的修改。
回到图8，鉴于以上公开的原理，在过程800的实施例中，所接收的内容数据可以进一步包括向量化的材料特性数据，且其中过程800进一步包括步骤830，其中内容数据的数字立体表示与向量化材料特性数据相关联；且其中在步骤804中，至少基于与内容数据的立体表示相关联的向量化材料特性数据来确定能量源位置值。
参考图9和13，在实施例中，向量化过程1300可包含步骤1302和步骤1304，在步骤1302中接收第一内容数据，在步骤1304中识别内容数据中的表面915。在实施例中，识别表面915可以包括使用内容数据中的分段数据。向量化过程1300可进一步包含步骤1306和步骤1308，在步骤1306中确定表面915的表面识别，在步骤1308中确定表面915的材料特性数据。在实施例中，确定材料特性数据可以包括手动确定或使用预定过程。在步骤1306和1308之后，向量化过程1300可进一步包含步骤1310，其中使表面识别与表面915的材料特性数据相关联。向量化过程1300可进一步包含步骤1312，其中创建材料特性数据的向量。向量化过程1300可进一步包含步骤1314，其中基于所创建的向量来生成向量化材料特性数据。
在实施例中，过程1300可视情况包含步骤1316，其中从第一内容数据去除材料特性数据，并且由在步骤1314中生成的向量化材料特性数据代替所述材料特性数据。在实施例中，在步骤1314中生成的向量化材料特性数据可以如上所述在过程800中用以确定如上所述的本公开的能量引导装置的4D全光坐标。
可以使用包含处理系统1200的本公开的任何处理系统来进行过程1300。在实施例中，可以在步骤1302中经由数据输入/输出接口1201接收内容数据，并且可以使用向量化引擎1204来进行向量化过程1300的步骤1304至1314。另外，在步骤1314中生成的向量化材料特性数据可以由感觉数据处理器1202和跟踪引擎1206用于根据如上所述的过程800的步骤进行处理。跟踪引擎可以执行步骤808和812，以确定用于全息表示的4D坐标。步骤810可以由感觉数据处理器1202执行。处理子系统的输出可被提供给压缩引擎1210，可从所述压缩引擎将经压缩数据存储在存储器中或提供给数据输入输出接口1201，以传输到本地或远程连接到系统1210的能量引导系统。数据也可以存储在存储器1208中，直到稍后时间被检索。
从3D环境渲染4D能量场
本公开中进一步设想的是逆跟踪过程的实施例，其允许通过逆映射将数字立体表示渲染为与能量引导装置1000兼容的格式，所述逆映射提供了对可呈现为3D环境的内容数据的数字立体表示进行取样的逆路径。
在3D环境中渲染4D能量场提出了许多挑战。为了解释性目的，这些挑战中的一些是在光场的背景下描述的。但是，本申请的公开内容适用于其它形式的能量。并且，这些描述不将这些原理的应用限制为其它能量形式。
3D环境中的能量会取决于3D环境中对象的物理特性而以各种不同的方式与3D环境中的对象进行交互，从而可以模拟这些对象如何生成、反射、吸收、投影或以其它方式影响能量。图14示出了在整个3D环境中能量与对象之间的一些交互如何影响来自所述环境的场景的感知。示出了具有视场1404的3D环境1400中的虚拟检视者的观察点1402。能量射线1406可以直接从能量源1408到达观察点，或通过弹开反射性对象1410A、1410B、1410C来到达观察点，这些反射性对象会在能量到达观察点1402时影响能量的属性。可以考虑3D环境1400中的能量的各种属性，包含视觉、听觉、体感、味觉、嗅觉、前庭或其它期望的能量，如贯穿本公开的描述，包含段落203。注意，图14仅部分地描绘了朝向观察点的一些能量路径。如将了解，一些能量路径和其它反射的来源可能从图中省略。在一些情况下，单个能量路径1406A在其通往观察点1402的途中反射多个对象14010A、1410C(其中一些1410C可能不在观察点1402的视场1404之内)。在到达观察点1402的途中，能量1406也可以穿过部分投影的对象1412或折射对象(未示出)，这些对象会更改能量到达观察点1402时的感测方式。因此，来自3D环境的场景的准确渲染可以在一定程度上考虑到从3D环境中的虚拟检视者的观察点1402来看在视场1404内外发生的多种交互。在全息系统中，这可能变得更加复杂，因为全息系统可能需要同时投影大量独特的能量会聚。出于说明性目的呈现了图14，并且为了易于解释而过度简化了一些可能的方面。应了解，3D环境可以考量影响3D环境中的能量传播的许多额外物理特性，且图14不限制本公开的实施例。
从3D环境渲染4D能量场数据的现有技术包含双截头锥体渲染、倾斜渲染和多视图渲染。双截头锥体渲染是一种多遍渲染方法，所述方法无法考量观察点视场之外的数据，并且需要来自多个渲染遍次的数据在计算上的复杂事后集成。倾斜渲染还需要复杂的事后计算，需要数万渲染遍次，并对物理能量投影系统(如完美的投影光学件，无孔径)做出不切实际的假设。倾斜渲染也无法简单地集成到现有工作流程中。而且，最后，多视图渲染不允许同时在视场外和视场内进行渲染，并且存在由双截头锥体渲染和倾斜渲染带来的一些其它问题。
本申请的实施例允许用于将3D环境单遍次渲染到用于4D能量投影的数据集中的系统和方法。至少因为本公开允许的单遍次渲染避免了计算上有挑战性的事后集成努力，所以本公开的实施例产生明显更顺畅且更凝聚的能量场投影。而且，因为本公开的方法和系统考虑了屏幕内和屏幕外效果。在实施例中，所述系统和方法可包含波长/能量考虑因素以及显示器特定校准(或者可包含在各种系统之间无缝移动的任何其它功能)。如果有利且在有利时，这可以另外包含具有位移图的像素处理以计算其它4D坐标。
图15是示出用于从3D环境渲染4D能量场的过程的实施例的流程图。参考图15和16，所述过程可包含第一步骤1510，用于在由遍布场景1600的多个能量数据点1602描述的3D环境中提供场景1600。在图16中描绘了3D环境中的场景1600的视觉表示。如可了解，能量数据点1602可以在3D环境的不同实施例中以不同的方式配置。能量数据点1602可包括描述各种物理特性的值或值的集合，所述物理特性确定场景1600的虚拟外观以及场景1602中的元素可如何交互。其一些实例为颜色、反射率、材料特性和能量方向。场景1600中可以考虑的其它特性可包含视觉、听觉、体感、味觉、嗅觉、前庭或其它所需能量。在一些实施例中，能量数据点可以存储多维函数。所述函数可以包括对应于物理世界中的特性的值，所述特性描述了当能量与能量数据点1602相交时能量如何被反射、折射、投影或以其它方式受到影响。而且，在一些实施例中，能量数据点1602还可以包括强度和方向信息，其允许能量数据点共同地对场景1600中的能量传播进行建模。还应注意，除了或代替与可见光谱中的电磁能有关的信息之外，能量数据点1602可以含有其它类型能量的能量值。对于可以作为值存储在能量数据点1602中的信息类型没有限制。
应了解，存在在3D环境中配置或布置能量数据点1602的各种方式。3D环境1602中的能量数据点1602的密度可以随实施例而变化。或者，在一些实施例中，能量数据点1602的密度可以在3D环境1600中随位置而变化，或者在3D环境中随对象1600而变化。
在3D环境1600的一些实施例中，能量数据点1602可以对应于虚拟或物理空间中的位置。而且，能量数据点1602的值可以随着不同的对象占据映射能量数据点的空间而改变。能量数据点1602的值还可以随着光传播通过3D环境的实施例而改变。而且，再次应注意，尽管图16描绘了电磁3D环境中的场景，但本公开不限于所述域中的能量。3D环境的实施例可以描述除了可见光谱中的电磁能以外的其它类型的能量，例如可以用于创建触觉表面的超声波形式的机械能。所描述的其它能量可包含视觉、听觉、体感、味觉、嗅觉、前庭或其它能量。
再次参考图15和图16，在实施例中，用于从3D环境渲染4D能量场的过程可以包括第二步骤1520，所述第二步骤包括在场景1600中的虚拟像素平面1606上定位多个虚拟像素1604，其中每个像素具有包括2D角坐标和2D空间坐标的已知唯一4D坐标，其中2D角坐标描述每个虚拟像素1604与场景1600中位于虚拟检视平面1610(如图16中以虚线标记为1610的矩形框所示)上的多个虚拟检视位置1608中的虚拟检视位置之间的角度相关性，且其中2D空间坐识别别设置在场景1600中的虚拟显示平面1614上的多个虚拟孔径1612中的虚拟孔径的位置。在一些实施例中，虚拟检视位置1608可以位于两个或更多个虚拟检视平面上，从而允许渲染共面装置。
应了解，术语“虚拟像素”不将本公开的实施例限于渲染包括光场的3D环境。虚拟像素可以包括3D环境中的能量位置，其包括任何形式的可检测能量场，包含但不限于触感场和声学场。其它能量场可包含视觉、听觉、体感、味觉、嗅觉、前庭或其它所需能量场。多个虚拟像素1604可以被布置为形成虚拟像素的二维阵列。在一些实施例中，可以以不同方式布置多个虚拟像素1604。例如，实施例允许虚拟像素被布置成形成弯曲表面或任何其它形状。类似地，在不同的实施例中，允许将多个虚拟检视位置1608布置成形成不同的形状。在一些实施例中，虚拟像素平面1606与虚拟显示平面1614平行。在一些实施例中，虚拟像素平面1606与虚拟检视平面1610平行。在一些实施例中，虚拟像素平面1606、虚拟显示平面1614与虚拟检视平面1610平行。
多个虚拟像素1604和多个虚拟孔径1612相对于场景1602中的多个虚拟检视位置1608的位置可以对应于多个能量源的一个或多个位置以及物理4D能量投影系统中的多个孔径相对于所述4D能量投影系统的预期视体的位置。而且，在一些实施例中，多个虚拟像素1604、多个虚拟孔径1612和多个虚拟检视位置1608的数目和位置可以取决于物理4D能量投影系统的能量源或位置的数目、视场、孔径的数目、波导或其它特征而变化以针对不同的4D能量投影系统渲染数据。在一些实施例中，算法可以用于将多个虚拟像素1604、多个虚拟孔径1612和多个虚拟检视位置1608的限定数目和位置校准为任何类型的4D能量投影系统。还应了解，尽管图16仅描绘了少量的虚拟像素1604、虚拟孔径1612和虚拟检视位置1608，但实施例可以包括数十、数百、数千或更多的这些元件中的每一个。此外，虚拟显示平面1614可以对应于物理4D能量投影系统中的能量投影表面或屏幕的位置。
再次参考图15和图16，在实施例中，用于从3D环境渲染4D能量场的过程可以包括第三步骤1530，所述第三步骤包括从虚拟检视平面1610沿着多条射线1616对场景1600中的多个能量数据点1602的能量数据点进行取样。多条射线1616中的每条射线与多个虚拟检视位置1608中的一个虚拟检视位置和多个虚拟像素1606中的一个虚拟像素相交，相交的角度由多个虚拟像素1604中所述一个虚拟像素的2D角坐标确定。多条射线1616中的每条射线与多个虚拟孔径1612中的一个虚拟孔径相交，所述虚拟孔径确定了射线的2D空间坐标。2D空间坐标和2D角坐标一起形成单个4D能量场坐标。例如，多条射线1616中的第一射线1618与多个像素1604中的第一虚拟像素1620和多个虚拟检视位置1608中的第一虚拟检视位置1622相交，相交角度由第一虚拟像素1620的已知唯一4D坐标的2D角坐标确定。第一射线1618还与多个虚拟孔径1612中的第一孔径1624相交，所述第一孔径由第一孔径的2D空间坐识别别。
图17通过部分地描绘3D环境中的场景1700来进一步示出在用于从本公开的3D环境渲染4D能量场的方法或系统的一些实施例中由虚拟像素的已知唯一4D坐标描述的关系。应了解，可以在场景1700中定位更多的虚拟像素、虚拟孔径和虚拟检视位置。为了渲染用于4D能量场的数据，一些实施例可以包括非常大量的虚拟像素和虚拟检视位置，以提供被感知为无缝的能量场。虚拟像素1702、1704、1706之一的2D角坐标描述了像素1702、1704、1706与虚拟检视位置L1、L2、L3之间的角度相关性。例如，用于第一虚拟像素1702的2D角坐标(U1，V1)描述了像素1702与虚拟检视位置L3之间的角度相关性。用于第二虚拟像素1704的2D角坐标(U2，V1)描述了像素1704与虚拟检视位置L2之间的角度相关性。而且，用于第三虚拟像素1706的2D角坐标(U3，V1)描述了像素1706与虚拟检视位置L1之间的角度相关性。在一些实施例中，所述角坐标可以对应于限定了第一传播路径的唯一方向的4D能量投影系统中的2D角坐标，如本公开中的其它地方所描述。像图16和图17中所描绘的实施例一样，一些实施例对于特定的能量类型仅需要一条射线与多个虚拟像素中的任何一个虚拟像素相交。
图17还描绘识别多个虚拟孔径中的一个虚拟孔径1708的位置的2D空间坐标(X1，Y1)。2D空间坐标可以对应于如本公开中其它地方所公开的物理4D能量引导系统的4D光场坐标中的2D空间坐标，例如在本文中关于图7C和7D论述的实施例。2D角坐标和2D空间坐标共同限定了唯一的4D坐标。唯一的4D坐标可以对应于物理4D能量投影系统的4D光场坐标。在如图17所描绘的实施例中，第一虚拟像素1702具有4D坐标(X1，Y1，U1，V1)，第二虚拟像素1704具有4D坐标(X1，Y1，U2，V1)，且第三虚拟像素1706具有4D坐标(X1，Y1，U3，V1)。在如图16和图17中所示的一些实施例中，多条射线可以会聚在多个虚拟孔径中的每个虚拟孔径1708处。第一虚拟像素1702、第二虚拟像素1704和第三虚拟像素1706的坐标共享相同的空间坐标，因此这些虚拟像素的射线1710会聚在同一虚拟孔径1708处。但是，由于2D角坐标在虚拟像素之间不同，因此这些射线与不同的虚拟检视位置L1、L2和L3相交。
在本公开的系统和方法的一些实施例中，多条射线中的至少一条射线1710与多个虚拟检视位置中的每个虚拟检视位置L1、L2、L3相交。
在一些实施例中，如图18中所描绘，多条射线1802也可以会聚在单检视位置L2处，所述图进一步示出了由已知的唯一4D坐标描述的关系。在那些实施例中的一些中，射线1802中仅会聚在一个虚拟检视位置L2处的一条射线可以与相同的虚拟孔径相交。如图18中所描绘，会聚射线1802中的一个与(X1，Y1)相交，一个与(X2，Y1)相交，且一个与(X3，Y1)相交。图17和18是出于说明性目的，并且不限制本公开的实施例。如将了解，即使图16、图17和图18描绘了少量的虚拟像素、虚拟孔径、射线和虚拟检视位置，但不同的实施例可以包括数十、数百、数千或其它数目的这些元件。应了解，虚拟像素可以位于虚拟平面上的任何位置。而且，虚拟位置可以位于虚拟检视平面上的任何位置。而且，这些图的每一个都是可根据实施例而变化的风格化表示。而且，本申请的公开内容可以应用于任何类型的能量；其不限于可见光谱中的电磁能。
返回图16，在实施例中，多条射线1616延伸超出虚拟像素平面1606。在一些实施例中，多条射线1616可以无限地延伸超出虚拟像素平面1606。这允许从前面1626的对象和虚拟像素平面1606后面的例如照片1628的对象取样能量数据点。
在一些实施例中，通过从虚拟检视平面1610通过虚拟显示平面1614、虚拟像素平面1606以及更远来跟踪多条射线1616来取样沿着多条射线1616的能量数据点1602。这允许本公开的方法和系统在单个遍次中取样能量数据点，所述能量数据点从例如虚拟显示平面1610之前的桌子1628A的对象和例如虚拟显示平面1610后面的图片1628B的对象捕获信息。这还允许本公开的系统和方法准确地考量多种能量交互，如在本公开的其它部分中更详细地描述的，这些交互在单个遍次中从观察点出现在视场的外部和内部。这样就无需进行困难、繁重和不完善的事后计算来尝试集成多个渲染遍次。
图19从虚拟检视位置1906描绘来自3D环境的场景，其进一步示出了本公开的系统和方法的实施例如何允许在单个遍次中考量多种能量交互。本公开的系统和方法的实施例允许从虚拟检视位置1906沿着多条射线1904对数据点1902进行取样。应了解，提供图19是为了说明性目的，并且不限制本公开的实施例。为了清楚起见，图19未描绘虚拟像素或虚拟孔径。而且，检视位置1906的大小可以根据实施例而变化。为了此说明的目的，虚拟检视位置1906具有视场1908。视场的大小可以根据实施例而变化，并且在某些情况下，可以取决于物理4D能量投影系统的类型。而且，如将了解，可以出于不同目的确定或改变视场1908的大小。沿多条射线1904取样能量数据点1902考量视场1908中的对象(例如实例对象1910A、1910B)以及由视场1908内部的对象反射的能量。在此实例中，来自视场1908外部的人(未示出)的能量从视场1908中的反射镜1910B反射，从而在反射镜1910B中产生由射线1904取样的反射1912。提供图19是为了说明性目的，并且不限制本公开的实施例。而且，尽管图19描绘了3D光环境，但本公开的系统和方法的实施例适用于其它感觉和能量域。
再次参考图15，在实施例中，用于从3D环境渲染4D能量场的过程可以包括第四步骤1540，所述第四步骤包括使沿着每条射线取样的能量数据点与多个虚拟像素中的一个虚拟像素的能量值相关。
此步骤1540允许本公开的系统和方法的实施例考量射线路径中对象的变化的特性。例如，在一些实施例中，用于虚拟像素(图19中未示出)的能量值与沿着与虚拟像素(图19中未示出)相交的单独射线取样的能量数据点1902相关。例如，射线1916与部分反射对象1920和位于部分反射对象1920与虚拟检视位置1906之间的部分透射对象1918相交。为了渲染此场景1900的数据，本公开的系统或方法考量部分透射对象1918如何影响从部分反射对象1920经由部分透射对象1918反射到虚拟检视位置1906的光。例如，部分反射对象1920可以具有光谱辐射度函数，当由光源(未示出)照射时，所述光谱辐射度函数将沿不同的方向分配能量，所述能量将在到达虚拟检视位置1906之前被部分透射对象1918衰减。实施例还可允许至少基于沿着相同射线的其它能量数据点的透射或反射特性来对不同数据点的能量值进行加权。本公开的系统和方法允许虚拟像素(图19中未示出)的能量值与沿着射线1916的长度的能量数据点相关，以考量这些类型的变化的特性。如将了解，在不同的实施例中，可以对各种能量数据点进行建模以考量任意数目的不同特性，其中一些可以针对不同的能量域专门定制。对于多遍次渲染系统来说，确定能量值可能非常困难，因为它们必须尝试集成渲染器和对沿着每个渲染器的三维接口的多种可能的交互进行建模所必要的所有信息，以得出能量值。本公开的系统和方法允许避免那些繁琐和不准确的措施。
用于从3D环境渲染4D能量场的过程可以包括第五步骤1550，其包括将多个虚拟像素中的一个虚拟像素的能量值和多个虚拟像素中的一个虚拟像素的已知唯一4D坐标渲染为数据集，所述数据集的格式可用于指示能量装置输出4D能量场。在一些实施例中，本公开的系统和方法可以允许数据集包括在本公开的其它地方描述或引用的任何数据集，包含4D、5D、10D、11D或15D函数。应了解，可以针对考量不同种类的数据的3D环境的不同实施例渲染其它类型的数据集。在一些实施例中，渲染可以针对不同类型的4D能量投影系统校准数据集。可以应用不同类型的校准来针对具有不同架构、元件或元件数目的4D能量引导系统渲染数据。例如，对于具有不同视场或具有不同数目或位置的能量源或其它组件的系统可能需要校准。在本公开的系统和方法的一些实施例中，能量数据点1902包括描述以下至少一项的值：能量频率、能量强度、能量透明度、能量折射率、能量反射率。
本公开的用于从三维环境渲染四维能量场的方法的一些实施例可以允许针对投射4D能量场的能量装置来校准所述方法。如将了解，在4D投影系统中的物理能量源和能量传播路径的位置可以不同于虚拟像素的理论位置以及虚拟像素与虚拟检视位置之间的理论角度相关性。这可能是由于能量装置之间的微小变化，甚至是能量装置的波导之间的微小变化。例如，波导中的轻微瑕疵可能会导致能量传播路径略微偏离其预期方向。而且，能量位置可能与3D环境中的对应虚拟位置略有不同，这也可能导致能量传播方向的偏离。标题为“用于全息能量引导系统的校准方法(Method of Calibration for HolographicEnergy Directing Systems)”的共同拥有的美国申请US16064300中公开了用于校准的方法，所述美国申请以引用的方式并入本文中。
图21是示出了在三维环境中的逆跟踪的示意图。图21中演示的方法可包含在3D环境中提供场景21000，所述场景由位于所述场景中各处的多个能量数据点描述。在实施例中，可以根据段落[0244]至[0245]中描述的实施例来实施提供场景21000。图21中还演示在场景21000中的虚拟像素平面21004上定位多个虚拟像素21012，其中多个虚拟像素21012中的每个虚拟像素具有已知的唯一4D坐标，所述坐标包括2D角坐标和2D空间坐标，其中多个虚拟像素21012中的每个虚拟像素的所述2D角坐标描述虚拟像素与位于场景21000中的虚拟检视平面21006上的多个虚拟检视位置21008中的虚拟检视位置之间的角度相关性，且其中每个虚拟像素的2D空间坐标识别位于场景21000中的虚拟显示平面21019上的多个虚拟孔径21010中的虚拟孔径的位置。在实施例中，可以根据段落[0245]至[0247]中描述的实施例来实施定位多个虚拟像素21012。
图21中进一步演示从虚拟检视平面21006沿着多条射线21020取样场景21000中的多个能量数据点中的能量数据点，其中多条射线21020中的每条射线与多个虚拟检视位置21008中的一个检视位置和多个虚拟像素21012中的一个虚拟像素相交，相交角度由与所述射线相交的所述一个虚拟像素的2D角坐标确定，且其中每条射线与由所述射线相交的所述一个虚拟像素的2D空间坐标确定的一个虚拟孔径相交。在实施例中，可以根据段落[0228]至[0234]中描述的实施例来实施取样数据点。
图21中进一步演示使沿着多条射线21020中的每条射线取样的能量数据点与所述射线相交的多个虚拟像素21012中的一个虚拟像素的能量值相关。在实施例中，可以根据段落[0256]至[0257]中描述的实施例来实施使所取样的能量数据点相关。可以将每条射线的一个虚拟像素的能量值和每条射线的一个虚拟像素的已知唯一4D坐标渲染为数据集，所述数据集的格式可用于指示能量装置输出4D能量场。在实施例中，可以根据段落[0258]中描述的实施例来实施渲染。
如图21中所描绘，可以从虚拟检视平面经由虚拟像素平面21004且更远地逆向跟踪多条射线21012，以捕获关于虚拟像素平面21004后面的能量数据点的信息。这允许用于从3D环境渲染4D能量场的方法考量虚拟像素平面后面的能量反射，即使反射来自遥远的对象21013。
图21还演示此方法的实施例可如何考量部分透射对象21015。如所描绘，能量数据经由经过虚拟像素显示器21004的部分透射对象21015取样，在虚拟像素显示器处，其将取样从对象21013反射的数据。在一些实施例中，然后可以根据通过对对象21013和部分透射对象21015的能量数据21014进行加权而取样的信息来使能量值相关，以得到虚拟像素阵列的虚拟像素的能量数据值。
应了解，在实施例中，图20和21的逆跟踪和映射过程可以允许逆射线跟踪到所需4D显示特定立体能量表示(例如，图像)的单个处理步骤。此可包含波长/能量考虑因素以及显示器特定校准(或可能包含在各种系统之间无缝移动的任何其它功能)。如果有利且在有利时，这可以另外包含具有位移图的像素处理以计算其它4D坐标。
在本公开的系统和方法的一些实施例中，多条射线中的一条射线与多个虚拟像素中的每个虚拟像素相交。
在本公开的系统和方法的一些实施例中，虚拟显示平面对应于能量引导装置的波导系统，并且能量可操作以根据数据集被引导通过波导系统，以形成场景的至少一部分的可检测立体表示。
在本公开的系统和方法的一些实施例中，多个虚拟像素对应于波导系统的第一侧上的多个能量位置。
在本公开的系统和方法的一些实施例中，所述数据集进一步包括向量化材料特性数据。
在本公开的系统和方法的一些实施例中，所述方法的至少一部分是实时进行的。
在本公开的系统和方法的一些实施例中，所述方法完全实时进行。
在本公开的系统和方法的一些实施例中，所述方法的至少两个部分是在不同的时间段中进行。
在本公开的系统和方法的一些实施例中，多条射线中的至少一条射线与多个虚拟孔径中的每个虚拟孔径相交。
在本公开的系统和方法的一些实施例中，所述数据集描述可通过视觉、音频、纹理、感觉或气味传感器感知的至少一个信号。
在本公开的系统和方法的一些实施例中，沿着多条射线中的每条射线取样的能量数据点同时与能量值相关。
在本公开的系统和方法的一些实施例中，数据集是以二进制文件格式存储。
在本公开的系统和方法的一些实施例中，从虚拟检视平面经由多个虚拟孔径中的一个虚拟孔径且超出多个虚拟像素中的一个虚拟像素沿着多条射线中的每个射线对多个能量数据点中的能量数据点进行取样。
在本公开的系统和方法的一些实施例中，所述步骤可无限地重复。在一些实施例中，这可以允许场景始终被动态捕获场景变化。
在实施例中，本公开的用于从3D环境渲染4D能量场的方法进一步包括将关于虚拟检视位置和虚拟检视位置的4D坐标的信息存储到射线文件中，所述射线文件可以提供指令以用于从那些虚拟检视位置沿着与虚拟检视位置相交的任何射线取样数据。射线文件实际上只是在虚拟检视平面上渲染的样本的映射，且它可能含有3D虚拟检视平面坐标和相关联的2D(u，v)角坐标的列表。作为实例，在一些实施例中，射线文件可以与例如场景几何布置、颜色、反射等的CG场景信息一起使用，以有效地取样合成4D光场。应了解，存储在射线文件中的信息可以取决于将用于输出4D能量场的能量装置的类型而变化，因为像素的数目和可允许的观测点的位置可能随能量装置而变化。在一些实施例中，射线文件可以提供用于指示系统如何针对给定能量装置取样3D环境的手段。在其它实施例中，射线文件是特定能量场投影装置设计的理想映射，并且不反映相对较小的装置间差异，从而需要使用射线文件对场景进行任何取样，以在稍后时间经受取决于另一装置的校正。以下论述参考图17和18，但应了解，本文描述的方法适用于具有更多虚拟检视位置、虚拟像素、虚拟孔径和射线的实施例。在实施例中，3D空间坐标可以识别每个虚拟检视位置L2的位置以及与每条射线1710相交的一个虚拟像素1702、1704、1706的2D角坐标。在一些实施例中，射线文件使每个虚拟检视位置L2的3D空间坐标与和虚拟检视位置相交的每条射线相交的每个虚拟像素1702、1704、1706的2D角坐标相关联。例如，图18中的L2与射线1802相交。而且，射线文件可以使虚拟像素1803、1805和1807L2的角坐标与识别场景中L2的位置的3D空间坐标相关联。在实施例中，所述射线文件针对每条射线1802提供指令以用于从所述射线相交的一个虚拟检视位置L2对沿着所述射线的多个能量数据点1802中的能量数据点进行取样，其中所述指令至少由所述射线相交的所述一个虚拟检视位置L2的3D空间坐标和所述射线相交的所述一个虚拟像素的2D角坐标确定。例如，射线文件可提供用于至少由L2的3D空间坐标和1803的2D角坐标确定的射线1809的指令。如将了解，此方法可以用于除了能量场之外的各种应用，包含渲染用于2D、立体、虚拟现实、增强现实和多视图显示系统的数据。
在本公开的用于从三维环境渲染四维能量场的方法的一些实施例中，渲染能量值还可进一步包括针对能量装置校准能量数据。如将了解，虚拟像素的理论位置以及虚拟像素与虚拟检视位置之间的理论角度相关性可能与物理实施方案不同。这可能是由于能量装置之间的微小变化，甚至是能量装置的波导之间的微小变化。例如，波导中的轻微瑕疵可能能量传播路径略微偏离其预期方向。而且，能量位置可能与3D环境中的对应虚拟位置略有不同，这也可能导致能量传播方向上的轻微偏离。在一些实施例中，这些偏离可以通过校准能量装置或特定类型的能量装置的能量数据来解决。应了解，其它类型的校准也可能是适当的。
图15中描述的过程可以使用本公开的任何处理系统或本领域已知的适当系统(包含处理系统2200)来进行。在实施例中，处理系统可以包括渲染引擎2210和感觉数据引擎2220。在一些实施例中，感觉数据引擎2220可以进行步骤1510以在3D环境中提供场景。而且，感觉数据引擎2220还可以进行步骤1520以将多个虚拟像素定位在虚拟像素平面上。一些实施例的渲染引擎2210可以进行步骤1530以取样能量数据点。渲染引擎2230还可以进行步骤1540，以使沿着每条射线取样的能量数据点与能量值相关。而且，渲染引擎2210还可以进行步骤1550以渲染能量值。在一些实施例中，系统还可以包括存储器2240以存储数据集。
将了解，用于从3D环境渲染4D能量场的方法可以应用于为其它应用渲染能量数据。此类方法可包括第一步骤2210：在3D环境中提供场景，所述场景由位于所述场景中各处的多个能量数据点描述。第二步骤2220可包括在所述场景中的虚拟像素平面上定位多个虚拟像素，其中每个虚拟像素具有已知的唯一4D坐标，所述坐标包括2D角坐标和2D空间坐标，其中每个虚拟像素的所述2D角坐标描述所述虚拟像素与位于所述场景中的虚拟检视平面上的多个虚拟检视位置中的虚拟检视位置之间的角度相关性，且其中每个虚拟像素的所述2D空间坐标识别位于所述场景中的虚拟显示平面上的多个虚拟孔径中的虚拟孔径的位置。第三步骤2230可包括从所述虚拟检视平面沿着多条射线对所述场景中的所述多个能量数据点中的能量数据点进行取样，其中每条射线与一个虚拟检视位置和一个虚拟像素相交，相交角度由所述射线相交的所述一个虚拟像素的所述2D角坐标确定，且其中每条射线与由所述射线相交的所述一个虚拟像素的所述2D空间坐标确定的一个虚拟孔径相交。第四步骤可以包括使沿着每条射线取样的所述能量数据点与所述射线相交的所述一个虚拟像素的能量值相关，且第五步骤2250可以包括将每条射线的所述一个虚拟像素的能量值和每条射线的所述一个虚拟像素的所述已知唯一4D坐标渲染为数据集，所述数据集的格式可用于指示能量装置输出能量数据。
应了解，某些形式的能量数据可以具有更少的用于渲染4D能量场所需的虚拟检视像素和虚拟检视位置。例如，在一些实施例中，每个虚拟孔径与两条射线相交。在此类实施例中，多个虚拟检视位置包括两个虚拟检视位置。但是，此类实施例可用于生成数据集，所述数据集可用于指示能量装置输出立体图像。应了解，立体显示器将第一图像引导到检视者的第一只眼，并且将第二图像引导到第二只眼。因此，在一些实施例中，每个孔径可能仅包括两个虚拟像素，并且可能仅存在两个虚拟检视位置——每只眼睛一个。此类实施例可允许数据集的格式可用于指示能量装置输出虚拟现实图像。而且，此类实施例可以允许数据集的格式可用于指示能量装置输出增强现实图像。
还应了解，在其它实施例中，每个虚拟孔径可以与对应于额外检视位置或视图的额外射线相交。此类实施例可以允许数据集的格式可用于多视图显示，其中视图的数目对应于与每个虚拟像素相交的射线的数目。此原理可以由图17示出，所述图示出了三个检视位置L1、L2、L3和与一个孔径X1，Y1相交的三条射线1710，其中每条射线与一个虚拟像素1702、1704和1706相交。每个检视位置可以对应于多视图系统的一个视图。应了解，一些实施例将许多额外检视位置。
尽管上文已描述了根据本文公开的原理的各种实施例，但是应理解，它们仅以实例的方式呈现，且不具有限制性。因此，本公开的广度和范围不应受到上文所描述的示例性实施例中的任一者限制，而是应仅根据由本公开发布的权利要求书和其等同物来限定。此外，上述优点和特征在所描述实施例中提供，但不应将此类发布的权利要求的应用限制于实现上述优点中的任一者或全部的过程和结构。
应理解，在不脱离本公开的范围的情况下，可在各种实施例中采用本公开的主要特征。所属领域的技术人员应认识到或能够使用不超过常规的实验来确定本文中所描述的具体程序的许多等同物。此类等同物被视为处于本公开的范围内并且被权利要求书涵盖。
另外，提供本文中的章节标题以与37 CFR 1.77的建议一致，或另外提供组织性提示。这些标题不应限制或特性化可能从本公开发布的任何权利要求中所阐述的主题。具体地说且作为实例，虽然标题提及“技术领域”，但此类权利要求不应受到此标题下描述所谓技术领域的语言限制。此外，“背景技术”部分中对技术的描述不应理解为承认技术是本公开中的任何发明的现有技术。“发明内容”也不应视为所发布权利要求中所阐述的发明的特征。此外，本公开中以单数形式对“发明”的任何提及不应用以论证在本公开中仅存在单个新颖点。多项发明可根据从本公开发布的多个权利要求的限制来阐述，且此类权利要求相应地限定由此保护的发明和其等同物。在所有情况下，此类权利要求的范围应鉴于本公开而在其自有优点上加以考虑，而不应受到本文中阐述的标题约束。
使用词语“一”在结合术语“包括”用在权利要求书和/或说明书中时可指“一个”，而且其还符合“一个或多个”、“至少一个”及“一个或超过一个”的含义。除非明显表示仅指替代方案或替代方案相互排斥，否则在权利要求书中使用术语“或”用于指“和/或”，但本公开支持仅指代替代方案的定义和“和/或”。在整个本申请中，术语“约”用于指示一个值包括用于测定所述值的装置、方法的误差的固有变化，或在研究受试者间存在的变化。总的来说但符合前文论述，本文中由“约”等近似词语修饰的数值可在所陈述的值左右变化至少±1、2、3、4、5、6、7、10、12或15％。
如本说明书和权利要求书中所用，词语“包括”(和包括(comprising)的任何形式，例如“comprise”和“comprises”)、“具有”(和具有(having)的任何形式，例如“have”和“has”)、“包含”(和包含(including)的任何形式，例如“includes”和“include”)或“含有”(和含有(containing)的任何形式，例如“contains”和“contain”)是包含性或开放性的，且不排除其它未列出的要素或方法步骤。
例如“在…时”、“等同”、“在…期间”、“完全”等比较、测量和时序词语应理解为意指“大体上在…时”、“大体上等同”、“大体上在…期间”、“大体上完全”等，其中“大体上”意指此类比较、测量和时序可用来实现暗含地或明确地陈述的所要结果。“附近”、“接近于”和“邻近”等与元件的相对位置相关的词语应意指足够接近以对相应的系统元件交互具有实质效果。其它近似词语类似地指代某种条件，所述条件在如此修饰时被理解为未必绝对或完善但会被视为足够接近以使所属领域的技术人员保证指定如所呈现的条件。描述可变化的程度将取决于可形成多大的变化，且仍使所属领域的普通技术人员将修饰的特征辨识为仍具有未修饰特征的所要特性和能力。
如本文所用的术语“或其组合”是指在所述术语前面的所列项目的所有排列和组合。举例来说，“A、B、C或其组合”旨在包含以下至少一个：A、B、C、AB、AC、BC或ABC，并且如果次序在特定情况下较重要，则还有BA、CA、CB、CBA、BCA、ACB、BAC或CAB。继续此实例，明确包含含有一个或多个项目或项的重复的组合，例如BB、AAA、AB、BBC、AAABCCCC、CBBAAA、CABABB等。所属领域的技术人员应理解，除非另外从上下文显而易见，否则通常不存在对任何组合中的项目或项的数目的限制。
本文所公开和要求保护的所有组合物和/或方法都可根据本公开在无不当实验的情况下制造和执行。尽管已在优选实施例方面描述了本公开的组合物和方法，但对于所属领域的技术人员来说显而易见的是，可在不脱离本公开的构思、精神和范围的情况下对组合物和/或方法以及在本文所描述的方法的步骤中或步骤序列中进行变化。对于所属领域的技术人员显而易见的所有这些类似的替代和修改被认为是在由所附权利要求书限定的本公开的精神、范围和概念内。
