基于投影及视频拼接的点云数据压缩方法及系统
技术领域
本发明涉及基于投影及视频拼接的点云数据压缩领域，具体地，涉及一种基于投影及视频拼接的点云数据压缩方法及系统。
背景技术
近几十年来，三维扫描技术和系统日趋成熟，3D扫描仪仪器制造成本降低，精度越来越来高，其应用也越来越广泛，可快速精准的获取实际物体表面的三维坐标信息并存储，使点云数据可广泛应用于科研和工业中的图像处理相关领域中。
点云数据是物体三维扫描后其三维坐标的数据信息，还可能记录了RGB、深度等信息。随着三维扫描系统精度和速度的提升，扫描后点云数据量将达到几百万甚至更大的数量级，目前，海量点云数据为计算机存储、处理和传输增加沉重的负担。
点云的压缩算法已经有了较为系统的研究。静态点云压缩方法多数是基于八叉树空间分解实现的。利用八叉树结构对点云所在的三维空间进行分解，每个节点表示空间中特定区域的立方体。根据八叉树结构和相应的节点信息可以计算出近似后的点空间坐标。因此，通过对八叉树结构进行序列化编码即可实现静态点云压缩。而动态点云的典型压缩方案是通过投影映射将3D点云数据转换为2D图片进行处理。这种方案使得点云可通过传统的处理手段进行压缩和传输。但是在进行投影时，由于点云的不规则性与密集程度，通常会出现投影后的点在二维平面重合而导致数据缺失的问题，也就是所谓的遮挡问题。如何针对点云的遮挡问题，设计合理的投影及后处理方式，尽可能多地保留原始点云信息，进而实现高效压缩，是亟待解决的关键问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于投影及视频拼接的点云数据压缩方法及系统。
根据本发明提供的一种基于投影及视频拼接的点云数据压缩方法，包括以下步骤：
分析点云数据的几何属性特征确定相应的投影策略，确定最优的投影角度；
对同一投影角度的投影区域多次投影得到由同一角度的一组具有空间相关性的二维图片；
将一组二维图片拼接为视频文件。
优选地，还包括：
对点云数据进行分析，得到几何及属性特征，来确定特定投影策略。
优选地，所述投影策略包括：
最佳投影轴和最佳投影面，并且选择设置不同的投影方式。
优选地，所述投影方式包括以下任一种或任多种：
基于多面体投影方法、球面投影方法、圆柱投影方法、、锥面投影方法。
优选地，所述在采用圆柱体投影方案：
对点云数据进行分析，判定最大限度保留原始分布特性的投影轴；假定样本点为xi，并且假设投影变换后的新坐标系为W＝{w1,w2,w3}，其中w1,w2,w3为新坐标系的基向量，则可得出xi在超平面的投影是WTxi，优化目标为
s.tWTW＝I
对上式使用拉格朗日乘子法可得：
XXTW＝λW
其中，
I表示单位阵；
λ表示待定特征值矩阵；
X＝(x1,x2,…,xn)是点云数据点集，其中n为点云数据所包含点的总个数，i＝1，2，…，n；
对协方差矩阵XXT进行特征值分解，求得的最大的若干个特征值的特征向量即为该样本降维后所在空间的标准正交基向量，
以对应的特征向量{w1,w2,w3}为X、Y、Z轴建立新的空间直角坐标系，确定最佳投影轴。
优选地，还包括：
对点云数据进行分析，判定最大限度保留原始分布特性的投影轴，得到确定最佳投影轴；
选定投影半径，按照同一角度投影的原则，将原始的点云数据上的点投影并展开至平面；
确定最优的投影区域；
将最优投影区域中每个点只能投影一次；
重复上述过程可获得一组同一角度投影的二维图片，拼接为一个视频序列。
优选地，还包括：
通过以下方式确定多次投影的次数：
设置获取的投影点数占原始的点云数据的总点数的投影获取阈值，当多次投影后已投影点数达到该投影获取阈值，便不再继续投影，累计获得多张二维图片。
优选地，还包括：
确定投影角度后，多次投影之间的每次投影依据几何属性特征在二维图像中同一像素的重合点中仅择优选取一点进行保留，使得每个点只能投影一次，并在存在遮挡关系的一系列点中依据几何和属性特征选择最优点进行投影。
优选地，还包括：
利用存在遮挡关系的一系列点中依据距离和几何属性确定最优的投影区域。
优选地，还包括：
对拼接后的视频文件进行压缩编码。
优选地，还包括：
视频拼接为以下任一种或任多种格式：YUV、MP4、RMVB、MKV、AVI格式，压缩方式采用HEVC/MPEG1/MPEG2/MPEG4/H264方式。
根据本发明提供的一种基于投影及视频拼接的点云数据压缩系统，包括：
分析模块：分析点云数据的几何属性特征确定相应的投影策略，确定最优的投影角度；
投影模块：对同一投影角度的投影区域多次投影得到由同一角度的一组具有空间相关性的二维图片；
拼接模块：将一组二维图片拼接为视频文件。
优选地，还包括：
分析模块用于对点云数据进行分析得到几何及属性特征，确定特定投影策略。
优选地，还包括：
所述投影策略包含：最佳投影轴和最佳投影面，并且选择设置不同的投影方式。
优选地，还包括：
所述投影方式包括以下任一种或任多种：基于多面体投影方法、球面投影方法、圆柱投影方法、或锥面投影方法。
优选地，还包括：
对点云数据进行分析，判定最大限度保留原始分布特性的投影轴，得到确定最佳投影轴；
选定投影半径，按照同一角度投影的原则，将原始的点云数据上的点投影并展开至平面；
确定最优的投影区域；
将最优投影区域中每个点只能投影一次；
重复上述过程可获得一组同一角度投影的二维图片，拼接为一个视频序列。
优选地，还包括：
通过以下方式确定多次投影的次数：
设置获取的投影点数占原始的点云数据的总点数的投影获取阈值，当多次投影后已投影点数达到该投影获取阈值，便不再继续投影，累计获得多张二维图片。
优选地，还包括：
确定投影角度后，多次投影之间的每次投影依据几何属性特征在二维图像中同一像素的重合点中仅择优选取一点进行保留，使得每个点只能投影一次，并在存在遮挡关系的一系列点中依据几何和属性特征选择最优点进行投影。
优选地，还包括：
利用存在遮挡关系的一系列点中依据距离和几何属性确定最优的投影区域。
优选地，还包括：
压缩编码模块，用于对拼接后的视频文件进行压缩编码。
与现有技术相比，本发明具有如下的有益效果：
本发明首先对点云数据进行坐标转换以适应于相应的投影方式，并且以同一角度多次投影的方式解决了密集型点云的遮挡问题。此外，还将投影图片拼接转为视频形式，将图片间的单一空间相关性转化为视频帧间的时间相关性，将三维空间的点云数据通过投影方式降维至二维平面，将投影后图片拼接为视频格式，进而充分利用现有编码工具进行压缩编码，不仅在压缩性能上带来提升，而且采用现有编码工具可极大提升效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明实施例中圆柱投影下原始点云数据及其圆柱投影面示意图；
图2是本发明实施例中圆柱投影下点云投影至圆柱面后的空间示意图；
图3是本发明实施例中圆柱投影下圆柱投影面展开后的二维图像示意图；
图4是本发明实施例中在同一角度多次投影得到的一组图片即拼接后的一组视频帧示意图；
图5是本发明实施例中基于投影及视频拼接的点云数据压缩方法的具体流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于投影及视频拼接的点云数据压缩方法，包括以下步骤：
分析点云数据的几何属性特征确定相应的投影策略，确定最优的投影角度；
对同一投影角度的投影区域多次投影得到由同一角度的一组具有空间相关性的二维图片；
将一组二维图片拼接为视频文件。
优选地，还包括：
对点云数据进行分析，得到几何及属性特征，来确定特定投影策略。
优选地，所述投影策略包括：
最佳投影轴和最佳投影面，并且选择设置不同的投影方式。
优选地，所述投影方式包括以下任一种或任多种：
基于多面体投影方法、球面投影方法、圆柱投影方法、、锥面投影方法。
优选地，所述在采用圆柱体投影方案：
对点云数据进行分析，判定最大限度保留原始分布特性的投影轴；假定样本点为xi，并且假设投影变换后的新坐标系为W＝{w1,w2,w3}，其中w1,w2,w3为新坐标系的基向量，则可得出xi在超平面的投影是WTxi，优化目标为
s.tWTW＝I
对上式使用拉格朗日乘子法可得：
XXTW＝λW
其中，
I表示单位阵；
λ表示待定特征值矩阵；
X＝(x1,x2,…,xn)是点云数据点集，其中n为点云数据所包含点的总个数，i＝1，2，…，n；
对协方差矩阵XXT进行特征值分解，求得的最大的若干个特征值的特征向量即为该样本降维后所在空间的标准正交基向量，
以对应的特征向量{w1,w2,w3}为X、Y、Z轴建立新的空间直角坐标系，确定最佳投影轴。
优选地，还包括：
对点云数据进行分析，判定最大限度保留原始分布特性的投影轴，得到确定最佳投影轴；
选定投影半径，按照同一角度投影的原则，将原始的点云数据上的点投影并展开至平面；
确定最优的投影区域；
将最优投影区域中每个点只能投影一次；
重复上述过程可获得一组同一角度投影的二维图片，拼接为一个视频序列。
优选地，还包括：
通过以下方式确定多次投影的次数：
设置获取的投影点数占原始的点云数据的总点数的投影获取阈值，当多次投影后已投影点数达到该投影获取阈值，便不再继续投影，累计获得多张二维图片。
优选地，还包括：
确定投影角度后，多次投影之间的每次投影依据几何属性特征在二维图像中同一像素的重合点中仅择优选取一点进行保留，使得每个点只能投影一次，并在存在遮挡关系的一系列点中依据几何和属性特征选择最优点进行投影。
优选地，还包括：
利用存在遮挡关系的一系列点中依据距离和几何属性确定最优的投影区域。
优选地，还包括：
对拼接后的视频文件进行压缩编码。
优选地，还包括：
视频拼接为以下任一种或任多种格式：YUV、MP4、RMVB、MKV、AVI格式，压缩方式采用HEVC/MPEG1/MPEG2/MPEG4/H264方式。
根据本发明提供的一种基于投影及视频拼接的点云数据压缩系统，包括：
分析模块：分析点云数据的几何属性特征确定相应的投影策略，确定最优的投影角度；
投影模块：对同一投影角度的投影区域多次投影得到由同一角度的一组具有空间相关性的二维图片；
拼接模块：将一组二维图片拼接为视频文件。
优选地，还包括：
分析模块用于对点云数据进行分析得到几何及属性特征，确定特定投影策略。
优选地，还包括：
所述投影策略包含：最佳投影轴和最佳投影面，并且选择设置不同的投影方式。
优选地，还包括：
所述投影方式包括以下任一种或任多种：基于多面体投影方法、球面投影方法、圆柱投影方法、或锥面投影方法。
优选地，还包括：
对点云数据进行分析，判定最大限度保留原始分布特性的投影轴，得到确定最佳投影轴；
选定投影半径，按照同一角度投影的原则，将原始的点云数据上的点投影并展开至平面；
确定最优的投影区域；
将最优投影区域中每个点只能投影一次；
重复上述过程可获得一组同一角度投影的二维图片，拼接为一个视频序列。
优选地，还包括：
通过以下方式确定多次投影的次数：
设置获取的投影点数占原始的点云数据的总点数的投影获取阈值，当多次投影后已投影点数达到该投影获取阈值，便不再继续投影，累计获得多张二维图片。
优选地，还包括：
确定投影角度后，多次投影之间的每次投影依据几何属性特征在二维图像中同一像素的重合点中仅择优选取一点进行保留，使得每个点只能投影一次，并在存在遮挡关系的一系列点中依据几何和属性特征选择最优点进行投影。
优选地，还包括：
利用存在遮挡关系的一系列点中依据距离和几何属性确定最优的投影区域。
优选地，还包括：
压缩编码模块，用于对拼接后的视频文件进行压缩编码。
下面通过优选例，对本发明进行更为具体地说明。
优选例1：
现今点云的主流处理方式为转换至二维平面进行处理，但是由于点云采集时的精度、不规则性及密集程度带来了投影时的点重合问题，也就是遮挡问题。通常的处理方式为不同角度多次投影，但是经过多次投影之后所得到的二维图片出现大量黑色散点乃至条纹，极不利于压缩编码。现今人们对于媒体的消费正在进一步升级，点云作为沉浸式媒体的重要表现形式，必不可少。并且在自动驾驶和安防监控等领域，也需要高效的点云压缩来优化解决方案。为了使得基于二维平面压缩的点云编码可以实现更高性能和效率，本发明提供了一种基于投影及视频拼接的点云数据压缩方法，以同一角度对点云进行多次投影，并且拼接形成视频文件，充分利用时空域相关性，以实现高效的压缩编码性能。
令投射线通过点或其他物体，向选定的投影面投射，并在该面上得到图形的方法称为投影。包括但不限于基于多面体、球面、圆柱、锥面等投影方式。
具体来说，在运用圆柱投影方案时，本发明的实现如下：
首先，对原始点云数据进行分析，可采用主成分分析法，判定最大限度保留原始分布特性的投影轴；假定样本点为xi，并且假设投影变换后的新坐标系为W＝{w1,w2,w3}，其中w1,w2,w3为新坐标系的基向量，则可得出xi在超平面的投影是WTxi。优化目标为
s.tWTW＝I
对上式使用拉格朗日乘子法可得
XXTW＝λW
随后，对协方差矩阵XXT进行特征值分解，求得的最大的若干个(本实施例中采用前3个)特征值的特征向量即为该样本降维后所在空间的标准正交基向量。以对应的特征向量{w1,w2,w3}为X、Y、Z轴建立新的空间直角坐标系，从而实现了针对点云数据本身的形状进行分析，确定投影轴、投影面及最合适的投影方式。
其次，选定投影半径，按照等角度投影的原则，将如附图1所示的原始点云上的点投影至空间圆柱上。投影后的效果如附图2所示，并将空间圆柱展开至二维平面，如图3所示。一般来说，点云数据在密度较大的区域存在严重的遮挡，导致在向特定方向投影时，多个点对应投影面上的同一个像素位置。为解决该问题，规定每个点只能投影一次，并在存在遮挡关系的一系列点中依据几何和属性特征选择最优点进行投影。此外，设置投影点数占点云数据总点数的百分比阈值(即投影获取阈值)，重复上述过程可获得一组同角度投影的图片(如附图4所示)，当多次投影后已投影点数达到阈值，便不再继续。
将投影得到的这组二维图片作为一组视频帧拼接为一个yuv视频序列，进而使用HEVC编码方式进行编码压缩。拼接视频序列可为MP4/RMVB/MKV/AVI等格式，MPEG1/MPEG2/MPEG4/H264等压缩方式也是可选的。在上述以圆柱投影方式的实现中，更为偏重点云数据的几何特征。但值得注意的是，其他属性特征例如色彩也是投影过程中的重要参考，包含在本发明的保护范围之内。
如附图5所示，为本方法的具体流程图，简述如下：取得原始点云数据后，先对其几何及属性特征进行分析，以确认最佳的投影方式、投影面/轴。为解决遮挡问题，确定投影角度后，每次投影依据几何及属性特征在二维图像中同一像素的重合点中仅择优选取一点进行保留，多次投影得到同一角度的多张二维图片。当投影点数百分比达到设定阈值(即投影获取阈值)后不再继续投影，例如图5中将本实施例中的投影获取阈值99％，意味着获取的投影点数占原始的点云数据的总点数达到99％，那么图5的投影次数为6次即不再继续投影，获得6帧(如图5中的Frame1至Frame6)的二维图片，将所得的一组二维图片拼接为视频序列，并以视频压缩工具进行编码压缩。上述仅为实施例描述，投影获取阈值、投影次数的说明并非本发明的数量限制。
说明书附图中省略画出的是，本实施例还提供了一种基于投影及视频拼接的点云数据压缩系统，包括：分析模块、投影模块、拼接模块以及压缩编码模块。
分析模块，用于分析点云数据的几何属性特征确定相应的投影策略，确定最优的投影角度。
投影模块，用于对同一投影角度的投影区域多次投影得到由同一角度的一组具有空间相关性的二维图片。
拼接模块，用于将一组二维图片拼接为视频文件。
可选地，基于投影及视频拼接的点云数据压缩系统可进一步包含：压缩编码模块，用于对拼接后的视频文件进行压缩编码。
综上可知，本发明的基于投影及视频拼接的点云数据压缩方法以及系统，可以根据点云数据本身的几何属性特征进行分析，优化投影轴及投影面，并且选择设置不同的投影方式(如多面体、球面、圆柱、锥面等多种方式)，提高投影效率。特别地，针对遮挡问题，确定投影角度后，每次投影依据几何及属性特征在二维图像中同一像素的重合点中仅择优选取一点进行保留，多次投影得到同一角度的多张二维图片。其中，设置投影点数占点云数据总点数的百分比阈值，当多次投影后已投影点数达到阈值，便不再继续，将投影得到的多张二维图片拼接为视频格式，将图片间空间相关性转化为视频帧间的时间相关性，实现高效压缩。
本发明中，进行点云数据分析的方法、投影方法、拼接方式、压缩工具均可多样，优选地，可以由以下一组可选方案为例实现：
数据分析方法：可采用主成分分析法(Principal Component Analysis，PCA)来确定最佳投影轴和最佳投影面。PCA通过寻找某个超平面，使得所有的样本点在这个超平面尽量展开，即计算离散点集的最大方差，最大限度保留其原始分布特性。
投影方法：从三维空间到二维平面的投影方法较多，各有优劣，这里以基于多面体、球面、圆柱、锥面等投影方法为例。
拼接方式及压缩工具：为最大限度提升帧内/帧间编码效率，建议将视频拼接为YUV格式，采用HEVC编码压缩工具。MPEG1/MPEG2/MPEG4/H264等方式也是可选的。采用传统视频编码工具进行压缩均可。
需要注意的是，发明中只是以上述方法为例对投影及拼接方案进行说明，并不局限于以上的数据分析方法、投影方法、视频拼接及编码方法。
本实施中所提供的基于投影及视频拼接的点云数据压缩系统中各个功能模块与上述实施例中基于投影及视频拼接的点云数据压缩方法所分别相对应，那么装置中所具有的结构和技术要素可由生成方法相应转换形成，在此省略说明不再赘述。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
