一种三维点云的实时显示方法、设备、系统及存储介质
技术领域
本申请涉及测绘技术领域，尤其涉及一种三维点云的实时显示方法、设备、系统及存储介质。
背景技术
目前测绘领域中，查看生成的点云需要在整个场景或者物体重建完成之后，因此用户无法实时看到重建的效果，也就不能及时确定场景或者物体中哪些区域重建的效果好，哪些区域并未重建出来。查看重建的效果必须等到整个场景重建完成之后会导致以下几个问题：1、查看场景中任何一块的点云都要等待整个场景重建完成，这往往要等待大量的时间。场景的重建往往需要耗费比较长的时间，短则几十分钟，长则几天，因为只能在整个场景重建完成后才能查看点云的情况。2、无法第一时间(如现场采集图片时)看到模型重建的效果，效率低。测绘作业时，经常会出现离开现场回去重建了很长时间后，发现有些地方由于拍摄的不好无法重建，需要再次采集图像的情况。这就需要返回取景地重新拍摄，浪费大量的人力、时间成本。3、等待整个场景重建完成后才能让用户查看点云，用户体验不好。
因此，如何更有效地进行测绘成为亟需解决的问题。
发明内容
本申请实施例公开了一种三维点云的实时显示方法、设备、系统及存储介质，在无人机的拍摄装置采集图像的过程中，即可实现对三维点云的实时显示，从而使用户能够实时查看三维点云，提高作业效率。
第一方面，本发明实施例提供了一种三维点云的实时显示方法，包括：
显示无人机的目标拍摄区域对应的飞行航线；
获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像；
根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云；
在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
第二方面，本发明实施例提供了一种三维点云的实时显示设备，包括：存储器和处理器，
所述存储器，用于存储程序；
所述处理器，用于执行所述存储器存储的程序，当所述程序被执行时，所述处理器用于：
显示无人机的目标拍摄区域对应的飞行航线；
获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像；
根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云；
在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
第三方面，本发明实施例提供了一种三维点云的实时显示系统，包括：
无人机，所述无人机安装有拍摄装置，用于对环境进行拍摄得到图像；
以及上述第二方面的三维点云的实时显示设备。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述方法的步骤。
本发明实施例可以显示无人机的目标拍摄区域对应的飞行航线，获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像，并根据所述图像确定至少部分的所述目标拍摄区域对应的三维点云，从而在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。通过这种实施方式，可以实现对三维点云的实时显示，从而使用户能够实时查看三维点云，提高作业效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例中的无人机测绘场景的示意图；
图2是本发明实施例提供的一种三维点云的实时显示方法的流程示意图；
图3a是本发明实施例提供的一种确定目标拍摄区域的示意图；
图3b是本发明实施例提供的一种生成飞行航线的示意图；
图3c是本发明实施例提供的又一种生成飞行航线的示意图；
图3d是本发明实施例提供的一种飞行航线的示意图；
图4a是本发明实施例提供的一种切换飞行航线的示意图；
图4b是本发明实施例提供的另一种切换飞行航线的示意图；
图5是本发明实施例提供的一种显示覆盖区域的卫星地图的示意图；
图6是本发明实施例提供的一种三层四叉树结构的示意图；
图7是本发明实施例提供的一种点云和真实地理信息对齐后的示意图；
图8是本发明实施例提供的一种三维点云的实时显示设备的结构示意图；
图9a是本发明实施例提供的一种三维点云的显示示意图；
图9b是本发明实施例提供的又一种三维点云的显示示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本发明一个实施例中的无人机测绘场景的示意图，无人机测绘系统包括无人机101，地面站102。无人机101具体可以是执行测绘任务的无人机。可选的，无人机101可以是多旋翼无人机，示例的，可以是四旋翼无人机、六旋翼无人机、八旋翼无人机；无人机101还可以是垂直起降无人机，该垂直起降无人机上具有旋翼动力系统和固定翼动力系统；无人机101还可以是固定翼无人机。地面站102可以是遥控器、智能手机、平板电脑、地面控制站、膝上型电脑、手表、手环等及其组合。
在本实施例中，地面站102具体可以是如图1所示的PC地面站。地面站102可以显示无人机101的目标拍摄区域对应的飞行航线，获取所述无人机101的当前位置及所述无人机101的拍摄装置所拍摄的图像。地面站102根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云，在所述无人机101按照所述飞行航线移动的过程中，对所述无人机101的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
本发明实施例，通过显示无人机的目标拍摄区域对应的飞行航线，获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像，根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云，在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，地面站可以实时显示三维重建的三维点云，从而使测绘人员能够实时查看三维点云，提高测绘效率。
在一个实施例中，本发明实施例中提供的三维点云的实时显示方法可以由无人机测绘系统中的地面站执行，具体可以由所述地面站上的三维点云的实时显示设备执行。在某些实施例中，所述三维点云的实时显示设备可以设置在终端设备(例如智能手机、平板电脑、膝上型电脑等)上。在某些实施例中，所述无人机上包括拍摄装置，所述拍摄装置用于对环境进行拍摄以得到图像。在某些实施例中，所述拍摄装置可以包括但不限于可见光相机或热成像相机等装置。在其他实施例中，所述三维点云的实时显示方法还可以应用于其他可移动设备上，如无人控制机器人(例如能够自主移动的机器人、无人车、无人船等)或者手持式设备(例如手持云台相机)。
下面结合附图对本发明实施例提供的三维点云的实时显示方法进行示意性说明。
具体请参见图2，图2是本发明实施例提供的一种三维点云的实时显示方法的流程示意图，所述方法可以由三维点云的实时显示设备执行，其中，三维点云的实时显示设备的具体解释如前所述。具体地，本发明实施例的所述方法包括如下步骤。
S201：显示无人机的目标拍摄区域对应的飞行航线。
本发明实施例中，三维点云的实时显示设备可以显示无人机的目标拍摄区域对应的飞行航线。
在一个实施例中，三维点云的实时显示设备在显示无人机的目标拍摄区域对应的飞行航线之前，可以显示二维地图，并根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域，从而生成与所述目标拍摄区域对应的所述飞行航线。
在一个实施例中，三维点云的实时显示设备在根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域时，可以获取用户在所述二维地图上的点选操作，并根据所述点选操作确定至少三个边界点，从而根据所述至少三个边界点，确定所述目标拍摄区域，所述目标拍摄区域是由所述至少三个边界点两两连接组成的。通过这种实施方式，可以实现用户自主确定目标拍摄区域，提高确定目标拍摄区域的灵活性。
具体可以图3a为例，图3a是本发明实施例提供的一种确定目标拍摄区域的示意图，如图3a所示，用户可以在二维地图30上进行点选操作，确定出4个边界点，且分别为边界点31、边界点32、边界点33、边界点34。三维点云的实时显示设备可以根据边界点31、边界点32、边界点33、边界点34这4个边界点两两连接组成闭合的目标拍摄区域35。
在一个实施例中，三维点云的实时显示设备在生成与所述目标拍摄区域对应的所述飞行航线时，可以获取用户输入的拍摄控制信息，所述拍摄控制信息包括相对高度、任务高度、重叠率、主航线角度和边距中的一个或多个，并根据所述拍摄控制信息，生成与所述目标拍摄区域对应的所述飞行航线。通过这种实施方式，可以实现用户自主设置拍摄控制信息，从而确定飞行航线。
在某些实施例中，所述相对高度为所述无人机的起飞平面与所述目标拍摄区域所在平面的距离，所述任务高度为所述飞行航线所在平面与所述目标拍摄区域所在平面的距离，所述重叠率的起算平面为所述目标拍摄区域所在平面，所述重叠率包括航向重叠率和旁向重叠率，所述航向重叠率为所述主航线对应的图像重叠率，所述旁向重叠率为相邻主航线对应的图像重叠率，所述主航线的角度为所述主航线与参考方向的夹角，所述边距为所述飞行航线的起始点或结束点相对于所述目标拍摄区域的边界的距离。
可选的，主航线的角度为所述主航线与正北方向的夹角。
在一个实施例中，所述二维地图上包括设置区域，所述设置区域包括用于设置拍摄控制信息的控件，用户可以通过这些控件输入所述拍摄控制信息。在某些实施例中，所述控件包括相对高度控件、任务高度控件、航向重叠率控件、旁向重叠率控件、主航线角度控件和边距控件等任意一种或多种。
在一个实施例中，上述拍摄控制信息，即相对高度、任务高度、重叠率、主航线角度和边距中的一个或多个，均设定有默认值，三维点云的实时显示设备可根据用户的操作调整该默认值。
具体可以图3b为例进行说明，图3b是本发明实施例提供的一种生成飞行航线的示意图，如图3b所示，所述二维地图上30包括设置区域36，用户在所述设置区域36通过旁向重叠率控件361输入旁向重叠率，通过航向重叠率控件362输入航向重叠率，通过主航线角度控件363输入主航线角度和通过边距控件364输入边距，通过相对高度控件365输入相对高度。用户还可以在基础设置的界面中通过任务高度控件输入任务高度(图未示)。如图3b所示为通过边距控件364将边距设置至最大为30m，将相对高度设置为-120m，将主航线角度设置为4°，将航线重叠率设置为80％，将旁向重叠率设置为70％。进一步地，可以根据所述旁向重叠率、航向重叠率、主航线角度、边距、任务高度、相对高度，生成与所述目标拍摄区域35对应的飞行航线37。
再例如，在图3b的基础上保持旁向重叠率、航向重叠率、相对高度、任务高度不变，将主航线角度设置为67°，将边距设置为0m时，根据所述旁向重叠率、航向重叠率、主航线角度、边距、任务高度、相对高度，生成如图3c所示的与所述目标拍摄区域35对应的飞行航线39，其中，图3c是本发明实施例提供的又一种生成飞行航线的示意图。
在某些实施例中，所述飞行航线所在的平面是根据所述相对高度和所述任务高度确定得到的，所述飞行航线中相邻主航线之间的距离是根据所述旁向重叠率确定得到的。
在一个实施例中，所述飞行航线的数量为多个，三维点云的实时显示设备还可以显示航线切换图标，并根据用户对所述航线切换图标的操作，切换显示所述不同的飞行航线。在某些实施例中，所述飞行航线包括第一类飞行航线和第二类飞行航线，所述无人机在按照所述第一类航线飞行时，所述拍摄装置的姿态为俯视向下；所述无人机在按照所述第二类航线飞行时，所述拍摄装置的姿态为朝向所述目标拍摄区域且具有一倾斜角度。在某些实施例中，所述第二类飞行航线与所述第一类飞行航线的相对位置是根据所述倾斜角度和任务高度确定得到的。
在一种实施方式中，所述飞行航线的数量为5个，5个飞行航线的方向不相同，其中，中间飞行航线为第一类飞行航线，对应的无人机拍摄装置的姿态为俯视向下，且无人机的机头方向与飞行航线的方向相同。其余4个方向的飞行航线为第二类飞行航线，对应的无人机拍摄装置的姿态为朝向目标拍摄区域且具有一倾斜角度，以及所述无人机的机头朝向目标拍摄区域。在一个实施例中，其余4个方向的飞行航线如图3d所示，图3d是本发明实施例提供的一种飞行航线的示意图。
可见，通过这种实施方式，可以使拍摄装置倾斜拍摄，如此可以拍摄到目标拍摄区域的侧面，这样拍摄目标拍摄区域侧面的点云不会出现空洞，使得三维点云更加完整。
具体可以图4a为例，图4a是本发明实施例提供的一种切换飞行航线的示意图。如图4a所示，界面上包括航线切换图标区域41，所述航线切换图标区域41上包括1、2、3、4、5共5个航线切换图标，用户对航线切换图标1进行点击操作，则显示与航线切换图标对应的飞行航线42，且该飞行航线42可以为第一类飞行航线，对应的无人机拍摄装置的姿态为俯视向下，其中，箭头即为无人机当前位置对应的显示图标，可以显示无人机当前飞行至飞行航线的哪个位置；H为无人机启动的位置，也即Home点的位置，可以显示无人机起飞点与当前位置的相对位置关系。具体的，Home点所在平面和飞行航线所在平面的距离可通过相对高度和任务高度得到。
又例如，假设在图4a的基础上，用户点击航线切换图标4，则输出如图4b所示的与航线切换图标4对应的飞行航线43，图4b是本发明实施例提供的另一种切换飞行航线的示意图，该飞行航线43可以为第二类飞行航线，对应的无人机拍摄装置的姿态为朝向目标拍摄区域且具有一倾斜角度，以及所述无人机的机头朝向目标拍摄区域。
可选的，在实时显示三维点云的过程中，无人机按照如图4a的航线42飞行，用户点击航线切换图标4以查看另一个飞行航线43时，并不会触发无人机按照飞行航线43飞行。
可选的，在实时显示三维点云的过程中，无人机按照如图4a的航线42飞行，用户点击航线切换图标4以查看另一个飞行航线43时，会触发无人机在飞行完当前飞行航线42之后按照飞行航线43飞行，也即用户可通过点击航线切换图标选择下一阶段的飞行航线。
可选的，在实时显示三维点云的过程中，无人机按照如图4a的航线42飞行，用户点击航线切换图标4以查看另一个飞行航线43时，会触发无人机立即按照飞行航线43飞行，也即用户可通过点击航线切换图标使得无人机飞行至另一个飞行航线43。
在一个实施例中，三维点云的实时显示设备还可以显示目标拍摄区域的三维地图，并在该三维地图中显示无人机的当前位置。如此，无人机飞行至飞行航线起始点的阶段，也即三维点云暂没有重建出来的阶段，用户可以参考该三维地图查看无人机的当前位置，以进一步提升无人机执行测绘任务的安全性。
在一个实施例中，上述三维地图可预先存储在实时显示设备中，具体可以是三维卫星地图。
在一个实施例中，三维点云的实时显示设备还可以显示所述多个飞行航线对应的覆盖区域和包含所述覆盖区域的卫星地图，所述覆盖区域大于所述目标拍摄区域。在一种实施方式中，所述覆盖区域是根据各条飞行航线覆盖的区域确定的。通过确定覆盖区域并通过卫星地图显示覆盖区域可以使用户更清楚地看见覆盖区域范围内的障碍物，从而使用户可以根据实际情况调整拍摄控制信息或目标拍摄区域的边界点，避免无人机在执行任务的时候撞到障碍物，提升安全性。
以图5为例进行说明，图5是本发明实施例提供的一种显示覆盖区域的卫星地图的示意图，如图5所示为根据航线切换图标区域41中的1、2、3、4、5这5个航线切换图标确定的5条飞行航线覆盖的区域确定的覆盖区域51，并通过卫星地图的方式显示该覆盖区域51。
S202：获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像。
本发明实施例中，三维点云的实时显示设备可以获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像。
S203：根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云。
本发明实施例中，三维点云的实时显示设备可以根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云。
在一个实施例中，三维点云的实时显示设备根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云时，可以根据所述图像，确定至少部分的所述目标拍摄区域对应的初始三维点云，并对所述初始三维点云进行采样，以获得具有不同层级的更新后的三维点云，所述更新后的三维点云中不同层级的三维点云满足不同的采样间隔要求，以及将所述更新后的三维点云存储在树形结构的节点中。
在一些实施例中，初始三维点云可以是通过三维重建而获得，例如，获取初始三维点云的方法包括：获取目标拍摄区域的至少部分区域生成的二维图片；利用三维重建算法对所述二维图片进行重建，以生成所述初始三维点云，其中，二维图片可以是包括多张二维图片的二维图片集。二维图片集可以是对目标区域或目标物体进行多角度拍摄得到的图片集。本发明实施例对拍摄二维图片集的拍摄装置不做限定，其可以为任意的拍摄装置，例如相机。该拍摄装置可以为无人机、车辆、飞机等不同平台中的拍摄装置，作为一个示例，该拍摄装置可以为无人机中的拍摄装置。
在一些实施例中，在对所述初始三维点云进行采样，以获得具有不同层级的更新后的三维点云时，所述更新后的三维点云中不同层级的三维点云满足不同的采样间隔要求，通过采样减少需要显示的三维点云的数目，不需要一次性加载全部数据，从而可以提升渲染速度，使显示变得流畅。
在一个示例中，随着物体、模型远离或者靠近观察者可以显示不同层级的三维点云。当物体距离视点很近时，可以显示较为精细的层级，而当物体距离视点很远时，可以显示较为粗糙的层级，同时也并不会导致视觉质量的下降。进一步地，当物体处于可见范围之外的时候，将不再需要进行渲染。由此，不需要一次性加载全部数据，从而使显示变的流畅。
具体地，可以根据任意适合的方法对该初始三维点云进行采样，例如随机采样、泊松圆盘采样等。在本实施例中，主要以泊松圆盘采样为例对本发明实施例的方法进行说明。
在一个示例中，所述更新后的三维点云包括第一层级至第n层级，其中，每个层级具有不同精细程度的三维点云，例如，第一层级为最粗糙层级，而第n层级为最精细层级，该n的数值可以是任意大于或等于2的整数，具体的分级数量可以根据实际的需要进行合理的设定，在此对其进行具体限定。
在一个示例中，任一层级中两个三维点云点之间的距离大于或等于预设采样间隔，不同层级对应于不同的预设采样间隔，例如，从第一层至第n层级预设采样间隔的数值依次降低，更进一步，例如，第n层级的预设采样间隔为第n-1层级的预设采样间隔的二分之一。可选地，所述第n层级的预设采样间隔与地面采样距离(GSD，Ground sample distance)相等，其中，该地面采样距离表示一个像素代表的实际距离。通过依次降低预设采样间隔，使得从第一层级至第n层级的更新后的点云具有不同的精细程度。
在一个具体实施例中，更新后的三维点云分为三个层级，所述对所述初始三维点云进行采样，以获得具有不同层级的更新后的三维点云，具体包括：将所述初始三维点云中点云间隔大于或等于第一预设采样间隔的三维点云放到第一层级，例如，将包括4200个三维点云的初始三维点云中大于或等于第一预设采样间隔的200个三维点云放到第一层级；将所述第一层级以外的三维点云中点云间隔大于或等于第二预设采样间隔的三维点云放到第二层级，例如，将所述第一层级以外的三维点云中点云间隔大于或等于第二预设采样间隔的800个三维点云放到第二层级；将所述第一层级和所述第二层级以外的三维点云放到第三层级，例如剩余的3200个三维点云放到第三层级，以获得具有三个分层的所述更新后的三维点云，或者，将所述第一层级和所述第二层级以外的三维点云中点云间隔大于或等于第三预设采样间隔的三维点云放到第三层级，以获得具有三个分层的所述更新后的三维点云。其中，第一预设采样间隔大于所述第二预设采样间隔，第二预设采样间隔大于第三预设采样间隔，更具体地，还可以是第二预设采样间隔是第一预设采样间隔的二分之一，第三预设采样间隔是第二预设采样间隔的二分之一，第三预设采样间隔还可以与地面采样距离(GSD，Ground sample distance)相等。通过将最精细层的采样间隔设置成地面采样距离，可以使得显示最精细层的三维点云时可以准确还原目标区域信息。
在一个示例中，更新后的三维点云会存储到树形结构的节点中，为了提高每个节点的三维点云的加载速度，可以使树形结构的每个节点中存储的三维点云数量小于预设点云数量，例如小于7000个三维点云，这样加载每个节点的三维点云时则不会超过预设文件大小，例如不会超过1Mb，数值的大小可以根据计算机的运算能力进行设定。
在一个示例中，当本发明的方法用于测绘的场景时，高度方向变化范围一般比水平方向变化范围小的多，因此可以仅仅对水平方向(例如、东、北)进行采样。
在某些实施例中，所述树形结构可以是任意适合的树形结构中，例如二叉树、三叉树、四叉树、八叉树等，其中，在本实施例中，主要以四叉树为例进行解释和说明书。例如，对于每个更新后的三维点云用四叉树的结构来存储。例如，如图6所示的三层的四叉树结构，图6是本发明实施例提供的一种三层四叉树结构的示意图，该四叉树结构中每个父节点具有四个子节点。
经过上述采样之后，将所述更新后的点云存储在树形结构的节点中，在一个示例中，以三个层级的更新后的点云为例，将所述更新后的点云存储在树形结构的节点中具体包括：将所述第一层级的点云存储在所述树形结构的根节点中，其中，所述树形结构中的每个父节点具有m个子节点，所述m为大于或等于2的正整数。例如，四叉树的每个父节点具有4个子节点；将所述第二层级的点云划分至m个(例如4个)栅格中，将所述m个栅格中每个栅格的点云分别存储在所述根节点下的m个(例如4个)第一子节点中，其中，每个栅格对应一个子节点；将所述第三层级的点云划分至m×m个(例如16个)栅格中，将所述m×m个栅格中每个栅格的点云分别存储至所述m个第一子节点作为父节点下的m×m个第二子节点中，其中，每个栅格对应一个第二子节点。通过上述方法将点云以树形结构的形式存储。
在一些实施例中，所述三维点云为转换到世界坐标系下的三维点云，所述世界坐标系包括地心地固坐标系。在一个示例中，为了使三维点云信息和真实的地理信息贴合，本发明实施例的方法将所述更新后的三维点云的坐标系转换到世界坐标系，其中，所述世界坐标系包括地心地固坐标系。例如，将更新后的三维点云的局部坐标系(例如东北天)转换到地心地固坐标系(如WGS 84坐标系)。具体地，可以通过任意适合的方法实现该坐标系转换，例如，计算所述更新后的三维点云的局部坐标系(例如东北天)到地心地固坐标系(如WGS 84坐标系)的变换矩阵，在加载三维点云时会自动将三维点云进行转换。如图7中箭头所指的区域所示，图7是本发明实施例提供的一种点云和真实地理信息对齐后的示意图，通过将三维点云转换到世界坐标系中，可以使得实时显示的三维点云与真实的地理信息贴合到一起，使用户能够及时、直观地查看到模型重建的效果，从而可以立即判断出无法重建或者重建效果不好的区域，从而在测绘现场即可再次对目标区域进行拍摄，节省人力和时间成本。
S204：在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
本发明实施例中，三维点云的实时显示设备在所述无人机按照所述飞行航线移动的过程中，可以对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的图标位于所述飞行航线上。
在一个实施例中，三维点云的实时显示设备在对所述飞行航线、所述无人机的位置和所述三维点云进行同步显示时，可以对所述飞行航线、所述无人机的位置和所述树形结构中至少一个节点的三维点云进行同步显示。通过这种实施方式，可以使用户更清楚地看见无人机的飞行航线、无人机的当前位置和三维点云，显示效果更好，有助于无人机在进行作业时，提高作业效率。
具体可以图9a为例进行说明，图9a是本发明实施例提供的一种三维点云的显示示意图，三维点云的实时显示设备在所述无人机按照飞行航线91移动的过程中，可以对所述无人机的当前位置92和所述三维点云进行同步显示，显示效果如图9a所示。
图9b是本发明实施例提供的又一种三维点云的显示示意图，三维点云的实时显示设备在所述无人机按照飞行航线91移动的过程中，可以对所述无人机的当前位置92和所述三维点云进行同步显示。同时，还可以显示目标拍摄区域对应的二维地图93和航线切换图标94。用户可以通过二维地图93查看目标拍摄区域的障碍物情况，通过对航线切换图标94的操作切换显示不同的飞行航线。
本发明实施例，通过显示无人机的目标拍摄区域对应的飞行航线，获取无人机的当前位置及无人机的拍摄装置所拍摄的图像，并根据图像确定至少部分的目标拍摄区域对应的三维点云，从而在无人机按照飞行航线移动的过程中，对无人机的当前位置和三维点云进行同步显示，从而实现对三维点云的实时显示，使用户能够实时查看三维点云，提高作业效率。
请参见图8，图8是本发明实施例提供的一种三维点云的实时显示设备的结构示意图。具体的，所述三维点云的实时显示设备包括：存储器801、处理器802。
在一种实施例中，所述三维点云的实时显示设备还包括数据接口803，所述数据接口803，用于传递三维点云的实时显示设备和其他设备之间的数据信息。
所述存储器801可以包括易失性存储器(volatile memory)；存储器801也可以包括非易失性存储器(non-volatile memory)；存储器801还可以包括上述种类的存储器的组合。所述处理器802可以是中央处理器(central processing unit，CPU)。所述处理器802还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
所述存储器801用于存储程序，所述处理器802可以调用存储801中存储的程序，用于执行如下步骤：
显示无人机的目标拍摄区域对应的飞行航线；
获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像；
根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云；
在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
进一步地，所述处理器802显示无人机的目标拍摄区域对应的飞行航线之前，还用于：
显示二维地图；
根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域；
生成与所述目标拍摄区域对应的所述飞行航线。
进一步地，所述处理器802根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域时，具体用于：
获取用户在所述二维地图上的点选操作；
根据所述点选操作确定至少三个边界点；
根据所述至少三个边界点，确定所述目标拍摄区域，所述目标拍摄区域是由所述至少三个边界点两两连接组成的。
进一步地，所述处理器802生成与所述目标拍摄区域对应的所述飞行航线时，具体用于：
获取用户输入的拍摄控制信息，所述拍摄控制信息包括相对高度、任务高度、重叠率、主航线角度和边距中的一个或多个；
根据所述拍摄控制信息，生成与所述目标拍摄区域对应的所述飞行航线；
其中，所述相对高度为所述无人机的起飞平面与所述目标拍摄区域所在平面的距离，所述任务高度为所述飞行航线所在平面与所述目标拍摄区域所在平面的距离，所述重叠率的起算平面为所述目标拍摄区域所在平面，所述重叠率包括航向重叠率和旁向重叠率，所述航向重叠率为所述主航线对应的图像重叠率，所述旁向重叠率为相邻主航线对应的图像重叠率，所述主航线的角度为所述主航线与参考方向的夹角，所述边距为所述飞行航线的起始点或结束点相对于所述目标拍摄区域的边界的距离。
进一步地，所述飞行航线所在的平面是根据所述相对高度和所述任务高度确定得到的，所述飞行航线中相邻主航线之间的距离是根据所述旁向重叠率确定得到的。
进一步地，飞行航线的数量为多个，所述处理器802还用于：
显示航线切换图标；
根据用户对所述航线切换图标的操作，切换显示所述不同的飞行航线。
进一步地，所述飞行航线包括第一类飞行航线和第二类飞行航线，所述无人机在按照所述第一类航线飞行时，所述拍摄装置的姿态为俯视向下；所述无人机在按照所述第二类航线飞行时，所述拍摄装置的姿态为朝向所述目标拍摄区域且具有一倾斜角度。
进一步地，所述第二类飞行航线与所述第一类飞行航线的相对位置是根据所述倾斜角度和任务高度确定得到的。
进一步地，所述处理器802还用于：
显示所述多个飞行航线对应的覆盖区域和包含所述覆盖区域的卫星地图，所述覆盖区域大于所述目标拍摄区域。
进一步地，所述处理器802根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云时，具体用于：
根据所述图像，确定至少部分的所述目标拍摄区域对应的初始三维点云；
对所述初始三维点云进行采样，以获得具有不同层级的更新后的三维点云，所述更新后的三维点云中不同层级的三维点云满足不同的采样间隔要求；
将所述更新后的三维点云存储在树形结构的节点中。
进一步地，所述处理器802对所述飞行航线、所述无人机的位置和所述三维点云进行同步显示时，具体用于：
对所述飞行航线、所述无人机的位置和所述树形结构中至少一个节点的三维点云进行同步显示。
进一步地，所述三维点云为转换到世界坐标系下的三维点云，所述世界坐标系包括地心地固坐标系。
本发明实施例中，通过显示无人机的目标拍摄区域对应的飞行航线，获取无人机的当前位置及无人机的拍摄装置所拍摄的图像，并根据图像确定至少部分的目标拍摄区域对应的三维点云，从而在无人机按照飞行航线移动的过程中，对无人机的当前位置和三维点云进行同步显示，从而实现对三维点云的实时显示，使用户能够实时查看三维点云，提高作业效率。
本发明实施例还提供了一种三维点云的实时显示系统，包括：无人机，所述无人机安装有拍摄装置，用于对环境进行拍摄得到图像；以及上述三维点云的实时显示设备。本发明实施例中，无人机通过显示无人机的目标拍摄区域对应的飞行航线，获取无人机的当前位置及无人机的拍摄装置所拍摄的图像，并根据图像确定至少部分的目标拍摄区域对应的三维点云，从而在无人机按照飞行航线移动的过程中，对无人机的当前位置和三维点云进行同步显示，从而实现对三维点云的实时显示，使用户能够实时查看三维点云，提高作业效率。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明图2所对应实施例中描述的方法，也可实现图8所述本发明所对应实施例的设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
