三维全景可视化显示的车辆、方法、装置及存储介质
技术领域
本发明涉及全景行车领域，尤其涉及一种三维全景可视化显示的车辆、方法、装置及存储介质。
背景技术
全景行车辅助系统是通过安装在车身前后左右的4个广角摄像头同时采集车辆四周的影像，经过图像处理单元矫正和拼接后，形成一幅车辆四周的360度全景俯视图，实时传送到中控台的显示设备上。通过全景行车辅助系统，驾驶员坐在车中即可直观地看到车辆所处的位置以及车辆周围的障碍物，从容操控车辆泊车入位或通过复杂路面，有效减少刮蹭、碰撞、陷落等事故的发生。
在现有技术中，全景行车辅助系统的广角摄像头一般是固定不动的，这造成全景图像的显示范围固定不定，有时无法满足一些特定的要求。例如，用户想要看到上方，下方、斜方向或者更远方向的区域的图像时，有时可能难以做到。
目前也有一些全景行车辅助系统的广角摄像头摄像为可以转动或者可旋转的，但这些广角摄像头的移动或者旋转需用用户通过特定的机械装置进行手动调节。然而手动调节机械装置较为繁琐，操作不便，给用户的行车过程带来危险。
发明内容
有鉴于此，本发明的目的在于提供一种三维全景可视化显示的车辆、方法、装置及存储介质，能方便用户在行车过程中调整全景行车辅助系统的广角摄像头。
本发明实施例提供了一种三维全景可视化显示的车辆，包括具有触敏显示表面的车载终端、全景行车辅助系统，所述全景行车辅助系统包括可移动旋转配置于车身前后左右的四个广角摄像头以及与四个广角摄像头连接图像处理单元，所述图像处理单元与所述车载终端连接；所述图像处理单元通过获取四个广角摄像头采集的图像进行拼接得到全景图像，并将所述全景图像发送至车载终端；所述车载终端通过触敏显示表面显示所述全景图像，所述车载终端配置有处理器，所述处理器被配置为通过执行存储的计算机程序以实现如下步骤：
检测用户于所述触敏显示表面对所述全景图像的触控操作；
获取与所述触控操作对应的摄像头调节指令；
将所述摄像头调节指令发送给所述图像处理单元，以使得所述图像处理单元控制至少一个广角摄像头的移动或者旋转。
优选地，所述全景图像包括与各个广角摄像头对应的图像区域，则获取与所述触控操作对应的摄像头调节指令，具体为：
获取所述触控操作所在的区域，并根据所述区域获取对应的广角摄像头的标识；
获取所述触控操作对应的操作类型以及操作数值；其中，所述操作类型包括向指定方向旋转广角摄像头、向前伸出广角摄像头以及向后回缩广角摄像头；
根据所述广角摄像头的标识、所述操作类型以及操作数值生成摄像头调节指令。
优选地，所述全景图像还包括至少一个复合区域，所述复合区域对应于多个广角摄像头；当所述复合区域被触发时，获取与对应的多个广角摄像头的标识。
优选地，获取所述触控操作对应的操作类型以及操作数值具体包括：
当所述触控操作为在触敏显示表面向左或者向右旋转时，判断所述触控操作对应的操作类型为向左或者向右旋转广角摄像头，所述操作数值根据旋转的幅度生成；
当所述触控操作为在触敏显示表面向前或者向后滑动时，判断所述触控操作对应的操作类型为向前伸出广角摄像头或者向后回缩广角摄像头，所述操作数值根据滑动的幅度生成。
优选地，当所述触控操作为在触敏显示表面选定指定目标时，根据与所述指定目标的角度获取旋转方向以及旋转角度，从而获取所述触控操作对应的操作类型以及操作数值。
优选地，还包括：
当在所述全景图中查找不到所述指定目标时，根据所述指定目标在多帧历史全景图上的位置变化预测所述指定目标在当前时刻相对本车辆的位置；
根据预估的位置自动调节与该指定目标相对的广角摄像头的移动或者旋转，以使得所述广角摄像头保持对所述指定目标的跟踪。
优选地，在根据预估的位置自动调节与该指定目标相对的广角摄像头的移动或者旋转的同时，还根据预测的所述指定目标在当前时刻相对本车辆的位置提示行驶方向。
本发明实施例还提供了一种三维全景可视化显示的方法，包括：
检测用户于车载对应的触敏显示表面对全景图像的触控操作；
获取与所述触控操作的摄像头调节指令；
将所述摄像头调节指令发送给全景行车辅助系统的图像处理单元，以使得所述图像处理单元控制至少一个广角摄像头的移动或者旋转。
本发明实施例还提供了一种三维全景可视化显示的装置，包括：
检测单元，用于检测用户于车载终端的触敏显示表面对全景图像的触控操作；
指令获取单元，用于获取与所述触控操作对应的摄像头调节指令；
指令发送单元，用于将所述摄像头调节指令发送给全景行车辅助系统的图像处理单元，以使得所述图像处理单元控制至少一个广角摄像头的移动或者旋转。
本发明实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上述的三维全景可视化显示的方法。
上述一个实施例中，用户仅需要在车载终端显示的全景图上执行触控操作就可以控制各个广角摄像头的移动或者旋转，使得用户可以在行车过程中非常方便的控制各个广角摄像头的探测区域和探测方向，从而获取所需的车辆周围环境的全景图，满足行车、停车或者倒车过程中的各种需要，提高了用户的使用体验。
附图说明
图1是本发明第一实施例提供的三维全景可视化显示的车辆的结构示意图。
图2是在车载终端显示全景图像的一种示意图。
图3是本发明第二实施例提供的三维全景可视化显示的方法的流程示意图。
图4是本发明第三实施例提供的三维全景可视化显示的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
实施例中提及的“第一第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
请参阅图1及图2，本发明第一实施例提供了一种三维全景可视化显示的车辆100，包括具有触敏显示表面的车载终端10、全景行车辅助系统，所述全景行车辅助系统包括可移动旋转配置于车身前后左右的四个广角摄像头(如图1中的第一广角摄像头21、第二广角摄像头22、第三广角摄像头23以及第四广角摄像头24)以及与四个广角摄像头连接图像处理单元25，所述图像处理单元25与所述车载终端10连接；所述图像处理单元25通过获取四个广角摄像头采集的图像进行拼接得到全景图像，并将所述全景图像发送至车载终端10；所述车载终端10通过触敏显示表面显示所述全景图像，所述车载终端10配置有处理器，所述处理器被配置为通过执行存储的计算机程序以实现如下步骤：
检测用户于所述触敏显示表面对所述全景图像的触控操作。
获取与所述触控操作对应的摄像头调节指令。
将所述摄像头调节指令发送给所述图像处理单元25，以使得所述图像处理单元25控制至少一个广角摄像头的移动或者旋转。
在本实施例中，如图2所示，所述车载终端100的触敏显示表面可显示有一全景图像，一般的，所述全景图像的中间部分为车辆100本身，所述全景图像的其他部分为车辆100四周的环境。
在本实施例中，可预先设置好全景图像的各个区域与广角摄像头的对应关系，如可设置第一区域41对应于第一广角摄像头21，第二区域42对应于第一广角摄像头22，第三区域43对应于第三广角摄像头23，第四区域44对应于第一广角摄像头24。当用户在其中一个区域执行触控操作时，则表示用户对与该区域对应的广角摄像头执行调节操作。
例如，假设第一广角摄像头21为位于车辆100前端的广角摄像头，用户在第一区域41执行一向前/后滑动的操作时，则车载终端10将生成一向前/后移动第一广角摄像头21的指令给所述图像处理单元25，所述图像处理单元25控制第一广角摄像头21向前/后移动一段距离(移动的距离可以是预先设置好的距离，也可以是根据滑动的幅度确定)。
再例如，假设第一广角摄像头21为位于车辆前端的广角摄像头，当用户在第一区域41执行一向左/右滑动的操作时，则车载终端10将生成一向左/右旋转第一广角摄像头21的指令给所述图像处理单元25，所述图像处理单元25控制第一广角摄像头21向左/右旋转一定角度(旋转的角度可以是预先设置好的角度，也可以是根据滑动的幅度确定)。
应当理解的是，在本发明的其他实施例中，可以设置更多的触控方式，如设置向上旋转或者向下旋转的触控方式，使得用户可以看到地面或者更高的地方的环境，这些方案均在本发明的保护范围之内，在此不做赘述。
如上可以看出，本实施例中，用户仅需要在车载终端10显示的全景图像上执行触控操作就可以控制各个广角摄像头的移动或者旋转，使得用户可以在行车过程中非常便捷快速以及准确的控制各个广角摄像头的探测区域和探测方向从而根据实际需要获取车辆周围环境的全景图，满足行车、停车或者倒车过程中的各种需要，提高了用户的使用体验。
为便于对本发明的理解，下面对本发明的一些优选实施例做更进一步的描述。
在上述实施例中，一个广角摄像头对应全景图上的一个区域，然而在一些情况下，用户可能需要同时调整多个广角摄像头，例如，同时让四个广角摄像头伸出或者同时回缩，此种情况下，则根据上述的实施例需要进行对应多次的调整，操作较为麻烦。
为此，在本发明的一个优选实施例中，所述全景图像还包括至少一个复合区域，所述复合区域对应于多个广角摄像头。
当用户在复合区域中执行触控操作时，则所述车载终端10同时获取对应的多个广角摄像头的标识，所述图像处理单元25同时控制这多个广角摄像头进行移动或者旋转。
例如，如图2所示，复合区域25同时对应于四个广角摄像头，则当用户在所述复合区域25内执行触控操作时，四个广角摄像头会同步进行移动或者旋转。
本实施例通过设置复合区域，可以使得用户一次同步控制多个广角摄像头，方便了用户的操作和使用体验，降低了对行车控制的影响，保证了行车安全。
在一些情况下，用户可能需要跟踪一些指定目标，如图2所示，用户可能需要跟踪前方的目标车辆200以与该目标车辆200保持一定的距离同时行进，但由于车辆的行驶速度或者角度(如变向或者变道)可能会发生变化，因此需要调整广角摄像头的角度或者向外延伸的幅度来保证在全景视野内始终有所述目标车辆200的存在且相对保持在视野的中心。
为此，在本实施例中，用户可以直接在所述全景图上选定指定目标(如长按或者连续点击指定目标进行选定)，此时，所述车载终端10对用户选定的区域进行识别获取目标车辆200的特征，再判断实际空间中与该特征对应的目标车辆200，并获取所述目标车辆200相对本车辆100的位置和角度。然后，所述车载终端10在根据位置和角度自动调节对应的广角摄像头的移动或者旋转，使得其相对的更朝向所述目标车辆200，从而保证对目标车辆200具有更好的视野。
在本实施例中，当在所述全景图像中查找不到所述目标车辆200时，所述车载终端10还可以根据所述目标车辆200在多帧历史全景图像上的位置变化预测所述目标车辆200在当前时刻相对本车辆的位置，并根据预估的位置自动调节与该指定目标相对的广角摄像头的移动或者旋转，以使得所述广角摄像头保持对所述指定目标的跟踪。
其中，所述车载终端10例如可以采用卡尔曼滤波方式预测所述目标车辆200的位置，也可以利用LSTM网络结构根据目标车辆200在历史时刻的位置来预测其位置，具体的预测算法本发明不做具体的限定。
此外，更进一步的，在根据预估的位置自动调节与该目标车辆200相对的广角摄像头的移动或者旋转的同时，还可以根据预测的所述目标车辆200在当前时刻相对本车辆的角度提示行驶方向。如此使得本车辆100可以更快的获取到目标车辆100的视野。
请参阅图3，本发明第二实施例还提供了一种三维全景可视化显示的方法，包括：
S201，检测用户于车载终端的触敏显示表面对全景图像的触控操作；
S202，获取与所述触控操作对应的摄像头调节指令；
S203，将所述摄像头调节指令发送给全景行车辅助系统的图像处理单元，以使得所述图像处理单元控制至少一个广角摄像头的移动或者旋转。
优选地，所述全景图像包括与各个广角摄像头对应的图像区域，则S201具体为：
获取所述触控操作所在的区域，并根据所述区域获取对应的广角摄像头的标识；
获取所述触控操作对应的操作类型以及操作数值；其中，所述操作类型包括向指定方向旋转广角摄像头、向前伸出广角摄像头以及向后回缩广角摄像头；
根据所述广角摄像头的标识、所述操作类型以及操作数值生成摄像头调节指令。
优选地，所述全景图像还包括至少一个复合区域，所述复合区域对应于多个广角摄像头；当所述复合区域被触发时，获取与对应的多个广角摄像头的标识。
优选地，获取所述触控操作对应的操作类型以及操作数值具体包括：
当所述触控操作为在触敏显示表面向左或者向右旋转时，判断所述触控操作对应的操作类型为向左或者向右旋转广角摄像头，所述操作数值根据旋转的幅度生成；
当所述触控操作为在触敏显示表面向前或者向后滑动时，判断所述触控操作对应的操作类型为向前伸出广角摄像头或者向后回缩广角摄像头，所述操作数值根据滑动的幅度生成。
优选地，当所述触控操作为在触敏显示表面选定指定目标时，根据与所述指定目标的角度获取旋转方向以及旋转角度，从而获取所述触控操作对应的操作类型以及操作数值。
优选地，还包括：
当在所述全景图中查找不到所述指定目标时，根据所述指定目标在多帧历史全景图上的位置变化预测所述指定目标在当前时刻相对本车辆的角度；
根据预估的角度自动调节与该指定目标相对的广角摄像头的移动或者旋转，以使得所述广角摄像头保持对所述指定目标的跟踪。
优选地，在根据预估的角度自动调节与该指定目标相对的广角摄像头的移动或者旋转的同时，还根据预测的所述指定目标在当前时刻相对本车辆的角度提示行驶方向。
请参阅图4，本发明第三实施例还提供了一种三维全景可视化显示的装置，包括：
检测单元310，用于检测用户于车载终端的触敏显示表面对全景图像的触控操作；
指令获取单元320，用于获取与所述触控操作对应的摄像头调节指令；
指令发送单元330，用于将所述摄像头调节指令发送给全景行车辅助系统的图像处理单元，以使得所述图像处理单元控制至少一个广角摄像头的移动或者旋转。
优选地，所述全景图像包括与各个广角摄像头对应的图像区域，则检测单元310具体包括：
区域获取模块，用于获取所述触控操作所在的区域，并根据所述区域获取对应的广角摄像头的标识；
操作获取模块，用于获取所述触控操作对应的操作类型以及操作数值；其中，所述操作类型包括向指定方向旋转广角摄像头、向前伸出广角摄像头以及向后回缩广角摄像头；
调节指令模块，用于根据所述广角摄像头的标识、所述操作类型以及操作数值生成摄像头调节指令。
优选地，所述全景图像还包括至少一个复合区域，所述复合区域对应于多个广角摄像头；当所述复合区域被触发时，获取与对应的多个广角摄像头的标识。
优选地，操作获取模块具体用于：
当所述触控操作为在触敏显示表面向左或者向右旋转时，判断所述触控操作对应的操作类型为向左或者向右旋转广角摄像头，所述操作数值根据旋转的幅度生成；
当所述触控操作为在触敏显示表面向前或者向后滑动时，判断所述触控操作对应的操作类型为向前伸出广角摄像头或者向后回缩广角摄像头，所述操作数值根据滑动的幅度生成。
优选地，当所述触控操作为在触敏显示表面选定指定目标时，根据与所述指定目标的角度获取旋转方向以及旋转角度，从而获取所述触控操作对应的操作类型以及操作数值。
优选地，还包括：
预测单元，用于当在所述全景图中查找不到所述指定目标时，根据所述指定目标在多帧历史全景图上的位置变化预测所述指定目标在当前时刻相对本车辆的角度；
自动调节单元，用于根据预估的角度自动调节与该指定目标相对的广角摄像头的移动或者旋转，以使得所述广角摄像头保持对所述指定目标的跟踪。
优选地，在根据预估的角度自动调节与该指定目标相对的广角摄像头的移动或者旋转的同时，还根据预测的所述指定目标在当前时刻相对本车辆的角度提示行驶方向。
本发明第四实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上述的三维全景可视化显示的方法。
示例性的，上述实施例中所述的计算机程序可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在车载终端中的执行过程。
所述车载终端可包括但不仅限于处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是车载终端的示例，并不构成对车载终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车载终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述车载终端的控制中心，利用各种接口和线路连接整个车载终端的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述车载终端的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述车载终端集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
