自主驾驶交通工具中的具有人工智能处理器的黑匣子数据记录仪
相关申请案
本申请案主张在2018年3月28日申请且标题为“自主驾驶交通工具中的具有人工智能处理器的黑匣子数据记录仪(Black Box Data Recorder with ArtificialIntelligence Processor in Autonomous Driving Vehicle)”的序列号为15/938,504号美国专利申请案的申请日期的权益，所述申请案的全部揭示内容特此以引用方式并入本文中。
技术领域
本文中揭示的至少一些实施例涉及自主交通工具技术，且更特定来说(且不限于)，涉及自主交通工具中的黑匣子数据记录仪。
背景技术
自主驾驶交通工具(ADV)通常包含用于执行自主/无人驾驶操作的许多传感器。在涉及此交通工具的事故、碰撞或近似碰撞的情况中，审查刚好在事故之前及/或期间记录的传感器数据可帮助确定事故的原因及/或是否可能存在交通工具故障。
用于记录此类数据的黑匣子中使用的存储装置可能具有有限的持续时间。因此，记录可以低分辨率在有限的记录时间、有限的帧数目下完成，且数据可被压缩。
典型的存储装置不含有用于验证存储于存储装置中的数据的真实性的安全机制。因此，存储在黑匣子存储装置上的数据可能容易回火(tempering)。
附图说明
实施例通过实例来说明且不限于附图的图，其中相似的参考数字指示类似元件。
图1说明自主驾驶交通工具(AVD)中的经改进黑匣子数据记录仪的实施例。
图2说明自主驾驶交通工具(AVD)中的经改进黑匣子数据记录仪的另一实施例。
图3说明自主驾驶交通工具(AVD)中的经改进黑匣子数据记录仪的流程图。
具体实施方式
本文中揭示的至少一些实施例提供自主驾驶交通工具(AVD)中的经改进黑匣子数据记录仪。汽车制造商可能想记录自主交通工具的交通工具传感器数据。然而，非易失性存储装置中的经扩展数据记录可能是昂贵的；且许多非易失性存储技术具有有限的持续时间。本文中描述的实施例提供用于记录就在所关注事件(例如涉及相应交通工具或附近交通工具的碰撞或近似碰撞)之前及可能在所述所关注事件期间产生的交通工具传感器数据的经改进解决方案。
在一个实施例中，在交通工具内提供易失性存储器以暂时保持交通工具传感器数据。黑匣子控制器确定何时将易失性存储器中的交通工具传感器数据记录在非易失性存储装置中。在一个实施例中，人工智能(AI)处理器分析存储于存储器中的传感器数据以检测将发生及/或已经发生的所关注事件(例如，涉及相应交通工具或其它交通工具的即将发生的碰撞或近似碰撞)。响应于AI处理器检测到所关注事件，AI处理器指示黑匣子控制器将传感器数据从易失性存储器存储到非易失性存储装置。因此，存在对可能具有相对有限持续时间的所述非易失性存储装置的较少写入操作。
本文中描述的技术还可用于超出AVD的领域中，包含使用驾驶员辅助技术、视频监控及恶劣环境的监测的交通工具。
图1说明自主驾驶交通工具(AVD)中的经改进黑匣子数据记录仪的实施例。在图1中，黑匣子控制器102从多个交通工具传感器104(例如，周围相机及其它传感器)接收传感器数据的数据流。交通工具传感器数据可进一步包含(但不限于)相机数据、雷达数据、激光雷达数据、声呐数据、激光测量、轮胎压力监测及交通工具操作系统数据。本文中所引用的传感器数据还可包含交通工具操作数据，例如GPS数据、惯性传感器数据、自主交通工具计算机信号及健康状态等。
接收到的传感器数据的数据流最初保持在存储器106中。在一个实施例中，存储器106是易失性的，例如动态随机存取存储器(DRAM)，其需要持续不断的电力以便刷新或维持存储器中的数据。
替代地或组合地，传感器数据可被保持在以易失性存储器实施的循环缓冲器中。存储于易失性缓冲器中的交通工具传感器数据不会被压缩，或在替代实施例中，其可使用无损压缩或损失较少压缩进行压缩-以保持数据质量。
当使用非易失性循环缓冲器时，缓冲器可具有相对较小容量(因为其每存储器单元成本较高)，且可用于缓冲传感器数据的较小、质量较低版本(有损压缩或损失较多压缩)来减小数据的大小。
本文中所引用的循环缓冲器还可为包含使用单个固定大小的缓冲器的数据结构的环形缓冲器、环形队列或环缓冲器，就像是端到端连接一样。缓冲器结构容易地缓冲数据流。对本文中所使用的循环缓冲器的参考引用了如何使用缓冲器。举例来说，循环缓冲器经设计以在新数据以循环方式重写旧数据时为满，从而确保缓冲器保持最新的数据集。第一及/或第二循环缓冲器的实际大小在本发明的范围内可改变。提供于黑匣子记录仪内的循环缓冲器的实际数目也可在本发明的范围内改变。
ADV的移动/状态传感器108在移动/状态传感器108检测到变化或被触发或激活时发送信号到黑匣子控制器。移动/状态传感器108可包含惯性传感器、加速度传感器、制动系统突然激活、ADV内的引擎或其它组件故障、来自高级驾驶员辅助系统(ADAS)的信号或指示事故/碰撞或近似碰撞的自主计算机中的一或多者。响应于来自传感器(104)及/或移动/状态传感器108的数据，人工智能(AI)处理器110分析存储于存储器106中的传感器数据的数据流以确定所关注事件是否将发生及/或已经发生；且响应于基于AP处理器110的分析识别事件，黑匣子控制器102将传感器数据传送到非易失性存储装置112以进行存储。举例来说，AI处理器110分析存储于存储器106中的传感器数据以确定传感器数据是否指示及/或预测涉及相应交通工具或附近交通工具的碰撞或近距离碰撞即将发生或将要发生。
响应于AI处理器110确定传感器数据的数据流指示此事件将发生及/或已经发生，AI处理器110发信号通知黑匣子控制器102将就在事件之前及可能在事件期间产生/接收的传感器数据从系统存储器106复制到非易失性存储装置112。在与事件相关的传感器数据的数据流存储于非易失性存储装置112中的情况下，可稍后在分析事件的可能原因时检索传感器数据。
通过使用AI处理器110来分析传感器数据且因此选择性地确定何时应将传感器数据存储于非易失性存储装置112中，通过导致对非易失性存储装置112进行较少写入操作来至少部分解决与非易失性存储装置相关的持续时间问题。在较少写入操作情况下，较高质量的传感器数据(例如，增加分辨率、帧速率)可被存储于存储装置112中。
在一个实施例中，AI处理器110包含经训练以理解及/或确定传感器数据是否指示即将发生或即将发生的所关注事件(例如涉及交通工具或附近交通工具的碰撞、近似碰撞或撞击)及事件是否需要将存储器数据写入于非易失性存储装置112中的神经网络。举例来说，使用机器学习技术及/或图案辨识技术，AI模型可(例如)根据训练实例建立，且由AI处理器110使用以执行一些任务，例如做出是否将传感器数据记录于存储装置112中的决策。
在一些实施例中，AI处理器110在其做出是否将传感器数据保存于存储装置112中的决策时利用AI模型(例如，人工神经网络)。AI模型可基于针对现有传感器数据的已知决策创建。举例来说，传感器数据可用作训练具有参数(例如，人工神经网络中的神经元的权重、网络的连接性、神经元的响应函数)的AI模型的输入；且所述参数在训练期间经调整使得使用传感器数据做出的决策/预测能最佳匹配已知记录决策。AI模型及参数作为整体可用于AI处理器110中以基于实时传感器数据做出记录决策(或所关注事件的预测)。
举例来说，用作训练AI模型的输入的传感器数据可为来自过去的公路旅行的经记录数据；且已知决策可在识别所关注事件及/或记录导致所关注事件的数据的决策时从经记录数据的人类审查员获得。举例来说，可向人类操作者回放经记录的相机及传感器数据，其指示人类操作者何时想存储传感器数据。举例来说，当汽车正在测试模式中运行时，安全驾驶员可产生实时输入来指示何时进行记录(例如，当安全驾驶员看到要记录的所关注事件时)。也可使用导致事故的过去记录(例如，在实际事故之前看到的传感器数据)。
在一些例子中，AI处理器可基于一组规则实时地做出决策。举例来说，AI处理器110可辨识对象，且作为响应使用预定规则来做出记录决策，其中规则指定对象与交通工具之中的哪些空间及运动关系应触发将传感器数据记录于存储装置112中(及何时不应将传感器数据从存储器106保存到存储装置112)。
图2说明自主驾驶交通工具(AVD)中的经改进黑匣子数据记录仪的另一实施例，其中AI处理器110经集成于非易失性存储装置112内，从而在经改进黑匣子数据记录仪内提供子系统。
在一些实施方案中，图1或图2的存储装置112可不仅记录传感器数据，而且创建可用于验证存储于存储装置112中的传感器数据的真实性的真实性验证数据。举例来说，私密密钥可用于对经存储传感器数据的散列进行签名以产生签名。为了验证存储装置112中的传感器数据是否已被更改，可将私密密钥应用于存储于存储装置112中的当前数据的散列以产生当前签名以用于与在记录传感器数据时创建的签名进行比较。如果签名彼此不一致，那么经记录传感器数据已被更改。
一般来说，对称加密方法或非对称加密方法可用于验证存储于存储装置112中的传感器数据的真实性。
对称方法在创建签名时且在验证签名期间使用同一私密密钥。私密密钥可在工厂环境中在经授权方当中共享及/或通过结合新鲜机制及消息认证码(MAC)算法使用存储装置112的物理不可克隆功能(PUF)自产生。为了验证签名，经授权方一起使用相同MAC算法与私密密钥。
非对称方法使用存储装置112的一对公开密钥及私有密钥，所述密钥对可结合用以产生签名的新鲜机制及数字签名算法使用存储装置112的物理不可克隆功能(PUF)产生。数字签名算法的实例包含数字标准签名(DSS)或其变体中的一者，如国家标准与技术研究院(NIST)标准(例如，联邦信息处理标准(FIPS)186-4)中所定义的椭圆曲线数字签名算法(ECDSA)。存储装置112使用私密密钥创建关于存储于存储装置112中的数据集的数字签名；且数字签名的真实性可使用公开密钥来验证。
用于新鲜机制中的指示符的实例包含每当产生签名输出时都增加的单调计数器的结果、时间戳记、随机数等。
使用PUF产生唯一密钥的技术的另外细节及实例可发现于在2017年12月22日申请且标题为“使用消息认证码的物理不可克隆功能(Physical Unclonable Function usingMessage Authentication Code)”的序列号为15/853,498的美国专利申请案中，所述申请案的揭示内容特此以引用方式并入本文中。
图3说明自主驾驶交通工具(AVD)中的经改进黑匣子数据记录仪的流程图。如上文描述，最初，接收302传感器数据的数据流。交通工具传感器数据可包含(但不限于)相机数据、雷达数据、激光雷达数据、声呐数据、激光测量、轮胎压力监测及交通工具操作系统数据。本文中所引用的交通工具传感器数据还可包含交通工具操作数据，例如GPS数据、惯性传感器数据、自主交通工具计算机信号及健康状态等。
传感器数据的数据流由AI处理器(如经由神经网络训练)分析以确定相关事件是否即将发生304。举例来说，AI处理器110分析存储于存储器106中的传感器数据以确定传感器数据是否指示碰撞或近似碰撞即将发生。被分析的传感器数据可包含来自移动/状态传感器108的数据，例如惯性传感器、加速度传感器、制动系统突然激活、ADV内的引擎或其它组件故障、来自高级驾驶员辅助系统(ADAS)的信号或指示事故/碰撞或近似碰撞的自主计算机中的一或多者。在替代实施例中，AI处理器可在无来自移动/状态传感器108的数据的情况下分析来自传感器104的数据。
如果AI处理器确定无相关事件即将发生或将要发生，那么不将信号发送到用于记录来自传感器104及/或108的最近传感器数据的黑匣子控制器306及/或存储装置112。如果AI处理器确定相关事件即将发生(例如，很可能是碰撞或近似碰撞)，那么黑匣子控制器102及/或存储装置112接收将传感器数据的数据流存储于非易失性存储装置112中的通知，且到非易失性存储装置的写入操作开始308。
在一个实施例中，易失性存储器106可经实施为安装于交通工具中、包含存储装置112的黑匣子记录仪外的机载计算机系统的存储器。黑匣子记录仪可经配置具有连接到机载计算机的端口。黑匣子控制器102可在记录仪中或可不在记录仪中。在一个实施例中，机载计算机的CPU或处理器可用作黑匣子控制器，及/或AI处理器110可以硬件加速(例如，使用图形处理单元(GPU)或其它AI特定硬件)经由软件实施在CPU上。在一些实施方案中，用于智能记录功能的黑匣子记录仪及用于自主驾驶功能的机载计算机可在处理传感器数据(例如来自传感器104的相机及/或视频数据)时共享软件及/或硬件。
非易失性存储装置112可经由各种技术实施，例如集成电路中的存储器单元。存储装置112的存储媒体因为不需要电力来维持存储于非易失性存储媒体中的数据/信息而是非易失性的，可在非易失性存储媒体断电且接着再次通电之后检索所述数据/信息。存储器单元可使用各种存储器/存储技术实施，例如基于NAND门的快闪存储器、相变存储器(PCM)、磁性存储器(MRAM)、电阻随机存取存储器及3D XPointTM，使得存储装置112是非易失性的且可在几天、几个月及/或几年内在无电力的情况下保持存储于其中的数据。
在一个实施例中，存储装置102可包含交叉点存储装置(例如，3D XPointTM存储器)。交叉点存储器装置使用无晶体管的存储器元件，所述存储器元件中的每一者具有在一起堆叠为一列的存储器单元及选择器。存储器元件列经由两层垂直电线连接，其中一个层在存储器元件列上方且另一层在存储器元件列下方。可在两个层中的每一者上的一条电线的交叉点处个别地选择每一存储器元件。交叉点存储器装置是快速的且非易失性的，且可用作用于处理及存储的统一存储器集区。
存储装置112与黑匣子控制器102的通信可使用通信通道发生，所述通信通道可使用PCIe协议、NVMe协议或其它通信协议。黑匣子控制器102及存储装置112可经配置以使用数据存储管理及使用命令彼此通信。
存储装置112的黑匣子控制器102及/或单独控制器可运行固件以响应于通信而执行操作。固件一般为提供对工程计算装置的控制、监测及数据操纵的一种类型的计算机程序。存储装置或黑匣子控制器的固件可控制操作存储装置的操作，例如存储及存取数据、执行电力管理任务等。
存储器106可使用易失性动态随机存取存储器(DRAM)来保持数据流传感器数据且可能地保持由控制器102使用的指令以改进控制器102的计算性能。DRAM因为其需要电力来维持存储于其中的数据/信息而是易失性的，当电力中断时，所述数据/信息立即或快速丢失。
易失性DRAM通常具有比非易失性存储媒体少的延时，但当电力被移除时其很快就丢失其数据。因此，使用易失性DRAM来暂时存储控制器102在其当前计算任务中使用的指令及数据来改进性能是有利的。在一些例子中，易失性DRAM可用在一些应用中使用比DRAM更少的电力的易失性静态随机存取存储器(SRAM)来替换。
在此描述中，各种功能及操作可被描述为由计算机指令执行或引起以简化描述。然而，所属领域的技术人员将认识到，此类表述意味着功能因通过一或多个控制器或处理器(例如微处理器)执行计算机指令而产生。替代地，或组合地，功能及操作可在使用或不使用软件指令的情况下使用专用电路系统实施，例如使用专用集成电路(ASIC)或现场可编程门阵列(FPGA)。实施例可在不使用软件指令的情况下使用硬接线电路系统实施，或结合软件指令使用硬接线电路系统实施。因此，本发明既不限于硬件电路系统与软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定来源。
虽然一个实施例可经实施于功能齐全的计算机及计算机系统中，但各种实施例能够经分布作为呈各种形式的计算产品且能够被应用，而与用于实际上实行分布的特定类型的机器或计算机可读媒体无关。
揭示的至少一些方面可至少部分体现于软件中。也就是说，技术可响应于执行存储器(例如ROM、易失性RAM、非易失性存储器、本文中所描述的其它媒体)中所含的指令序列的其处理器(例如微处理器或微控制器)经实施于计算机系统或其它数据处理系统中。
有形非暂时性计算机存储媒体可用于存储软件及数据，其在由数据处理系统执行时致使系统执行各种方法。可执行软件及数据可经存储于各个地方，包含例如易失性RAM、非易失性存储器及/或本文中所描述的媒体。此软件及/或数据的部分可经存储于这些存储装置中的任一者中。此外，可从集中式服务器或对等网络获得数据及指令。可在不同时间且在不同通信会话中或在相同通信会话中从不同集中式服务器及/或对等网络获得数据及指令的不同部分。可在应用执行之前完全获得数据及指令。替代地，可仅在执行需要时及时动态地获得数据及指令的部分。因此，无需数据及指令在特定时刻完全在机器可读媒体上。
计算机可读存储媒体的实例尤其包含但不限于可记录及不可记录类型的媒体，例如易失性及非易失性存储器装置、只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器装置、软盘及其它可装卸磁盘、磁盘存储媒体及光盘存储媒体(例如，光盘只读存储器(CDROM)、数字多功能磁盘(DVD)等)。指令可体现于暂时性媒体中，例如电、光、声或其它形式的经传播信号，例如载波、红外信号、数字信号等。暂时性媒体通常用于传输指令，但不能视为能够存储指令。
尽管一些图以特定顺序说明数个操作，但可对不依赖于顺序的操作进行重新排序，且可组合或分解其它操作。虽然具体提到了一些重新排序或其它分组，但其它分组对于所属领域的一般技术人员来说将是显而易见的，且因此并未提供替代例的详尽列表。此外，应认识到，阶段可经实施于硬件、固件或其任何组合中。
上文描述及图式是说明性的且不应理解为具限制性。描述众多特定细节以提供详尽理解。然而，在特定例子中，未描述众所周知或常规的细节以便避免模糊描述。在本发明中对一个或一实施例的参考不一定是参考相同实施例；且此类参考表示至少一个。
在前述说明书中，已参考本发明的特定示范性实施例描述了本发明。将明显的是，在不背离所附权利要求书中所陈述的更宽精神及范围的情况下，可对其做出各种修改。说明书及图式应相应地以说明性意义而非限制性意义来看待。
