车辆与行人碰撞避免的方法和系统
技术领域
本发明涉及道路安全领域。更具体地说，本发明涉及一种在车辆与行人之间碰撞避免的方法和系统。
背景技术
基于位置的服务，例如紧急呼叫定位，推动了无线通信网络中定位技术的发展。启用全球导航卫星系统(GNSS)的终端能够在几米的精确度内确定户外位置，许多终端应用和服务利用了这种精确定位。
在电信领域，长期演进(LTE)是一种基于GSM演进(GSM/EDGE)和通用移动通信系统(UMTS)/高速分组访问(HSPA)技术的增强数据速率的移动设备和数据终端无线宽带通信标准。4G蜂窝网络的长期演进(LTE)定位支持是在2008年推出的。它使电信运营商能够检索用户的位置信息以进行基于位置的服务，并满足监管紧急呼叫的定位要求。
有几种不同的技术可用于确定具有LTE能力的用户设备(UE)的时空位置。最广泛使用的定位技术之一是基于已知位置的LTE服务基站阵列之间的相对定位。此外，全球定位系统(GPS)提供的位置信息精度可达5米，但显示出一些城市覆盖范围缺陷、秒级的测量延迟和高电池电量消耗，这些缺陷可能会限制GPS在精确车辆与行人碰撞避免方面的适用性。
在小区ID技术中，可以使用其服务小区坐标定位用户设备(UE)；坐标可以是基站(BS)坐标，也可以是基站(BS)在位置区号(LAC)内的一部分。这种方法的精度依赖于服务小区的半径，然而，在农村地区，服务小区的半径可达60公里会导致根据用户设备(UE)终端的位置提供不准确的结果。
几种基于LTE的技术可以用来确定支持LTE的用户设备(UE)的精确时空位置。在接收信号强度指示(RSSI)技术中，用户设备(UE)测量服务小区和邻近小区接收到的信号强度。这些信息可以用来计算用户设备(UE)和邻近已知位置的基站(BS)之间的距离。如果接收到来自至少三个基站(BS)的信号，可将三角测量应用于RSSI技术以确定用户设备(UE)的确切位置，因为基站(BS)的位置是已知的，且具有很高的精度。使用，“三角测量”这个词是为了引用一系列三角形的几何跟踪和测量，通过测量三角形基线每条边的相对长度和每个角的相对角度，以确定分布在一个地区组成阵列的基站(BS)的点的距离和相对位置。在到达时间差(TDOA)技术中，接收机可以估计接收到的每对信号之间的时差，并从两个双曲线的交点确定位置。通常，到达时间差(TDOA)测量是通过测量天线阵列中每个信号的接收相位差来实现的。如果接收到来自至少三个基站(BS)的信号，则可将三角测量应用于TDOA技术，以确定用户设备(UE)的确切位置。到达角度测距(AOA)方法包括使用例如天线发射模式测量来自基站(BS)或用户设备(UE)的信号的到达角。在到达角度测距(AOA)方法中，直接测量天线阵列中各部分的到达时间差，并将其转换为到达角测量。此外，该技术是一种确定发射天线阵列上的射频波传播方向的方法。如果接收到来自至少三个基站(BS)的信号，可将三角测量应用于到达角度测距(AOA)技术，以确定用户设备(UE)的确切位置。到达时间(TOA)技术利用光速、无线电波传播速度和信号到达时间来计算距离，以确定实际用户设备(UE)的位置。如果接收到来自至少三个基站(BS)的信号，可将三角测量应用于到达时间(TOA)技术，以确定用户设备(UE)的确切位置。
在目前部署的长期演进(LTE)网络中，用户设备(UE)的位置通常是基于来自用户设备(UE)的增强小区身份(E-CID)、观测到达时差(OTDOA)和辅助全球导航卫星系统(GNSS)(A-GNSS)信息的组合来确定的。定位精度的水平在几十米左右。
观测到达时差(OTDOA)是一种辅助用户设备(UE)的方法，其中用户设备(UE)测量由蜂窝基站(BS)传输的特定定位参考信号(PRS)的到达时间(TOA)，并向定位服务器报告估计的测量到达时间(TOA)。定位服务器基于至少三个基站接收到的定位参考信号(PRS)的使用到达时间(TOA)的测量值和这些基站的已知位置的多重组合来确定用户设备(UE)的位置。
观测到达时差(OTDOA)方法的定位精度取决于各种因素，如网络部署、信号传播条件、同步误差和定位参考信号(PRS)的特性。对于4G蜂窝(LTE)室内用户，定位精度可达50米左右。对于即将到来的5G系统，定位要求非常严格，针对室内和室外用户包括人、设备、机器、车辆等精度大约为1米。对于给定的部署和传播场景，通过适当地重新设计5G无线电接入技术的定位参考信号(称为新无线电(NR))，可以显著提高定位精度。
5G NR(新无线电)是3GPP为5G(第五代)移动网络开发的一种新的无线接入技术(RAT)。它将成为5G电信网络空中接口的全球标准。第三代合作伙伴计划(3GPP)是一个为移动电话开发协议的标准组织。3GPP规格中的系列38提供了NR(LTE以外的无线接入技术)的技术细节。
精确可靠的定位是自动和无人驾驶汽车(如自动驾驶汽车和无人机)高度关注的话题。实际上，汽车行业需要在厘米级别上精确定位，以实现基于自动驾驶和道路安全的车辆使用案例。目前用于这些关键应用的定位技术是基于用于绝对定位的全球导航卫星系统(GNSS)，以及用于相对定位的雷达、相机和惯性传感器的组合。尽管如此，这些机载传感器的高实施成本可能会阻止它们在某些应用中被采用。因此，车用无线通讯技术(V2X)中的无线网络也可以用于定位目的。这就是第五代(5G)蜂窝网络的实例，其颠覆性技术有望实现高精度定位。
车用无线通讯技术(V2X)将信息从车辆发送到任何可能影响到的车辆实体，且这种发送是相互的。它是一种车辆通信系统，包含其他更具体的通信类型，如V2I(车辆到基础设施)、V2N(车辆到网络)、V2V(车辆到车辆)、V2P(车辆到行人)、V2D(车辆到设备)和V2G(车辆到电网)。V2X的主要动机是道路安全、交通效率和节能。根据所使用的底层技术，有两种类型的V2X通信技术：基于局域网的和基于蜂窝网络的。基于无线局域网的车用无线通讯(V2X)系统的标准化取代了基于蜂窝网络的车用无线通讯(V2X)系统。IEEE在2012年首次发布了基于无线局域网的V2X(IEEE 802.1 1p)规范。它支持车辆到车辆(V2V)以及车辆到基础设施(V2I)的直接通信。2016年，3GPP发布了基于长期演进(LTE)底层技术的]车用无线通讯技术(V2X)规范。它通常被称为“蜂窝V2X”(C-V2X)，以区别于基于802.1 1p的V2X技术。除了直接通信(V2V，V2I)，C-V2X还支持蜂窝网络上的广域通信(V2N)。这种额外的通信模式和本地迁移到5G的路径是相对于基于802.11p的V2X系统的两个主要优势。
在不同的网络世代中，全球导航卫星系统(GNSS)和蜂窝网络的结合引起了特别关注。蜂窝系统通常被认为是对城市环境中缺乏全球导航卫星系统(GNSS)可见性的补充。为过滤随着时间推移的GNSS或LTE蜂窝位置测量的噪声，大多数这些混合的GNSS/LTE导航解决方案是必要的。此外，蜂窝传播通道受制于非视距(NLoS)条件和密集多径。从现场测量得到的20MHz长期演进(LTE)信号的位置误差在50米以上。因此，5G新无线电(NR)的特性，如宽带信号、大量天线阵列、毫米波传输、超密集网络和设备到设备(D2D)通信，有望显著提高全球导航卫星系统(GNSS)的混合定位性能。这些NR特性引入了高精度的测距和高网络密度的角度测量，有望实现高精度定位。此外，具有扩展带宽的5G厘米波(cave)传输在宏单元部署中也很有意义。从这方面来说，3GPP标准刚刚批准了关于5G NR定位的新研究项目，但是，关于全球导航卫星系统(GNSS)与5G技术的融合研究文献数量有限。
长期演进(LTE)支持的定位方法依赖于如图1所示的高层网络架构。流程中涉及到三个主要元素：定位业务客户端(LCS)、LCS服务器(LS)和LCS目标。客户端，即请求服务，在大多数情况下可在LCS目标上安装或获得。客户端通过向服务器发送请求来获取位置信息。定位服务器是一个物理或逻辑实体，它从设备和基站收集测量和其他位置信息，并帮助设备测量和估计其位置。服务器主要处理来自客户机的请求，并向客户机提供请求的信息和可选的速度信息。设备(客户端)与定位服务器通信有两种不同的可能性。可以选择在用户平面(U平面)上使用标准数据连接或在控制平面(C平面)上执行此操作。在控制平面上，E-SMLC(演进服务移动定位中心)作为定位服务器，而在用户平面上，这个任务由SUPL位置平台处理。
与现有通信系统相比，5G通信网络有望在容量、连接设备数量、能源效率和延迟方面提供巨大的改进。这些特性将通过结合更高的带宽、先进的天线技术和灵活的无线电接入解决方案等来实现。特别是在城市环境中，5G网络也有望由密集分布的接入节点(AN)组成。因此，在这种密集的网络中，单个用户设备(UE)在同一时间可以覆盖到多个紧密分布的接入节点(AN)。这样的用户设备(UE)与接入节点(AN)之间的短距离为通信提供了明显的好处，例如，它有较低的传播损失和较短的传播时间，但有趣的是，它还可以实现高度精确的用户设备(UE)定位。总之，5G网络提供了许多获取和利用UE位置信息的机会。
5G网络的改进之一涉及到定位精度。5G将提供一米甚至更低的定位精度。这明显优于长期演进(LTE)系统中观测到达时差(OTDOA)技术提供的几十米的精度。5G网络所需的定位精度也将超过精度约为5m的商业全球导航卫星系统(GNSS)，而无线局域网(WLAN)指纹识别的精度为3-4m。5G网络可能带来的另一个改进是定位的能源效率。这源于一个常见的假设，即5G网络将利用AN中频繁传输的上行(UL)导频信号进行信道估计。这些信号也可用于以网络为中心的方式定位，其中，假设AN的位置已知，UE的位置估计或在AN独立进行或在一个集中的融合中心中进行，因此不需要在移动的UE中进行计算。需要注意的是，这与以设备为中心的定位有很大的不同，例如全球导航卫星系统(GNSS)，后者的移动UE承受着沉重的计算负担。因此，以网络为中心的定位技术提供了显著的能耗改进，并实现了普遍的可在后台持续运行的高精度定位。当位置信息要在网络端使用时，这种功能也减少了支出开销。但另一方面，由于定位不是在UE本身执行，因此需要额外注意隐私问题。基于5G定位的第三个改进，无论以网络还是以设备为中心，在网络覆盖区域内，包括也具有挑战性的室内环境下，位置信息都可以完全独立于UE卫星连接而获得。
定位信息是自动驾驶车辆、智能交通系统(ITS)、无人机以及其他种类的自动交通工具和机器人的核心要素。位置感知也可以被利用在UE以及第三方提供的非纯通信类型的服务。以交通和汽车为例，最新的位置信息和预测的UE轨迹可以在例如交通流、安全和能源效率方面提供显著的改善。当综合收集的汽车位置信息与ITS共享时，诸如交通监测和管控等功能可以得到增强。汽车本身也需要精确的位置信息，例如导航，特别是在考虑自动和自驾汽车时。为了避免碰撞，还需要位置感知。在通信范围内，汽车可以直接向其他汽车报告它们的位置，但当汽车之间的连接被阻断时，位置通知就会与ITS协同传输。自然，现有的通信系统和卫星定位无法随时随地满足自动驾驶汽车的需求和功能。因此，先进的通信能力和5G网络定位很可能在自动驾驶汽车系统的发展中发挥重要作用。
开发日常使用的移动应用程序的日益增长的趋势最终进入了汽车行业。通过提供有关周围车辆和基础设施的信息，并使汽车和驾驶员之间的交互变得更加简单，与移动应用程序的车辆连接具有提供更好和更安全驾驶体验的巨大潜力。应用程序可以显著提高驾驶安全，这一事实吸引了汽车用户的注意，并导致专门为汽车行业开发的新应用程序数量增加。这一趋势的影响如此之大，以至于现在制造商开始设计能够与手机互动的汽车。
车辆与行人的碰撞避免方法和系统需要精确的时空定位精度的量级小于等于1米，以便区分一个过马路的行人和一个在人行道上行走的行人，其中两者存在显著的V2P碰撞概率差异。目前部署的长期演进(LTE)网络的时空定位精度在数十米，它可能无法提供足够的定位区分，因此可能会限制目前部署长期演进(LTE)网络在准确避免车辆与行人的碰撞方面的适用性。目前部署全球定位系统(GPS)的时空定位精度是5米，但是显示出一些城市覆盖范围的不足，秒级的测量延迟，和高电池电力消耗，这可能无法提供足够的时空定位区分并因此限制GPS在准确避免车辆与行人的碰撞方面的适用性。因此，仍然需要一种车辆与行人碰撞避免的方法和系统，即将到来的5G-LTE通信网络和新的无线电(NR)技术可能提供精确的车辆与行人的碰撞避免。
目前仍需要一种避免车辆与行人碰撞的方法和系统。
发明内容
更具体地说，根据本发明，提供了一种用于车辆与行人碰撞避免的方法，包括将至少一辆车辆物理联接到至少一个具有长期演进(LTE)能力的用户设备(UE)终端；将至少一个行人物理联接到至少一个具有长期演进(LTE)能力的用户设备(UE)终端；和确定从由至少三个长期演进(LTE)蜂窝基站(BS)和至少一个定位业务客户端(LCS)服务器介导的长期演进(LTE)蜂窝无线电信号确定的每个终端的时空定位；其中所述至少一个定位业务客户端(LCS)服务器包括嵌入式人工智能算法，所述嵌入式人工智能算法算法包含递归神经网络(RNN)算法，以分析所述终端的所述时空定位，并确定所述至少一辆车辆和所述至少一个行人可能的未来轨迹，从而基于强化学习(RL)分析来最大化奖励度量；并且所述至少一个定位业务客户端(LCS)服务器向物理联接到所述至少一个行人的所述至少一个终端发送所述至少一辆车辆和所述至少一个行人的可能的未来轨迹；物理联接到所述至少一个行人的所述至少一个终端包括嵌入式人工智能算法，所述嵌入式人工智能算法包含条件随机场(CRF)算法，以确定所述至少一个行人的所述可能的未来轨迹是否低于车辆与行人接近阈值限制，并且如果达到所述接近阈值限制，则物理联接到所述至少一个行人的所述终端向满足所述接近阈值限制的所述至少一个行人和所述至少一辆车辆发送碰撞避免紧急信号。
本发明还提供了一种车辆与行人碰撞避免系统，其特征在于，包含了参与者，所述参与者由物理联接到至少一辆车辆和至少一个行人的一组至少两个具有长期演进(LTE)能力的用户设备(UE)终端组成；其中，所述终端的时空定位由至少三个长期演进(LTE)蜂窝基站(BS)和至少一个定位业务客户端(LCS)服务器介导的长期演进(LTE)蜂窝无线电信号确定；所述至少一个定位业务客户端(LCS)服务器包括嵌入式人工智能算法，所述嵌入式人工智能算法包含递归神经网络(RNN)算法，以分析所述终端的所述时空定位，并确定了所述参与者的可能的未来轨迹，从而基于强化学习(RL)分析来最大化奖励度量；并将向物理联接到所述至少一个行人的所述终端发送所述参与者的所述可能的未来轨迹；物理联接到所述至少一个行人的所述终端包括嵌入式人工智能算法，所述嵌入式人工智能算法包含条件随机场(CRF)算法，以确定所述至少一个行人的所述可能的未来轨迹是否低于车辆与行人接近阈值限制，并且如果达到这个条件，则物理联接到所述至少一个行人的所述终端向满足所述接近阈值限制的所述至少一个行人和所述至少一辆车辆中的至少一个发送碰撞避免紧急信号。
本发明的其他对象、优点和特征将在阅读下文对本发明具体实施例的非限制性描述时变得更加明确，这些描述仅参考附图通过示例给出。
图例说明
在附图中：
图1是本领域周知的支持基于长期演进(LTE)的地理定位技术的高级网络体系结构示意图；
图2是根据本发明的一方面的实施例的系统的示意图；
图3是根据本发明一方面的实施例，基于识别空间的风险概率水平对行人和车辆的时空坐标进行分类的2D地图示意图；
图4示出了根据本发明一方面的实施例，基于由基于长期进化(LTE)或基于全球导航卫星系统(GNSS)的技术或两者的组合所确定的先前时空定位对参与者可能的未来轨迹或位置的预测；
图5示出了根据本发明一方面的实施例，用于区分并丢弃异常行为的时空坐标的方法；
图6是接受或拒绝正常、异常或不连贯的时空坐标的图示；
图7示出了根据本发明一方面的实施例的情况，链接到显示正常路径(N)的行人(F)的UE终端，在经过使长期演化(LTE)信号衰减的建筑物时，开始显示不连贯的、缺失的或非常规的由长期演化(LTE)确定的时空坐标(H)；
图8示出了根据本发明一个方面的实施例的情况，其中显示时空坐标的链接到行人(F，G)的UE终端和链接到车辆(V)的UE终端开始出现不连贯的、缺失的或异常的时空坐标(H：由于车辆V中的设备缺陷造成的不连贯坐标；I：由于影响信号的不利气象条件而造成的坐标不连贯；J：由于建筑墙壁反射造成的不连贯坐标)，这些时空坐标可以用人工智能进行分类、排除、接受或标准化；
图9示出了根据本发明一方面的实施例的情况，其中嵌入式人工智能算法可以用来识别车辆(D)。可以通过找到与轮椅(A)，过马路的行人(B)或自行车(C)的时空坐标的图案不同的时空坐标的图案来进行车辆的识别；
图10示出了根据本发明一方面的实施例的决策过程的冗余；
图11根据本发明的一方面的实施例，示出了带有专有条形码的标识，可用于例如识别车辆，该车辆包括由嵌入式人工智能算法启用的具备长期演进(LTE)能力的用户设备(UE)终端，用于车辆与行人(V2P)的碰撞避免；
图12为图11的详细图；
图13是根据本发明一方面的实施例的物理联接到可接收来自其他类型传感器的地理位置输入的车辆的用户设备(UE)终端的示意图；
图14是根据本发明一方面的实施例的物理联接到可接收来自其他类型传感器的地理位置输入的车辆的用户设备(UE)终端的示意图；和
图15是可能接收来自城市环境中分布的其他类型传感器的地理位置输入的与车辆和/或行人物理联接的用户设备(UE)终端示意图。
具体实施方式
在智能交通技术领域的和数据分析领域的一种车辆与行人碰撞避免的方法和系统，包括嵌入到用户设备(UE)终端的针对车辆与行人(V2P)碰撞避免人工智能(Al)算法，现在将描述以下非限制性的参考实例。
图2示出了根据本发明一方面的实施例的车辆与行人(V2P)碰撞避免的方法和系统。
车辆与行人(V2P)碰撞避免涉及至少一辆车辆(V)和至少一名行人(P)。每个行人物理联接到至少一个具有长期演进(LTE)能力的用户设备(UE)终端。每辆车(V)物理联接到至少一个具有长期演进(LTE)能力的用户设备(UE)终端。在这里使用的术语“物理联接”是指具有LTE能力的用户设备与行人或车辆之间的近端组合、关联、附接或耦合。例如，具有长期演进(LTE)能力的用户设备(UE)终端可以物理联接到一个行人，如插入行人口袋中的移动电话，或可能物理联接到一辆车辆，如固定在车辆仪表板上的移动电话。
每个用户设备(UE)终端的时空定位取决于由长期演进(LTE)蜂窝基站(BS)和定位业务客户端(LCS)服务器介导的长期演进(LTE)蜂窝无线信号。可以使用来自至少三个蜂窝基站(BS)的信号，以便使用三角测量方法来确定每个用户设备(UE)终端的确切位置，用于例如通过三角测量来对每个用户设备(UE)终端的确切位置进行定位。
定位业务客户端(LCS)服务器包含嵌入式人工智能(AI-1)算法，包括例如递归神经网络(RNN)算法，以分析行人(P)终端和车辆(V)终端的时空定位并确定行人(P)和车辆(V)可能的未来轨迹，从而基于强化学习(RL)分析来最大化奖励度量。如本文所述，术语“奖励度量”指的是最小化车辆与行人碰撞概率的目标，这样人工智能算法就可以确定最大化车辆与行人碰撞避免概率的最佳方案。LCS服务器将参与者可能的未来轨迹发送给物理联接到行人(P)的终端；物理联接到行人(P)的终端包括嵌入式人工智能(AI-2)算法，该算法包含条件随机场(CRF)算法，用于确定行人(P)可能的未来轨迹是否低于车辆与行人(V2P)的接近阈值限制，如果满足该条件，物理联接到行人(P)的终端向行人(P)和达到接近阈值限制的车辆(V)发送碰撞避免紧急信号。
类似地，LCS服务器将参与者可能的未来轨迹发送给与车辆(V)物理联接的终端；与车辆(V)物理联接的终端包括嵌入式人工智能(AI-2)算法，该算法包含条件随机场(CRF)算法，用于确定车辆(V)可能的未来轨迹是否低于车辆与行人(V2P)的接近阈值限制，如果满足该条件，与车辆(V)物理联接的终端向行人(P)和达到接近阈值限制的车辆(V)发送碰撞避免紧急信号。
参与者之间的车辆与行人(V2P)接近阈值限制要考虑位置、速度、方向和参与者可能的未来轨迹，以便确定尺度上的安全裕度，以建立合适的碰撞避免措施，安全裕度最高10米，例如最高5米，又例如最高1米。
如果从至少三个基站(BS)收到信号，由于已知基站(BS)的位置是高水平的准确性，所以三角测量技术可以应用于接收信号强度(RSSI)技术，到达时间差(TDOA)技术，或到达角(AOA)技术，或这些技术的组合，以确定用户设备(UE)终端的确切位置。用户设备(UE)终端位置可以由增强小区身份(E-CID)、来自UE的辅助全球导航卫星系统(GNSS)信息、接收信号强度(RSSI)技术、到达时差(TDOA)技术或到达角(AOA)技术的组合来确定。
长期演进(LTE)可能采用3GPP开发的用于5G(第五代)移动网络的5G NR新型无线接入技术(RAT)。
此处所述的用户设备(UE)终端可能包括移动电话、可穿戴设备、物联网(loT)设备或连接到电信网络的任何其他具有长期演进(LTE)能力的设备，或上述设备的任何组合。用户设备(UE)终端可以包括用于存储和激活嵌入式人工智能(AI-2)算法的应用程序、软件、固件、硬件或设备。
嵌入到用户设备(UE)终端的人工智能(AI-2)算法可能包含递归神经网络(RNN)算法，或强化学习(RL)算法，或有条件的随机字段(CRF)算法，或者机器学习算法(ML)，或深度学习(DL)算法，或任何其他人工智能算法，或这些算法的组合。递归神经网络(RNN)是一类人工神经网络，其中节点之间的连接形成沿时间序列的有向图。这种连接允许神经网络表现出时间上的动态行为，其中参与者的时空坐标用矩阵X＝(x,y,z,t)表示。强化学习(RL)是机器学习的一个领域，关注的是参与者应该如何在一个环境中采取行动，以最大化累积回报的概念。条件随机场(CRF)是一类常用于模式识别和机器学习的统计建模方法，用于结构预测。
嵌入到LCS服务器的人工智能(AI-1)算法可能包含递归神经网络(RNN)算法，或强化学习(RL)算法，或有条件的随机字段(CRF)算法，或机器学习算法(ML)，或深度学习(DL)算法，或任何其他人工智能算法，或这些算法的组合。
人工智能算法可以基于小的时空数据集和大的时空数据集来预测参与者可能的轨迹。时空轨迹模型可以定义为参与者沿其在时空上的地理位置坐标(参与者、时间、位置的连续数据集)所表示的运动轨迹的一组时空点X＝(x,y,z,t)。该数据集也可以是时空地理位置数据，该时空地理位置数据可以包括未分类为时空点的其他类型的数据，如图像数据或音频数据或其他类型的数据。为了处理连续数据集，可以使用深度学习的神经网络(递归神经网络或RNN)算法。RNN主要开发用于处理连续的或时间序列的问题，如不同长度的传感器流数据集。此外，还可以使用长短期记忆(LSTM)算法，该算法模仿记忆来解决RNN中由于消失梯度问题所带来的缺点，防止(给定变量输入的)权值发生变化。RNN是一种包含隐含层ht的人工神经网络，指的是一种周期性的状态，代表了网络在时间上的“记忆”。RNN算法可以使用它的“记忆”来处理输入Xt的序列。在每一个时间步长t中，递归状态使用输入变量Xt及其在前一个时间步长的递归状态ht-i来更新自己，其形式为：ht＝f(xt,ht-1)。函数ht＝f(xt,ht-1)转而等于g(Wψ(xt)+Uht-1+bh)，其中ψ(xt)是将离散变量转换成连续表示的函数，而W和U是模型在所有时间步长的共享参数(矩阵)，其对当前数据和前一个递归状态给予了多少重要性进行了编码。变量b是偏差(如果存在的话)。深度学习模型的神经网络需要大数据集来学习和预测参与者的轨迹，而条件随机场(RF)可以用较小的数据集来达到相同目的。RF可能更适合小数据集，并可与RNN结合使用。当轨迹预测只考虑最近的时空地理位置数据时，拥有小数据集的模型可以使用强化学习算法。
人工智能算法可以用于基于扩展的时空数据集和其他类型的数据集来预测参与者的可能轨迹，该轨迹可能涉及到车辆或行人的轨迹意图，包括确定时空位置变化(dx/dt,dy/dt,dz/dt,d2x/dt2,d2y/dt2,d2z/dt2)、时空角度、或陀螺的时空速度和加速度数据集，确定时空取向和取向变化(□x,□y,□z,d□x/dt,d□y/dt,d□z/dt,d2□x/dt2,d2□y/dt2,d2□z/dt2)的数据集，或其他时空数据集或它们的组合。时空轨迹模型可以定义为参与者沿着由其地理位置、速度和在三维空间和时间中的陀螺坐标所表示的轨迹移动的一组时空点X＝(x,y,z,t)或一组扩展的时空点X＝(x,y,z,t,dx/dt,dy/dt,dz/dt,d2x/dt2,d2y/dt2,d2z/dt2,□x,□y,□z,d□x/dt,d□y/dt,d□z/dt,d2□x/dt2,d2□y/dt2,d2□z/dt2)。RNN算法可以使用它的“记忆”来处理输入序列＝(x,y,z,t,dx/dt,dy/dt,dz/dt,d2x/dt2,d2y/dt2,d2z/dt2,□x,□y,□z,d□x/dt,d□y/dt,d□z/dt,d2□x/dt2,d2□y/dt2,d2□z/dt2)。在每一个时间步长t，递归状态使用输入变量Xt和其在前一个时间步长的递归状态ht-1以ht＝f(xt,ht-1)的形式更新自己。
嵌入在用户设备(UE)终端中的人工智能算法可以特定于与车辆(V)物理联接的终端，或与行人物理联接的终端，或任何类型的LCS服务器。例如，与车辆(V)或行人(P)物理联接的用户设备(UE)可能包含计算单元来处理人工智能算法，该计算单位可以是下列之一：移动应用，软件、固件、硬件，物理设备，计算设备，或上述形式的组合。人工智能算法可以使用不同的算法代码以为不同的用户设备(UE)终端提供特定的结果，或为不同的终端用户提供特定的结果，这些终端用户可能与汽车行业，手机行业，电信行业，运输行业或其他行业有关。终端用户可能包括汽车OEM，或移动电话应用程序提供商，或移动电话提供商，或任何其他终端用户。
用户设备(UE)终端可能物理连接到车辆，包括自动驾驶车辆，非动驾驶车辆，无人驾驶车辆，越野车，卡车，制造业车辆、工业车辆，安保车辆，电动车辆，低空飞机、直升机、无人机(UAV)，船，或任何其他类型的可能会在如城市、工业、机场或海上等环境中接近行人的陆用、海用或空用的运载工具。与车辆物理联接的用户设备(UE)终端可以包括用于处理人工智能算法的计算单元，该计算单元可以是下列之一：移动应用，软件、固件、硬件，物理设备，计算设备，或上述形式的组合。计算单元可以连接到人工智能算法(AI-2)，以确定车辆可能的未来轨迹是否低于车辆与行人(V2P)的接近阈值限制。如果满足这个条件，则发送碰撞避免紧急信号。信号可能采取直接驱动车辆的形式，包括改变车辆的方向(如航向修正)，或改变车辆的速度(如使用刹车)，或者给行人发送信号(如视觉或听觉信号)，或任何其他直接作用于车辆控制的驱动措施以避免碰撞。例如，碰撞避免紧急信号包含能够实现以下至少一种的决策过程；改变车辆的方向，改变车辆的速度，向至少一名行人发送信号。
与车辆物理联接的用户设备(UE)终端可以从其他类型的传感器接收地理定位输入，包括例如下列的任意一个：全球导航卫星系统(GNSS)(或GPS)、照相机、声纳、激光雷达、雷达、加速测量仪、惯性或陀螺传感器，或任何其他传感器或这些传感器的组合。人工智能算法(AI-1)根据每个输入的准确性或可靠性，可以对长期进化(LTE)输入、或GPS输入、或相机输入、或声纳输入、或激光雷达输入、或雷达输入、或加速度测量输入、或陀螺仪输入进行加权或优先排序。与车辆物理联接的用户设备(UE)终端的位置可以由嵌入在终端中的其他类型的传感器确定，这些传感器包括例如下列的任意一个：全球导航卫星系统(GNSS)、照相机、声纳、激光雷达、雷达、加速测量仪、陀螺传感器，或任何其他传感器或这些传感器的组合。
用户设备(UE)终端可与行人物理联接，行人包括人行道上的行人、道路上的行人、十字路口的行人、建筑工人、制造业工人、安保人员、机场工作人员、海上工作人员、轮椅使用者、自行车司机、宠物或任何其他类型的行人。物理上与行人连接的用户设备(UE)终端可能包含应用程序，软件、固件、硬件、物理或计算设备，并可能连接到人工智能算法(AI-2)来确定行人的可能未来轨迹是否低于车辆与行人(V2P)接近阈值限制。如果满足这个条件，发送碰撞避免紧急信号。信号可能采取直接驱动低于接近阈值限制车辆的形式，包括改变车辆的方向(如航向修正)，或改变车辆的速度(如应用刹车)，或者给行人发送信号(如视觉或听觉信号)，或任何其他直接作用于车辆控制的驱动措施以避免碰撞，或上述形式的组合。
与行人物理联接的用户设备(UE)终端可以从其他类型的传感器接收地理定位输入，这些传感器包括例如下列的任意一个：GPS、照相机、声纳、激光雷达、雷达、加速测量仪、惯性或陀螺传感器，或任何其他传感器或这些传感器的组合。人工智能算法根据每个输入的准确性或可靠性，可以对长期进化(LTE)输入、或GPS输入、或相机输入、或声纳输入、或激光雷达输入、或雷达输入、或加速度测量输入、或陀螺仪输入进行加权或优先排序。与行人物理联接的用户设备(UE)终端的位置可以由嵌入在终端中的其他类型的传感器确定，这些传感器包括例如下列的任意一个：全球导航卫星系统(GNSS)、照相机、声纳、激光雷达、雷达、加速测量仪、陀螺传感器，或任何其他传感器或这些传感器的组合。
图3是可用于根据已识别空间的风险概率水平对行人(P)和车辆(V)的时空坐标进行分类的二维地图应用的示意图。例如，与人行道(A)重合的空间坐标可以分类为行人与车辆的低概率碰撞区。与车道(B)重合的空间坐标可分类为行人与车辆的高概率碰撞区。与室内位置(C)重合的空间坐标可视为安全区。
图4显示了基于由基于长期演化(LTE)或基于全球导航卫星系统(GNSS)的技术或两者组合所确定的先前时空定位(34)对参与者(32)可能的未来轨迹或位置的预测(30)。参与者(32)的未来轨迹或位置(30)可能由嵌入式人工智能(AI-2)算法确定，该算法包括递归神经网络(RNN)算法，或强化学习(RL)算法，或条件随机场(CRF)算法，或机器学习算法(ML)，或深度学习(DL)算法，或任何其他人工智能算法，或上述算法的组合。参与者(32)可能的未来轨迹或位置(30)可能基于对于参与者先前的时空坐标、即时位置、速度和已识别空间的风险概率水平的分析。同时，参与者(32)的可能的未来轨迹或位置(30)可能是基于对参与者的先前时空轨迹模型的分析，该模型可以被定义为参与者沿着其地理位置、速度所代表的轨迹移动的一组时空点X＝(x,y,z,t)或一组扩展的时空点X＝(x,y,z,t,dx/dt,dy/dt,dz/dt,d2x/dt2,d2y/dt2,d2z/dt2,□x,□y,□z,d□x/dt,d□y/dt,d□z/dt,d2□x/dt2,d2□y/dt2,d2□z/dt2)。
图5显示了使用基于递归神经网络(RNN)算法，或强化学习(RL)算法，或条件随机场(CRF)算法，或机器学习算法(ML)，或深度学习(DL)算法，或任何其他人工智能算法，或上述算法的组合的嵌入式人工智能算法，以区分并丢弃行人(F)或车辆(E)的非常规行为的时空坐标(H)，其中(G)表示过去且连贯的时空坐标。非常规坐标(H)可以是不连贯的，缺失的或与预测的位置相差过大的。非常规坐标可能源于利用长期演进(LTE)设备操作而推断出的地理区域(例如在两个建筑物之间的墙壁使长期演进(LTE)信号衰减的空间)或有缺陷的用户设备(UE)。
图6是分别以正常(X)和异常的范数(N)或不连贯(H)的时空坐标来表示接受或拒绝的图示，以及根据系统为特定的行人、设备、车辆、地理区域或总体设定的精度(P)进行分类。选择精度(P)是为了从常规移动中排除出那些超出界限的结果。范数(N)可以遵循多种可能的数学分布，并根据特定的UE、特定的行人、特定的长期演化(LTE)设备、特定车辆或地理区域进行选择。
图7图示了这样一种情况：例如，链接到显示正常路径(N)的行人(F)的UE终端，在经过使长期演化(LTE)信号衰减的建筑物时，开始显示不连贯的、缺失的或非常规的由长期演化(LTE)确定的时空坐标(H)。这些时空坐标(H)可以使用基于地理区域、天气、位置信号、设备、车辆或用户的人工智能来被拒绝、接受或标准化。例如，突然出现的随机时空坐标可能会立即被拒绝，而与人行道或其他安全区域一致的时空坐标的线性发展可能会被接受。被怀疑例如由于天气或周围因素而改变的坐标的线性递增可以被标准化，即重新计算，然后被认为是可靠的时空坐标。
图8图示了显示时空坐标的链接到行人(F,G)的UE终端和链接到车辆(V)的UE终端开始出现不连贯的、缺失的或非常规的时空坐标(H：由于车辆V中的设备缺陷造成的不连贯坐标；I：由于影响信号的不利气象条件而造成的不连贯坐标；J：由于建筑物墙壁反射造成的不连贯坐标)，可以使用基于地理区域、天气、位置信号、设备、车辆V或用户的人工智能对这些时空坐标进行分类、拒绝、接受或标准化。根据分类的决定，向行人、驾驶人或车辆V发送报警信号。
图9示出了基于递归神经网络(RNN)算法，或强化学习(RL)算法，或条件随机场(CRF)算法，或机器学习算法(ML)，或深度学习(DL)算法，或任何其他人工智能算法，或上述算法的组合的嵌入式人工智能算法可用于识别车辆(D)的情况。可以例如通过找到与轮椅(A)，过马路的行人(B)或自行车(C)的时空坐标的图案不同的时空坐标的图案来进行车辆的识别。识别方法是考虑到位置、速度和方向数据的基于映射区域内的时空坐标的图案，映射区域即如上参考图3所述的环境的区域。
嵌入式人工智能算法也可基于映射区域，即，例如如上参考图3所述的环境的区域，被用于管理UE终端的信号和电池寿命，并且不使定位业务客户端(LCS)服务器过载。由于人行道对行人来说是安全区域，所以收集的时空坐标的刷新率可以被设置为正常，例如每秒2个时空坐标。相比之下，对于行人以及自行车和轮椅代表危险区域的车道，收集的时空坐标的刷新率可能会被设置为高，例如每秒4个时空坐标。另一方面，由于建筑物等室内环境可能被认为对行人来说是安全区域，所以收集的时空坐标的刷新率可能会被设置为低，例如每30秒1个时空坐标。
仍然参考图9，嵌入式人工智能算法也可以用于基于参与者的未来轨迹和映射区域(即如上所述参考图9的环境区域)来确定车辆与行人(V2P)接近阈值限制的尺寸，面积和形状。因为人行道代表了行人的安全区域，所以人行道(PTa)的车辆与行人(V2P)接近阈值限制可以被设置为人行道本身的尺寸(通常小于3米)。然而，考虑到参与者的位置，速度，方向和可能的未来轨迹，由于对于行人以及自行车和轮椅来说车道代表危险区域，所以对于在车道边缘行驶的轮椅(PTc)，车辆与行人(V2P)接近阈值限制可能被设置为更大的尺寸(3-5米)，而对于从车道中间过马路的行人(PTb)，车辆与行人(V2P)接近阈值限制可能被设置为更大的尺寸(大于5米)，以便为建立适当的碰撞避免措施确定尺寸上的安全裕度。
UE终端包括嵌入式人工智能算法(基于递归神经网络(RNN)算法，或强化学习(RL)算法，或条件随机场(CRF)算法，或机器学习(ML)算法，或深度学习(DL)算法，或任何其他人工智能算法，或上述算法的组合)，用于确定参与者可能的未来轨迹是否低于车辆与行人(V2P)接近阈值限制，并且如果这个条件满足，与行人(P)物理联接的终端对满足接近阈值限制的行人(P)和车辆(V)发送碰撞避免紧急信号。碰撞避免紧急信号可以采取适于行人的感知能力和行人的UE终端的驱动能力的音频信号、视觉信号、触觉信号、无线电信号、或任何其他信号、或上述信号的组合的形式。碰撞避免紧急信号还可以包括适于连接到满足接近阈值限制的车辆上的UE终端的驱动能力的无线电信号。也可以考虑采取其他碰撞避免措施。
根据本发明一方面的实施例，如果达到接近阈值限制，则可将嵌入在具有长期演进能力的用户设备(UE)终端中的人工智能算法用于决策过程。该决策过程可以分布在多个UE终端和网络上，以便为碰撞避免措施提供冗余，以及增强可靠性和安全性。
图10示出了根据本发明一方面的实施例的决策过程的冗余。考虑到其他参与者的位置、速度、方向和可能的未来轨迹，与车辆物理联接的UE终端的决策过程可能包括减速、刹车或改变方向的措施。考虑到其他参与者的位置、速度、方向和可能的未来轨迹，与行人物理联接的UE终端的决策过程可能包括减速、移动或改变路线的措施。决策过程可以在中央网络和平台(A)、和/或在行人的设备(C)、和/或在车辆的设备(B)、和/或在车辆的神经网络模块(F)、和/或通过雾计算(D)进行。也可以考虑采取其他决策过程。
图11和12示出了带有专有条形码的标识，该标识可以例如被用于识别车辆，该车辆包括由嵌入式人工智能算法(基于递归神经网络(RNN)算法，或强化学习(RL)算法，或条件随机场(CRF)算法，或机器学习算法(ML)，或深度学习(DL)算法，或任何其他人工智能算法，或上述算的组合)启用的具有长期演进(LTE)能力的用户设备(UE)终端，用于车辆与行人(V2P)的碰撞避免。扫描标识可以提供检查信息或与车辆的品牌、型号和颜色有关的任何其他信息，以验证所安装的AI装置的完整性。该标识可根据车辆的颜色图案、品牌、型号或其他特征进行个性化设计，并可以包括其他认证技术，以证明安装和检查的日期。
仍然参考图11和12，带有专有条形码的标识也可以被用于识别行人，该行人戴有由嵌入式人工智能算法(基于递归神经网络(RNN)算法，或强化学习(RL)算法，或条件随机场(CRF)算法，或机器学习算法(ML)，或深度学习(DL)算法，或任何其他人工智能算法，或上述算的组合)启用的具有长期演进(LTE)能力的用户设备(UE)终端，用于车辆与行人(V2P)的碰撞避免。标识可由集成到行人用户设备(UE)终端、或行人服装、或可穿戴纺织物或纺织服装上的标签或标记组成。扫描标识可以提供与行人有关的身份信息，以验证AI设备的完整性。标识可根据终端或服装颜色图案、品牌、型号或其他特征进行个性化设计，并可包括其他认证技术，以证明安装和检查的日期。
图13和14示出了与车辆物理联接的用户设备(UE)终端，这些终端可以根据本发明一方面的实施例接收来自其他类型传感器的地理位置输入。图15示出了与车辆和/或行人物理联接的用户设备(UE)终端，这些终端可以接收来自城市环境中其他类型传感器的地理位置输入。
因此，本文提供了一种用于车辆与行人(V2P)碰撞避免的方法和系统，该系统使用嵌入在用户设备(UE)终端中的人工智能(Al)算法，用于数据分析、决策和预防行动的采取。
如上文所述参考图2，数据分析是使用嵌入用户设备终端的人工智能算法执行的。参与者包括物理链接到至少一个车辆(V)和至少一个行人(P)的一组至少两个具有长期演进(LTE)能力的用户设备(UE)终端。终端的时空定位取决于由至少三个长期演进(LTE)蜂窝基站(BS)和至少一个定位业务客户端(LCS)服务器介导的长期演进(LTE)蜂窝无线信号，其中，定位业务客户端服务器包括嵌入式人工智能(AI-1)算法，以分析终端的时空定位，并确定参与者可能的未来轨迹。LCS服务器将参与者可能的未来轨迹发送给与参与者物理联接的终端。与至少一个行人(P)物理联接的终端包括嵌入式人工智能(AI-2)算法，用于确定至少一个行人(P)可能的未来轨迹是否低于车辆与行人(V2P)的接近阈值限制。如果满足该条件，与至少一个行人(P)物理联接的终端向满足接近阈值限制的至少一个行人(P)和至少一辆车辆(V)发送碰撞避免紧急信号。
如上所述参考图2和11，LCS服务器向物理联接到至少一个车辆(V)的终端发送参与者可能的未来轨迹。与至少一个车辆物理联接的终端(10)包括嵌入式人工智能(AI-2)算法，以确定至少一个车辆(10)可能的未来轨迹是否低于车辆与行人(V2P)接近阈值限制，并且如果满足这个条件，与至少一辆车辆(10)物理联接的终端向满足接近阈值限制的至少一个行人(P)发送碰撞避免紧急信号。
如图11、13和14中所示，与车辆物理联接的用户设备(UE)终端可以接收来自长期演进(LTE)地理位置输入的地理位置输入，和来自其他类型的传感器的地理位置输入，包括例如下列中的任意一个：全球导航卫星系统(GNSS)(或GPS)，照相机、声纳、激光雷达、雷达传感器、或其他传感器、或上述传感器的组合。人工智能算法(AI-2)可能根据每个输入的准确性或可靠性，参与者的时空位置，道路条件，或任何其他感兴趣的数据，对长期演进(LTE)输入，或GPS输入，或照相机输入，或声纳输入，或激光雷达输入，或雷达输入进行加权或优先级分配。
如图15中所示，与车辆和/或行人物理联接的用户设备(UE)终端可能从分布在城市环境中其他类型的传感器接收地理位置输入，例如下列中的任何一个：全球导航卫星系统(GNSS)(或GPS)、照相机、声纳、激光雷达、雷达传感器、或分布在城市环境中的其他传感器、或上述传感器的组合。分布在城市环境中的传感器可以包括长期演化(LTE)微米尺度基站、长期演化(LTE)毫微微米尺度基站、集成到城市灯的传感器、集成到路灯的传感器、集成到交通监控设备的传感器，或任何其他传感器或上述传感器的组合。分布在城市环境中的传感器可能表现出或宽或窄的传感覆盖范围，并且传感覆盖范围可能覆盖一条或多条街道。人工智能算法可能根据每个传感器输入的准确性或可靠性，参与者的时空位置，路况，天气条件，或任何其他相关的数据，对长期演进(LTE)的输入，或GPS输入，或照相机输入，或者声纳输入，或激光雷达输入，或雷达输入进行加权和优先级分配。与车辆和/或行人物理联接的用户设备(UE)终端的位置可以由嵌入到终端的其他类型的传感器确定，包括下列的任意一个：全球导航卫星系统(GNSS)、照相机、声纳、激光雷达，雷达传感器，或任何其他传感器，或上述传感器的组合，并且可以由从分布在城市环境的其他类型传感器的地理位置输入协助确定。
权利要求书的范围不应受到示例中所述实施例的限制，而应被给予在与描述一致的情况下最宽泛的解释。
