提醒系统、包括其的车辆及相应的方法和介质
技术领域
本发明涉及车辆技术领域，更具体而言，涉及用于车辆内的提醒乘员携带其所属物品的系统、包括其的车辆及相应的方法和计算机可读存储介质。
背景技术
人们的出行越来越多的依赖交通工具，当人们离开交通工具时，经常会出现将自己的物品遗忘的情况，从而引起很多不必要的麻烦和损失。
例如，乘客乘坐出租车或者公交车或者私家车下车时，忘记带走自己的随身物品，导致个人财产的丢失；车主将手机、手提包等遗忘在车内，导致需要使用时其不在身边。另外，将贵重物品长时间遗留在车内，也会造成车辆的安全隐患，例如不法分子为了获取车内财产而对车辆进行破坏，导致车辆的损坏以及财产的损失。应对上述问题，现有技术中存在能够在驾驶员或者乘客下车时，检测车内是否存在驾驶员或者乘客的遗留物品，并及时地对驾驶员或者乘客进行提醒的系统及方法。
但是，在很多情况下，同一辆车内的乘员(包括驾驶员和乘客)可能具有不同的目的地，或者其中的某些乘员需要在到达共同目的地之前需要下车而不去往共同目的地。在这样的情况下，现有的对驾驶员或者乘客进行提醒的解决方案会给出虚假提醒，即，在乘员下车但其并没有物品遗忘在车辆上时，也会由于车辆上的其他乘员的物品的原因而给出其物品遗忘在车辆上的提醒。这样的情况对下车的乘员以及车辆上的其他乘员都会造成烦扰和不便。
因此，需要一种能够在车辆内的一个或多个乘员(驾驶员或者乘客)下车时，检测车内是否存在归属于该乘员的遗留物品，并针对该乘员进行提醒的系统及方法。
发明内容
为解决上述技术问题，本发明提出一种用于车辆内的提醒乘员携带其所属物品的解决方案，其能够在车辆内的(一个或多个)特定乘员下车时，特定地判断车辆内是否存在归属于该特定乘员的物品而提供非常有针对性的提醒，减少了在发出提醒时对下车的乘员以及车辆上的其他乘员都造成烦扰和不便，提高了用户体验。
具体地，根据本发明的第一方面，提供了一种用于车辆内的提醒乘员携带其所属物品的系统，其特征在于，所述系统包括：
信息采集单元，被配置为至少采集车辆内的一个或多个乘员的乘员图像和一个或多个物品的物品图像；
匹配单元，被配置为至少基于所述乘员图像和所述物品图像，确定所述乘员和所述物品之间的匹配关系；
判断单元，被配置为判断该一个或多个乘员是否存在下车意图，并且在判断该一个或者多个乘员存在下车意图时，进一步判断该一个或多个乘员是否未携带其所属物品；以及
提醒单元，被配置为在所述判断单元判断该一个或多个乘员存在下车意图但未携带其所属物品时，输出提醒信号。
在一个实施方案中，所述匹配单元被配置为至少基于所述乘员图像和所述物品图像，通过以下方式中的至少一种方式确定所述乘员和所述物品之间的匹配关系：(i)在所述乘员图像中包括的特定乘员的身体部位与所述物品图像中包括的特定物品对象的距离小于预定值时，确定所述乘员和所述物品之间具有匹配关系；以及(ii)在所述乘员图像中包括的特定乘员的身体部位与所述物品图像中包括的特定物品对象具有最小距离时，确定所述乘员和所述物品之间具有匹配关系。
在一个实施方案中，所述判断单元被进一步配置为基于所述信息采集单元采集的一个或多个乘员的乘员图像来判断该一个或多个乘员是否存在下车意图。
在一个实施方案中，所述系统还包括语音采集单元，被配置为至少采集车辆内的一个或多个乘员的语音信息，并且所述判断单元被进一步配置为基于所采集到的语音信息来判断该一个或多个乘员是否存在下车意图。
在一个实施方案中，所述系统还包括车辆状态检测单元，被配置为检测车辆状态，并且所述判断单元被进一步配置为基于所检测到的车辆状态来判断该一个或多个乘员是否存在下车意图。
在一个实施方案中，所述判断单元基于所述信息采集单元采集的所述乘员图像和所述物品图像确定该一个或多个乘员和与其具有匹配关系的物品之间的距离是否大于分离阈值距离来判断该一个或多个乘员是否未携带其所属物品。
在一个实施方案中，所述匹配单元还配置为根据用户输入忽略所确定的所述乘员和所述物品之间的匹配关系。
在一个实施方案中，所述提醒信号包括视觉提醒信号、声音提醒信号和触觉提醒信号中的至少一种。
根据本发明的第二方面，提供了一种车辆，包括根据本发明第一方面所述的系统。
根据本发明的第三方面，提供了一种用于车辆内的提醒乘员携带其所属物品的方法，其特征在于，所述方法包括：
至少采集车辆内的一个或多个乘员的乘员图像和一个或多个物品的物品图像；
至少基于所述乘员图像和所述物品图像，确定所述乘员和所述物品之间的匹配关系；
判断该一个或多个乘员是否存在下车意图，并且在判断该一个或者多个乘员存在下车意图时，进一步判断该一个或多个乘员是否未携带其所属物品；以及
在判断该一个或多个乘员存在下车意图但未携带其所属物品时，输出提醒信号。
在一个实施方案中，至少基于所述乘员图像和所述物品图像，确定所述乘员和所述物品之间的匹配关系通过以下方式中的至少一种方式进行：(i)在所述乘员图像中包括的特定乘员的身体部位与所述物品图像中包括的特定物品对象的距离小于预定值时，确定所述乘员和所述物品之间具有匹配关系；以及(ii)在所述乘员图像中包括的特定乘员的身体部位与所述物品图像中包括的特定物品对象具有最小距离时，确定所述乘员和所述物品之间具有匹配关系。
在一个实施方案中，基于下述中的至少一项判断该一个或多个乘员是否存在下车意图：
所采集的一个或多个乘员的乘员图像；
车辆内的一个或多个乘员的语音信息；以及
所检测到的车辆状态信。
在一个实施方案中，基于所采集的所述乘员图像和所述物品图像确定该一个或多个乘员和与其具有匹配关系的物品之间的距离是否大于分离阈值距离来判断该一个或多个乘员是否未携带其所属物品。
在一个实施方案中，所述方法还包括根据用户输入忽略所确定的所述乘员和所述物品之间的匹配关系。
在一个实施方案中，所述提醒信号包括视觉提醒信号、声音提醒信号和触觉提醒信号中的至少一种。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时实现根据本发明第三方面所述的方法的步骤。
利用本发明的方案，能够基于车辆内的乘员和归属于车辆内的乘员的物品的匹配关系(或归属关系)，在车辆内的(一个或多个)特定乘员下车时，针对该特定乘员是否有物品遗留在车上的情况，特定地进行提醒或不进行提醒，消除或减少了现有技术中的无针对性提醒，提高了行车的舒适度和乘员的体验。
附图说明
图1示出根据本发明一实施例的用于车辆内的提醒乘员携带其所属物品的系统的示意图；以及
图2示出根据本发明一实施例的用于车辆内的提醒乘员携带其所属物品的方法的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1示出根据本发明一实施例的用于车辆内的提醒乘员携带其所属物品的系统100的示意图。如图所示，系统100包括信息采集单元110、匹配单元120、判断单元130和提醒单元140。
信息采集单元110可以被配置为至少采集车辆内的一个或多个乘员的乘员图像和一个或多个物品的物品图像。需要指出，在本文中，术语“乘员”包括驾驶员和乘客。另外，术语“乘员图像”指其中包含一个或者多个乘员的一个、多个或者全部身体部分的图像，术语“物品图像”指其中包含一个或者多个物品的图像。实际上，信息采集单元110可以被配置为至少采集同时包括一个或多个乘员和一个或多个物品的图像。所述图像(乘员图像、物品图像、或者包含乘员和物品的图像)可以包括单个图像或图像序列(即，视频)。
在一些实施例中，信息采集单元110可以设置于车内便于/适于采集车内乘员和/或物品的图像的多个位置处。例如，可以将信息采集单元110设置于驾驶室的顶壁(车内顶)，这种情况下，该信息采集单元110能够以俯视(“鸟瞰”)的视角采集车内乘员和/或物品的图像信息。另外，还可以将信息采集单元110设置于座椅上/下方、靠背后方、仪表盘上方、中央控制台上方、座椅扶手下方等多种位置，从而对座椅区域、仪表盘区域、中央控制台区域进行图像信息的采集，从而全方位地采集车内的图像信息，防止出现遗漏而导致车内存在遗留物品而未被发现的情况。
匹配单元120可通信地与信息采集单元110连接。匹配单元120可以被配置为至少基于乘员图像和物品图像，确定乘员和物品之间的匹配关系。特别地，匹配单元120接收信息采集单元110采集的图像，并执行图像分析以确定乘员和物品之间的匹配关系。在本文中，确定乘员和物品之间的匹配关系可以指确定乘员对于物品的所有权或确定物品对于乘员的归属。举例来说，假设在信息采集单元110采集的图像中存在并且检测到两个乘员A和B以及5个物品，手机01、手机02、钥匙串03、钥匙串04和钱包05，其中手机01、钥匙串03和钱包05归属于乘员A(即，为其物品)，而手机02和钥匙串04归属于乘员B(即，为其物品)，则可以确定，手机01、钥匙串03和钱包05(物品01、03、05)与乘员A具有匹配关系，手机02和钥匙串04(物品02、04)与乘员B具有匹配关系。
特别地，在一些实施方式中，信息采集单元110可以连续地采集车内的图像，并且图像中可以包括乘员和/或物品。乘员图像可以包括面部和身体部分(例如，上肢、手、臂等)。通过图像处理(面部识别等)，可以识别车辆内的不同的乘员及其身体部分。物品图像可以包括各种类别的物品，例如手机、钱包、钥匙、水杯、背包等一般驾驶员和乘客会带到车上的物品。当驾驶员或乘客(或新乘客)进入车辆时，信息采集单元110检测到该乘员，通过例如面部识别等图像处理技术进行图像处理以识别该乘员，例如将其识别为新乘员，并将新乘员身份标识分配给该乘员。与对乘员的检测和识别类似，当物品出现在信息采集单元110的视野中(即能够被信息采集单元110采集/检测到)时，信息采集单元110检测到该物品，通过例如图像分类等图像处理技术进行图像处理以识别该物品，例如将其识别为新出现的物品，并将新物品身份标识分配给该物品。基于每个乘员的唯一乘员身份标识和每个物品的唯一物品标识，可以确定乘员和归属于该乘员的物品之间的匹配关系。可以根据一个或多个标准确定这样的匹配关系。在一些实施例中，匹配单元120可以被配置为至少基于乘员图像和物品图像，通过以下方式中的至少一种方式确定乘员和物品之间的匹配关系：(i)在乘员图像中包括的特定乘员的身体部位与物品图像中包括的特定物品对象的距离小于预定值时，确定该特定乘员和该特定物品之间具有匹配关系；以及(ii)在乘员图像中包括的特定乘员的身体部位与物品图像中包括的特定物品对象具有最小距离时，确定乘员和物品之间具有匹配关系。举例来说，信息采集单元110检测到乘员A，并且检测到物品01，在乘员A的身体部分(例如手)到物品01的距离在一预定阈值(例如10cm)内的情况下，可以认为该物品为乘员A所有，即确定乘员A与物品01之间具有匹配关系。再举例来说，信息采集单元110检测到乘员A，并且检测到物品01和02(例如，同一类别的两个物品)，在乘员A的身体部分(例如手)到物品01的距离比到物品02的距离近(即距离最近)的情况下，可以认为该物品01为乘员A所有，即确定乘员A与物品01之间具有匹配关系。在一些情况下，根据上述标准，可能确定物品01和02都与乘员A具有匹配关系(比如，乘员A具有两个手机01和02)。应当理解，优选地，在物品首次出现在信息采集单元110的视野内时进行上述距离比较。另外，上述距离可以指乘员的身体部分的轮廓与物品的轮廓之间的距离，或其几何中心之间的距离。此外，容易理解，与乘员A存在匹配关系的物品的种类和数量不受限制。
在确定了乘员与物品的匹配关系之后，就可以在特定乘员下车或具有下车的意图时，在发现与该特定乘员具有匹配关系的物品被遗忘在车内时向该特定乘员进行提醒。特别地，判断单元130可以在一个或多个乘员被判断为存在下车意图时，判断该一个或多个乘员是否未携带其所属物品(即物品)。在本文中，“存在下车意图”是指乘员将要起身下车的意图。对一个或多个乘员下车意图的判断可以包括多种方式。在一个实施例中，基于所采集的一个或多个乘员的乘员图像来确定该一个或多个乘员是否存在下车意图，例如检测到乘员的身体部分(例如，腿)向车外方向移动则判断该乘员存在下车意图。在另一个实施例中，系统100还可以包括语音采集单元(未示出，其可以与信息采集单元110集成，作为图像和音频采集单元)，被配置至少采集车辆内的一个或多个乘员的语音信息，并且判断单元130可以被进一步配置为基于所采集到的语音信息来判断该一个或多个乘员是否存在下车意图。举例来说，乘员在快下车时可能会说出诸如“我到了”、“我要下车了”等话语，据此可以通过音频处理(例如语音识别)来识别乘员的下车意图。在又一实施例中，系统100可以包括车辆状态检测单元(未图示)，其设置在车辆中，被配置为检测车辆状态，并且判断单元130被进一步配置为基于所检测到的车辆状态判断该一个或多个乘员是否存在下车意图。特别地，所述车辆状态检测单元检测车辆的一个或者多个状态，判断单元130与所述车辆状态检测单元通信并接收指示车辆状态的车辆状态信号，并且基于所接收的车辆状态信号判断乘员是否存在离开车辆(下车)的意图。根据本发明的某些实施例，所述车辆状态检测单元可以为在车辆中设置的一个或者多个传感器，其能够收集车辆的一个或者多个车辆状态并将基于车辆状态生成的车辆状态信号发送给判断单元。其中，车辆状态信号与乘员离开车辆的意图相关，包括车辆内的任一座椅的使用状态、车钥匙和/或门锁的使用状态、车辆的门把手使用状态、车辆的引擎或动力传动系统的使用状态或车辆的车内电源系统的使用状态。举例来说，所述车辆状态检测单元可以包括设置于座椅下方的第一压力传感器、设置于车辆门锁的第二压力传感器、设置在车辆门把手上的第三压力传感器、设置用于监控车辆的引擎或动力传送系统的使用状态的第一监控装置以及设置用于监控车辆的车内电源系统的使用状态的第二监控装置，但是不限于此。通过上述车辆状态检测单元可以检测车辆内的任一座椅的使用状态、车钥匙和/或门锁的使用状态、车辆门把手的使用状态、车辆的引擎或动力传送系统的使用状态、或车辆的车内电源系统的使用状态中的至少一个。在一个示例中，当乘员从座位上起身时并持续相对较长时间时，第一压力传感器检测到的压力值会瞬间变为零，判断单元从所述车辆状态检测单元接收到该压力值的变化信息后，可以判断座椅处于空闲状态，乘员具有下车的意图。特别地，当全部的座椅均处于空闲状态时，则可以判断车辆状态指示车上的所有乘车乘员都具有离开车辆的意图。本领域技术人员能够想到各种判断乘员是否具有下车的意图的机制，在此不再赘述。在一些实施例中，判断该一个或多个乘员是否未携带其所属物品包括：基于所述信息采集单元采集的所述乘员图像和所述物品图像确定该一个或多个乘员和与其具有匹配关系的物品之间的距离是否大于分离阈值距离。具体地，在判断乘员具有下车的意图时即为需要向乘员进行提醒时，此时信息采集单元110对车内进行搜索以发现是否存在“遗忘”的任何物品。特别地，针对具有下车意图的特定乘员，信息采集单元110判断在预定阈值距离之外(判断是否被“遗忘”)是否存在与该特定乘员具有匹配关系的任何物品，如果存在，则给出提醒；否则不给出提醒。在一些实施例中，提醒信号包括视觉提醒信号、声音提醒信号和触觉提醒信号中的至少一种。特别地，可以将搜索到的被遗忘的物品的图像显示在车内显示器中；可以发出声响(包括“嘟嘟”声或语音提示)；和/或振动车内的部件(例如，座位、方向盘等)。特别地，提醒信号可以不直接针对具有下车意图的人，可以将提醒信号指示给驾驶员或其他乘客，驾驶员或其他乘客可以转而提醒具有下车意图的人。实际上，提醒信号可以包括向驾驶员和/或乘客指示物品遗忘发生的任何形式的信号。
在一些实施方式中，匹配单元120还配置为根据用户输入忽略所述匹配单元所确定的所述乘员和所述物品之间的匹配关系。实际上，在车辆内存在很多的物品和部件，可能大部分都不属于乘客或者不成为防遗忘的对象。为了防止将车内不与特定乘员匹配的物品被误配为属于该特定乘员，从而也给出虚假提醒，匹配单元120可以被配置为根据用户输入忽略所确定的乘员和物品之间的匹配关系，使得在乘员下车时不针对这样的物品提醒乘员。根据本发明的一些实施例，匹配单元120还可对遗留物品所属的种类进行分类，具体地，在判断车辆内存在遗留物品时，匹配单元120可以将遗留物品与预设的分类信息进行比较，以判断存在遗留物品时是否需要向乘车乘员发出提醒。例如，匹配单元120可以存储有遗留物品的分类信息。例如纸张、书本、绳子等可以设置为无需提醒的一类，而手机、钱包、背包、钥匙等可以设置为需要提醒的一类。当信息采集单元110最终确定该遗留物品的具体类别后，可以根据匹配单元120的分类信息对该遗留物品所属的种类进行分类，判断单元130可以判断是否需要向乘车乘员发出提醒(对需要提醒的种类进行提醒)。
以上描述了根据本发明一些实施例的提醒系统。根据本发明的实施例的提醒系统适于安装或集成在车辆(例如轿车、客车或者货车等)中，能够通过计算机视觉和图像识别的方式检测车内各个位置是否存在遗留物品(例如手机、钱包、背包或者钥匙等)并相应地为车辆上的特定乘员(驾驶员或者乘客)进行提醒。据此，本发明还提供了一种车辆，包括根据本发明一些实施例所述的用于车辆内的提醒乘员携带其所属物品的系统。
图2示出根据本发明一实施例的用于车辆内的提醒乘员携带其所属物品的方法200的示意图。
如图2所示，用于车辆内的提醒乘员携带其所属物品的方法200包括：
S210：至少采集车辆内的一个或多个乘员的乘员图像和一个或多个物品的物品图像；
S220：至少基于所述乘员图像和所述物品图像，确定所述乘员和所述物品之间的匹配关系；
S230：判断该一个或多个乘员是否存在下车意图，并且在判断该一个或者多个乘员存在下车意图时，进一步判断该一个或多个乘员是否未携带其所属物品；以及
S240：在判断该一个或多个乘员存在下车意图但未携带其所属物品时，输出提醒信号。
在一个实施例中，在所述方法S200中，至少基于所述乘员图像和所述物品图像，通过以下方式中的至少一种方式确定所述乘员和所述物品之间的匹配关系：(i)在所述乘员图像中包括的特定乘员的身体部位与所述物品图像中包括的特定物品对象的距离小于预定值时，确定所述乘员和所述物品之间具有匹配关系；以及(ii)在所述乘员图像中包括的特定乘员的身体部位与所述物品图像中包括的特定物品对象具有最小距离时，确定所述乘员和所述物品之间具有匹配关系。
在一个实施例中，在所述方法S200中，基于下述中的至少一项判断该一个或多个乘员是否存在下车意图：
所采集的一个或多个乘员的乘员图像；
车辆内的一个或多个乘员的语音信息；以及
所检测的车辆状态。
在一个实施例中，在所述方法S200中，基于所采集的所述乘员图像和所述物品图像确定该一个或多个乘员和与其具有匹配关系的物品之间的距离是否大于分离阈值距离来判断该一个或多个乘员是否未携带其所属物品。
在一个实施例中，所述方法S200还包括根据用户输入忽略所确定的所述乘员和所述物品之间的匹配关系。
在一个实施例中，所述提醒信号包括视觉提醒信号、声音提醒信号和触觉提醒信号中的至少一种。
本发明的另一方面还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现上述任一项所述的方法。例如，所述计算机程序在被处理器执行时能够指示处理器和/或相应部件实现以下步骤：至少采集车辆内的一个或多个乘员的乘员图像和一个或多个物品的物品图像；至少基于所述乘员图像和所述物品图像，确定所述乘员和所述物品之间的匹配关系；判断该一个或多个乘员是否存在下车意图，并且在判断该一个或者多个乘员存在下车意图时，进一步判断该一个或多个乘员是否未携带其所属物品；以及在判断该一个或多个乘员存在下车意图但未携带其所属物品时，输出提醒信号。
应理解上述用于车辆内的提醒乘员携带其所属物品的系统100中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意一个实施例中的方法的步骤。该计算机设备可以是服务器或者车载终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现本发明的用于车辆内的提醒乘员携带其所属物品的方法。
本领域技术人员可以理解，图1中示出的用于车辆内的提醒乘员携带其所属物品的系统100的示意图仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的硬件/软件/固件的限定，具体的系统可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现根据本发明的上述实施例的方法中的全部或部分步骤，可以通过计算机程序来指示相关的硬件完成，所述的计算机程序可存储于非易失性的计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的步骤。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
尽管结合实施例对本发明进行了描述，但本领域技术人员应理解，上文的描述和附图仅是示例性而非限制性的，本发明不限于所公开的实施例。在不偏离本发明的精神的情况下，各种改型和变体是可能的。
