欢迎光临小豌豆知识网!
当前位置:首页 > 电学技术 > 电通讯技术> 一种识别环境场景的方法、芯片、终端独创技术48155字

一种识别环境场景的方法、芯片、终端

2021-04-25 11:09:41

一种识别环境场景的方法、芯片、终端

技术领域

  本申请涉及通信领域,并且更具体地,涉及一种识别环境场景的方法、芯片、终端。

背景技术

  随着AI人工智能技术的发展,AI技术在终端设备上的应用越来越广泛,使得终端设备的功能越来越智能化。例如,随着AI技术在终端设备上的普及推广,终端设备在感知领域、图像处理领域、音频处理领域、语言处理领域等方面的功能越来越强大。

  现有技术中,AI人工智能集成在软件系统中,在机器视觉领域,通过计算机视觉算法技术识别图像中的环境场景时,需要用户主动对环境场景进行拍照时候,才会对用户周边的环境场景进行识别。该终端设备中的环境场景功能不会持续常开来感知用户环境是否发生改变,其用户体验度不佳。

  因此,如何使得终端设备能够主动、实时感知用户环境场景改变,提高用户体验度成为亟需要解决的问题。

  发明内容

  本申请实施例提供一种识别环境场景的方法、芯片、终端,可以使得终端在低功耗模式下,不依赖特定的动作或环境因素。能够实时感知用户环境场景改变,可以主动为用户提供更自然的人机交互和更好的用户体验。

  第一方面,提供了一种用于识别环境场景的方法,该方法包括:终端通过低功耗摄像头实时获取图像数据,所述低功耗摄像头一直开启;所述终端根据所述图像数据分析用户周边环境场景是否为目标环境场景;所述终端确定所述用户周边环境场景变化为所述目标环境场景;所述终端开启人工智能AI对应的工作模式。

  本申请实施例中的低功耗的摄像头可以以特定帧率常开,可以实时采集终端周边的图像数据。

  应理解,常开的低功耗摄像头可以作为基础设施,并且持续不断的采集终端周围的数据,为终端设备实现自主运行AI人工智能技术提供硬件基础。

  结合第一方面,在第一方面的某些实现方式中,所述终端根据所述图像数据,调用环境识别算法模型分析用户周边环境场景是否为目标环境场景。

  本申请实施例对建立环境识别算法模型的具体实现方式不做具体限定。可选地,在一些实施例中,可以基于深度学习神经网络来构建该算法模型,可以通过大规模已标注的环境图片数据来进行监督学习训练,从而可以将训练所得的算法模型部署在终端中。

  本申请实施例中,由于采用深度学习神经网络来构建环境识别算法模型,该算法不需要人工设计和提取环境特征,而由神经网络从大量训练数据中自动学习特征。

  结合第一方面,在第一方面的某些实现方式中,所述终端确定所述用户周边环境场景 变化为所述需静音场景。

  结合第一方面,在第一方面的某些实现方式中,所述终端确定所述用户周边环境场景变化为所述需静音场景;所述终端将工作模式调整为震动或静音的工作模式。

  结合第一方面,在第一方面的某些实现方式中,所述环境识别算法模型为神经网络算法模型,所述神经网络算法模型为根据大规模的目标环境场景数据进行监督学习训练而成的,

  所述终端将所述图像数据输入到所述神经网络算法模型中,所述神经网络算法模型调用AI算子库中对应的算子分析所述图像数据中的用户周边环境数据是否为目标环境数据。

  结合第一方面,在第一方面的某些实现方式中,所述AI算子库固化在所述终端的硬件中。

  结合第一方面,在第一方面的某些实现方式中,所述神经网络算法模型通过硬件加速器调用所述AI算子库中对应的算子,并分析所述所述图像数据中的用户周边环境数据是否为目标环境数据。

  结合第一方面,在第一方面的某些实现方式中,在所述终端开启人工智能AI对应的工作模式之前,所述终端处于休眠状态。

  第二方面,提供了一种用于识别环境场景的芯片,该芯片包括:协处理器、主处理器,所述协处理器与所述主处理器相连,

  所述协处理器用于执行以下操作:通过低功耗摄像头实时获取图像数据,所述低功耗摄像头与所述协处理器相连,所述低功耗摄像头一直开启;根据所述图像数据分析用户周边环境场景是否为目标环境场景;确定所述用户周边环境场景变化为所述目标环境场景,向所述主处理器发送AI消息。

  所述主处理器用于执行以下操作:根据接收到的所述AI消息开启所述AI对应的工作模式。

  本申请实施例中协处理器可以与主处理器相连,低功耗摄像头可以通过协处理器的驱动层与协处理相连。

  协处理器可以根据常开的低功耗摄像头采集到的图像数据,调用集成在协处理器中的AI算法模型(也可以称为环境识别算法)分析判断用户的周围环境场景是否发生变化。

  协处理器可以在判断到有环境场景发生变化的情况下,将环境场景识别结果上报给主控制器。作为一个示例,协处理器可以在AI应用层生成AI消息,并可以向主控制器上报该AI消息。

  作为一个示例,协处理器可以通过常开的低功耗摄像头实时采集用户图像数据,并可以根据该图像数据通过计算机视觉算法识别图像中的环境场景是否为设定的目标环境场景。在判断到用户周边环境场景变化为目标环境场景的情况下,将AI识别结果上报给主控制器。主控制器在接收到协处理器上报的AI识别结果之后,该系统可以被唤醒,并可以根据AI识别结果相应的调整终端设备的工作模式。例如,如果设定的目标环境场景为需静音场景,当检测到用户周围环境由其他环境场景变化为需静音场景时,可以自动将终端设备的应用场景调整为会议模式(例如,震动或静音模式)。又如,如果设定的目标环境场景为室外环境(例如车内环境),当检测到用户周围环境由其他环境场景变化为车内 环境时,可以自动将终端设备的应用场景调整为驾驶模式(例如,铃声模式)

  本申请实施例中在没有业务时,主控制器系统正常休眠待机,进入低功耗模式。当协处理器上报环境场景变化的消息后,主控制器系统被唤醒。主控制器可以根据目标场景的不同,将终端设备切换到对应的工作模式。

  结合第二方面,在第二方面的某些实现方式中,所述目标环境场景为需静音场景。

  结合第二方面,在第二方面的某些实现方式中,所述协处理器包括:AI引擎模块、环境识别算法模型、AI算法库模块,AI应用层模块,

  所述AI引擎模块用于:根据所述低功耗摄像头采集的图像数据,调用所述环境识别算法模型分析所述图像数据中的用户周边环境场景是否为需静音场景。

  所述环境识别算法模型用于:调用所述AI算法库中对应的算子分析所述图像数据中的用户周边环境场景是否为需静音场景,并在确定所述图像数据由室外场景数据变化为需静音场景场景数据时,将环境场景识别结果上报至所述AI应用层。

  所述AI应用层用于:根据所述环境场景识别结果,向所述主控制器上报所述AI消息。

  结合第二方面,在第二方面的某些实现方式中,所述主处理器具体用于:根据接收到的所述AI消息,将工作模式调整为震动或静音的工作模式。

  结合第二方面,在第二方面的某些实现方式中,所述环境识别算法模型为神经网络算法模型,所述神经网络算法模型为根据大规模的目标环境场景数据进行监督学习训练而成的。

  结合第二方面,在第二方面的某些实现方式中,所述AI算法库固化在所述协处理器的硬件中。

  结合第二方面,在第二方面的某些实现方式中,所述协处理器还包括:硬件加速器模块,用于对所述环境识别算法模型调用AI算法库模块,并分析所述图像数据中的用户周边环境场景是否为需静音场景的过程进行加速。

  结合第二方面,在第二方面的某些实现方式中,在所述主控制器根据接收到的所述AI消息开启相应的终端工作模式之前,所述主控制器处于休眠状态。

  第三方面,提供了一种终端,包括:协处理器、主处理器、低功耗摄像头,所述协处理器与所述主处理器相连,所述低功耗摄像头与所述协处理器相连,

  所述协处理器用于执行以下操作:通过低功耗摄像头实时获取图像数据,所述低功耗摄像头与所述协处理器相连,所述低功耗摄像头一直开启;根据所述图像数据分析用户周边环境场景是否为目标环境场景;确定所述用户周边环境场景变化为所述目标环境场景,向所述主处理器发送AI消息。

  所述主处理器用于:根据接收到的所述AI消息开启所述AI对应的工作模式。

  结合第三方面,在第三方面的某些实现方式中,所述协处理器具体用于:根据所述图像数据,调用环境识别算法模型分析用户周边环境场景是否为目标环境场景。

  结合第三方面,在第三方面的某些实现方式中,所述目标环境场景为需静音场景。

  结合第三方面,在第三方面的某些实现方式中,所述协处理器具体用于:根据所述图像数据,调用所述环境识别算法模型分析所述图像数据中的用户周边环境场景是否为需静音场景。

  结合第三方面,在第三方面的某些实现方式中,所述环境识别算法模型为神经网络算 法模型,所述神经网络算法模型为根据大规模的目标环境场景数据进行监督学习训练而成的,所述协处理器具体用于:将所述图像数据输入到所述神经网络算法模型中,所述神经网络算法模型调用AI算子库中对应的算子分析所述所述图像数据中的用户周边环境数据是否为目标环境数据

  结合第三方面,在第三方面的某些实现方式中,所述AI算子库固化在所述协处理器的硬件中。

  结合第三方面,在第三方面的某些实现方式中,所述协处理器还包括:硬件加速器模块,用于对所述环境识别算法模型调用AI算法库模块,并分析所述图像数据中的用户周边环境场景是否为需静音场景的过程进行加速。

  结合第三方面,在第三方面的某些实现方式中,在所述主控制器根据接收到的所述AI消息开启相应的终端工作模式之前,所述主控制器处于休眠状态。

  第四方面,提供了一种终端,包括:

  获取模块,用于通过低功耗摄像头实时获取图像数据,所述低功耗摄像头一直开启。

  分析模块,用于根据所述图像数据分析用户周边场景是否为目标环境场景。

  确定模块,用于确定所述用户周边环境场景变化为所述目标环境场景。

  处理模块,用于开启人工智能AI对应的的工作模式。

  结合第四方面,在第四方面的某些实现方式中,分析模块具体用于:根据所述图像数据,调用环境识别算法模型分析用户周边环境场景是否为目标环境场景。

  结合第四方面,在第四方面的某些实现方式中,所述目标环境场景为需静音场景。

  结合第四方面,在第四方面的某些实现方式中,所述环境识别算法模型为神经网络算法模型,所述神经网络算法模型为根据大规模的目标环境场景数据进行监督学习训练而成的,所述分析模块具体用于:将所述图像数据输入到所述神经网络算法模型中,所述神经网络算法模型调用AI算子库中对应的算子分析所述所述图像数据中的用户周边环境数据是否为目标环境数据。

  结合第四方面,在第四方面的某些实现方式中,所述AI算子库固化在所述终端的硬件中。

  结合第四方面,在第四方面的某些实现方式中,所述分析模块具体用于:所述神经网络算法模型通过硬件加速器调用所述AI算子库中对应的算子,并分析所述所述图像数据中的用户周边环境数据是否为目标环境数据。

  结合第四方面,在第四方面的某些实现方式中,在开启人工智能AI对应的工作模式之前处于休眠状态。

  第五方面,提供了一种计算机可读存储介质,包括计算机程序,当该计算机程序在计算机上运行时,使得该计算机如执行第一方面或第一方面的任意一种实现方式中所述的方法。

  第六方面,提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得该计算机执行如第一方面或第一方面任意一种实现方式中所述的方法。

附图说明

  图1是本申请实施例提供的一种用于识别用户周边环境场景的方法的示意性流程图。

  图2是本申请实施例提供的一种终端200的硬件架构示意性框图。

  图3是本申请实施例提供的一种终端设备环境场景识别场景的示意性流程图。

  图4是本申请实施例提供的一种终端400的示意性结构图。

  图5是本申请实施例提供的一种用于识别环境场景的芯片500的示意性结构图。

  图6是使用本申请实施例提供的用于识别用户周边环境场景的方法之后终端的界面变化示意图。

具体实施方式

  下面将结合附图,对本申请实施例中的技术方案进行描述。

  应理解,本申请实施例中对提及的终端设备(也可以简称为终端)的类型不做具体限定,终端设备可以包括但不限于移动台(mobile station,MS)、移动电话(mobile telephone)、用户设备(user equipment,UE)、手机(handset)、便携设备(portable equipment)、蜂窝电话、无绳电话、会话启动协议(session initiation protocol,SIP)电话、无线本地环路(wireless local loop,WLL)站、个人数字处理(personal digital assistant,PDA)、物流用的射频识别(radio frequency identification,RFID)终端设备,具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它设备、车载设备、可穿戴设备、物联网、车辆网中的终端设备。

  作为示例而非限定,在本申请实施例中,该终端设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备,是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能,例如:智能手表或智能眼镜等,以及只专注于某一类应用功能,需要和其它设备如智能手机配合使用,如各类进行体征监测的智能手环、智能首饰等。

  人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人,自然语言处理,计算机视觉,决策与推理,人机交互,推荐与搜索,AI基础理论等。

  随着AI人工智能技术的发展,AI技术在终端设备上的应用越来越广泛,使得终端设备的功能越来越智能化。例如,随着AI技术在终端设备上的普及推广,终端设备在感知领域、图像处理领域、音频处理领域、语言处理领域等方面的功能越来越强大。

  现有技术中,AI人工智能集成在软件系统中,该AI人工智能功能基本上都需要用户的某一个动作或其他应用模块的触发。现有技术的终端设备中在有业务需要时,对应的应用模块才会调用相应的AI人工智能功能。该终端设备中的AI人工智能的功能不会持续常开,不会通过AI技术持续常开来感知用户周边环境场景、行为意图、环境改变等变化。

  例如,在使用计算机视觉算法识别图像中的环境场景时,需要用户主动对该用户周边的环境场景进行拍照,然后该终端设备才会对保存的图片中的环境场景进行识别。

  因此,现有技术中,在使用计算机视觉算法识别图像中的环境场景时,需要用户主动对该用户周边的环境场景进行拍照,该终端设备不能主动、实时感知用户周边的环境场景状态,其用户体验度不佳。

  本申请实施例提供了一种用于识别用户周边环境场景的方法,可以使得终端设备不依赖用户的特定操作,可以实时感知用户环境的变化,可以为用户提供无缝感知应用业务的能力,使得终端设备更智能化,人机体验更舒适。

  图1是本申请实施例提供的一种用于识别用户周边环境场景的方法的示意性流程图。图1所示的方法可以包括步骤110-140,下面对步骤110-140进行详细描述。

  步骤110,终端通过低功耗摄像头实时获取图像数据。

  本申请实施例中的低功耗的摄像头可以以特定帧率一直开启,从而可以实时采集终端设备周边的图像数据,并可以将采集到的图像数据上报至终端。

  应理解,常开的低功耗摄像头可以作为基础设施,并且持续不断的采集终端周围的数据,为终端设备实现自主运行AI人工智能技术提供硬件基础。

  步骤120,终端根据所述图像数据,分析用户周边环境场景是否为目标场景。

  本申请实施例中终端可以根据常开的低功耗摄像头不断的检测到的图像,并可以根据采集到的图像分析用户周围环境差场景是否为目标场景。作为一个示例,终端可以通过环境识别算法分析用户周边环境场景是否为目标场景。

  步骤130,终端确定所述用户周边环境场景变化为目标环境场景。

  终端可以在步骤120中判断到用户周边环境场景是否为目标场景之后,可以再根据用户周围之前的环境场景状态,判断该环境场景检测结果是否发生变化。也就是说,终端可以确定所述用户周边环境场景变化为目标环境场景。

  具体地,终端中的协处理器可以在AI应用层生成AI事件消息,并可以向终端中的主控制器上报该AI事件消息。下面会结合图2对该具体实现方式进行详细描述,此处不再赘述。

  步骤140,终端开启人工智能AI对应的工作模式。

  本申请实施例中的终端开启的AI对应的工作模式可以理解为不同的环境场景对应的应用模式。作为一个示例,环境场景为需静音场景时,终端对应的应用场景为会议模式,例如,该终端工作在震动或静音工作模式。作为另一个示例,环境场景为车内环境时,终端对应的应用场景为驾驶模式,例如,该终端工作在铃声模式。

  本申请实施例中,终端可以根据持续不断检测到的用户周围的图像,自动识别用户周围的环境场景,并在确定所述用户周边环境场景变化为所述目标环境场景时,开启人工智能AI对应的工作模式。该终端可以根据环境识别结果切换到对应的场景模式。为用户提供无缝感知应用业务的能力,使得终端设备更智能化,人机体验更舒适。

  本申请实施例中终端可以包括:主处理器、协处理器以及常开的低功耗摄像头。

  在没有业务时,终端中的主控制器系统正常休眠待机,进入低功耗模式。当终端中的协处理器上报AI事件消息后,终端中的主控制器系统被唤醒。终端中的主控制器可以根据产品业务需求,实现各种亮点业务功能,或者将事件消息传递给其他相关的业务模块, 由其他业务模块完成最终的处理。

  作为一个示例,终端中的协处理器可以通过常开的低功耗摄像头实时采集用户图像数据,并可以根据该图像数据通过计算机视觉算法识别图像中的环境场景是否为设定的目标环境场景。在判断到用户周边环境场景变化为目标环境场景的情况下,将AI识别结果上报给主控制器。终端中的主控制器在接收到协处理器上报的AI识别结果之后,该系统可以被唤醒,并可以根据AI识别结果相应的调整终端设备的工作模式。例如,如果设定的目标环境场景为需静音场景,当检测到用户周围环境由其他环境场景变化为需静音场景时,可以自动将终端设备的应用场景调整为会议模式(例如,震动或静音模式)。又如,如果设定的目标环境场景为室外环境(例如车内环境),当检测到用户周围环境由其他环境场景变化为车内环境时,可以自动将终端设备的应用场景调整为驾驶模式(例如,铃声模式)。下面会结合图2-图3对终端设备自动识别周围环境场景并调整终端设备的工作模式的具体实现方式进行详细描述,此处不再赘述。

  本申请实施例对建立环境识别算法模型的具体实现方式不做具体限定。可选地,在一些实施例中,可以基于深度学习神经网络来构建该算法模型,可以通过大规模已标注的环境图片数据来进行监督学习训练,从而可以将训练所得的算法模型部署在协处理器中。

  本申请实施例中,由于采用深度学习神经网络来构建环境识别算法模型,该算法不需要人工设计和提取环境特征,而由神经网络从大量训练数据中自动学习特征。

  下面结合图2详细描述本申请实施例中终端中的主处理器和协处理器协同处理,从而实现终端可以自主运行AI感知能力,实时感知用户环境场景的变化的具体实现方式。

  图2是本申请实施例提供的一种终端200的硬件架构示意性框图。图2所示的终端200的硬件架构可以包括主处理器210、协处理器220、低功耗摄像头230。

  协处理器220:集成了AI能力,可以以低功耗模式持续运行检测用户环境场景变化。协处理器220与主处理器210相连,当检测到用户周围的环境发生变化后,通过向主处理器210上报AI事件消息触发唤醒主控制器210。

  主处理器210:在没有业务时,主控制器210系统可以进行正常休眠待机状态,进入低功耗模式。当接收到协处理器220发送的AI事件消息之后,主处理器210被唤醒后,接收协处理器220上报的事件,触发相应的业务场景功能。

  低功耗常开摄像头230:通过协处理器220提供的外围芯片软件接口(驱动)与协处理器220相连,为协处理器220处理AI业务提供了数据来源。

  下面对协处理器220的系统架构进行详细描述。

  协处理器220的软件系统可以是一个实时操作系统(real time operating system,RTOS)。当外界事件或数据产生时,能够接受并以足够快的速度予以处理。其处理的结果又能在规定的时间之内来控制生产过程或对处理系统做出快速响应,调度一切可利用的资源完成实时任务。并控制所有实时任务协调一致运行的操作系统,响应速度快,可靠性高。

  协处理器220的RTOS系统可以包括:内核(kernel)221、框架层(framework层)222、APP应用层223。

  内核(kernel)221包括:外设驱动模块2211、硬件加速模块2212、AI算子库模块2213。

  framework层222包括:AI应用管理模块2221、AI算法管理模块2222、AI算法模型2223。

  APP应用层223包括:AI应用层模块2231、AI引擎模块2232、AI模型管理模块2233。

  下面对上述几种模块进行详细描述。

  外设驱动模块2211:可以为连接有各类外围芯片提供软件接口。例如,可以连接常开的低功耗摄像头230,该低功耗摄像头230可以为协处理器220感知用户周边环境场景意图或环境变化提供了硬件基础。协处理器220可以根据低功耗摄像头230采集到的图像数据,分析用户的动作以及周围环境等特征,为协处理器220处理AI业务提供了数据来源。

  具体的,终端可以通过外设驱动模块2211连接的常开的低功耗摄像头230,实时获取图像数据。

  可选地,在一些实施例中,连接在外设驱动模块2211的外围器件还可以包括但不限于:传感器(可以用于识别用户动作)、常开的低功耗麦克风(可以用于分析用户语音等特征)、位置传感器(例如,全球定位系统(global postem system,GPS)、无线局域网(wireless fidelity,WIFI)、调制解调器(modem),可以用于提供用户的位置信息。

  AI应用管理模块2221:可以对外设驱动模块2211上报的数据进行分类。例如将接收到的数据分为图像类、视频类、音频类等,以便于调用不同类别的AI算法模型2223进行分析处理。

  AI引擎模块2232:可以负责调度、协调AI算法模型2223进行运算。由于同时有多个AI算法模型2223运行,AI引擎模块2232的调度管理控制可以最大限度的保证软件有序运行。

  AI算法管理模块2222:负责算法管理,可以根据AI应用管理模块2221上报的不同类别的数据,从多个运行的AI算法模型2223中选择出对应的AI算法模型进行分析。

  AI算法模型2223:可以是符合某些业务的图像、声音的算法特征的集合。例如,在进行识别用户周围环境场景是否为目标场景时,该AI算法模型2223可以是符合目标环境场景的集合。AI算法模型2223可以通过大规模的图像数据进行训练,训练完成之后生成算法模型,并可以由对应的AI算子运行该算法模型自动进行用户周围环境场景识别。

  具体的,终端中的协处理220可以在接收到常开的低功耗摄像头230上报的图像数据之后,AI应用管理模块2221可以根据需要处理的数据为分析图像中的用户周边环境场景进行识别,通过AI引擎模块2232调用对应的环境识别算法分析采集到的图像中用户周边环境场景是否为目标环境场景(例如,需静音场景)。

  需要说明的是,AI算法模型2223可以默认集成在软件系统中,也可以通过主控制器210更新到协处理器220中,本申请实施例对此不做具体限定。

  AI模型管理模块2233:在一些实施例中,主控制器210还可以对AI算法模型2223进行优化。例如,可以使用GPS/WIFI/modem等定位信息对AI算法模型2223的结果进行综合判断,以提高AI算法模型2223的准确率。AI模型管理模块2233可以对AI算法模型2223中的某些特征进行修改。

  AI算子库模块2213:AI引擎模块2232可以通过调用AI算子库模块2213中的算子来运行AI模型管理模块2233进行环境识别。由于协处理器220资源有限,可以将设计大 量数学计算的AI算子库模块2213固化在硬件中,可以由硬件实现AI的大部分算子,可以避免软件实现算子产生的高处理器负荷。硬件固化算子的接口可以由内核(kernel)221提供接口给AI模型管理模块2233使用。

  应理解,AI算子库模块2213固化在硬件中(软件固化)可以是将软件写到协处理器芯片上,可以通过协处理器芯片来运行烧写上的软件。软件固化即把软件制做在硅片(就是所谓固件)上来实现软件功能,使操作系统和语言处理的复杂性由软硬件双方分担。

  本申请实施例中,将AI算子库模块2213固化在协处理器的硬件上,该软件固化的操作可以提高整个系统的操作速度,改善可靠性,降低成本,便于大规模生产和实现标准化。

  硬件加速模块2212:可以通过加速模式,对AI引擎模块2232调用AI算子库模块2213中的算子来运行AI模型管理模块2233的过程进行加速。可以保证AI引擎模块2232快速实时的调用AI算子库模块2213中的算子,为framework层222AI模型管理模块2233中的各类AI算法提供能力接口。

  AI应用层模块2231:可以位于APP应用层223,可以按照终端设备业务设计的场景需求,在APP应用层223实现各种持续常开的AI应用。AI应用层模块2231可以调用到各类算法得到外围连接的各类器件的AI识别结果之后,并可以将对应的AI事件消息上报给主控制器210。如果主控制器210是处于休眠状态,可以在被唤醒之后,对该AI事件消息进行二次处理。

  具体的,终端在低功耗摄像头230上报的图像由其他环境场景(例如,车内)变化为现在采集到的图像的目标环境场景时,AI应用管理模块2221将环境识别结果上报给AI应用层模块2231。AI应用层模块2231在得到环境识别结果之后,就会形成环境识别事件消息,并将该环境识别事件消息上报给主控制器210中的AI事件消息管理器212。

  下面对主处理器210的系统架构进行详细描述。

  主处理器210:负责运行终端设备的各类应用,包括UI人机交互界面,和云端交互等。在没有业务时,主控制器系统正常休眠待机,进入低功耗模式。

  主处理器210可以包括:AI本地(AI native)211、AI事件消息管理器(AI service)212、应用(application,APP)213、APP 214、APP 215。

  AI本地(AI native)211:可以接收协处理器220上报的AI事件消息,主控制器210被唤醒。还可以将主控制器210优化后的AI算法模型2223发送至协处理器220的AI引擎模块2232,AI引擎模块2232可以通过AI模型管理模块2233将对AI算法模型2223进行更新。

  AI事件消息管理器(AI service)212:可以接收AI native 211上报的AI事件消息,并统一管理终端设备的AI能力接口,为各个业务模块提供AI应用程序界面(application program interfae,API)。根据产品业务需求,实现各种亮点业务功能。例如,可以根据不同的应用(APP 213或APP 214或APP 215),实现不同的亮点业务功能。

  具体的,主控制器210中的AI事件消息管理器212在接收到AI应用层模块2231发送的环境识别事件消息之后,该主控制器210被唤醒。主控制器210可以在判断功耗摄像头230上报的图像中检测到的用户周围环境场景变化为目标环境场景的情况下,可以自动更改终端设备的工作模式。

  以目标环境场景为需静音场景,如果主控制器210接收到的环境识别结果为用户场景 切换到了需静音场景,则该终端设备自动调整为会议模式(例如,震动或静音模式)。

  以目标环境场景为车内或室外为例,如果主控制器210接收到的环境识别结果为用户场景切换到了车内或室外则该终端设备自动调整为驾驶模式(例如,铃声模式)。

  可选地,在一些实施例中,如果需要大数据处理,AI service 212还可以将数据传递到云端,完成终端设备和云结合的低功耗业务处理模式。

  本申请实施例中,协处理器运行的主频较低,涉及的大量数学运算的AI算子是以硬件固化的方式集成,并且外围的器件为低功耗器件,可以在低功耗的模式下常开并运行AI感知能力,使得终端设备可以不依赖特定的动作,能够感知用户的动作变化或周围环境场景的变化。

  本申请实施例中以目标环境场景为需静音场景场景或车内场景,仅仅是作为两个环境识别的实例进行描述。其对应的应用场景的模式分别为会议模式、驾驶模式。但是本申请实施例的环境识别的场景不限于上述两种类别,其他的环境识别的场景均可以适用本申请实施例提供的用于识别环境场景的方法以及芯片。

  下面结合图3中的目标环境场景为需静音场景场景作为示例,对图2所示的终端进行实时感知用户环境场景的变化的具体实现方式进行详细描述。应注意,图3的例子仅仅是为了帮助本领域技术人员理解本申请实施例,而非要将申请实施例限制于所示例的具体数值或具体场景。本领域技术人员根据文所给出的图3的例子,显然可以进行各种等价的修改或变化,这样的修改和变化也落入本申请实施例的范围内。

  图3是本申请实施例提供的一种终端设备环境场景识别场景的示意性流程图。图3所示的方法可以包括步骤310-355,下面对步骤310-355进行详细描述。

  步骤310:开始。

  步骤315:低功耗摄像头采集图像。

  协处理器220可以通过连接的常开低功耗摄像头230不断采集终端设备周围的图像,并可以将采集到的图像数据上报给AI应用管理模块2221。

  步骤320:协处理器调用环境识别算法模型,检测用户周围的环境场景是否是需静音场景场景。

  协处理220可以在接收到常开的低功耗摄像头230上报的图像数据之后,AI应用管理模块2221可以根据需要处理的数据为分析图像中的用户周边环境场景进行识别,通过AI引擎模块2232调用对应的环境识别算法分析采集到的图像中用户周边环境场景是否为需静音场景场景。

  本申请实施例中可以基于深度学习神经网络来构建该环境识别算法模型,可以通过大规模已标注的环境图片数据来进行监督学习训练,从而可以将训练所得的环境识别算法模型部署在协处理器中。

  如果识别出图像中的用户周边环境场景为需静音场景场景,则AI应用管理模块2221可以执行步骤325。

  如果识别出图像中的用户周边环境场景不是需静音场景场景,则AI应用管理模块2221可以重新执行步骤315。

  步骤325:与之前状态相比,判断环境场景检测结果是否发生变化。

  可以在环境识别算法检测出图像中用户的周边环境场景为需静音场景场景之后,可以 和之前的状态对比,看环境场景检测结果是否发生变化。

  如果对比之前的状态,发现低功耗摄像头230上报的图像由其他环境场景(例如,车内)变化为现在采集到的图像的需静音场景场景时,则AI应用管理模块2221可以执行步骤330。

  如果对比之前的状态,发现低功耗摄像头230上报的图像没有由其他环境场景(例如,车内)变化为现在采集到的图像的需静音场景场景时,则AI应用管理模块2221可以重新执行步骤315。

  步骤330:协处理器将环境识别消息上报给主控制器。

  在低功耗摄像头230上报的图像由其他环境场景(例如,车内)变化为现在采集到的图像的需静音场景场景时,AI应用管理模块2221将环境识别结果上报给主控制器210。

  具体的,协处理器220中的AI应用管理模块2221可以将环境识别结果上报给AI应用层模块2231。AI应用层模块2231在得到环境识别结果之后,就会形成环境识别事件消息,并将该环境识别事件消息上报给主控制器210中的AI事件消息管理器212。

  步骤335:主控制器被唤醒。

  主控制器210中的AI事件消息管理器212在接收到AI应用层模块2231发送的环境识别事件消息之后,该主控制器210被唤醒。

  步骤340:主控制器判断是否将终端切换为会议模式。

  主控制器210可以在被唤醒之后,可以判断功耗摄像头230上报的图像中检测到的用户周围环境场景是否变化为需静音场景场景。

  如果主控制器210判断功耗摄像头230上报的图像中检测到的用户周围环境场景变化为需静音场景场景的情况下,可以执行步骤345。

  如果主控制器210判断功耗摄像头230上报的图像中检测到的用户周围环境场景没有变化为需静音场景场景的情况下,可以执行步骤350。

  步骤345:主控制器自动设置该终端为会议模式。

  主控制器210可以在判断功耗摄像头230上报的图像中检测到的用户周围环境场景变化为会议模式的情况下,该终端设备自动调整为会议模式(例如,震动或静音模式)。

  步骤350:主控制器不改变终端工作模式。

  主控制器210可以在判断功耗摄像头230上报的图像中检测到的用户周围环境场景没有变化为会议模式的情况下,可以不改变终端设备的工作模式。

  步骤355:结束。

  参见图6,当用户从室外场景进入到需静音场景场景之后,该终端可以自动检测到用户周边环境的变化,终端的界面由610自动变成了界面620。从图6中可以看出,当用户从室外场景进入到需静音场景场景之后,终端自动调整为会议模式(例如,震动模式,如图6中的630)。

  本申请实施例中,终端设备可以通过常开的低功耗摄像头实时采集用户图像数据,并可自主运行AI感知能力。终端设备可以自动识别环境并切换到对应的场景模式(例如,会议模式),使得终端设备更智能化,人机体验更舒适。

  上文结合图1至图3,详细描述了本发明实施例提供的一种用于识别用户周边环境场景的方法,下面详细描述本申请实施例的装置实施例。应理解,方法实施例的描述与装置 实施例的描述相互对应,因此,未详细描述的部分可以参见前面方法实施例。

  图4是本申请实施例提供的一种终端400的示意性结构图。终端400可以包括:获取模块410、分析模块420、确定模块430、处理模块440。下面对上述几种模块进行详细描述。

  获取模块410用于:通过低功耗摄像头实时获取图像数据,所述低功耗摄像头一直开启。

  分析模块420用于:根据所述图像数据,分析用户周边场景是否为目标环境场景。

  确定模块430用于:确定所述用户周边环境场景变化为所述目标环境场景。

  处理模块440用于:开启人工智能AI对应的的工作模式。

  可选地,在一些实施例中,所述分析模块420具体用于:根据所述图像数据,调用环境识别算法模型分析用户周边环境场景是否为目标环境场景。

  可选地,在一些实施例中,所述目标环境场景为需静音场景。

  可选地,在一些实施例中,所述环境识别算法模型为神经网络算法模型,所述神经网络算法模型为根据大规模的目标环境场景数据进行监督学习训练而成的,

  所述分析模块420具体用于:将所述图像数据输入到所述神经网络算法模型中,所述神经网络算法模型调用AI算子库中对应的算子分析所述所述图像数据中的用户周边环境数据是否为目标环境数据。

  可选地,在一些实施例中,所述AI算子库固化在所述终端的硬件中。

  可选地,在一些实施例中,所述分析模块420具体用于:所述神经网络算法模型通过硬件加速器调用所述AI算子库中对应的算子,并分析所述所述图像数据中的用户周边环境数据是否为目标环境数据。

  可选地,在一些实施例中,在开启人工智能AI对应的工作模式之前处于休眠状态。

  图5是本申请实施例提供的一种用于识别环境场景的芯片500的示意性结构图,芯片500可以包括:主处理器510、协处理器520。

  所述协处理器520用于执行以下操作:通过低功耗摄像头实时获取图像数据,所述低功耗摄像头一直开启;根据所述图像数据,分析用户周边环境场景是否为目标环境场景;确定所述用户周边环境场景变化为目标环境场景,向所述主处理器发送AI消息。

  所述主处理器510用于:根据接收到的所述AI消息开启该AI对应的工作模式。

  本申请实施例中协处理器520可以与主处理器510相连,低功耗摄像头可以与协处理器520相连。

  协处理器520可以根据常开的低功耗摄像头采集到的图像数据,调用集成在协处理器520中的AI算法模型(也可以称为环境识别算法)分析判断用户的周围环境场景是否发生变化。

  协处理器520可以在判断到有环境场景发生变化的情况下,将环境场景识别结果上报给主控制器510。作为一个示例,协处理器520可以在AI应用层生成AI消息,并可以向主控制器510上报该AI消息。

  可选地,在一些实施例中,根据所述图像数据,调用环境识别算法模型分析用户周边环境场景是否为目标环境场景。

  可选地,在一些实施例中,协处理器520具体用于:所述目标环境场景为需静音场景。

  可选地,在一些实施例中,所述协处理器520包括:AI引擎模块、环境识别算法模型、AI算法库模块,AI应用层模块,

  所述AI引擎模块用于:根据所述低功耗摄像头采集的图像数据,调用所述环境识别算法模型分析所述图像数据中的用户周边环境场景是否为需静音场景。

  所述环境识别算法模型用于:调用所述AI算法库中对应的算子分析所述图像数据中的用户周边环境场景是否为需静音场景,并在确定所述图像数据由室外场景数据变化为需静音场景场景数据时,将环境场景识别结果上报至所述AI应用层。

  所述AI应用层用于:根据所述环境场景识别结果,向所述主控制器上报所述AI消息。

  可选地,在一些实施例中,所述环境识别算法模型为神经网络算法模型,所述神经网络算法模型为根据大规模的目标环境场景数据进行监督学习训练而成的。

  可选地,在一些实施例中,所述AI算法库固化在所述协处理器的硬件中。

  可选地,在一些实施例中,所述协处理器520还包括:硬件加速器模块,用于对所述环境识别算法模型调用AI算法库模块,并分析所述图像数据中的用户周边环境场景是否为需静音场景的过程进行加速。

  可选地,在一些实施例中,在所述主控制器510根据接收到的所述AI消息开启相应的终端工作模式之前,所述主控制器510处于休眠状态。

  本申请实施例还提供了一种计算机可读存储介质,包括计算机程序,当该计算机程序在终端上运行时,使得该终端执行如步骤110-140等中所述的方法。

  本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在终端上运行时,使得该终端执行如步骤步骤110-140等中所述的方法。

  本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。

  所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

  另外,本申请实施例的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请实施例中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如,计算机可读介质可以包括,但不限于:磁存储器件(例如,硬盘、软盘或磁带等),光盘(例如,压缩盘(compact disc,CD)、数字通用盘(digital versatile disc,DVD)等),智能卡和闪存器件(例如,可擦写可编程只读存储器(erasable programmable read-only memory,EPROM)、卡、棒或钥匙驱动器等)。另外,本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于,无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。

  在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组 件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

  所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

  另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

  所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

  以上所述,仅为本申请实施例的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

《一种识别环境场景的方法、芯片、终端.doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档

文档为doc格式(或pdf格式)