显示装置的控制方法、装置、电子设备及存储介质
技术领域
本申请涉及智能家居技术领域，尤其涉及一种显示装置的控制方法、装置、电子设备及存储介质。
背景技术
近年来，智能家居技术发展迅速。智能家居系统实现的基础是对大量智能设备的控制，其中，显示装置是智能家居系统中常见的智能设备。
智能家居系统通常采用以下方法实现对显示装置的控制。例如，用户可通过智能终端的App来控制显示装置的开关机。具体方式如下：智能终端作为发送端发送控制命令到网关设备，网关设备接收到控制命令后转发控制命令到智能插座，从而通过智能插座来控制显示装置的开关机。
然而，采用上述方法控制显示装置的开机的过程中，需要用户先通过智能终端的App进行手动操作，无法将用户行为与显示装置的应用场景之间建立联动关系，因此对显示装置控制的智能化程度较低，用户体验有待改善。
发明内容
本申请提供一种显示装置的控制方法、装置、电子设备及存储介质，能够将用户行为与显示装置的应用场景之间建立联动关系，提升智能家居的智能化和用户体验。
第一方面，本申请提供一种显示装置的控制方法，应用于智能家居系统，所述智能家居系统包括：处理器、人机交互装置以及显示装置，人机交互装置和显示装置分别与处理器通信连接，所述方法包括：
处理器接收人机交互装置发送的视频信息；
处理器验证所述视频信息中的用户是否是已授权用户；
如果所述视频信息中的用户是已授权用户，处理器判断所述用户的行为特征和预设行为特征是否匹配；
如果所述用户的行为特征和预设行为特征相匹配，处理器控制显示装置开机或关机。
结合第一方面，在第一方面的第一种可实现方式中，所述智能家居系统还包括智能插座，所述智能插座与处理器通信连接，处理器控制显示装置开机或关机包括：
处理器将语音提示信息发送至人机交互装置；
人机交互装置播报所述语音提示信息；
人机交互装置接收用户反馈的音频信息；
人机交互装置将用户反馈的音频信息发送至处理器；
处理器对用户反馈的音频信息进行解析，得到对应的用户行为解析信息；
处理器生成与所述用户行为解析信息对应的控制指令；
处理器将所述控制指令发送至显示装置或者智能插座。
结合第一方面，在第一方面的第二种可实现方式中，处理器对用户反馈的音频信息进行解析，得到对应的用户行为解析信息包括：
处理器将用户反馈的音频信息发送至云端语音引擎；
处理器接收所述云端语音引擎识别出的文本信息；
处理器对所述文本信息进行语义解析，得到对应的用户行为解析信息。
结合第一方面，在第一方面的第三种可实现方式中，处理器验证所述视频信息中的用户是否是已授权用户包括：
处理器捕捉所述视频信息中用户的面部图像；
处理器提取所述面部图像的面部关键点；
处理器依据所述面部关键点校正所述面部图像；
处理器利用预先训练的深度学习模型，计算所述用户的面部图像与已授权用户面部图像的相似度；
如果所述相似度大于或等于预设阈值，处理器输出所述视频信息中的用户是已授权用户；
如果所述相似度小于预设阈值，处理器输出所述视频信息中的用户是未授权用户。
结合第一方面，在第一方面的第四种可实现方式中，所述方法还包括：
处理器响应于显示装置发送的开机信号，向显示装置发送所述用户的用户信息，以使所述显示装置显示与所述用户信息相匹配的收藏信息或历史信息。
结合第一方面，在第一方面的第五种可实现方式中，所述方法还包括：
处理器响应于显示装置发送的开机信号，查找与所述用户的用户信息相匹配的场景氛围模式；
处理器生成与所述场景氛围模式相对应的氛围灯控制指令；
处理器发送所述氛围灯控制指令至氛围灯。
第二方面，本申请提供一种显示器控制装置，包括：
接收单元，用于接收人机交互装置发送的视频信息；
验证单元，用于验证所述视频信息中的用户是否是已授权用户；
判断单元，用于在所述视频信息中的用户是已授权用户时，判断所述用户的行为特征和预设行为特征是否匹配；
控制单元，用于在所述用户的行为特征和预设行为特征相匹配时，控制显示装置开机或关机。
第三方面，本申请提供一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，以实现上述显示装置的控制方法。
第四方面，本申请一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述显示装置的控制方法。
本申请实施例中，利用处理器对人机交互装置发送的视频信息中的用户进行验证，如果用户是已授权用户，则判断用户的行为特征和预设行为特征是否匹配，并在用户的行为特征和预设行为特征相匹配的情况下，控制显示装置开机或关机；本申请通过验证用户的身份，识别用户的行为特征，将用户行为与智能家居系统中显示装置的应用场景之间建立联动关系，以此来对显示装置进行控制，显著提升了智能家居的智能化和用户体验。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的应用场景的示意图。
图2为本申请实施例提供的显示装置的控制方法的流程图。
图3为本申请实施例提供的显示装置的控制方法步骤S202的流程图。
图4为本申请实施例提供的显示装置的控制方法步骤S203的流程图。
图5为本申请实施例提供的显示装置的控制方法步骤S204的流程图。
图6为本申请实施例提供的显示装置的控制方法步骤S505的流程图。
图7为本申请实施例提供的显示装置的控制方法步骤的另一种实施方式的流程图。
图8为本申请实施例提供的显示器控制装置的结构示意图。
图9为本申请实施例提供的显示器控制装置的控制单元的结构示意图。
图10为本申请实施例提供的显示器控制装置的验证单元的结构示意图。
图11为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，图1为本申请实施例的应用场景的示意图，本申请的显示装置的控制方法可用于对智能家居系统中的显示装置的开关机进行智能化控制，所述智能家居系统可以包括处理器100、人机交互装置200以及显示装置300。人机交互装置200可以设置在显示装置300上方，人机交互装置200和显示装置300分别与处理器100通信连接。
请参阅图2，图2为本申请实施例提供的显示装置的控制方法的流程图，该方法的执行主体可以是图1中的处理器100，处理器100是智能家居系统的中控设备，相当于“家庭大脑”，负责对智能家居系统中其他设备传输的信息进行处理。人机交互装置200具备音视频采集以及语音播放等功能。显示装置300具体可以是电视机，也可以是具备运动、听音乐、唱歌、看电影或者玩游戏等功能的显示装置。
本实施例的显示装置的控制方法可以包括如下步骤：
步骤S201，处理器接收人机交互装置发送的视频信息。
人机交互装置可以实时地对周边环境进行音频采集，以及对显示装置周边的场景进行视频采集，并将采集到的音频信息和视频信息传输到处理器。
步骤S202，处理器验证所述视频信息中的用户是否是已授权用户。
处理器接收到人机交互装置发送的视频信息后，可以对视频信息中的用户的身份进行验证，以此判断出该用户是否是已授权用户。可预先对特定用户，如家庭成员等赋予权限，具备该权限的用户即为已授权用户。
请参阅图3，在本实施例中，可以采用人脸识别的方法验证所述视频信息中的用户是否是已授权用户，步骤S202具体包括如下步骤：
步骤S301，处理器捕捉所述视频信息中用户的面部图像。
所述视频信息可能采集到的是用户的半身或者全身图像，为了进行人脸识别，需要检测视频信息中用户的面部图像的位置。
步骤S302，处理器提取所述面部图像的面部关键点。
在本实施例中，所述面部关键点具体可以是用户面目的一些重要的特征点，例如：瞳孔位置、鼻子左侧、鼻孔下侧、上嘴唇下侧等等。
步骤S303，处理器依据所述面部关键点校正所述面部图像。
由于用户姿态的不同，所采集到的可能是某个角度下用户的面部图像，该步骤通过对用户的面部图像进行姿态的校正，使其用户的面部可能的摆正，从而可以提高人脸识别的精度。提取到这些面部关键点的位置后，对面部关键点的位置进行驱动变形，以完成对面部图像的校正。
步骤S304，处理器利用预先训练的深度学习模型，计算所述用户的面部图像与已授权用户面部图像的相似度。
步骤S305，如果所述相似度大于或等于预设阈值，处理器输出所述视频信息中的用户是已授权用户。
步骤S306，如果所述相似度小于预设阈值，处理器输出所述视频信息中的用户是未授权用户。
本申请采用人脸识别技术，利用预先训练的深度学习模型，计算用户的面部图像与已授权用户面部图像的相似度，并对相似度设定一个预设阈值，在该用户的面部图像信息中的特征数据与某个已授权用户的特征数据之间的相似度超过所述预设阈值，则输出所述视频信息中的用户是已授权用户。
步骤S203，如果所述视频信息中的用户是已授权用户，处理器判断所述用户的行为特征和预设行为特征是否匹配。
处理器在验证视频信息中的用户是已授权用户之后，需要进一步识别该用户的行为特征，以判断该用户的实际意图。在本实施例中，预设行为特征可以是“坐下”、“站起”、“手里拿着书/笔记本/麦克风/零食/手柄”等动作。
请参阅图4，在本实施例中，以显示装置300为电视机，预设行为特征包括“坐下”、“站起”为例，步骤S203具体可以包括如下步骤：
步骤S401，处理器周期性计算所述视频信息中多帧图像的用户高度数据。
处理器可以每隔预设时间间隔，计算一次当前帧图像中用户的高度，并记录下多帧图像中的人体高度数据。本实施例中的人体高度数据指的是人体在图像中的相对高度数据。
步骤S402，处理器根据所述用户高度数据，分析所述用户的高度变化趋势。
处理器具体可以通过图像中的人体高度数据，综合判断用户高度的变化，从而得出变化趋势，比如变化趋势可以是由高至低，或者由低至高。
步骤S403，处理器判断所述用户的高度变化趋势是否符合预设行为特征下的高度变化趋势。
本实施例中的高度变化趋势，用于表示在人机交互装置的视场内，用户的头部最高点的高度变化趋势。“坐下”这一预设行为特征对应的高度变化趋势是由高至低，而“站立”这一预设行为特征对应的高度变化趋势是由低至高。
如果用户的高度变化趋势是由高至低，说明用户可能是由在电视机前站立的姿态，切换为在电视机前坐下的状态，则可以认为所述用户的高度变化趋势符合“坐下”这一预设行为特征下的高度变化趋势。如果用户的高度变化趋势是由低至高，说明用户可能是由在电视机前坐下的姿态，切换为在电视机前站立的状态，则可以认为所述用户的高度变化趋势符合“站立”这一预设行为特征下的高度变化趋势。
以识别出人体在电视机前“坐下”这一预设行为特征为例，以下为一种可选的具体识别方式。测量人体距离电视机不同距离时，所采集到的图像中人体身高的相对高度数据，该过程中采集的是人体的全身图像。根据图像中人体身高的相对高度数据设定相应的阈值，该阈值可以是图像中人体身高的相对高度数据的百分比。
例如，人体与电视机的距离为L时，图像中人体身高的相对高度数据为A，所述阈值可以设定为A×20％。处理器可以通过图像进行人体识别，并计算出人体在图像中的相对高度数据Bn。处理器通过跟踪比较多帧图像中人体的相对高度数据，如B1，B2，B3等等。当检测到人体在图像中的相对高度数据达到设定阈值时，如检测到B3小于或等于A×20％，则可据此识别出人体坐下的行为。
需要说明的是，上述方法仅为以电视机为例，判断用户的行为特征是否与“坐下”、“站起”这两个预设行为特征相匹配的一种可选的方式。具体实现中，预设行为特征可以根据显示装置的具体类型而进行灵活设置，例如，当显示装置为具有运动功能的器械时，预设行为特征可以设置为相应的运动准备姿势。当显示装置为具有唱歌功能的娱乐装置时，预设行为特征可以设置为用户拿起麦克风等姿势。当显示装置为具有游戏功能的游戏装置时，预设行为特征可以设置为用户拿起游戏手柄的姿势等等。
在本申请另一种可行的实施方式中，显示装置300可以是具有运动功能的器械上的显示器，如跑步机上的显示器。相应的预设行为特征可以设置为用户准备跑步所作出的运动准备姿势，例如：人体端起手臂的姿势。识别出人体在跑步机上的显示装置前“端起手臂”这一预设行为特征，具体可通过以下方式实现。
测量人体距离跑步机上的显示装置不同距离时所采集到的图像中，人体手部自然下垂状态下，手部相对于头顶的相对高度数据。该过程中采集的可以是人体的半身图像。根据该相对高度数据设定相应的阈值，该阈值可以是图像中人体手部自然下垂时，手部相对于头顶的相对高度数据的百分比。
例如，人体与跑步机上的显示装置的距离为S时，图像中人体手部自然下垂状态下相对于头顶的相对高度数据为C，所述阈值可以设定为C×70％。处理器可以通过图像进行人体识别，并计算出人体手部在图像中相对于头顶的相对高度Dn。处理器通过跟踪比较多帧图像中人体手部相对于头顶的相对高度，如D1，D2，D3等等。
当检测到人体手部在图像中相对于头顶的相对高度达到设定阈值时，如检测到D3小于或等于C×70％，则可据此识别出用户在步机上的显示装置前“端起手臂”这一运动准备姿势，从而识别出用户想要开始跑步的意图。
步骤S204，如果所述用户的行为特征和预设行为特征相匹配，处理器控制显示装置开机或关机。
如图1所示，在一种可选的实施方式中，所述智能家居系统还可以包括智能插座400，所述智能插座400与处理器100通信连接，则参阅图5，步骤S204具体可以包括：
步骤S501，处理器将语音提示信息发送至人机交互装置。
例如，处理器识别出用户的行为特征符合坐下这一行为动作，则说明用户可能存在观看电视机的意图。因此，处理器向人机交互装置发送预先设置的语音提示信息，如“是否打开电视机？”。
步骤S502，人机交互装置播报所述语音提示信息。
步骤S503，人机交互装置接收用户反馈的音频信息。
步骤S504，人机交互装置将用户反馈的音频信息发送至处理器。
人机交互装置接收到处理器发送的语音提示信息后，可以向外界播放。例如，向用户播放“是否打开电视机？”语音提示。用户听到该语音提示后，如果给予回应，比如回答“是”，则人机交互装置可以将用户反馈的音频信息进行采集，并转发至处理器。
步骤S505，处理器对用户反馈的音频信息进行解析，得到对应的用户行为解析信息。
处理器接收到人机交互装置发送过来的音频信息后，根据用户反馈的音频信息，解析用户想要作出的行为，例如“打开电视机”或者“关闭电视机”。
请参阅图6，在本实施例中，步骤S505具体可以包括：
步骤S601，处理器将用户反馈的音频信息发送至云端语音引擎。
例如，用户对人机交互装置回复的用户音频信息为“是”，或者“打开电视机”等时，处理器可以将该象音频信息发送至云端语音引擎，利用云端语音引擎对所述用户音频信息进行识别。
步骤S602，处理器接收所述云端语音引擎识别出的文本信息。
云端语音引擎识别出用户音频信息的含义，可以将用户音频信息以文本信息的形式发送给处理器。
步骤S603，处理器对所述文本信息进行语义解析，得到对应的用户行为解析信息。
处理器可以利用语义解析技术对文本信息的含义进行理解，以确定文本信息表达的用户行为解析信息。
步骤S506，处理器生成与所述用户行为解析信息对应的控制指令。
例如，用户行为解析信息为“打开电视机”，则处理器生成电视机开机指令。同理，如果解析的到用户行为解析信息为“关闭电视机”则处理器生成电视机关机指令。
步骤S507，处理器将所述控制指令发送至显示装置或者智能插座。
处理器生成控制指令后，可通过zigbee(中文：紫蜂协议)模块将控制指令发送给智能插座。智能插座具体可以采用上电的方式，使显示装置开机。此外，处理器也可以采用与显示装置的待机模块直接交互的方式，通过局域网将控制指令发送至显示装置的待机模块，从而通过显示装置的待机模块控制显示装置的开机和关机。
在本申请一可选实施例中，所述显示装置的控制方法还可以包括以下步骤：
处理器响应于显示装置发送的开机信号，向显示装置发送所述用户的用户信息，以使所述显示装置显示与所述用户信息相匹配的收藏信息或历史信息。
以显示装置为电视机为例，电视机开机之后，电视机向处理器发送开机信号，处理器接收到电视机发送的开机信号后，可以将之前采集到的用户的用户信息发送给电视机。之前用户在观影过程中，可以对喜爱的节目或者频道等进行收藏，因此处理器可以在电视机开机后，将用户信息发送给电视机，使得电视机根据用户信息，查找并显示出该用户的观影收藏信息，从而为用户的观影提供便利。电视机也可根据处理器发送的用户信息，查找该用户的观影记录，以显示该用户历史观影信息，从而为用户的观影提供便利。
如图7所示，在本申请一可选实施例中，所述显示装置的控制方法还可以包括以下步骤：
步骤S701，处理器响应于显示装置发送的开机信号，查找与所述用户的用户信息相匹配的氛围模式。
在本实施例中，以显示装置为电视机为例，智能家居系统中还可以设置有观影氛围灯，处理器接收到电视机发送的开机信号，确认电视机已经开机后，处理器还可以查找与该用户的用户信息相匹配的氛围模式，该氛围模式可以由用户根据自身喜好自行设置。
步骤S702，处理器生成与所述氛围模式相对应的氛围灯控制指令。
处理器查找到与该用户的用户信息相匹配的氛围模式后，可以生成用于控制氛围灯的氛围灯控制指令。
步骤S703，处理器发送所述氛围灯控制指令至氛围灯。
处理器可以通过zigbee模块将控制指令发送给氛围灯，以调节氛围灯的氛围模式。
本申请实施例提供的显示装置的控制方法，通过验证用户的身份，识别用户的行为特征，并解析用户音频信息，将用户行为与智能家居系统中显示装置的应用场景之间建立联动关系，以此来控制显示装置的开机或关机，显著提升了智能家居的智能化和用户体验。
请参阅图8，图8为本申请实施例提供的显示器控制装置的结构框图，包括：
接收单元801，用于接收人机交互装置发送的视频信息。
验证单元802，用于验证所述视频信息中的用户是否是已授权用户。
判断单元803，用于在所述视频信息中的用户是已授权用户时，判断所述用户的行为特征和预设行为特征是否匹配。
控制单元804，用于在所述用户的行为特征和预设行为特征相匹配时，控制显示装置开机或关机。
请参阅图9，在一种可选的实施方式中，本申请的显示器控制装置的控制单元804具体可以包括：
发送子单元901，用于将语音提示信息发送至人机交互装置，以使得人机交互装置播报所述语音提示信息，并在接收用户反馈的音频信息后，将用户反馈的音频信息发送至处理器。
所述接收单元801，还用于接收用户反馈的音频信息。
解析子单元902，用于对用户反馈的音频信息进行解析，得到对应的用户行为解析信息。
生成子单元903，用于生成与所述用户行为解析信息对应的控制指令。
所述发送子单元901，还用于将所述控制指令发送至显示装置或者智能插座。
参阅图8和图9，在一种可选的实施方式中，所述发送子单元901，还用于将用户反馈的音频信息发送至云端语音引擎。
所述接收单元801，还用于接收所述云端语音引擎识别出的文本信息。
解析子单元902，还用于对所述文本信息进行语义解析，得到对应的用户行为解析信息。
请参阅图10，在一种可选的实施方式中，本申请的显示器控制装置的验证单元802具体可以包括：
捕捉子单元1001，用于捕捉所述视频信息中用户的面部图像。
提取子单元1002，用于提取所述面部图像的面部关键点。
校正子单元1003，用于依据所述面部关键点校正所述面部图像。
第一计算子单元1004，用于利用预先训练的深度学习模型，计算所述用户的面部图像与已授权用户面部图像的相似度。
输出子单元1005，用于在所述相似度大于或等于预设阈值时，输出所述视频信息中的用户是已授权用户。以及，在所述相似度小于预设阈时，输出所述视频信息中的用户是未授权用户。
在一种可选的实施方式中，所述控制单元804，还用于响应于显示器发送的开机信号，向显示器发送所述用户的用户信息，以使所述显示器显示与所述用户信息相匹配的收藏信息或者历史信息。
在一种可选的实施方式中，控制单元804还用于响应于显示器发送的开机信号，查找与所述用户的用户信息相匹配的氛围模式，生成与所述观影氛围模式相对应的氛围灯控制指令，发送所述氛围灯控制指令至氛围灯。
请参阅图11，为本申请提供的一种电子设备的硬件结构示意图。该电子设备包括存储器1101和处理器1102。存储器1101用于存储程序指令，处理器1102用于调用并执行所述存储器中的程序指令，以实现以上任一方法实施例所提供的显示装置的控制方法。
本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的显示装置的控制方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-Only Memory，简称：ROM)或随机存储记忆体(英文：Random Access Memory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于显示器控制装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
