屏幕界面调整方法及相关装置
技术领域
本申请涉及屏幕界面调整技术领域，具体涉及一种屏幕界面调整方法及相关装置。
背景技术
手机等支持屏幕界面调整的技术中，主要是通过低功耗摄像头持续检测人脸旋转方向，当人脸方向旋转到阈值时，旋转屏幕的显示内容，使屏幕的显示内容和人脸方向适配，方便用户查看屏幕。但是如果低功耗摄像头持续在后台运行，容易频繁的触发屏幕的旋转，对硬件功耗要求较高，并且频繁触发屏幕的旋转，也增加了误触发屏幕旋转的概率，如何实现智能触发屏幕的旋转，是当前亟需研究的热点问题。
发明内容
本申请实施例提供一种屏幕界面调整方法及相关装置，有利于避免误触发屏幕界面状态的调整。
第一方面，本申请实施例提供一种屏幕界面调整方法，应用于电子设备，所述电子设备包括摄像头，所述方法包括：
获取电子设备当前的机身旋转信号，所述电子设备的显示屏中所显示的界面内容的屏幕界面状态为第一屏幕界面状态，所述屏幕界面状态是指所述界面内容相对于所述显示屏的相对位置状态；
在检测到所述机身旋转信号满足预设条件时，启动所述摄像头；
采集当前取景范围内的场景图像；
对所述场景图像进行人脸检测和角度计算，得到用户的人脸和所述电子设备之间的角度值；
根据所述角度值将所述显示屏中所显示的界面内容的屏幕界面状态由所述第一屏幕界面状态调整为第二屏幕界面状态，并关闭所述摄像头。
第二方面，本申请实施例提供一种屏幕界面调整装置，所述屏幕界面调整装置包括获取单元、启动确定单元、采集单元、检测单元和调整单元，
所述获取单元，用于获取电子设备当前的机身旋转信号，所述电子设备的显示屏中所显示的界面内容的屏幕界面状态为第一屏幕界面状态，所述屏幕界面状态是指所述界面内容相对于所述显示屏的相对位置状态；
所述启动单元，用于在检测到所述机身旋转信号满足预设条件时，启动所述摄像头；
所述采集单元，用于采集当前取景范围内的场景图像；
所述检测单元，用于对所述场景图像进行人脸检测和角度计算，得到用户的人脸和所述电子设备之间的角度值；
所述调整单元，用于根据所述角度值将所述显示屏中所显示的界面内容的屏幕界面状态由所述第一屏幕界面状态调整为第二屏幕界面状态，并关闭所述摄像头。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第六方面，本申请实施例提供了一种计算机程序，其中，所述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序可以为一个软件安装包。
可以看出，本申请实施例中，电子设备首先获取电子设备当前的机身旋转信号，所述电子设备的显示屏中所显示的界面内容的屏幕界面状态为第一屏幕界面状态，所述屏幕界面状态是指所述界面内容相对于所述显示屏的相对位置状态，其次，在检测到所述机身旋转信号满足预设条件时，启动所述摄像头，然后，采集当前取景范围内的场景图像，接着，对所述场景图像进行人脸检测和角度计算，得到用户的人脸和所述电子设备之间的角度值，最后，根据所述角度值将所述显示屏中所显示的界面内容的屏幕界面状态由所述第一屏幕界面状态调整为第二屏幕界面状态，并关闭所述摄像头。由于在检测到机身旋转信号满足预设条件时，才启动摄像头，并且在将屏幕界面状态由第一屏幕界面状态调整为第二屏幕界面状态后会关闭摄像头，因此摄像头不需要持续在后台运行，有利于避免频繁触发屏幕界面状态的调整，从而降低电子设备功耗。
附图说明
下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1A是本申请实施例提供的一种电子设备10的结构方框图；
图1B是本申请实施例提供的一种设置有Android系统的软硬件系统的架构示意图；
图1C是本申请实施例提供的一种电子设备10的架构图；
图2A是本申请实施例提供的一种屏幕界面调整方法的流程示意图；
图2B是本申请实施例提供的一种屏幕界面调整的应用场景示意图；
图2C是本申请实施例提供的另一种屏幕界面调整的应用场景示意图；
图2D是本申请实施例提供的一种调整屏幕界面状态的应用场景示意图；
图2E是本申请实施例提供的另一种调整屏幕界面状态的应用场景示意图；
图2F是本申请实施例提供的另一种调整屏幕界面状态的应用场景示意图；
图2G是本申请实施例提供的另一种调整屏幕界面状态的应用场景示意图；
图2H是本申请实施例提供的一种人脸检测模型的示例图；
图2I是本申请实施例提供的另一种人脸检测模型的示例图；
图2J是本申请实施例提供的一种人脸检测模型的局部示例图；
图3是本申请实施例提供的一种屏幕界面调整装置的功能单元组成框图；
图4是本申请实施例提供的另一种屏幕界面调整装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参考图1A，其示出了本申请一个示例性实施例提供的电子设备10的结构方框图。该电子设备10可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，电子设备(terminal device)等等。本申请中的电子设备10可以包括一个或多个如下部件：处理器110、存储器120和输入输出装置130。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备10内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备10的各种功能和处理数据。处理器110可以包括一个或多个处理单元，例如：处理器110可以包括中央处理器(CentralProcessing Unit，CPU)、应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，控制器可以是电子设备10的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备10的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。处理器110中可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免重复存取，减少处理器110的等待时间，提高系统效率。
可以理解的是，上述处理器110在实际产品中可以映射为系统级芯片(System ona Chip，SOC)，上述处理单元和/或接口也可以不集成到处理器110中，单独通过一块通信芯片或者电子元器件实现对应的功能。上述各模块间的接口连接关系，只是示意性说明，并不构成对电子设备10的结构的唯一限定。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)或其它系统。存储数据区还可以存储电子设备10在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
电子设备10的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统和IOS系统为例，示例性说明电子设备10的软件架构。
如图1B所示的设置有Android系统的软硬件系统的架构示意图，存储器120中可存储有Linux内核层220、系统运行库层240、应用框架层260和应用层280，其中，层与层之间通过软件接口通信，Linux内核层220、系统运行库层240和应用框架层260属于操作系统空间。
应用层280属于用户空间，应用层280中运行有至少一个应用程序，这些应用程序可以是操作系统自带的原生应用程序，也可以是第三方开发者所开发的第三方应用程序，具体可以包括密码、眼球追踪、相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用框架层260提供了构建应用层的应用程序可能用到的各种API，开发者也可以通过使用这些API来构建自己的应用程序，比如窗口管理器、内容提供器、视图系统、电话管理器、资源管理器、通知管理器、消息管理器、活动管理器、包管理器、定位管理。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。电话管理器用于提供电子设备10的通信功能。例如通话状态的管理(包括接通，挂断等)。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。消息管理器可用于存储各个APP上报的消息的数据，并对各个APP上报的数据进行处理。
系统运行库层240通过一些C/C++库来为Android系统提供了主要的特性支持。如SQLite库提供了数据库的支持，OpenGL/ES库提供了3D绘图的支持，Webkit库提供了浏览器内核的支持等。在系统运行库层240中还提供有安卓运行时库(Android Runtime)，它主要提供了一些核心库，能够允许开发者使用Java语言来编写Android应用。
Linux内核层220为电子设备10的各种硬件提供了底层的驱动，如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。
应理解，本申请实施例所述的界面显示方法既可以应用于安卓系统，也可以应用于其他操作系统，如IOS系统等，此处仅以安卓系统为例进行说明，但不构成限定。
下面结合图1C对目前常见的电子设备形态进行详细说明，可以理解的是，本申请实施例示意的结构并不构成对电子设备10的具体限定。在本申请另一些实施例中，电子设备10可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本申请实施例提供了一种电子设备10，如图1C所示，该电子设备10包括摄像头100、相机串行接口解码器200、图像信号处理器300、数字信号处理器400和相机摄像头500，所述图像信号处理器300包括轻量图像前端310和图像前端320，其中，所述摄像头100连接所述相机串行接口解码器200，所述相机串行接口解码器200连接所述图像信号处理器300的所述轻量图像前端310，所述轻量图像前端310连接所述数字信号处理器400；
所述数字信号处理器400用于通过所述相机串行接口解码器200、所述轻量图像前端310接收来自所述摄像头100采集的场景图像，以及调用人脸检测模型和角度回归模型对所述场景图像的图像数据进行人脸识别和角度识别，得到用户的人脸和电子设备之间的角度值，所述图像前端320用于传输所述电子设备10的相机摄像头500所采集的图像数据，或者，所述图像前端320用于传输所述摄像头100所采集的所述场景图像的图像数据。
其中，所述相机摄像头500在图1B中通过虚线框表示为可选实现方式。
其中，所述场景图像的图像数据可以是MIPI RAW图像数据，也可以是YUV图像数据。
其中，将场景图像的图像数据输入人脸检测模模型之后，可以输出得到人脸抠图，再将人脸抠图的图像数据输入角度回归模型，即可输出得到场景图像中的用户的人脸和电子设备之间的角度值。虽然摄像头100通过图像信号处理器300的轻量图像前端310传输场景图像的图像数据，但图像信号处理器300并不会对该场景图像的图像数据进行进一步处理，图像信号处理器300仅会对通过图像前端320传输的图像数据进行处理。并且，由于轻量图像前端310只是负责接口输入，并不做其它的事情，所以它的功耗相对于启用图像前端320传输图像数据(此种情况需要启用图像信号处理器300的其他模块进行图像数据的处理)的现有方案相对更低。
其中，所述摄像头100可以是低功耗图像感应器，例如可以是设置在电子设备屏幕前端的前置摄像头，或者为旋转式摄像头，所述电子设备通过所述摄像头100实现基于情境感知的应用功能包括以下至少一种：
1.隐私保护，例如社交应用程序APP来了女朋友的新消息，银行发来工资到账新短信，其中的隐私信息不希望他人看到，电子设备通过摄像头100能够检测到陌生人的人眼注视户主手机屏幕时黑屏等。
2.隔空操作，用户正在做饭，将手机放在一旁查看菜谱，这时有重要电话打入，而用户手上满是油污，不便直接操作手机，电子设备通过摄像头100能够检测到用户的隔空手势并执行该隔空手势对应的操作。
3.注视不灭屏，看菜谱或看电子书,常有一页会让人认真地反复阅读,不一会就到了快要自动灭屏的时间，电子设备通过摄像头100能够检测到户主用户仍然注视着屏幕，则不启用自动灭屏功能。
目前，手机等支持的屏幕界面调整技术中，通过摄像头持续检测用户人脸相对于手机屏幕的方向，当人脸方向旋转到阈值时，旋转屏幕，使屏幕能与人脸方向一致，但是摄像头持续在电子设备后台运行，容易频繁触发屏幕的旋转，对电子设备的功耗要求较高，通过本申请提供的屏幕界面调整方法，不会长时间开启摄像头，因此在功耗较低，另外，通过人脸检测模型和角度回归模型对人脸进行深度学习，可以有效判断当前用户相对电子设备的角度，实现屏幕的智能调整。
针对上述问题，本申请实施例提出一种屏幕界面调整方法，下面结合附图进行详细说明。
请参阅图2A，图2A是本申请实施例提供的一种屏幕界面调整方法的流程示意图，如图所示，该方法包括：
步骤201，电子设备获取当前的机身旋转信号，所述电子设备的显示屏中所显示的界面内容的屏幕界面状态为第一屏幕界面状态，所述屏幕界面状态是指所述界面内容相对于所述显示屏的相对位置状态。
其中，如图2B所示，一般情况下摄像头是持续在后台工作的，通过获取场景图像，判断用户的人脸和电子设备之间的角度值，从而确定是否调整屏幕界面状态，如果角度值大于第一预设阈值，则要调整屏幕界面状态，即调整界面内容在屏幕的位置状态，如果角度值不大于第一预设阈值，则不调整屏幕界面状态，即保持界面内容在屏幕的位置状态不变。本申请提供的屏幕界面调整方法，如图2C所示，摄像头默认处于关闭状态，可以通过加速度传感器来检测电子设备的机身旋转信号，当获取到机身旋转信号，并且检测到机身旋转信号满足预设条件时，才启动摄像头，此时，通过摄像头获取用户的人脸和电子设备之间的角度值，从而确定是否需要调整屏幕界面状态，如果角度值大于第一预设阈值，则要调整屏幕界面状态，便在调整界面内容的位置状态后关闭摄像头，如果角度值不大于第一预设阈值，则不调整屏幕界面状态，便可直接关闭摄像头。
其中，机身旋转信号包括电子设备机身当前的旋转角度，包括机身向任何方向和任何角度的旋转，例如显示屏向右旋转，显示屏向左旋转，显示屏上下翻转等情况，此外，电子设备的显示屏中所显示的界面内容的屏幕界面状态为第一屏幕界面状态，屏幕界面状态指界面内容相当于显示屏的相对位置状态，包括常规的横屏状态和竖屏状态，如图2D所示，第一屏幕界面状态可以是竖屏状态，又或者，如图2E所示，第一屏幕界面状态可以是横屏状态，此外，屏幕界面状态还可包括任意角度的屏幕界面状态，例如，人脸与显示屏屏幕之间的角度30度或者其他任意角度时，显示内容可以对应进行调整，如图2F所示，在屏幕发生旋转，人脸没有发生旋转的情况下，旋转后屏幕和人脸之间的角度为30度，可只旋转屏幕，屏幕显示内容保持竖直显示状态，如图2G所示，人脸发生旋转，屏幕没有发生旋转的情况下，旋转后人脸和屏幕之间的角度为30度，此时屏幕没有发生任何变化，但是屏幕显示内容可以随着人脸的旋转对应发生旋转。其中，当电子设备为手机时，人眼水平线和机身长度方向的夹角为0度时，屏幕界面状态为横屏态，夹角为90度时，屏幕界面状态为竖屏状态。此外，人眼水平线和手机机身长度方向的夹角为特殊角度时，例如45度或者60等，特殊角度对应有特定的屏幕界面状态，特定的屏幕界面状态可以对界面内容进行适配，使得可以提高用户的观看体验。
步骤202，所述电子设备在检测到所述机身旋转信号满足预设条件时，启动所述摄像头。
其中，在获取到机身旋转信号，并在检测到机身旋转信号满足预设条件时，便可启动摄像头，从而通过摄像头来获取场景图像，以检测用户的人脸和电子设备之间的角度，从而确定是否需要旋转屏幕。
其中，第一姿态和第二姿态包括电子设备所处的任何姿态，可以在检测到电子设备由第一姿态切换到第二姿态后，启动摄像头，或者，在检测到电子设备由第一姿态切换到第二姿态时，即切换过程中，启动摄像头。
在本可能的示例中，所述在检测到所述机身旋转信号满足预设条件时，启动所述摄像头，包括：根据所述机身旋转信号确定所述电子设备的姿态；在检测到所述电子设备由第一姿态切换到第二姿态时，启动所述摄像头；或者，在检测到所述电子设备处于第三姿态时，启动所述摄像头；其中，所述第一姿态用于表示所述电子设备旋转前的姿态，所述第三姿态用于表示所述电子设备旋转后的姿态，所述第二姿态为所述电子设备从所述第一姿态旋转到所述第三姿态过程中的任一姿态，且所述电子设备从所述第一姿态旋转到所述第三姿态时的旋转角度大于第二预设阈值。
其中，根据机身旋转信号可确定电子设备当前的姿态，姿态可能是第一姿态，或者是第三姿态，第一姿态用于表示电子设备旋转前的姿态，第三姿态表示电子设备旋转后的姿态，第二姿态用于表示第一姿态和第三姿态之间的一个中间姿态，并且电子设备旋转的角度大于第二预设阈值，例如第二预设阈值为45度，电子设备旋转的角度大于45度时，则认为满足预设条件。举例说明，机身旋转信号0表示屏幕处于水平状态，机身旋转信号1表示屏幕处于竖直状态，机身旋转信号2表示屏幕处于状态右转状态，机身旋转信号3表示屏幕处于状态左转状态，机身旋转信号4表示屏幕处于状态上下翻转状态，当检测到机身旋转信号从0切换到1后，启动摄像头，或者，在检测到机身旋转信号从0切换到1的中间状态时，启动摄像头，
可见，在本示例中，在检测到机身旋转信号满足预设条件时，启动摄像头，还可以把摄像头的启动时间提前，在获取到机身旋转信号的中间状态就开始工作，而不是等到最终的机身旋转信号再工作，从而可以有效提前开始工作，提高屏幕界面调整的灵敏度。
在本可能的示例中，所述电子设备包括第一功耗状态和第二功耗状态，所述电子设备在所述第一功耗状态下的功耗低于在所述第二功耗状态下的功耗；所述启动所述摄像头，包括：检测所述电子设备是否处于所述第一功耗状态；若是，启动所述摄像头，并启动针对所述电子设备的预设功耗策略，所述预设功耗策略包括降低所述显示屏的屏幕亮度以及关闭后台应用。
其中，启动摄像头之后，电子设备的功耗对应会增加，此时，需要检测电子设备是否处于低功耗状态，若是，为了降低电子设备的功耗，在启动摄像头之后，可以对应启动由用户预设的预设功耗策略，在启动预设功耗策略之后，可以通过降低显示屏的屏幕亮度，或者关闭后台应用等方式，降低电子设备的功耗，同时也可以通过这些方式来提醒用户此时摄像头已经启动。在低功耗状态下，功耗不超越预设功耗值，例如不超过1瓦。
可见，本示例中，为了降低电子设备的功耗，在启动摄像头之后，还可以启动预设功耗策略，通过其他方式，使得电子设备在启动摄像头之后，电子设备的功耗增加不明显。
步骤203，所述电子设备采集当前取景范围内的场景图像。
其中，通过摄像头可以采集当前取景范围内的场景图像，具体场景包括视频应用、导航应用等多类特定应用的使用场景中，还包括室内场景、室外场景、强光场景、正常光场景、暗光场景等场景。场景图像中包括当前正在使用电子设备的用户的人脸图像。
步骤204，所述电子设备对所述场景图像进行人脸检测和角度计算，得到用户的人脸和所述电子设备之间的角度值。
其中，需要对场景图像先进行人脸检测，再进行角度计算，便可从场景图像中获取人脸抠图，并根据人脸抠图确定用户和电子设备之间的角度值。具体实现中，先将场景图像输入到人脸检测模型，输出得到场景图像中的人脸抠图，在将人脸抠图输入角度回归模型，输出得到场景图像中的用户人脸和电子设备之间的角度值。
在本可能的示例中，所述对所述场景图像进行人脸检测和角度计算，得到用户的人脸和所述电子设备之间的角度值，包括：将所述场景图像输入人脸检测模型，输出得到人脸抠图；将所述人脸抠图输入角度回归模型，输出得到所述场景图像中用户的人脸和所述电子设备之间的角度值。
其中，人脸检测模型主要用于检测人脸在场景图像中的位置，可以返回人脸框的坐标点，根据人脸框坐标点把人脸框出来，角度回归模型根据输入的人脸抠图，输出人脸的角度，包括翻角、俯仰角和偏航角，人脸检测模型在检测到场景图像中的人脸位置后，用人脸框将人脸抠出来得到人脸抠图，将人脸抠图输入到角度回归模型，输出得到人脸角度，人脸检测模型和角度回归模型的配合使用，使得输入任意一张有用户人脸的场景图像，都可以输出该用户的人脸角度。
可见，本示例中，加入人脸检测模型和角度回归模型，可以准确的检测出场景图像中的用户人脸和电子设备之间的角度，从而有利于确定是否需要调整屏幕界面状态。
在本可能的示例中，所述方法还包括：对所述人脸检测模型和所述角度回归模型做轻量化处理。
其中，人脸检测模型和角度回归模型都是基于深度学习做的，人脸检测模型常见的模型有MTCNN、FaceBoxes、RetinaFace等，电子设备可以采用轻量化的人脸检测模型，例如把RetinaFace的骨干网络改用小模型、通道数减少等方法，训练一个轻量化的RetinaFace用于摄像头，这样就可以满足电子设备的检测需求，且功耗会较低。同样，角度回归模型也可以使用Mobilenet V1、Mobilenet V2等小网络训练，输出人脸的翻转角用于判断人脸和电子设备之间的角度，上报角度以确定是否需要调整屏幕界面状态。
其中，针对人脸检测模型和角度回归模型，可以针对多种场景进行优化测试，从而使多种场景下的人脸检测结果可达到96％的检测精度，例如获取到室外、室内、强光、正常光、不低于5lux的暗光等场景下，用户手持电子设备距离20-70厘米情况下，摄像头获取到的场景图像的情况，从而对人脸检测模型和角度回归模型进行训练和深度学习，提高模型的检测精度。
举例说明，以人脸检测为例，Retinaface模型如图2H所示，用了4层金字塔结构，P2到P6由小到大检测不通过尺寸的人脸，P6层是可选的，模型本身比较大，不能直接使用到手机端，为了能移植到手机端，需要简化模型结构，首先金字塔结构使用3层，并去掉了P2层和P6层，如图2I所示，图2I中的block部分为图2H中的20部分，20对应Retinaface模型中的context module，block部分缩小为原来的四分之一，如图2J所示。
可见，本示例中，通过对人脸检测模型和角度回归模型做轻量化处理，使得电子设备可以更好的运行，减轻电子设备的运行负载。
步骤205，所述电子设备根据所述角度值将所述显示屏中所显示的界面内容的屏幕界面状态由所述第一屏幕界面状态调整为第二屏幕界面状态，并关闭所述摄像头。
其中，根据角度值确定将显示屏中的显示内容由第一屏幕界面状态调整为第二屏幕界面状态，第一屏幕界面状态和第二屏幕界面状态可以是相同的屏幕界面状态，也可以是不同的屏幕界面状态，在将所述屏幕界面状态由第一屏幕界面状态调整为第二屏幕界面状态之后，即可关闭摄像头。
在本可能的示例中，述根据所述角度值将所述显示屏中所显示的界面内容的屏幕界面状态由所述第一屏幕界面状态调整为第二屏幕界面状态，并关闭所述摄像头，包括：检测所述角度值是否大于第一预设阈值时；若是，所述第一屏幕界面状态和所述第二屏幕界面状态为不同的屏幕界面状态；若否，所述第一屏幕界面状态和所述第二屏幕界面状态为相同的屏幕界面状态。
其中，在检测到角度值大于第一预设阈值时，第一屏幕界面状态和第二屏幕界面状态为不同的屏幕界面状态，将第一屏幕界面状态调整为第二屏幕界面状态，即当前屏幕界面状态发生了改变，例如从横屏状态变为竖屏状态，在检测到角度值小于第一预设阈值时，第一屏幕界面状态和第二屏幕界面状态为相同的状态，将第一屏幕界面状态调整为第二屏幕界面状态，即当前屏幕界面状态没有发生改变，例如保持为当前的横屏状态，第一预设阈值可由用户进行设定，例如为45度或者60度。
可见，本示例中，根据用户人脸和电子设备之间的角度值确定是否改变电子设备屏幕当前的屏幕界面状态，在角度值大于第一预设阈值时，屏幕界面状态发生了改变，在角度值小于第一预设阈值时，保持屏幕界面状态不变，从而便于用户查看显示屏的显示内容。
在本可能的示例中，所述场景图像为视频场景图像；所述根据所述角度值将所述显示屏中所显示的界面内容的屏幕界面状态由所述第一屏幕界面状态调整为第二屏幕界面状态，包括：在检测到所述角度值大于第一预设阈值时，将所述显示屏显示的视频画面由横屏显示状态调整为竖屏显示状态，或者，将所述显示屏幕的视频画面由所述竖屏显示状态调整为横屏显示状态。
其中，在场景图像为视频场景图像时，即在用户观看视频的场景下，在检测到电子设备发生旋转且旋转信号满足预设条件时，启动摄像头获取视频场景图像，并在检测角度值是否大于预设阈值，若是，则在当前屏幕界面状态为横屏显示状态时，调整为竖屏显示状态，或者，在当前屏幕界面状态为竖屏显示状态时，调整为横屏显示状态。
可见，本示例中，在用户观看视频的场景下，若电子设备发生旋转且机身旋转信号满足预设条件时，需要及时调整屏幕界面状态，才能提高用户的观影体验。
可见，本示例中，电子设备首先获取电子设备当前的机身旋转信号，所述电子设备的显示屏中所显示的界面内容的屏幕界面状态为第一屏幕界面状态，所述屏幕界面状态是指所述界面内容相对于所述显示屏的相对位置状态，其次，在检测到所述机身旋转信号满足预设条件时，启动所述摄像头，然后，采集当前取景范围内的场景图像，接着，对所述场景图像进行人脸检测和角度计算，得到用户的人脸和所述电子设备之间的角度值，最后，根据所述角度值将所述显示屏中所显示的界面内容的屏幕界面状态由所述第一屏幕界面状态调整为第二屏幕界面状态，并关闭所述摄像头。由于在检测到机身旋转信号满足预设条件时，才启动摄像头，并且在将屏幕界面状态由第一屏幕界面状态调整为第二屏幕界面状态后会关闭摄像头，因此摄像头不需要持续在后台运行，有利于避免频繁触发屏幕界面状态的调整，从而降低电子设备功耗。
本申请实施例提供一种屏幕界面调整装置，该屏幕界面调整装置可以为电子设备。具体的，屏幕界面调整装置用于执行以上屏幕界面调整方法中电子设备所执行的步骤。本申请实施例提供的屏幕界面调整装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对屏幕界面调整装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图3示出上述实施例中所涉及的屏幕界面调整装置的一种可能的结构示意图。如图3所示，屏幕界面调整装置包括获取单元30、启动单元31、采集单元32、检测单元33和调整单元34，
所述获取单元30，用于获取电子设备当前的机身旋转信号，所述电子设备的显示屏中所显示的界面内容的屏幕界面状态为第一屏幕界面状态，所述屏幕界面状态是指所述界面内容相对于所述显示屏的相对位置状态；
所述启动单元31，用于在检测到所述机身旋转信号满足预设条件时，启动所述摄像头；
所述采集单元32，用于采集当前取景范围内的场景图像；
所述检测单元33，用于对所述场景图像进行人脸检测和角度计算，得到用户的人脸和所述电子设备之间的角度值；
所述调整单元34，用于根据所述角度值将所述显示屏中所显示的界面内容的屏幕界面状态由所述第一屏幕界面状态调整为第二屏幕界面状态，并关闭所述摄像头。
在一个可能的示例中，在所述对所述场景图像进行人脸检测和角度计算，得到用户的人脸和所述电子设备之间的角度值方面，所述检测单元33具体用于：将所述场景图像输入人脸检测模型，输出得到人脸抠图；以及用于将所述人脸抠图输入角度回归模型，输出得到所述场景图像中用户的人脸和所述电子设备之间的角度值。
在一个可能的示例中，所述检测单元33还用于对所述人脸检测模型和所述角度回归模型做轻量化处理。
在一个可能的示例中，在所述根据所述角度值将所述显示屏中所显示的界面内容的屏幕界面状态由所述第一屏幕界面状态调整为第二屏幕界面状态方面，所述调整单元34具体用于：检测所述角度值是否大于第一预设阈值时；若是，所述第一屏幕界面状态和所述第二屏幕界面状态为不同的屏幕界面状态；若否，所述第一屏幕界面状态和所述第二屏幕界面状态为相同的屏幕界面状态。
在一个可能的示例中，所述场景图像为视频场景图像；在所述根据所述角度值将所述显示屏中所显示的界面内容的屏幕界面状态由所述第一屏幕界面状态调整为第二屏幕界面状态方面，所述调整单元34具体用于：在检测到所述角度值大于第一预设阈值时，将所述显示屏显示的视频画面由横屏显示状态调整为竖屏显示状态，或者，将所述显示屏幕的视频画面由所述竖屏显示状态调整为横屏显示状态。
在一个可能的示例中，在所述在检测到所述机身旋转信号满足预设条件时，启动所述摄像头方面，所述启动单元31具体用于：根据所述机身旋转信号确定所述电子设备的姿态；在检测到所述电子设备由第一姿态切换到第二姿态时，启动所述摄像头；或者，在检测到所述电子设备处于第三姿态时，启动所述摄像头；其中，所述第一姿态用于表示所述电子设备旋转前的姿态，所述第三姿态用于表示所述电子设备旋转后的姿态，所述第二姿态为所述电子设备从所述第一姿态旋转到所述第三姿态过程中的任一姿态，且所述电子设备从所述第一姿态旋转到所述第三姿态时的旋转角度大于第二预设阈值。
在一个可能的示例中，所述电子设备包括第一功耗状态和第二功耗状态，所述电子设备在所述第一功耗状态下的功耗低于在所述第二功耗状态下的功耗；在所述启动所述摄像头方面，所述启动单元31具体用于：检测所述电子设备是否处于所述第一功耗状态；若是，启动所述摄像头，并启动针对所述电子设备的预设功耗策略，所述预设功耗策略包括降低所述显示屏的屏幕亮度以及关闭后台应用。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在采用集成的单元的情况下，本申请实施例提供的屏幕界面调整装置的结构示意图如图4所示。在图4中，屏幕界面调整装置4包括：处理模块40和通信模块41。处理模块40用于对屏幕界面调整装置的动作进行控制管理，例如，获取单元30、启动单元31、采集单元32、检测单元33和调整单元34所执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块41用于支持屏幕界面调整装置与其他设备之间的交互。如图4所示，屏幕界面调整装置还可以包括存储模块42，存储模块42用于存储屏幕界面调整装置的程序代码和数据，例如存储上述检测单元32计算的角度值。
其中，处理模块40可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块41可以是收发器、RF电路或通信接口等。存储模块42可以是存储器。
其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述屏幕界面调整装置3和屏幕界面调整装置4均可执行上述图2A所示的屏幕界面调整方法中电子设备所执行的步骤。
本申请实施例还提供了一种芯片，其中，该芯片包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述方法实施例中电子设备所描述的部分或全部步骤。
本申请实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如上述方法实施例中电子设备所描述的部分或全部步骤。
本申请实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如上述方法实施例中网络侧设备所描述的部分或全部步骤。
本申请实施例还提供了一种计算机程序产品，其中，所述计算机程序产品包括计算机程序，所述计算机程序可操作来使计算机执行如上述方法实施例中电子设备所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例所描述的方法或者算法的步骤可以以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read OnlyMemory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于接入网设备、目标网络设备或核心网设备中。当然，处理器和存储介质也可以作为分立组件存在于接入网设备、目标网络设备或核心网设备中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(DigitalVideo Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
以上所述的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。
