欢迎光临小豌豆知识网!
当前位置:首页 > 电学技术 > 电通讯技术> 显示方法、装置和电子设备独创技术50929字

显示方法、装置和电子设备

2021-01-31 22:54:25

显示方法、装置和电子设备

  技术领域

  本申请属于通信技术领域,具体涉及一种显示方法、装置和电子设备。

  背景技术

  随着通信技术的发展,电子设备的功能越来越丰富,例如,用户可以通过电子设备进行一些操作演示,例如,可以通过电子设备录制演示视频、拍摄演示图片或直播操作演示(包括在视频会话的过程中演示)。

  示例性地,以用户通过电子设备直播操作演示为例。用户可以在电子设备的摄像头的采集范围内进行操作演示,从而电子设备的摄像头可以实时采集到包括用户的操作演示的图像,并通过网络将实时采集的图像传输至视频会话对象(即与用户进行视频通过的用户)的电子设备(以下称为电子设备a),从而视频会话对象可以通过电子设备a实时观看到用户的操作演示。

  然而,按照上述方法,如果用户采用单手握持电子设备,那么,用户只能采用未握持电子设备的手执行操作演示,即单手演示,如此可能导致通过电子设备进行操作演示的演示效果较差。

  发明内容

  本申请实施例的目的是提供一种显示方法、装置和电子设备,能够解决通过电子设备进行操作演示的演示效果较差的问题。

  为了解决上述技术问题,本申请是这样实现的:

  第一方面,本申请实施例提供了一种显示方法,该方法包括:接收对拍摄预览界面中的第一控件的第一输入,第一控件用于触发辅助显示功能;且响应于第一输入,在拍摄预览界面中显示第一预设模型,第一预设模型为辅助显示功能中的辅助模型,第一预设模型根据至少一个第一图像生成,该至少一个第一图像为采集的用户图像。

  第二方面,本申请实施例提供了一种显示装置,该显示装置可以包括:接收模块和显示模块。接收模块,用于接收对拍摄预览界面中的第一控件的第一输入,第一控件用于触发辅助显示功能;显示模块,用于响应于接收模块接收的第一输入,在拍摄预览界面中显示第一预设模型,第一预设模型为辅助显示功能中的辅助模型,第一预设模型根据至少一个第一图像生成,该至少一个第一图像为采集的用户图像。

  第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令,该程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

  第四方面,本申请实施例提供了一种读存储介质,该可读存储介质上存储程序或指令,该程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

  第五方面,本申请实施例提供了一种芯片,该芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面所述的方法。

  在本申请实施例中,显示装置可以接收对拍摄预览界面中的第一控件(用于触发辅助显示功能)的第一输入;且响应于第一输入,在该拍摄预览界面中显示第一预设模型,第一预设模型可以为辅助显示功能中的辅助模型,第一预设模型根据至少一个第一图像生成,该至少一个第一图像为采集的用户图像。通过该方案,当用户需求通过电子设备进行操作演示时,由于用户可以通过对拍摄预览界面中用于触发辅助显示功能的第一控件的输入,触发显示装置在拍摄预览界面中显示根据采集的用户图像生成的辅助模型(例如可以为基于用户的手部图像生成的显示模型),因此用户可以通过握持电子设备的手部对该辅助模型输入,以使该辅助模型配合用户进行操作演示,例如,在拍摄预览界面中呈现出双手演示的画面,从而可以提高演示效果,和执行操作演示的灵活性。

  附图说明

  图1为本发明实施例提供的显示方法的示意图;

  图2为本发明实施例提供的显示方法应用的界面示意图之一;

  图3为本发明实施例提供的显示方法应用的界面示意图之二;

  图4为本发明实施例提供的显示方法应用的界面示意图之三;

  图5为本发明实施例提供的显示方法应用的界面示意图之四;

  图6为本发明实施例提供的显示方法应用的界面示意图之五;

  图7为本发明实施例提供的显示方法应用的界面示意图之六;

  图8为本发明实施例提供的显示方法应用的界面示意图之七;

  图9为本发明实施例中提供的一种显示装置的示意图;

  图10为本申请实施例提供的一种电子设备的结构示意图;

  图11为本发明实施例提供的电子设备的硬件示意图。

  具体实施方式

  下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

  本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

  下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的显示方法进行详细地说明。

  本申请实施例提供的显示方法可以应用于用户通过电子设备进行操作演示的场景中。

  示例性地,以用户通过电子设备进行视频会话的过程中进行操作演示,例如,演示一个设备的操作过程、演示手部穴位的位置为例,由于电子设备的摄像头可以采集处于其采集范围内的对象的图像,而无法采集到处于其采集范围外的对象的图像,因此用户必须在摄像头的采集范围内演示,否则视频会话对象无法观看到用户的演示过程。例如,如果用户采用单手握持电子设备,那么,在相关技术中,可以采用两种方式进行演示:1、用户可以先将电子设备固定在某个位置,然后再调整好用户、被演示对象与电子设备的距离,以确保用户和被演示对象均处于摄像头的采集范围内。2、用户可以保持单手握持电子设备,并采用单手演示,当然,此时演示对象(例如设备和用户的手)需要处于摄像头的采集范围内。可以看出,在上述1中,若用户附近没有用于固定电子设备的合适工具,则用户无法顺利演示;在上述2中,单手演示可能导致演示的效果较差。

  针对上述问题,本申请实施例中,在本申请提供的技术方案中,当显示装置显示拍摄预览界面(具体可以为视频会话界面)时,该视频会话界面中可以包括用于触发辅助显示功能的控件1,从而用户可以对控件1输入,例如,在控件1上点击,即显示装置接收到对视频会话界面中的第一控件的第一输入,然后显示装置可以响应于第一输入,在视频会话界面中显示一个辅助模型,该手部模型可以为辅助显示功能中的辅助模型,该辅助模型可以用于辅助用户进行演示动作(例如,用户可以用握持电子设备的手操作该辅助模型),且该辅助模型根据显示装置采集的用户图像生成。如此,用户可以通过握持电子设备的手部对该辅助模型输入,以使该辅助模型配合用户进行操作演示,例如,若该辅助模型为基于用户手部图像生成的,则可以在拍摄预览界面中呈现出双手演示的画面,从而可以提高演示效果和执行操作演示的灵活性。

  需要说明的是,上述实施例中是以用户通过显示装置在视频会话中进行演示为例对本申请实施例提供的显示方法进行示例性说明的,实际实现中,还可以应用于通过显示装置录制演示视频、拍摄演示图片等任意可能使用摄像头场景中。对于通过显示装置录制演示视频和拍摄演示图片的描述,可以参见上述实施例对通过显示装置在视频会话中进行演示的相关描述,为了避免重复,此处不再赘述。

  如图1所示,本申请实施例提供了一种显示方法,该方法可以包括下述的步骤101和步骤102:

  步骤101、显示装置接收对拍摄预览界面中的第一控件的第一输入。

  其中,第一控件可以用于触发显示装置的辅助显示功能。

  本申请实施例中,辅助显示功能是指在拍摄预览界面上显示用于辅助用户进行操作演示的辅助模型的功能,该辅助模型根据采集的用户图像生成。对于用户图像的描述将在下述实施例中进行详细描述,为了避免重复,此处不予赘述。

  本申请实施例中,由于第一预设模型为根据采集的用户图像生成的,因此第一辅助模型的仿真度较高,就像用户的手部真的处于摄像头的采集范围内一样。

  可选地,本申请实施例中,上述拍摄预览界面可以为用于显示摄像头采集的预览图像的任意界面。

  例如,拍摄预览界面可以为相机应用中、显示拍摄预览图像的界面,或者可以为通讯应用程序中的视频会话界面。具体可以根据实际使用需求确定,本申请实施例不作限定。

  可选地,本申请实施例中,第一输入可以为用户对第一控件的触控输入。

  例如,第一输入具体可以为用户对第一控件的点击输入。

  需要说明的是,本申请实施例中,显示装置可以为电子设备,也可以为电子设备中的装置,还可以为独立于电子设备的装置(例如外挂于电子设备的装置)。具体可以根据实际使用需求确定,本申请实施例不作限定。

  可选地,本申请实施例中,当拍摄预览界面为视频会话界面时,该视频会话界面中可以包括“更多”控件,在用户对“更多”控件输入之后,显示装置可以一个菜单栏,该菜单栏中可以包括第一控件。

  步骤102、显示装置响应于第一输入,在拍摄预览界面中显示第一预设模型。

  其中,第一预设模型可以为显示装置的辅助显示功能中的辅助模型,第一预设模型根据至少一个第一图像生成,该至少一个第一图像可以为显示装置采集的用户图像。可以理解,本申请实施例中,用户图像为用户的图像,两者意思相同,可以互换。

  可选地,本申请实施例中,上述用户图像可以为用户的手部图像(即第一预设模型为用户手部模型)、脸部图像(即第一预设模型为用户脸部模型)、眼部图像(即第一预设模型为用户眼部模型)、头部图像(即第一预设模型为用户头部模型)、上半身图像(即第一预设模型为用户上半身模型)、下半身图像(即第一预设模型为用户下半身模型)等,具体可以根据实际使用需求确定,本申请实施例不作限定。

  可选地,本申请实施例中,为了实现更好的显示效果,用户图像可以为用户的对称部位的图像,其中,用户的对称部位可以为用户的手部、面部,以及腿部等。

  可选地,本申请实施例中,当至少一个第一图像为采集的用户第一手部(可以为左手或右手)的图像(以下简称为第一手部图像)时,第一预设模型可以为第一手部模型。

  可选地,本申请实施例中,第一手部为泛指,即本申请实施例中,第一手部具体可以为以下至少一项:第一手部;第一手部和第一手部对应的手腕;第一手部、第一手部对应的手腕,以及第一手部对应的胳膊。具体可以根据实际使用需求确定,本申请实施例不作限定。

  可选地,本申请实施例中,第一手部模型可以为以下任意一项:第二手部的模型;第二手部和第二手部对应的手腕的模型;第二手部、第二手部对应的手腕,以及第二手部对应的手臂的模型。具体可以根据实际使用需求确定,本申请实施例不作限定。

  可选地,本申请实施例中,当第一预设模型为第一手部模型时,第一手部模型可以表示用户握持电子设备的手部,也可以为未握持电子设备的手部,具体可以根据实际使用需求确定,本申请实施例不作限定。

  可选地,本申请实施例中,第一预设模型可以为二维模型(2D);或三维模型(3D),具体可以根据实际使用需求确定,本申请实施例不作限定。

  可选地,本申请实施例中,显示装置在拍摄预览界面中显示第一预设模型具体可以为在摄像头采集的预览图像上叠加显示第一预设模型。可以理解,本申请实施例中,第一预设模型可以覆盖掉摄像头采集的预览图像中,第一预设模型所处区域的图像区域。

  例如,如图2中的(a)所示,拍摄预览界面20中包括预览图像21和“辅助显示”控件22,用户在“辅助显示”控件22上点击之后,如图2中的(b)所示,显示装置可以在拍摄预览界面20中叠加显示第一手部模型23(即第一预设模型),且第一手部模型23可以覆盖掉预览图像21中的部分图像区域。

  可选地,本申请实施例中,实际实现中,第一预设模型覆盖掉预览图像中,第一预设模型所处区域的图像区域,具体可以为,显示装置采用第一预设模型的RGB值替换预览图像中、显示有第一预设模型的区域的RGB值。

  可选地,本申请实施例中,上述至少一个第一图像中的每个第一图像中均包括用户图像;例如用户的第一手部的图像,以下简称为第一手部图像,即第一手部图像与用户的第一手部的图像意思相同,两者可以互换。

  本申请实施例提供的显示方法中,当用户需求通过电子设备进行操作演示时,由于用户可以对拍摄预览界面中用于触发辅助显示功能的第一控件的输入,触发显示装置在拍摄预览界面中显示根据采集的用户图像生成的辅助模型,因此用户可以通过握持电子设备的手部对该辅助模型输入,以使该辅助模型配合用户进行操作演示,例如,若该辅助模型为基于用户手部图像生成的,则可以在拍摄预览界面中呈现出双手演示的画面,从而可以提高演示效果,和执行操作演示的灵活性。

  可选地,本申请实施例中,显示装置在拍摄预览界面中显示第一预设模型之后,用户可以触发第一预设模型在拍摄预览界面中移动和/或旋转。

  可选地,本申请实施例中,当用户触发第一预设模型在拍摄预览界面中旋转时,第一预设模型具体可以绕第一旋转轴和/或第二旋转轴旋转。其中,第一旋转轴垂直于电子设备的屏幕,第二旋转轴平行于电子设备的屏幕。

  例如,图3为显示装置在拍摄预览界面30中显示第一手部模型31(即第一预设模型)的示意图,如图3中的(a)所示,用户可以触发第一手部模型31绕第一旋转轴32旋转。如图3中的(b)所示,当第一手部模型31为三维模型时,用户还可以触发第一手部模型31绕第二旋转轴33旋转。

  可选地,本申请实施例中,为了便于用户操作,当显示装置在拍摄预览界面中显示第一预设模型,且第一预设模型为三维模型时,显示装置还可以在拍摄预览界面中显示一个选择框,该选择框内包括第一选项和第二选项,且第一选项和第二选项不能同时处于选中状态。

  其中,当第一选项处于选中状态时,用户可以触发第一预设模型沿第一旋转轴旋转,当第二选项处于选中状态时,用户可以触发第一预设模型沿第二旋转轴旋转。

  本申请实施例中,由于用户可以控制第一预设模型移动和旋转,因此可以进一步提高辅助显示的灵活性和便捷性。

  可选地,本申请实施例中,第一预设模型可以为预先存储在电子设备中的,也可以为显示装置在接收到用户的第一输入之后,根据至少一个第一图像生成的,具体可以根据实际使用需求确定,本申请实施例不作限定。

  可选地,本申请实施例中,当第一预设模型为在接收到用户的第一输入之后生成的时,显示装置接收到第一输入之后,可以先采集至少一个第一图像,再根据至少一个第一图像生成第一预设模型。

  示例性地,本申请实施例中,在上述步骤102之前,本申请实施例提供的显示方法还可以包括下述的步骤103至步骤105。上述步骤102具体可以通过下述的步骤102a实现。

  步骤103、显示装置响应于第一输入,采集至少一个第一图像。

  本申请实施例中,显示装置具体可以通过电子设备的摄像头采集上述至少一个第一图像。

  可选地,本申请实施例中,至少一个第一图像的数量可以为一个,也可以多个,具体可以根据实际使用需求确定,本申请实施例不作限定。

  本申请实施例中,当第一图像的数量为多个时,每个第一图像中均包括用户图像,且不同第一图像中包括用户不同侧面的图像。

  例如,假设用户图像为第一手部图像,且至少一个第一图像的数量为2个,那么如图4中的(a)所示,至少一个第一图像中的第一个第一图像可以包括第一手部的手心图像;如图4中的(b)所示,至少一个第一图像中的第二个手部图像可以包括第一手部的手背图像。

  可选地,本申请实施例中,以第一预设模型为第一手部模型,即至少一个第一图像为第一手部图像为例,为了避免第一手部模型的尺寸过大,在采集至少一个第一图像时,可以将用户头部也置于摄像头的采集范围内,且保证用户头部的图像与第一手部的图像不重合。如此,可以避免采集的至少一个第一图像中的第一手部图像的尺寸过大。

  例如,如图5所示,50为电子设备,51为第二手部,52为用户头部,且第二手部和用户头部在x轴上所处的坐标范围不同,以避免用户头部图像与第一手部图像重合。

  需要说明的是,本申请实施例中,实际实现中,还可以通过调整第一预设图像的图像尺寸的方式,确保第一预设模型的尺寸满足用户的实际使用需求。当然,还可以直接对第一预设模型的尺寸进行缩放。具体可以根据实际使用需求确定,本申请实施例不作限定。

  可选地,本申请实施例中,为了保证显示装置准确采集到至少一个第一图像,显示装置接收到第一输入之后,可以输出提示用户摆手势的提示信息,例如,以该提示信息为语音提示信息为例,显示装置可以依次显示“请将手心朝向屏幕”、“请将手背朝向屏幕”、“请将大拇指所在一侧朝向屏幕”、“请将小拇指所在一侧朝向屏幕”;如此,用户依次按照提示信息摆手势之后,显示装置可以采集得到4个第一图像。

  步骤104、显示装置对至少一个第一图像进行镜像处理,得到至少一个第二图像。

  本申请实施例中,对于至少一个第一图像中的每个第一图像,显示装置对一个第一图像进行镜像处理,并得到一个第二图像;且不同第一图像镜像后得到不同第二图像。如此,可以得到至少一个第二图像。

  本申请实施例中,显示装置可以通过图像镜像算法,对第一图像进行镜像处理。例如,该图像镜像算法可以为水平镜像算法。

  示例性地,图6中的(a)为用户左手的图像,图6中的(b)为用户右手的图像(即第一图像),图6中的(c)为对用户左手的图像进行镜像处理后得到的镜像图像(即第二图像)。可以看出,用户右手图像的镜像图像与用户左手的图像基本一致(实际上可能有不一样的纹理信息)。

  步骤105、显示装置根据至少一个第二图像,生成第一预设模型。

  步骤102a、显示装置在拍摄预览界面中显示第一预设模型。

  本申请实施例中,第一手部模型的维度不同,显示装置根据至少一个第一图像,生成第一手部模型的方法也可能不同。

  下面分别结合第一种可能的实现方式和第二种可能的实现方式,对显示装置生成第一预设模型的方法进行示例性地说明。

  第一种可能的实现方式:第一预设模型为二维模型

  本申请实施例中,在第一种可能的实现方式中,假设第一图像的数量为1个,相应地,第二图像的数量也为1个;显示装置可以从第二图像中获取镜像后的用户图像(以下称为第三图像),即舍弃第二图像中的背景图像区域,并将第三图像作为第一预设模型。

  可以理解,本申请实施例中,是以显示装置也可以直接对每个第一图像进行镜像处理,然后再从镜像后的第一图像中获取镜像后的用户图像为例进行示意的,实际实现中,显示装置也可以先从每个第一图像中获取用户图像,然后再分别对获取的用户图像进行镜像处理,得到第二图像,具体可以根据实际使用需求确定,本申请实施例不作限定。

  第二种可能的实现方式:第一预设模型为三维模型

  可选地,本申请实施例中,在第二种可能的实现方式中,上述第一图像的数量为N个,N为大于或等于2的整数。

  可选地,本申请实施例中,显示装置根据N个第二图像,生成第一预设模型之前,可以先对N个第二图像进行初始化处理,初始化后的N个第二图像中的用户图像(例如第一手部图像)的高度相同。

  可选地,本申请实施例中,显示装置可以根据初始化处理后的N个第二图像,通过下述3种方法(即下述方法1和方法2),生成第一预设模型。

  方法1:

  可选地,本申请实施例中,在方法1中,显示装置可以从每个第二图像中获取用户图像对应的深度信息,得到N个深度信息,然后根据N个第二图像和N个深度信息,生成第一预设模型。

  例如,可以根据N个第二图像和N个深度信息,通过的depath map算法,或灰度相关和特征匹配算法,生成第一预设模型。

  方法2:

  本申请实施例中,在方法2中,显示装置可以从N个第二图像中获取N组第一特征点信息,通过该N组第一特征点信息,得到K(K为大于0的整数)个二维轮廓线(例如可以为用户手部的二维轮廓线,例如手部横截面的轮廓线);然后,基于K个二维轮廓线和N个第二图像,生成第一预设模型。其中,每组第一特征点信息可以指示第二图像中的至少一个特征点的信息。

  可选地,本申请实施例中,显示装置可以通过grabcut图像分割算法,获取N组第一手部特征点信息。

  需要说明的是,本申请实施例中,上述方法1和方法2仅为示意,实际实现中,还可以根据其他任意可能的方法生成第一预设模型。例如,当第一预设模型为手部模型时,还可以采用对手心图像(手背图像)进行拉伸,然后将拉伸后的手心图像(手背图像)与手背图像(手心图像)拼接的方式,生成第一手部模型。又例如,可以从N个第二图像中提取N组第二特征点信息,然后将N组第二特征点信息与预设模型中的预设特征点信息匹配,以得到第一预设模型;其中,每组第二特征点信息可以指示第二图像中的至少一个特征点的信息。

  可选地,本申请实施例中,当第一预设模型为三维模型时,显示装置在拍摄预览界面显示第一预设模型,具体可以为将第一预设模型映射至拍摄预览界面。

  需要说明的是,上述实施例中是以对至少一个第一图像进行镜像处理后,并采用镜像后的图像生成第一预设模型为例进行示意的,实际实现中,也可以直接通过至少一个第一图像生成预设模型。

  本申请实施例中,当第一预设模型为右手模型时,由于用户左手和右手互为镜像,因此可以采用用户的左手图像(即至少一个第一图像)的镜像图像(即至少一个第二图像)作为用户的右手图像,从而根据至少一个第二图像生成的手部模型可以作为右手模型。如此,当用户右手握持电子设备时,可以采集用户左手的图像(即至少一个第一图像),并根据用户左手的图像,生成可以表示用户右手的右手模型,从而当显示装置显示右手模型时,即可以呈现出双手均在画面中的效果。

  本申请实施例中,由于显示装置可以通过对至少一个第一图像镜像处理后的至少一个第二图像生成第一预设模型,因此当显示装置在拍摄预览界面中显示第一预设模型之后,可以呈现出第一对象(例如右手)和第二对象(例如左手)均处于摄像头采集范围内的效果,其中,第二对象与第一对象互为镜像。如此,可以进一步提高辅助显示的灵活性。

  进一步地,在第二种可能的实现方式中,由于显示装置在生成预设模型前先对用于生成预设模型的参考图像(即至少一个第一图像)分别进行镜像处理,从而可以降低镜像处理的计算量,如此可以节省计算成本。

  可选地,本申请实施例中,上述拍摄预览界面中显示有第三图像,第三图像中可以包括目标对象的图像。第三图像可以为摄像头当前采集的预览图像中的图像区域,目标对象可以为当前处于摄像头的采集范围内的对象。

  可选地,本申请实施例中,目标对象可以为人体和物体中的至少一项。

  可选地,本申请实施例中,人体具体可以包括人的胳膊、手部、头部、身体和腿部等;物体具体可以包括有生命的物体(例如,猫、鱼、鸟等)和没有生命的物体(例如,桌子、椅子、包装盒、遥控器、显示器等)。具体可以根据实际使用需求确定,本申请实施例不作限定。

  可选地,本申请实施例中,由于用户可以通过对第一手部模型的输入,触发第一预设模型在拍摄预览界面中移动,因此当拍摄预览界面中显示有第三图像时,用户可以通过对第一预设模型的输入,触发显示装置在第三图像中,满足用户实际使用需求的区域显示第一预设模型。

  示例性地,本申请实施例中,在上述步骤102之后,本申请实施例提供的显示方法还可以包括下述的步骤106和步骤107。

  步骤106、显示装置接收对第一预设模型的第二输入。

  步骤107、显示装置响应于第二输入,在第三图像的目标区域显示第一预设模型。

  其中,目标区域可以为目标对象的至少一个特征点在第三图像中所在区域。可以理解,本申请实施例中,该至少一个特征点在第三图像中所处的区域是指该至少一个特征点的图像在第三图像中所处的区域。

  可选地,本申请实施例中,第二输入可以用于确定第一预设模型在拍摄预览界面中的显示区域。

  可选地,本申请实施例中,目标对象可以为任意可以识别的对象。

  可选地,本申请实施例中,第二输入可以为对第一预设模型的触控输入(方式1),或对第一预设模型的语音输入(方式2)。

  可选地,本申请实施例中,在上述方式1中,第二输入具体可以为用户对第一预设模型的拖动输入,这种情况下,第一预设模型可以跟随第二输入的输入轨迹移动,即可以理解,显示装置可以将包括该拖动输入的拖动结束位置的区域作为目标区域,目标区域中的图像即为目标对象的至少一个特征点的图像。

  示例性地,如图7中的(b)所示,拍摄预览界面70中包括摄像头当前采集的用户右手图像71(即目标对象的图像)和用户左手模型72(即第一预设模型);那么,在上述方式1中,如图7中的(b)所示,用户可以沿虚线箭头的所示的方向拖动用户左手模型72,即显示装置接收到用户的第二输入,然后,如图7中的(c)所示,显示装置可以获取该拖动输入的拖动轨迹,并控制用户左手模型72沿该拖动轨迹移动至目标区域73,此时,目标对象的至少一个特征点为用户右手的大拇指。

  可选地,本申请实施例中,在上述方式2中,显示装置可以识别第三图像的图像内容,得到目标内容信息,该目标内容信息中可以包括目标对象的特征点和目标对象的特征点在第三图像中的位置信息。

  可选地,本申请实施例中,一个对象的特征点可以包括一下至少一项:形状、颜色、图案、文字描述。

  本申请实施例中,在显示装置得到目标内容信息之后,当用户输入一个语音信息时,显示装置可以对该语音信息进行语义分析,并判断该语音信息中是否存在指示目标对象的至少一个特征点的关键词;若存在指示目标对象的至少一个特征点的关键词,则显示装置可以控制第一预设模型移动至该至少一个特征点在第三图像中所处的区域。

  示例性地,如图8中的(a)所示,拍摄预览界面80显示用户左手模型81(即第一预设模型)和第三图像(为摄像头采集的预览图像),第三图像中包括一个包装盒(即目标对象)的图像82,且该包括盒上包括一个苹果图案,那么,当用户说“苹果”时,表示显示装置接收到用户对用户左手模型81的第二输入,然后显示装置可以响应于第二输入,如图8中的(b)所示,显示装置可以控制用户左手模型81向下移动至苹果图案所在区域83,即显示装置响应于第二输入,在第三图像的目标区域显示第一预设模型。

  本申请实施例中,由于用户可以通过不同输入触发显示装置更新第一预设模型的显示位置,因此可以提高操作第一预设模型的灵活性和便捷性,从而可以提高人机交互性能。

  可以理解,由于第三图像为摄像头采集的预览图像,而预览图像是实时更新的,因此显示装置可以周期性地对第三图像的内容进行识别,以确保目标内容信息为最近一次采集的预览图像对应的内容信息。

  下面结合具体示例对本申请实施例提供的显示方法进行示例性地说明。

  示例1:在用户需求通过显示装置向直播对象展示手部穴位,且用户左手握持电子设备的情况下,如图7中的(a)所示,直播界面70中包括用户右手的图像,且用户采用左手握持电子设备(即用户的右手处于摄像头(为前置摄像头)的采集范围内,而用户的左手处于摄像头的采集范围外),此时,用户可以用左手在直播界面中单击“单手辅助”控件74(即第一控件);然后,如图7中的(b)所示,显示装置可以在直播界面中显示“模拟手势”72(即第一手部模型),该“模拟手势”72为根据显示装置在接收到点击输入之后采集的用户的右手的图像生成,该“模拟手势”72可以用于表示用户的左手图像。从而,显示装置可以通过摄像头继续采集用户右手的图像71,并将采集的右手图像71显示在直播界面中;这种情况下,用户可以用左手对“模拟手势”72输入,触发显示装置更新“模拟手势”72的显示位置,例如,将“模拟手势”从右手的手腕图像拖动至右手的拇指图像。可以看出,在用户单手握持电子设备,且显示装置通过前置摄像头采集图像的情况下,用户可以通过对“模拟手势”的触控输入,实现采用“模拟手势”配合用户的右手完成需要双手才能完成的手部穴位演示,给直播对象以用户在采用双手演示手部穴位的效果。如此可以提高操作互动性和便捷性。

  本申请实施例中,由于用户可以通过对第一预设模型的输入,触发显示装置更新第一预设模型的显示区域,因此可以保证第一预设模型的显示区域符合用户的实际使用需求。

  可选地,本申请实施例中,当用户通过电子设备直播演示操作时,显示装置在拍摄预览界面中显示第一预设模型之后,显示装置还可以获取拍摄预览界面显示的图像(例如下述的第四图像),第四图像中可以包括摄像头最近一次采集的预览图像和显示在该预览图像上的第一预设模型,并将获取的第四图像发送至直播对象的电子设备(例如下述目标设备),如此,直播对象即可通过目标设备实时查看到用户的展示操作。

  示例性地,本申请实施例中,在上述步骤102之后,本申请实施例提供的显示方法还可以包括下述的步骤108和步骤109。

  步骤108、显示装置获取拍摄预览界面显示的图像,得到第四图像。

  步骤109、显示装置将第四图像发送至目标设备。

  可选地,本申请实施例中,第四图像中包括摄像头实时采集的预览图像和第一预设模型的图像。

  本申请实施例中,显示装置可以通过网络将第四图像传输至目标设备。

  本申请实施例中,由于显示装置可以将第一预设模型和摄像头采集的预览图像均实时传输至目标设备,因此不但可以保证直播对象能够观看用户的操作过程,而且可以提高演示操作的操作互动性,从而可以保证直播对象具有较好的观看体验。

  可选地,本申请实施例中,假设第一预设模型为用户的上半身模型,那么显示装置在拍摄预览界面中显示第一预设模型之前,可以先调整第一预设模型与摄像头实时采集的上半身图像的尺寸(例如显示尺寸),具体的,显示装置调整第一预设模型与该上半身图像的尺寸之后,当显示装置可以在拍摄预览界面中同时显示第一预设模型和该上半身图像时,第一预设模型与该上半身图像之间的重合区域小于预设阈值。换句话说,第一预设模型与上半身图像可以按比例显示在拍摄预览界面中,以呈现出用户的全身均处于摄像头的采集范围内的显示效果。

  需要说明的是,本申请实施例提供的显示方法,执行主体可以为显示装置,或者该显示装置中的用于执行加载显示的方法的控制模块。本申请实施例中以显示装置执行显示方法为例,说明本申请实施例提供的显示装置的装置。

  如图9所示,本申请实施例提供一种显示装置90,该显示装置90可以包括:接收模块91和显示模块92。接收模块91,可以用于接收对拍摄预览界面中的第一控件的第一输入,第一控件可以用于触发辅助显示功能;显示模块92,可以用于响应于接收模块91接收的第一输入,在拍摄预览界面中显示第一预设模型,第一预设模型可以为辅助显示功能中的辅助模型,第一预设模型根据至少一个第一图像生成,该至少一个第一图像可以为显示装置采集的用户图像。

  本申请实施例提供的显示装置中,当用户需求通过电子设备进行操作演示时,由于用户可以对拍摄预览界面中用于触发辅助显示功能的第一控件的输入,触发显示装置在拍摄预览界面中显示根据采集的用户图像生成的辅助模型,因此用户可以通过握持电子设备的手部对该辅助模型输入,以使该辅助模型配合用户进行操作演示,例如,当该辅助模型为基于用户手部图像生成的时,可以在拍摄预览界面中呈现出双手演示的效果,从而可以提高演示效果,和执行操作演示的灵活性。

  可选地,本申请实施例中,上述显示装置还可以包括采集模块、生成模块和镜像模块。采集模块,可以用于在显示模块92在拍摄预览界面中显示第一预设模型之前,采集至少一个第一图像;镜像模块,可以用于对采集模块采集的至少一个第一图像进行镜像处理,得到至少一个第二图像;生成模块,可以用于根据镜像模块镜像得到的至少一个第二图像,生成第一预设模型。

  本申请实施例中,由于显示装置可以通过对至少一个第一图像镜像处理后的至少一个第二图像生成第一预设模型,因此当显示装置在拍摄预览界面中显示第一预设模型之后,可以呈现出第一对象(例如右手)和第二对象(例如左手)均处于摄像头采集范围内的效果,其中,第二对象与第一对象互为镜像。如此,可以进一步提高辅助显示的灵活性。

  可选地,本申请实施例中,上述拍摄预览界面中显示有第三图像,第三图像中可以包括目标对象的图像;接收模块91,还可以用于在拍摄预览界面中显示第一预设模型之后,接收对第一预设模型的第二输入;显示模块92,还可以用于响应于接收模块91接收的第二输入,在第三图像的目标区域显示第一预设模型,目标区域可以为目标对象的至少一个特征点在第三图像中所在区域。

  本申请实施例中,由于用户可以通过对第一预设模型的输入,触发显示装置更新第一预设模型的显示区域,因此可以保证第一预设模型的显示区域符合用户的实际使用需求。

  可选地,本申请实施例中,上述第二输入可以为对第一预设模型的触控输入或语音输入。

  本申请实施例中,由于用户可以通过不同输入触发显示装置更新第一预设模型的显示位置,因此可以提高操作第一预设模型的灵活性和便捷性,从而可以提高人机交互性能。

  可选地,本申请实施例中,显示装置还可以包括获取模块和发送模块;获取模块,可以用于在显示模块92在拍摄预览界面中显示第一预设模型之后,获取拍摄预览界面显示的图像,得到第四图像;发送模块,可以用于将获取模块获取的第四图像发送至目标设备。

  本申请实施例中,由于显示装置可以将第一预设模型和摄像头采集的预览图像均实时传输至目标设备,因此不但可以保证直播对象能够观看用户的操作过程,而且可以提高演示操作的操作互动性,从而可以保证直播对象具有较好的观看体验。

  本申请实施例中的显示装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为网络附属存储器(Network AttachedStorage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。

  本申请实施例中的显示装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。

  本申请实施例提供的显示装置能够实现图1至图8的方法实施例中显示装置实现的各个过程,为避免重复,这里不再赘述。

  可选的,如图10所示,本申请实施例还提供一种电子设备200,包括处理器202,存储器201,存储在存储器201上并可在该处理器202上运行的程序或指令,该程序或指令被处理器202执行时实现上述显示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

  需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

  图11为实现本申请实施例的一种电子设备的硬件结构示意图。

  该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。

  本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。

  其中,用户输入单元1007,用于接收对拍摄预览界面中的第一控件的第一输入,第一控件用于触发辅助显示功能;显示单元1006,用于响应于用户输入单元1007接收的第一输入,在该拍摄预览界面中显示第一预设模型,第一预设模型为该辅助显示功能中的辅助模型,第一预设模型根据至少一个第一图像生成,该至少一个第一图像为采集的用户图像。

  本申请实施例提供的电子设备中,当用户需求通过电子设备进行操作演示时,由于用户可以通过对拍摄预览界面中用于触发辅助显示功能的第一控件的输入,触发电子设备在拍摄预览界面中显示根据采集的用户图像生成的辅助模型(例如可以为基于用户的手部图像生成的显示模型),因此用户可以通过握持电子设备的手部对该辅助模型输入,以使该辅助模型配合用户进行操作演示,例如,在拍摄预览界面中呈现出双手演示的画面,从而可以提高演示效果,和执行操作演示的灵活性。

  可选地,本申请实施例中,处理器1010,还可以在显示单元1006在拍摄预览界面中显示第一预设模型之前通过电子设备的摄像头采集至少一个第一图像;且将该至少一个第一图像镜像,得到至少一个第二图像;并根据镜像模块镜像得到的至少一个第二图像,生成第一预设模型。

  本申请实施例中,由于电子设备可以通过对至少一个第一图像镜像处理后的至少一个第二图像生成第一预设模型,因此当电子设备在拍摄预览界面中显示第一预设模型之后,可以呈现出第一对象(例如右手)和第二对象(例如左手)均处于摄像头采集范围内的效果,其中,第二对象与第一对象互为镜像。如此,可以进一步提高辅助显示的灵活性。

  可选地,本申请实施例中,上述拍摄预览界面中显示有第三图像,第三图像中可以包括目标对象的图像;用户输入单元1007,还可以用于在显示单元1006在拍摄预览界面中显示第一预设模型之后,接收对第一预设模型的第二输入;显示单元1006,还可以用于响应于用户输入单元1007接收的第二输入,在第三图像的目标区域显示第一预设模型,目标区域可以为目标对象的至少一个特征点在第三图像中所在区域。

  本申请实施例中,由于用户可以通过对第一预设模型的输入,触发电子设备更新第一预设模型的显示区域,因此可以保证第一预设模型的显示区域符合用户的实际使用需求。

  可选地,本申请实施例中,上述第二输入可以为对第一预设模型的触控输入或语音输入。

  本申请实施例中,由于用户可以通过不同输入触发电子设备更新第一预设模型的显示位置,因此可以提高操作第一预设模型的灵活性和便捷性,从而可以提高人机交互性能。

  可选地,本申请实施例中,输入单元1004,可以用于在显示单元1006在拍摄预览界面中显示第一预设模型之后,获取拍摄预览界面显示的图像,得到第四图像;射频单元1001,可以用于将输入单元1004获取的第四图像发送至目标设备。

  本申请实施例中,由于电子设备可以将第一预设模型和摄像头采集的预览图像均实时传输至目标设备,因此不但可以保证直播对象能够观看用户的操作过程,而且可以提高演示操作的操作互动性,从而可以保证直播对象具有较好的观看体验。

  应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器1009可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。

  本申请实施例还提供一种可读存储介质,该可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述显示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

  其中,处理器为上述实施例中所述的电子设备中的处理器。可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。

  本申请实施例另提供了一种芯片,该芯片包括处理器和通信接口,该通信接口和该处理器耦合,该处理器用于运行程序或指令,实现上述显示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

  应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

  需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。

  通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例的方法。

  上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

《显示方法、装置和电子设备.doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档

文档为doc格式(或pdf格式)