电子设备、用户终端以及控制电子设备和用户终端的方法
本申请基于并要求于2019年5月8日在韩国知识产权局提交的第10-2019-0053500号韩国专利申请的优先权，该申请的公开通过引用全部合并于此。
技术领域
本公开涉及一种电子设备、用户终端及其控制方法。更具体地，本公开涉及能够通过用户终端捕获由电子设备输出的标记来在用户终端和电子设备之间建立通信连接的电子设备、对应的用户终端以及用于控制该电子设备和用户终端的对应方法。
背景技术
近来，通过在诸如电视(TV)的电子设备和诸如智能电话的用户终端之间建立通信连接来提供各种服务。特别地，当在电子设备和用户终端之间建立通信连接时，可能需要确定电子设备和用户终端是否在同一空间中以建立安全连接。
传统上，可通过使用超声波或pin码在电子设备和用户终端之间建立通信连接。具体地，可通过电子设备产生超声波和用户终端检测超声波或者通过电子设备输出pin码和用户终端接收pin码在电子设备与用户终端之间建立通信连接。
然而，传统方法可能对用户不直观或需要另外的用户输入。因此，期望一种更直观和简单的在电子设备和用户终端之间建立通信连接的方式。
发明内容
提供了一种能够通过用户终端捕获由电子设备输出的用于引导用户操作的包括文本或图像中的至少一个的标记来更直观和简单地建立用户终端与电子设备之间的通信连接的电子设备，并提供了对应的用户终端及其对应的控制方法。
根据实施例的一方面，提供了一种电子设备，该电子设备包括：显示器；通信接口，包括电路；存储器，包括至少一个指令；以及处理器，被配置为执行所述至少一个指令，并且处理器被配置为通过执行所述至少一个指令来执行以下操作：基于电子设备通过通信接口发现了外部用户终端，控制显示器显示用于引导用户进行建立电子设备和外部用户终端之间的通信连接的操作的标记，基于外部用户终端通过捕获显示所述标记的电子设备的图像认证了电子设备，通过通信接口从外部用户终端接收确认对于电子设备的认证的信号，并且响应于接收到所述信号，通过通信接口建立与外部用户终端的通信连接。
处理器被配置为控制显示器连同所述标记一起显示具有预定义图案或颜色的背景屏幕。
处理器被配置为通过通信接口接收关于外部用户终端的信息，并且基于与外部用户终端建立了通信连接，移除所述标记并控制显示器显示关于外部用户终端的信息。
电子设备还包括光输出器，并且处理器被配置为控制光输出器输出具有预定义图案的光作为所述标记。
根据实施例的一方面，提供了一种用户终端，该用户终端包括：相机；显示器；通信接口；存储器，包括至少一个指令；以及处理器，被配置为执行所述至少一个指令，并且处理器被配置为通过执行所述至少一个指令来执行以下操作：基于用户终端通过通信接口发现了电子设备，控制显示器显示用于建立与电子设备的通信连接的菜单，基于通过所述菜单接收到用于建立与电子设备的通信连接的用户输入，激活相机并控制显示器显示包括由相机捕获的图像的屏幕，并且基于通过分析所述图像中包括的用于引导用户进行建立与用户终端的通信连接的操作的标记认证了电子设备，通过通信接口发送确认对于电子设备的认证的信号来建立与电子设备的通信连接。
处理器被配置为分析所述标记中包括的文本或图像中的至少一个，并且基于与预存储的文本或预存储的图像中的至少一个对应的所分析的文本或图像中的至少一个来认证电子设备。
处理器被配置为通过分析连同被包括在所述标记中的文本和图像一起的被包括在捕获的图像中的电子设备的外观以及由电子设备输出的背景屏幕来认证电子设备。
所述屏幕可包括用于引导输出所述标记的电子设备的位置的用户界面(UI)。
处理器被配置为在发现电子设备时通过通信接口接收关于电子设备的信息，并且所述屏幕可包括连同所述图像的关于电子设备的信息。
处理器被配置为基于建立了与电子设备的通信连接，移除所述图像并且控制显示器显示指示与电子设备的通信连接完成的消息。
根据实施例的一方面，提供了一种控制电子设备的方法，所述方法包括：基于由电子设备发现了外部用户终端，显示用于引导用户进行建立与外部用户终端的通信连接的操作的标记，基于外部用户终端通过捕获显示所述标记的电子设备的图像认证了电子设备，从外部用户终端接收确认对于电子设备的认证的信号，并且响应于接收到所述信号，建立与外部用户终端的通信连接。
显示所述标记的步骤可包括连同所述标记一起显示具有预定义图案或颜色的背景屏幕。
所述方法可包括：接收关于外部用户终端的信息；并且基于建立了与外部用户终端的通信连接，移除所述标记并显示关于外部用户终端的信息。
所述方法可包括输出具有预定义图案的光作为所述标记。
根据实施例的一方面，提供了一种控制用户终端的方法，所述方法包括：基于由用户终端发现了电子设备，显示用于建立与电子设备的通信连接的菜单；基于通过所述菜单接收到用于建立与电子设备的通信的用户输入，激活用户终端的相机并且显示包括由相机捕获的图像的屏幕；并且基于通过分析所述图像中包括的用于引导用户进行建立与用户终端的通信连接的操作的标记认证了电子设备，通过发送确认对于电子设备的认证的信号来建立与电子设备的通信连接。
所述方法可包括：分析被包括在所述标记中的文本或图像中的至少一个，并且基于与预存储的文本或预存储的图像中的至少一个对应的所分析的文本和图像中的至少一个来认证电子设备。
认证的步骤可包括：通过分析连同包括在所述标记中的文本和图像一起的被包括在捕获的图像中的电子设备的格式以及由电子设备输出的背景屏幕来认证电子设备。
所述屏幕可包括用于引导输出所述标记的电子设备的位置的用户界面(UI)。
所述方法可包括在发现电子设备时接收关于电子设备的信息，并且屏幕可包括连同所述图像一起的关于电子设备的信息。
所述方法可包括：基于与电子设备的通信连接被建立，移除图像并且显示指示与电子设备的通信连接完成的消息。
通过如上所述的不同实施例，用户终端可通过由用户终端捕获包括由电子设备输出的用于引导用户操作的文本或图像中的至少一个的标记来更直观和简单地建立电子设备与用户终端之间的通信连接。
附图说明
根据以下结合附图进行的描述，本公开的特定实施例的以上和其他方面、特征和优点将更加明显，其中：
图1是示出根据实施例的在电子设备和用户终端之间建立通信连接的方法的示图；
图2是示出根据实施例的电子设备的配置的框图；
图3是详细示出根据实施例的电子设备的配置的框图；
图4是示出根据实施例的用户终端的配置的框图；
图5A是示出根据实施例的由电子设备提供的基于用户输入发现用户终端的屏幕的示图；
图5B是示出根据实施例的当发现电子设备时由用户终端提供的菜单的示图；
图6A是示出根据实施例的包括由用于与电子设备进行通信连接的用户终端捕获的图像的屏幕的示图；
图6B是示出根据实施例的由电子设备提供的标记的示图；
图7A是示出根据实施例的包括由用于与电子设备进行通信连接的用户终端捕获的图像的屏幕的示图；
图7B是示出根据实施例的用于当从用户接收到认证结果时引导电子设备的连接进度的屏幕的示图；
图8A是示出根据实施例的在建立与电子设备的通信连接之后由用户终端提供的屏幕的示图；
图8B是示出根据实施例的在建立与用户终端的通信连接之后由电子设备提供的屏幕的示图；
图9A是示出根据实施例的用于使用蓝牙模块建立通信连接的过程的序列图；
图9B是示出根据实施例的用于使用Wi-Fi模块建立通信连接的过程的序列图；
图10是示出根据实施例的用于使用光输出在电子设备和用户终端之间建立通信连接的过程的示图；
图11是示出根据实施例的用于使用光输出在电子设备和用户终端之间建立通信连接的过程的序列图；
图12是示出根据实施例的控制电子设备的方法的流程图；
图13是描述根据实施例的控制用户终端的方法的流程图；
图14A是示出根据实施例的通过捕获处于锁定状态的电子设备来解锁电子设备的方法的示图；
图14B是示出根据实施例的通过捕获处于锁定状态的电子设备来解锁电子设备的方法的示图；
图14C是示出根据实施例的通过捕获处于锁定状态的电子设备来解锁电子设备的方法的示图；
图15A是示出根据实施例的通过捕获电子设备来共享内容的方法的示图；
图15B是示出根据实施例的通过捕获电子设备来共享内容的方法的示图；
图15C是示出根据实施例的通过捕获电子设备来共享内容的方法的示图；
图16A是示出根据实施例的在字符输入是必要的状态下由用户终端通过捕获电子设备来提供字符输入窗口的方法的示图；
图16B是示出根据实施例的在字符输入是必要的状态下由用户终端通过捕获电子设备来提供字符输入窗口的方法的示图；
图16C是示出根据实施例的在字符输入是必要的状态下由用户终端通过捕获电子设备来提供字符输入窗口的方法的示图；
图16D是示出根据实施例的在字符输入是必要的状态下由用户终端通过捕获电子设备来提供字符输入窗口的方法的示图；
图17A是示出根据实施例的通过捕获电子设备来登录到在电子设备中执行的应用的方法的示图；
图17B是示出根据实施例的通过捕获电子设备来登录到在电子设备中执行的应用的方法的示图；
图17C是示出根据实施例的通过捕获电子设备来登录到在电子设备中执行的应用的方法的示图；
图17D是示出根据实施例的通过捕获电子设备来登录到在电子设备中执行的应用的方法的示图；
图17E是示出根据实施例的通过捕获电子设备来登录到在电子设备中执行的应用的方法的示图；以及
图17F是示出根据实施例的通过捕获电子设备来登录到在电子设备中执行的应用的方法的示图。
具体实施方式
将公开各种实施例。然而，可理解的是本公开不限于下文描述的实施例，而是包括本公开的实施例的各种修改、等同和/或替代。
在本说明书中，表述“具有”、“可具有”、“包括”或“可包括”等表示对应特征(例如：诸如数字、功能、操作或部件的组件)的存在，并且这样的表述不排除附加特征或元件的存在。
在本文件中，表述“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或更多个”等包括所列项目的所有可能组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”包括(1)至少一个A、(2)至少一个B、(3)至少一个A和至少一个B。
如本文所使用的，术语“第一”、“第二”等可表示各种组件而不管顺序或重要性如何，并且可用于区分一个组件与另一组件，并且不限制组件。例如，第一用户设备和第二用户设备可指示不同的用户设备而不管它们的顺序或重要性如何。例如，在不脱离如本文所描述的范围的情况下，第一元件可被称为第二元件，或者类似地，第二元件可被称为第一元件。
诸如“模块”、“单元”、“部分”等术语用于指代执行至少一个功能或操作的元件，并且这样的元件可被实现为硬件或软件、或硬件和软件的组合。此外，除了当多个“模块”、“单元”、“部分”等中的每一个可在单独的硬件中实现时，组件可被集成在至少一个模块或芯片中并且被实现在至少一个处理器中。例如，模块可由专用集成电路(ASIC)组成。
应当理解，元件(例如，第一元件)与另一元件(例如，第二元件)“可操作地或通信地结合”或元件(例如，第一元件)“可操作地或通信地结合到”另一元件(例如，第二元件)是指任何这样的元件可被直接连接到另一元件或可经由另一中间元件(例如，第三元件)被连接。另一方面，当提及元件(例如，第一元件)“被直接连接”或“被直接接入”到另一元件(例如，第二元件)时，可理解的是在元件之间不存在其他中间元件(例如，第三元件)。
此外，依据上下文，本公开中使用的表述“被配置为”可与其他表述(诸如“适合于”、“具有……的能力”、“被设计为”、“适于”、“被制成”和“能够”)可互换地使用。相反，在一些情况下，表述“被配置为……的装置”可表示该装置“能够”与另一装置或组件一起建立操作。例如，短语“被配置为建立A、B和C的处理器”可表示用于执行对应操作的专用处理器(例如：嵌入式处理器)，或可通过执行存储在存储器装置中的一个或更多个软件程序来建立对应操作的通用处理器(例如：CPU或应用处理器)。
在说明书中使用的术语用于描述一个或更多个实施例，但可不旨在限制其他实施例的范围。除非另外具体定义，否则单数表述可涵盖复数表述。说明书中使用的所有术语(包括技术术语和科学术语)可被用作本公开所属领域的普通技术人员通常理解的含义。在本公开中使用的并且在通用字典中定义的术语可被用作与来自相关技术的上下文的术语的含义相同或相似的含义，并且除非它们已经被清楚地和特别地定义，否则它们不被理想地或过度地解释。根据情况，甚至在本公开的实施例中定义的术语也可不被解释为排除本公开的实施例。
下面将参照附图更详细地描述本公开，以使得本领域技术人员能够容易地实现本公开的构思。然而，本公开可被实施为若干不同形式且不限于本文中所描述的特定实例中的任何一个。此外，为了在附图中清楚地描述本公开，可省略与描述无关的部分，并且在整个描述中，相同的元件被给予相似的附图标号。
图1是示出根据实施例的在电子设备和用户终端之间建立通信连接的方法的示图。根据实施例的电子设备100可被实现为TV，如图1所示，但是这仅是示例性的。电子设备100可被实现为家庭网关装置或家用电器产品(例如，数字视频盘(DVD)播放器、音响、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机器人清洁器、机顶盒、家庭自动化控制面板、门锁、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM、或Google TVTM)、游戏机(例如，XboxTM、PlayStationTM)、电子词典、电子钥匙、摄像机、电子相框)等。如图1所示，用户终端200可被实现为智能电话，但是这仅是示例性的。用户终端200可被实现为平板个人计算机(PC)、移动电话、视频电话、人工智能(AI)扬声器、扬声器(包括至少一个麦克风和网络模块(未提供AI功能)的扬声器)、电子书阅读器、膝上型PC、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗装置、相机或可穿戴装置。
电子设备100可在接收到用于建立通信连接的用户输入时发现电子设备100周围的用户终端200或另一电子设备。具体地，电子设备100可发送(或广播)扫描信号以发现用户终端200或另一电子设备。通信连接可以是将电子设备100注册到用户终端200的电子设备100与用户终端200之间的第一通信连接(或配对)，但这仅是一个实施例。通信连接可以是一般电子设备与用户终端200之间的通信连接。
用户终端200可响应于由电子设备100发送的扫描信号来发现电子设备100。也就是说，当用户终端200通过接收由电子设备100发送的扫描信号而发现电子设备100时，用户终端200可显示用于确认与电子设备100的通信连接的菜单。具体地，用户终端200可执行用于通信连接的应用，并以弹出形式显示由用于通信连接的应用提供的菜单。
当通过菜单接收到用于通信连接的用户输入时，用户终端200可向电子设备100发送用于发起通信连接的响应信号。电子设备100可基于响应信号发现用户终端200。当发现用户终端200时，电子设备100可向用户终端200发送用于认证电子设备100的信号。
电子设备100可在其上显示标记或其他图形元素，标记或其他图形元素包括引导用户的操作以与用户终端200建立通信连接的文本或图像中的至少一个。例如，电子设备100可显示包括引导用户的操作的文本或图像中的至少一个(诸如“请给我看你的电话”等)的标记。根据另一实施例，电子设备100可通过使用光输出装置(例如，发光二极管(LED)等)的具有预定图案的光输出来提供标记，并且可提供具有除了文本和图像之外还包括预定颜色或图案的背景屏幕的标记。
用户终端200可响应于经由菜单输入的用户输入来激活相机，并且显示包括由激活的相机捕获的图像的屏幕(已经被执行的应用的屏幕)。此时，用户终端200可显示包括输出标记的电子设备100的图像。用户终端200还可在屏幕中显示用于引导输出标记的电子设备100的位置的引导用户界面(UI)，以用于更准确的认证。
当通过检测被包括在图像中的预定义标记来认证电子设备100时，用户终端200可发送确认对于电子设备100的认证的信号，以建立与电子设备100的通信连接。具体地，用户终端200可分析被包括在捕获的图像中的标记中的文本和图像中的至少一个，以确定分析的文本或图像是否对应于预存储的文本或图像中的至少一个。也就是说，电子设备100可输出预定义标记，并且用户终端200可在安装用于与电子设备100的通信连接的应用时存储识别用于进行对电子设备100的认证的标记的信息。
如果被包括在捕获的图像中的标记中的文本和图像对应于预存储的文本或图像中的至少一个，则用户终端200可对电子设备100进行认证并向电子设备100发送信号以确认对于电子设备100的认证。此时，用户终端200可使用被包括在由电子设备100输出的标记中的文本或图像中的至少一个来认证电子设备100，但这仅是示例性的。另外，用户终端200可通过连同被包括在标记中的文本和图像一起分析被包括在捕获图像中的电子设备100的类型和由电子设备100输出的背景屏幕来认证电子设备100，以增强安全性。
电子设备100可通过接收确认对于电子设备100的认证的信号来建立与用户终端200的通信连接。
电子设备100可在输出标记的同时将声音反馈与引导用户的操作的标记一起输出。具体地，因为由电子设备100输出的标记以用户难以识别的形式被输出，所以引导用户操作的反馈是必要的。因此，电子设备100可通过将声音反馈与标记一起输出来引导用户的操作。此时，声音反馈被再现为源代码而不是现有记录的音乐文件，因此，可依据用户环境和情况提供自然的声音体验。
用户终端200可使用预定义标记来建立与电子设备100的通信连接，但这仅是示例性的。用户终端200可通过在由电子设备100输出包括预定义图案的标记的同时捕获电子设备100来提供各种服务。稍后将参照图14A至图17E对此进行描述。
图2是示出根据实施例的电子设备的配置的框图。如图2所示，电子设备100可包括显示器110、通信接口120、存储器130和处理器140。该配置不限于此，并且可根据电子设备100的类型添加或省略电子设备100的一些组件。
显示器110可显示从外部图像源(例如，广播站、机顶盒等)接收的图像。显示器110除了可显示从图像源接收的图像之外，还可显示用于与外部用户终端200建立通信连接的标记。标记可包括用于引导用户的用于用户终端200和电子设备100的通信连接的操作的文本和图像中的至少一个。
显示器110可被实现为诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子体显示面板(PDP)等的各种类型的显示器中的任何一种。显示器110可包括可以以a-siTFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)的形式实现的驱动电路和背光单元。显示器110可被实现为与触摸传感器结合的触摸屏、柔性显示器、三维显示器(3D显示器)等。
通信接口120被配置为根据各种类型的通信方法与各种类型的外部装置进行通信。通信接口120可包括各种通信模块，并根据与通信模块的类型对应的通信协议与外部用户终端建立通信连接。例如，通信接口120可包括Wi-Fi模块或蓝牙模块。稍后将参照图9A和图9B描述使用Wi-Fi模块或蓝牙模块与外部用户终端200建立通信连接的方法。
通信接口120可发送(或广播)扫描信号，响应于扫描信号接收发起到外部用户终端200的通信连接的信号，并且接收请求对于电子设备100的认证的信号。通信接口120可从外部用户终端200接收用于确认针对电子设备100的认证的信号，并且可响应于确认针对电子设备100的认证的信号来建立与用户终端200的通信连接。
存储器130可存储用于提供与电子设备100的操作相关的功能的数据和应用。根据数据使用目的和电子设备100的配置，存储器130可被实现为嵌入电子设备100的存储器，或者可被实现为电子设备100中的可拆卸的、可移除的或模块化的存储器。例如，用于驱动电子设备100的数据可被存储在嵌入在电子设备100中的存储器中，并且用于电子设备100的扩展功能的数据可被存储在可从电子设备100拆卸的存储器中。嵌入在电子设备100中的存储器可以是易失性存储器(诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、同步动态随机存取存储器(SDRAM))或非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD))。在可拆卸地被安装到电子设备100的存储器的配置中，存储器可被实现为存储卡(例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(micro-SD)、迷你安全数字(mini-SD)、极限数字(xD)、多媒体卡(MMC)等)、可连接到USB端口的外部存储器(例如，USB存储器)等。
存储器130可存储用于与用户终端200建立通信连接的应用，并且可存储用于认证电子设备100的预定义标记和背景屏幕。预定义标记可包括用于引导用户的用于建立通信连接的操作的文本或图像中的至少一个，并且背景屏幕可具有预定图案或颜色。
处理器140可被电连接到存储器130以控制电子设备100的全部操作和功能。具体地，处理器140可在经由通信接口120发现用户终端时控制显示器110显示包括引导用户进行建立与用户终端200的通信连接的操作的文本和图像中的至少一个的标记。当用户终端200捕获输出标记的电子设备100的图像并执行对于电子设备100的认证时，处理器140可通过通信接口120从用户终端200接收用于确认对于电子设备100的认证的信号。由此，电子设备100可响应于该信号与用户终端200建立通信连接。此时，标记可在安装用于与电子设备100通信连接的应用时已经被预先存储。
为了更强化的安全性，处理器140可控制显示器110连同包括文本和图像中的至少一个的标记一起显示具有预定图案或颜色的背景屏幕。
处理器140可在搜索用户终端200的同时通过通信接口120接收关于用户终端200的信息。处理器140可在与用户终端200建立通信连接时删除标记并控制显示器110显示关于用户终端的信息(例如，用户终端的用户名等)。
图3是示出根据一个实施例的电子设备的配置的框图。如图3所示，电子设备100可包括显示器110、通信接口120、存储器130、扬声器150、用户接口160、麦克风170、输入/输出接口180、光输出器190和处理器140。因为已经参照图2描述了显示器110、通信接口120、存储器130和处理器140，所以将省略其冗余描述。
通信接口120可与各种类型的其他装置通信。通信接口120可包括Wi-Fi模块121、蓝牙模块122、红外通信模块123、无线通信模块124等。处理器140可经由通信接口120与各种装置通信。这里，其他装置可包括诸如TV的显示装置、诸如机顶盒的图像处理装置、外部服务器、诸如远程控制器的控制装置、诸如蓝牙扬声器的音频输出装置、照明装置、智能清洁器，诸如智能冰箱的家用电器、诸如物联网(IoT)家庭管理器的服务器、灯、百叶窗、诸如传感器的IoT装置等。
Wi-Fi模块121和蓝牙模块122分别使用Wi-Fi通信协议和蓝牙通信协议建立通信。可在使用Wi-Fi模块141或蓝牙模块122时发送和接收诸如服务集标识符(SSID)和会话密钥的各种连接信息，并且可在建立通信连接之后发送通信信息。红外线通信模块123根据使用波长在可见光和毫米波之间的红外线将数据无线地发送到本地区域的红外数据协会(IrDA)技术执行通信。无线通信模块124可以是除了上述通信方法之外还根据诸如Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、LTE高级(LTE-A)、第四代(4G)、第五代(5G)等的各种通信标准建立通信的模块。通信接口120可包括局域网(LAN)模块、以太网模块或使用对电缆、同轴电缆、光缆等建立通信的有线通信模块中的至少一个。根据实施例，通信接口120可使用相同的通信模块(例如，Wi-Fi模块)来与诸如远程控制器和外部服务器的外部装置通信。根据另一实施例，通信接口120可使用不同的通信模块(例如，Wi-Fi模块)来与诸如远程控制器和外部服务器的外部装置通信。例如，通信接口120可使用以太网模块或Wi-Fi模块中的至少一个来与外部服务器通信，并且可使用蓝牙(BT)模块来与诸如远程控制器的外部装置通信。然而，这仅是示例性的，并且当与多个外部装置或外部服务器通信时，通信接口120可使用各种通信模块中的至少一个通信模块。
扬声器150可以是可听地输出由输入和输出接口180处理的各种音频数据、各种警报声音、语音消息等的元件。电子设备100可包括诸如扬声器150的音频输出装置，或者可包括诸如音频输出端子的输出装置。扬声器150可输出用于引导用户的用于与外部用户终端200的通信连接的操作的声音反馈或引导与外部用户终端200的通信连接完成的语音消息。
用户接口160被配置为接收用户命令以控制电子设备100。用户接口160可被实现为硬件和软件。在软件的实现中，用户接口160可包括显示在显示器110上的图形，使得用户可根据显示在显示器上的用户接口160进行交互。在硬件的实现中，用户接口可包括能够建立上述显示功能和操作输入功能的按钮、触摸板、鼠标、键盘或触摸屏等硬件元件。在触摸屏的实现中，可结合显示器110提供用户接口160。按钮可以是形成在电子设备的任何区域(诸如电子设备100的主体的外部区域的前表面部分、侧表面部分和后表面部分)中的各种类型的按钮(诸如机械按钮、触摸板、轮等)。自然地，用户接口160可以以硬件和软件的组合被提供，以使得用户能够与电子设备100交互。用户接口160可接收搜索外部用户终端200的用户命令。
麦克风170可在麦克风170的激活状态下接收用户语音。例如，麦克风170可在电子设备100的高层侧、前侧方向、侧面方向等整体地形成为整体单元。麦克风170可包括各种配置，诸如用于收集模拟格式的用户语音的麦克风、用于放大收集的用户语音的放大器电路、用于对放大的用户语音进行采样以转换为数字信号的模拟到数字(A/D)转换电路、用于从转换的数字信号中移除噪声元素的滤波器电路等。用户语音可被用于结合用户接口160来提供对电子设备100的输入和/或效果控制。
输入和输出(I/O)接口180可输入和输出音频信号和视频信号中的至少一个。输入和输出接口180以及通信接口120可从外部装置接收包括内容和UI中的至少一个的图像，并且将控制命令输出到外部装置。输入和输出接口180可以是高清多媒体接口(HDMI)，但这仅是示例性的，并且输入和输出接口180可以是移动高清链路(MHL)、通用串行总线(USB)、显示端口(DP)、Thunderbolt、视频图形阵列(VGA)端口、RGB端口、D超小型(D-SUB)、数字视觉接口(DVI)等中的一个接口。根据实施例，输入和输出接口180可包括用于仅输入和输出音频信号的端口以及用于仅输入和输出视频信号的端口，或者可被实现为输入和输出音频信号和视频信号两者的一个端口。可结合通信接口120提供输入和输出接口180以执行与诸如用户终端200的外部设备的通信。
光输出器190被配置为输出光，并且可被实现为LED等。光输出器190可输出具有预设模式或预设周期的光作为用于电子设备100和用户终端200之间的通信连接的标记。
处理器140可包括中央处理器(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)和高级精简指令集计算(RISC)机器(ARM)处理器中的一个或更多个或者可被定义为对应的术语。处理器140可以以在其中实现处理算法的片上系统(SoC)类型或大规模集成(LSI)类型来实现，或以现场可编程门阵列(FPGA)来实现。处理器140可通过执行存储在其中或存储器130中的计算机可执行指令来执行各种功能。
图4是示出根据实施例的用户终端的配置的框图。如图4所示，用户终端200可包括相机210、显示器220、通信接口230、存储器240、用户接口250、传感器260、扬声器270和处理器280。可选地，可根据用户终端200的类型添加或省略用户终端200的一些组件。在用户终端200的配置和电子设备100的配置中，具有相同名称的相同组件可执行相同或相似的功能，因此，将省略其冗余描述。
相机210被配置为捕获用户终端200的外部的环境的图像，并且可被设置在前侧、上侧或后侧之中的至少一个区域中，但这仅是示例性的。相机210可被电连接到用户终端200。
当接收到用于建立与电子设备100的通信连接的用户输入时，相机210(特别地，用户终端200的后侧的相机)可被自动激活，并且可捕获包括输出标记的电子设备100的图像。
显示器220可显示从各种源获得的图像。特别地，显示器220可显示用于与电子设备100的通信连接的UI屏幕，并且特别地，输出包括输出标记的电子设备100的图像。此时，显示器220能够与包括输出标记的电子设备100的图像一起显示用于引导电子设备100的位置的引导UI。
通信接口230可建立与各种外部电子设备的通信。通信接口230可从电子设备100接收扫描信号，并且可响应于扫描信号发送用于恢复通信连接的信号。通信接口230可从电子设备100接收请求对于电子设备100的认证的信号，并且向电子设备100发送用于确认针对电子设备100的认证的信号以建立与电子设备100的通信连接。
通信接口230可包括各种通信模块(例如，Wi-Fi模块、蓝牙模块等)，并且可根据通信模块的类型通过各种不同的方法与电子设备100建立通信连接。将参照图9A和9B对此进行描述。
存储器240可存储用于控制用户终端200的各种指令或程序。特别地，存储器240可存储用于与电子设备100建立通信连接的应用，并且可存储用于认证电子设备100的预定义标记和背景屏幕。此时，预定义标记可包括用于引导用于建立通信连接的用户操作的文本和图像中的至少一个，并且背景屏幕可具有预定图案或颜色。
用户接口250可接收各种用户命令以控制用户终端200。特别地，用户接口250可包括被包括在用户终端200的外部的触摸面板和按钮，但这仅是示例性的，并且用户接口250可被实现为另一输入装置。用户接口250还可利用弹出菜单接收请求通信连接的用户输入以确认通信连接。
传感器260可感测用户终端200周围的各种环境。特别地，可感测用户终端200的各种状态信息。例如，传感器260可包括能够感测用户终端200的运动信息的运动传感器(例如，陀螺仪传感器、加速度传感器等)，并且可包括能够感测位置信息的传感器(例如，全球定位系统(GPS)传感器)、能够感测关于用户终端200的环境信息的传感器(例如，温度传感器、湿度传感器、气动传感器等)、能够感测用户终端200的用户的生物特征信息的传感器等。具体地，传感器260可包括用于获得面部信息的图像传感器、用于获得虹膜信息的虹膜感测传感器以及用于获得作为生物特征信息的用户的指纹信息的指纹传感器。
扬声器270可以是输出通过各种外部源接收的各种音频数据、各种警报声音、语音消息等的元件。用户终端200可包括音频输出装置(诸如扬声器270)，或者可包括输出装置(诸如音频输出端子)。扬声器270可输出用于引导与外部电子设备100的通信连接的用户操作的语音消息或引导与外部电子设备100的通信连接完成的语音消息。
处理器280可通过执行存储在其中或存储器240中的指令来控制用户终端200的全部操作。特别地，当通过通信接口230搜索到电子设备100时，处理器280可控制显示器220显示确认与电子设备100的通信连接的菜单。当通过菜单接收到用于通信连接的用户输入时，处理器280可激活相机210并控制显示器220显示包括由激活的相机210捕获的图像的屏幕。如果电子设备100通过被包括在图像中的预定义标记被认证，则处理器280可经由通信接口230发送信号以确认对于电子设备100的认证并且建立与电子设备100的通信连接。
处理器280可分析标记。例如，处理器可分析被包括在标记中的文本、被包括在标记中的图像、标记的位置、标记的颜色等中的一个或更多个。如果由相机210捕获的标记与存储在存储器240中的标记匹配，例如如果被包括在分析结果标记中的文本或图像中的至少一个对应于预存储在存储器240中的文本或图像中的至少一个，则处理器280可认证电子设备100并且可控制通信接口230向电子设备100发送确认针对电子设备100的认证的信号。处理器280可通过分析被包括在与标记中所包括的文本和图像一起捕获的图像中的电子设备100的外观以及由电子设备100输出的背景屏幕来认证电子设备100。
处理器280可控制显示器220在包括由相机210拍摄的图像的屏幕上显示用于引导输出标记的电子设备100的位置的引导UI。
处理器280可在发现电子设备100的同时通过通信接口230接收关于电子设备100的信息，并控制显示器220在包括由相机210捕获的图像的屏幕上显示关于电子设备100的信息。
当与电子设备100的通信连接被建立时，处理器280可移除图像并控制显示器220显示向用户指示与电子设备100的通信连接完成的消息。一旦在指示成功通信连接的消息之后已经过去预定时间或者接收到用户输入，处理器280可根据电子设备100的类型控制显示器220显示用于控制电子设备100的UI。
参照图5A至图8B，将描述电子设备100和用户终端200之间的通信连接过程。如果接收到用于与外围装置的通信连接的用户输入，则电子设备100可发送(或广播)扫描信号以发现另一装置。如图5A所示，电子设备100还可显示用于引导另一外围装置(特别地，用户终端200(诸如智能电话))的发现的屏幕505。此时，扫描信息可包括关于电子设备100的信息(例如，电子设备100的类型、电子设备100的标识(ID)等)。
如果用户终端200通过接收扫描信号发现电子设备100，则用户终端200可显示用于与电子设备100通信连接的菜单。如图5B所示，用户终端200可在电子设备100首次与用户终端200连接(或配对)时显示用于确认电子设备100的注册(或添加)的弹出菜单510。用户终端200可在接收到用于通过菜单与电子设备100通信连接的用户输入(即，用于经由弹出菜单注册(或添加)电子设备100的用户输入)时向电子设备100发送用于建立通信连接的信号。
用户终端200可执行用于通信连接的应用并提供应用的执行屏幕。如图6A所示，用户终端200可响应于用于通信连接的用户输入来激活相机，并且可提供包括由相机捕获的图像的执行屏幕610。执行屏幕610可包括关于电子设备100的信息615(例如，电子设备的类型、电子设备的产品名称、关于电子设备的尺寸的信息等)、由相机捕获的图像620、用于引导电子设备100在图像620上的位置的引导UI 625以及用于引导用户的操作的引导消息630。
如图6B所示，电子设备100可在通过从用户终端200接收建立通信连接的信号而发现用户终端200时发送用于请求对于电子设备100的认证的信号，并且在屏幕上显示预定义标记640。标记640可包括用于引导用户进行通信连接的操作的文本(例如，请给我看你的电话)，但这仅是示例性的，并且标记还可包括图像或图形。
如果显示标记640的电子设备100通过用户的操作被包括在由相机210捕获的图像中，则用户终端200可分析被包括在图像中的标记640，并通过将作为分析结果获得的关于标记640的信息与预存储的关于标记的信息进行比较来认证电子设备100。具体地，如图7A所示，当输出被包括在由相机210捕获的图像710中的标记的电子设备100与引导UI 715匹配或者被包括在引导UI 715中时，用户终端200可分析被包括在捕获的图像710中的标记640。此时，用户终端200可分析标记640的图像信息，但这仅是一个实施例。用户终端200可通过针对标记640的光学字符识别(OCR)来获得被包括在标记640中的文本信息。用户终端200可通过将分析的标记640的信息(图像信息或文本信息)与关于标记640的预存储信息进行比较来认证电子设备100。此时，预存储的标记可根据电子设备100的类型而不同。除了分析标记640之外，用户终端200还可通过分析电子设备100的类型和由电子设备100输出的背景信息来认证电子设备100。此时，可预先存储电子设备100的类型以及电子设备100输出的背景信息。当在由相机210捕获的图像710中输出标记640的电子设备100与引导UI 715匹配或者被包括在引导UI 715中时，用户终端200可在应用屏幕中显示用于引导用户的用于认证的操作的引导消息(例如，稍等一下)。
用户终端200可在用户终端200使用标记640认证电子设备100时向电子设备100发送用于确认对于电子设备100的认证的信号。
如图7B所示，电子设备100可在接收到用于确认电子设备100的信号之前或之后的预定时间内显示指示正在建立对于电子设备100的认证的引导UI730。
如果接收到确认对于电子设备100的认证的信号，则电子设备100可响应于该信号与用户终端200建立通信连接。用户终端200可注册关于电子设备100的信息(例如，电子设备100的ID、产品名称、地址信息等)，并且如图8A所示，用户终端200可删除由相机210捕获的图像，并且显示用于引导通信连接的完成(或注册的完成)的屏幕810。电子设备100可注册关于用户终端200的信息(用户终端200的ID、产品名称、地址信息等)，并且如图8B所示，可移除标记640，并且显示用于引导通信连接的完成(或注册的完成)的屏幕820。此时，电子设备100可在用于引导通信连接的完成的屏幕820上提供关于用户终端200的信息(使用用户终端200的用户的姓名、用户终端200的产品名称等)。
通过上述过程，通过经由用户终端200捕获输出标记640的电子设备100来认证电子设备100，用户可更直观和方便地建立电子设备100与用户终端200之间的通信连接。
参照图9A和图9B，下面将描述根据通信接口的类型建立通信连接的过程。
图9A是示出根据实施例的用于使用蓝牙模块建立通信连接的过程的序列图。
在操作S905，电子设备100可根据用于建立通信连接的用户输入来发送扫描信号。扫描信号可以是由蓝牙低功耗(BLE)信号产生的广播信号。扫描信号可包括关于电子设备100的信息(例如，电子设备100的ID、类型、产品名称、地址信息等)。
在操作S910，用户终端200可在接收到扫描信号时识别电子设备100被发现。
在操作S915，用户终端200可向电子设备100发送发起通信连接的信号。用户终端200可发送包括关于用户终端200的信息(用户终端200的ID、产品名称、地址信息等)的信号。
在操作S920，电子设备100可在接收到用于通信连接的信号时确定用户终端200被发现。
电子设备100可在操作S925中向用户终端200发送请求对于电子设备100的认证的信号，并在操作S930中显示标记。如上所述，标记可包括用于引导用户进行建立电子设备100和用户终端200之间的通信的操作的文本或图像中的至少一个。
用户终端200可在操作S935中通过激活相机来捕获包括标记的图像，并在操作S940中分析捕获的标记。用户终端200可分析标记以及正在显示标记的电子设备100的外观或由电子设备100输出的背景屏幕。
在操作S945，用户终端200可基于分析结果来认证电子设备100。具体地，用户终端200可通过将关于被包括在标记中的文本或图像的信息与预存储的关于标记的信息进行比较来认证电子设备100。用户终端200可存储关于根据电子设备100的类型的标记的信息，并且除了可存储被包括在标记中的文本或图像之外还可存储关于电子设备100的外观和由电子设备100输出的背景的信息。也就是说，用户终端200可使用关于被包括在标记中的文本或图像的信息以及关于电子设备100的外观和由电子设备100输出的背景的信息来认证电子设备100。
在操作S950，用户终端200可在电子设备100被认证时向电子设备100发送确认对于电子设备100的认证的信号。
在操作S955，电子设备100可响应于用于确认对于电子设备100的认证的信号而与用户终端200建立通信连接。
图9B是示出根据实施例的用于使用Wi-Fi模块建立通信连接的过程的序列图。
在操作S960，电子设备100和用户终端200可接入相同的网络。
在操作S965，电子设备100可向用户终端200发送扫描信号。此时，可通过多播计划域名系统(MDNS)方法来发送扫描信号。MDNS是用于在本地网络区域中在不进行设置的情况下查找主机名的服务，并且可发送基于IP的多播查询消息。查询消息可包括主机名、IP地址、关于电子设备100的信息等。
在操作S970，用户终端200可在接收到扫描信号时识别电子设备100被发现。
在操作S975，用户终端200可向电子设备100发送响应信号以发起通信连接。响应信号可包括关于用户终端200的信息(用户终端200的ID、类型、产品名称、地址信息)。
在操作S980，电子设备100可在接收到用于恢复通信连接的信号时确定用户终端200被发现。
电子设备100可在操作S985中向用户终端200发送请求对于电子设备100的认证的信号，并在操作S990中显示标记。如上所述，标记可包括用于引导用户进行建立电子设备100和用户终端200之间的通信的操作的文本和图像中的至少一个。
用户终端200可在操作S991中激活相机并捕获包括标记的图像，并在操作S993中分析捕获的标记。
在操作S995，用户终端200可基于分析结果来认证电子设备100。
在操作S997，用户终端200可在电子设备100被认证时向电子设备100发送确认对于电子设备100的认证的信号。在操作S999，电子设备100可响应于用于确认对于电子设备100的认证的信号而与用户终端200建立通信连接。
上述实施例已经被描述为通过用于通信连接的电子设备100显示包括用于引导用户的操作的文本和图像的标记，但是该实施例仅是示例性的。不包括显示器的装置也可通过光输出器190发射光作为标记。
将参照图10和图11描述使用光输出的电子设备和用户终端之间的通信连接的过程。
如图10所示，电子设备1000和用户终端200可使用通过电子设备1000的光输出器190发射的具有特定图案的光来建立通信连接。具体地，电子设备1000可在发现用户终端200时输出具有特定图案或特定周期的光作为标记。此时，作为标记，电子设备1000可存储关于具有根据电子设备1000的类型的特定图案或特定周期的光的信息。如图10所示，用户终端200可通过捕获具有特定模式或特定周期的光输出来建立针对电子设备1000的认证。
图11是示出根据实施例的用于使用光输出在电子设备和用户终端之间建立通信连接的过程的序列图。
在操作S1105，电子设备1000可进入软接入点(AP)模式。软AP模式是装置可通过可通信地连接到外部网络(例如，Wi-Fi网络)的装置来接入外部网络的模式。
在操作S1110，电子设备1000可向用户终端200发送扫描信号。
用户终端200可在操作S1115中发现电子设备1000，并在操作S1120中响应于扫描信号将网络接入信息发送到电子设备1000。
电子设备1000可在操作S1125中响应于网络接入信息发现用户终端200，并且可在操作S1130中向用户终端200发送请求认证的信号。
电子设备1000可输出被存储在电子设备1000中的具有预定图案的光。此时，用户终端200可在操作S1140中通过相机捕获电子设备1000的图像，并在操作S1145中分析被包括在捕获的图像中的光输出和电子设备1000的外观。
电子设备1000可在操作S1150中基于分析结果来认证电子设备1000。具体地，电子设备1000可通过将基于分析结果获得的关于电子设备1000的光的图案和外观的信息与预先存储的关于电子设备1000的光的图案和外观的信息进行比较来认证电子设备1000。
在操作S1155，当电子设备1000被认证时，用户终端200可发送确认关于电子设备1000的认证的信号，并且在操作S1160，电子设备1000和用户终端200可建立通信连接。
描述了电子设备1000不包括显示器，但这仅是一个实施例。电子设备1000可包括显示器和光输出器两者，并且可通过使用光输出器输出包括由显示器输出的用于引导用户的操作的文本和图像中的至少一个的第一标记和作为特定图案的第二标记两者。用户终端200可通过分析第一标记和第二标记两者来建立针对电子设备1000的认证。
在上述实施例中，预先存储了关于具有预定义输出图案的光的信息，但这仅是示例性的。电子设备1000或用户终端200可在发现处理中发送关于输出图案的信息。具体地，可通过由用户终端200预先向电子设备1000发送关于电子设备100的输出图案的信息(这里，图案可以是预定义的或随机生成的)，由电子设备1000基于从用户终端200接收的信息输出光，并且由用户终端200确定由相机获得的由电子设备1000输出的光的输出图案是否与被包括在发送到电子设备1000的信息中的光的输出图案匹配来认证电子设备1000。可选地，可通过以下方式来认证电子设备1000：由电子设备1000以预定义或随机生成的输出模式输出光，将关于光的输出模式的信息发送到用户终端200，并且由用户终端200确定通过相机获得的由电子设备1000输出的光的输出模式是否与从电子设备100接收的信息中包括的光的输出模式匹配。
图12是示出根据实施例的控制电子设备的方法的流程图。
电子设备100可在操作S1210中确定是否已经发现用户终端200。具体地，电子设备100可发送扫描信号，确定是否接收到响应于发送的扫描信号的用于发起通信连接的信号，并且确定是否已经发现用户终端200。
如果在操作S1210-是中发现用户终端200，则在操作S1220中电子设备100可显示包括用于引导用户进行建立与用户终端200的通信连接的操作的文本和图像中的至少一个的标记。标记被预先存储在电子设备100中，并且可根据电子设备100的类型来确定。
如果在操作S1230-是中用户终端200捕获输出标记的电子设备的图像并执行针对电子设备100的认证，则在操作S1240中电子设备100可接收从用户终端200发送的用于确认对于电子设备100的认证的信号。如果电子设备100的标记与被存储在用户终端200中的标记匹配，则用户终端200可建立针对电子设备100的认证，并且电子设备100可接收由用户终端200发送的确认对于电子设备100的认证的信号。
在操作S1250，电子设备100可建立与用户终端200的通信。
图13是描述根据实施例的控制用户终端200的方法的流程图。
用户终端200可在操作S1310中确定是否已经发现电子设备100。用户终端200可根据是否接收到由电子设备100发送的扫描信号来确定用户终端200是否被发现。
如果在操作S1310中发现电子设备100，则在操作S1320中用户终端200可显示用于确认与电子设备100的通信连接的菜单。此时，如果电子设备100被发现，则用户终端200可通过用于通信连接的应用来显示用于确认通信连接的菜单。
如果在操作S1330-是中通过菜单接收到用于通信连接的用户输入，则在操作S1340中用户终端200可激活用户终端200的相机并显示包括由激活的相机捕获的图像的屏幕。此时，在屏幕上可包括用于引导输出标记的电子设备100的位置的引导UI。
如果在操作S1350-是中通过被包括在图像中的预定义标记认证了电子设备100，则在操作S1360中用户终端200可将确认对于电子设备100的认证的信号发送到电子设备100以建立与电子设备100的通信。具体地，如果被包括在图像中的标记与预存储在用户终端200中的标记匹配，则用户终端200可认证电子设备100，并且将确认对于电子设备100的认证的信号发送到电子设备100以建立与电子设备100的通信连接。
在上述实施例中，已经描述了电子设备100输出标记，并且用户终端200通过捕获输出标记来认证电子设备100，但这仅是示例性的。用户终端200可捕获电子设备100以向电子设备100提供各种服务。
图14A至图14C是示出根据实施例的通过捕获处于锁定状态的电子设备的图像来解锁电子设备的方法的示图。
用户终端200可将由用户终端200存储或再现的内容(例如，图片、视频等)发送到电子设备100以向用户提供通过电子设备100提供内容的服务。因为用户终端200存储或再现的内容可包括将被保护的个人信息，所以电子设备100可提供屏幕锁定功能。也就是说，只有当用户终端200在附近时，电子设备100才可从用户终端200接收和提供内容。
如图14A所示，如果电子设备100处于不提供用户终端200的内容的锁定状态(或锁定模式)，则电子设备100可显示指示锁定状态的指示符1410。
如图14B所示，如果在电子设备100处于锁定状态时输入用户命令以执行用于通过电子设备100执行在用户终端200中存储或再现的内容的应用，则用户终端200可显示用于激活相机的引导消息1420以用于在装置之间同步。
如图14C所示，用户终端200可激活相机并提供包括捕获输出指示符1410的电子设备100的图像1430的屏幕。此时，用于引导电子设备100的位置的引导UI可被包括在屏幕中。
用户终端200可将被包括在图像1430中的指示符1410和输出指示符1410的电子设备100的外观与预存储的图像进行比较以认证处于锁定状态的电子设备100。当电子设备100被认证时，用户终端200可发送确认针对电子设备100的认证的信号，并且用户终端200和电子设备100可建立通信连接。
电子设备100的锁定状态可被解除，并且可从用户终端200接收由用户终端200当前再现的内容或者由用户向其输入了再现命令的内容。电子设备100可提供从用户终端200接收的内容。
图15A至图15C是示出根据实施例的通过捕获电子设备来共享内容的方法的示图。
传统上，当用户使用用户终端200选择用于共享内容的电子设备时，用户可通过使用列表来选择用于共享内容的电子设备。然而，当通过列表选择设备时，因为用户难以识别所有设备的名称和类型，所以存在难以选择用于共享内容的电子设备的缺点。因此，用户可通过由用户终端200捕获用于共享内容的电子设备来选择用于共享内容的电子设备。
具体地，用户终端200可提供包括多个内容的列表，如图15A所示。此时，列表可包括诸如视频内容、音乐内容等的各种内容。
如图15B所示，如果根据用户输入选择了被包括在列表中的多个内容中的至少一个并且选择了用于共享内容的图标，则用户终端200可激活相机并提供包括由相机捕获的图像1520的屏幕。
如图15C所示，当用户捕获用于共享至少一个选择的内容的电子设备100时，用户终端200可通过将捕获的电子设备100与预先存储的电子设备100的外观信息进行比较来识别捕获的电子设备100。
用户终端200可基于预先存储的关于电子设备100的信息与识别的电子设备100建立通信，并将选择的内容发送到电子设备100。
用户终端200可通过捕获电子设备100输出的屏幕来建立与电子设备100的通信连接，并从电子设备100接收当前电子设备100的状态信息，因此能够提供更加改善的用户环境。
图16A至图16D是示出根据实施例的在字符输入是必要的状态下由用户终端通过捕获电子设备来提供字符输入窗口的方法的示图。
电子设备100可显示输入法编辑器(IME)，如图16A所示。即，电子设备100可提供用于从电子设备100的用户接收字符输入的用户界面。与用户终端200相比，该界面可能不便于字符输入，因此，可通过用户终端200提供字符输入操作。电子设备100可显示具有字符输入的预定义标记。
如图16B所示，用户终端200可在与电子设备100建立通信连接之后接收用于选择用于执行控制电子设备100的应用的图标1610的用户输入。
如图16C所示，当选择图标1610时，用户终端200可激活相机并提供包括使用激活的相机捕获的图像1620的屏幕。
如果在捕获图像1620中检测到电子设备100的预定义标记或外观，则用户终端200可基于电子设备100的预定义标记或外观来建立对于电子设备100的认证，并且将确认对于电子设备100的认证的信号发送到电子设备100。用户终端200和电子设备100可响应于用于确认对于电子设备100的认证的信号建立通信连接。
在一个实施例中，当建立通信连接时，电子设备100可接收用户终端200的状态信息。例如，电子设备100可将关于当前执行的应用的信息和关于当前显示的屏幕的信息发送到用户终端200。因此，用户终端200可识别电子设备100处于当前显示字符输入装置的状态。
在另一实施例中，用户终端200可分析图像1620中包括的电子设备100的屏幕以获得当前电子设备100的状态信息。也就是说，用户终端200可通过图像分析确认字符输入装置被显示在当前电子设备100上。
如图16D所示，如果识别出字符输入装置被显示在电子设备100中或者需要字符输入的状态，则用户终端200可显示用于输入字符的屏幕1630。当在屏幕1630上接收到用于字符输入的用户输入时，用户终端200可将关于与用户输入对应的字符的信息发送到电子设备100。
电子设备100可基于从用户终端200接收的关于字符的信息将字符输入到字符输入器。
图17A至图17F是示出根据实施例的通过捕获电子设备登录到在电子设备中执行的应用的方法的示图。
如图17A所示，电子设备100可显示登录屏幕。也就是说，电子设备100可处于当前需要用户执行登录以访问电子设备100的状态。此时，电子设备100可在登录屏幕内显示预定义标记。
如图17B所示，用户终端200可在与电子设备100的通信连接之后接收用于选择图标1710的用户输入以执行控制电子设备100的应用。
如图17C所示，用户终端200可在选择图标1710时激活相机，并且可提供包括由激活的相机捕获的图像1720的屏幕。
如果在捕获图像1720中检测到电子设备100的预定义标记或外观，则用户终端200可基于电子设备100的预定义标记或外观来执行对于电子设备100的认证，并且用户终端200和电子设备100可建立通信连接。
在一个实施例中，电子设备100可在建立通信连接时向用户终端200发送电子设备100的状态信息。例如，电子设备100可将关于当前执行的应用和当前显示的屏幕的信息发送到用户终端200。因此，用户终端200可确认电子设备100处于显示登录屏幕的状态。
在另一实施例中，用户终端200可分析图像1720中包括的电子设备100的屏幕并获得当前电子设备100的状态信息。也就是说，用户终端200可通过图像分析确认登录屏幕被显示在当前电子设备100上。
如图17D所示，如果确定登录屏幕被显示在当前电子设备100上，则用户终端200可显示用于对应的应用的登录的屏幕1730。此时，如果用户终端200从用户接收信息(例如，ID/密码、指纹、虹膜等)，则用户终端200可基于接收到的登录信息执行登录。如果登录成功，则用户终端200可显示如图17E所示的引导登录成功的屏幕1740。用户终端200可将登录信息发送到电子设备100，并且用户终端200可通过登录到应用来显示如图17F所示的应用执行屏幕1750。
也就是说，用户终端200可捕获输出标记的电子设备100并与电子设备100建立通信连接，并且可提供针对通信连接的电子设备100的多种用户体验和用户环境。
各种实施例可利用包括存储在可由机器(例如，计算机)读取的存储介质(机器可读存储介质)中的一个或更多个指令的软件来实现。装置是可操作以调用存储在存储介质中的指令中的一个指令并执行该指令的装置，并且可包括根据实施例的电子设备(例如，电子设备100)。当指令被处理器执行时，处理器可直接建立与指令对应的功能或通过在处理器的控制下使用其他组件来建立与指令对应的功能。指令可包括由编译器生成的代码或可由解释器执行的代码。可以以非暂时性存储介质的形式提供机器可读存储介质。在本文中，术语“非暂时性”仅表示存储介质不包括信号而是有形的，并且不区分数据被半永久地存储在存储介质中的配置与数据被临时地存储在存储介质中的配置。
根据实施例，可在计算机程序产品中提供根据本文公开的各种实施例的方法。计算机程序产品可作为商品在卖方和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可通过应用商店(例如，PlayStoreTM)直接在两个用户装置之间在线上发布计算机程序产品。在线上发布的配置中，可将计算机程序产品的至少一部分临时地或至少临时地存储在存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器的存储器)中。
根据各种实施例的元件(例如，模块或程序)中的每个元件可由单个实体或多个实体组成，并且可省略上述子元件中的一些子元件。元件还可被包括在各种实施例中。可选地或另外地，一些元件(例如，模块或程序)可被集成到一个实体中，以执行在集成之前由每个相应元件执行的相同或相似的功能。根据各种实施例，由模块、程序或其他元件执行的操作可顺序地、并行地、重复地或以启发式的方式被执行，或者至少一些操作可按照不同的顺序被运行，或者其他操作可被添加。
