一种用于教学的智能眼镜及其控制方法
技术领域
本发明涉及智能教学领域，具体涉及一种用于教学的智能眼镜及其控制方法。
背景技术
在市场上有关教学辅助设备大多是小型机器人，应用于幼儿或中小学生的科普学习，通过语音交互和大屏幕显示的方式，与智能手机有较大重合，而且其体积较大，不利于随身携带；而市面上穿戴型的眼镜，其功能都较为单一，大多实现录像、拍照，或终端控制，其教学辅助功能不强。而在电学实验教学中，常常涉及电阻识别、芯片信息识别、实验仪器(例如示波器)数据查看等操作，现有的智能教学眼镜无法实现电学教学场景中的这些特殊功能。
发明内容
本发明针对现有技术中存在的技术问题，提供一种用于教学的智能眼镜及其控制方法，其实现了可穿戴性与第一人称视角体验的结合，能将电子图像与实景图像较好地叠加显示，起到较好的教学辅助功能。
本发明解决上述技术问题的技术方案如下：
一方面，本发明提供一种用于教学的智能眼镜，包括镜架，还包括设置在所述镜架上的图像采集模块、主控模块、成像模块、音频模块、通信模块，其中，
所述图像采集模块，用于采集图像信息并发送给所述主控模块；
所述音频模块，用于采集音频信息发送给所述主控模块，以及接收并输出所述主控模块发出的音频信息；
所述主控模块，用于对采集的数据进行处理并输出控制指令；
所述成像模块，用于根据所述主控模块的控制指令输出图像信息，并将所述图像信息与实景图像进行叠加显示；
所述通信模块，用于根据控制指令与外部设备进行通信。
进一步，所述成像模块包括分别安装在所述镜架上的显示屏与40°视角反射棱镜，所述显示屏与所述主控模块通信连接，所述40°视角反射棱镜具有第一光输入面、第二光输入面与光输出面，所述第一光输入面接收实景可见光信号输入，所述第二光输入面接收所述显示屏的图像光信号输入，所述光输出面输出所述实景可见光信号与所述图像光信号的叠加信号。
另一方面，本发明基于上述一种用于教学的智能眼镜提供其控制方法，所述控制方法包括授权认证方法、仪器数据共享方法、电阻识别方法、芯片查询方法，其中：
所述授权认证方法，包括采集用户的人脸图像信息和声纹信息，分别与人脸图像数据库、声纹数据库进行匹配，并根据匹配结果判断是否授权当前用户登录；
所述仪器数据共享方法，包括与实验仪器进行通信连接，将所述实验仪器输出的测试数据通过所述成像模块进行显示；
所述电阻识别方法，包括采集电阻的图像信息，提取电阻图像信息中所述电阻的色环信息，根据所述色环信息计算出所述电阻的阻值并通过所述成像模块显示；
所述芯片查询方法，包括采集芯片的型号信息，向查询网站发送查询请求，并将查询结果反馈到所述成像模块进行显示。
进一步，所述控制方法还包括视野共享方法，所述视野共享方法包括生成所述智能眼镜自身的视频流地址并发出，或接收另一所述智能眼镜发出的视频流地址并播放。
进一步，所述控制方法还包括课程录制方法，所述课程录制方法包括接收并计算课表时间，到达预设的课程时间后开启所述图像采集模块进行视频录制，结束课程时间后关闭所述图像采集模块。
进一步，所述授权认证方法包括：采集当前用户的人脸图像信息和声纹信息，将所述人脸图像信息以及所述声纹信息分别与人脸图像数据库、声纹数据库进行匹配，当所述人脸图像信息或所述声纹信息中任意一项匹配成功，则判定当前用户为合法用户，授权当前用户登录所述智能眼镜。
进一步，所述仪器数据共享方法包括：所述智能眼镜与实验仪器通过蓝牙通信连接，当所述实验仪器发出测试数据时，所述智能眼镜接收所述测试数据并通过所述成像模块进行显示。
进一步，所述电阻识别方法包括：
所述音频模块采集唤醒电阻识别功能的语音指令，所述主控模块发出控制信号到所述图像采集模块，所述图像采集模块采集电阻的图像信息；
读取所述电阻的图像信息的像素阵列，然后将所述图像信息二值化，获得所述电阻的轮廓坐标集合，将所述轮廓坐标集合对应到所述电阻图像信息的像素阵列中以去除所述电阻图像信息的背景；
识别所述电阻的长向，并按所述电阻的长向截取一个长方形色带，对色带进行识别以确定所述电阻阻值的读取方向，计算所述电阻的阻值并发送到所述成像模块。
进一步，所述芯片查询方法包括：
采集唤醒芯片查询功能的语音指令以及芯片的型号音频信息，根据所述型号音频信息识别所述芯片的型号，发送查询请求到芯片查询网站，接收返回的芯片数据后，截取所述芯片数据中的芯片引脚图并发送到所述成像模块。
本发明的有益效果是：本发明提供的一种用于教学的智能眼镜及其控制方法，实现了可穿戴性与第一人称视角体验的结合，能将电子图像与实景图像较好地叠加显示，加上音频模块的语音交互功能，起到较好的教学辅助功能，例如用户身份验证授权登录、与实验仪器互联共享实验数据、电阻识别自动计算阻值、芯片查询、不同用户之间视野共享以呈现教学场景、课程自动录制以记录教学场景等功能，具有良好的教学场景适用性。
附图说明
图1为本发明成像模块光路传播示意图；
图2为本发明系统硬件构成图；
图3(a)为本发明镜架结构示意图；
图3(b)为本发明镜架局部结构图；
图3(c)为本发明镜架结构透视图；
图4为本发明授权认证流程图；
图5为本发明仪器互联流程；
图6为本发明电阻识别流程图；
图7为本发明芯片查询的实现过程图；
图8为本发明视野共享流程图；
图9为本发明课程录制流程图；
图10(a)为本发明电阻识别实验过程图a；
图10(b)为本发明电阻识别实验过程图b；
图11(a)为本发明仪器互联实验过程图a；
图11(b)为本发明仪器互联实验过程图b。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例一：
本实施例提供一种用于教学的智能眼镜，包括镜架，还包括设置在所述镜架上的图像采集模块、主控模块、成像模块、音频模块、通信模块，其中，
所述图像采集模块，用于采集图像信息并发送给所述主控模块；
所述音频模块，用于采集音频信息发送给所述主控模块，以及接收并输出所述主控模块发出的音频信息；
所述主控模块，用于对采集的数据进行处理并输出控制指令；
所述成像模块，用于根据所述主控模块的控制指令输出图像信息，并将所述图像信息与实景图像进行叠加显示；
所述通信模块，用于根据控制指令与外部设备进行通信。
进一步，所述成像模块包括分别安装在所述镜架上的显示屏与40°视角反射棱镜，所述显示屏与所述主控模块通信连接，所述40°视角反射棱镜具有第一光输入面、第二光输入面与光输出面，所述第一光输入面接收实景可见光信号输入，所述第二光输入面接收所述显示屏的图像光信号输入，所述光输出面输出所述实景可见光信号与所述图像光信号的叠加信号。
本设计采用棱镜显示。将显示屏的光线通过棱镜反射后与实景光线叠加融合进入人眼。棱镜显示方法具有中等视场，但是使用微型显示屏可以使成像模块具有较小的尺寸，而且棱镜的制造成本比较低。用户佩戴眼镜后，其视野里将接收到两条光路，如图1所示。其中一条来自0.5英寸、分辨率为1024*768的OLED显示屏，另一条来自自然视野里的可见光实景，两条光路经过40°视角大棱镜叠加后共同被用户的眼睛所接收，这两条光路各占眼睛所接收光线的50％，所以在佩戴上眼镜后，用户的视野里将出现两种情况：
①当OLED显示屏关闭时，此时显示屏的黑色被实际景物所遮盖，用户的视野里看到实际景物；
②当OLED显示屏打开时，用户的视野里既能够看到显示屏上折射过来的内容，又可以看到在显示屏的后方自然视野里出现的实际景物。
需要强调的是，40°视角棱镜作为智能眼镜的镜片，设置在人眼前方20mm处，这样的安置方式使得用户在佩戴眼镜一段时间后也不会感到视觉疲劳。通过这种方式，实景图像和显示屏的电子图像被完美融合于人眼的视觉接收光路中。
系统整体构成框图如图2所示，主要包括光路传播和显示、图像流采集、音频流交互三个大的功能模块组成，系统基于Arm v6的主控板实现控制和操作功能。
本实施例智能眼镜依靠在镜架内设置凹槽来实现电流传输和走线，具体如图3所示，观察图3(a)(b)可以发现，在镜架的内侧有间断的凹槽，该凹槽用来放置电流传输线以及信号线，同时，在图3(c)的透视图中可以发现，在外侧的镜架上设置了圆柱形的螺旋槽，事实上，眼镜在槽内还设置了螺纹，这个设计主要用于固定放置在眼镜架前端的摄像头以及其他配件，使得眼镜整体更加牢固。
硬件选取：
主控模块：树莓派(Raspberry pi)是基于ARM的微型电脑主板，以SD/Micro SD卡为内存硬盘，主板周围有USB接口和以太网接口，可连接键盘、鼠标和网线，同时拥有视频模拟信号的电视输出接口和HDMI高清视频输出接口。由于智能眼镜主打特色为可穿戴，则使用的硬件要求体积小、重量轻、功耗小、散热快。通过比较各种处理器，选择树莓派基于ARMV6低功耗主控板pi zero w。
图像采集模块：图像采集模块是与主控模块配套的摄像头模块，感光芯片采用的是OmniVision公司生产的1/4英寸OV5647芯片，可通过软排线直接与树莓派控制板连接。它配备500万像素的图像传感器，能录制每秒30帧的1080P全高清视频，能拍摄2592X1944分辨率的图片。但是配套的摄像头模块体积偏大，不符合佩戴在眼镜上的要求。为了在减小摄像头体积的同时保持强大的图像采集功能，使用OV5647定制了一款微型摄像头，像素为500万，它通过架放在用户双眼的中心位置(即双眼镜片中间点的位置)，以实现第一视角的图像采集，采集的图像直接传输到基于ARM V6的低功耗主控板，主控板将接收到的图像数据通过预先设计的软件处理系统进行处理，以期实现教学功能。
音频模块：通过使用主控模块上的USB外接声卡实现，声卡的选择涉及单通道和双通道。视频和图像的采集由图像采集模块完成，输出由成像模块完成，但声音的输入和输出都由声卡完成。为了便于系统分别处理声音的输入输出，选择双通道声卡。声卡模块上连接有3.5mm咪头用于音频采集，还连接有3.5mm短线耳机，用于音频输出。
成像模块：如前文提及的，成像模块采用OLED显示屏加40°视角反射棱镜进行显示，棱镜显示是将显示屏的光线通过棱镜反射后与实景光线叠加融合进入人眼。显示方法具有中等视场，但是使用微型显示屏可以使成像模块具有较小的尺寸，而且棱镜的制造成本比较低。
本实施例中，整个系统由图像采集模块、音频模块、成像模块和基于ARM V6低功耗主控板pi zero w(即主控模块)构成。图像采集模块的作用是采集眼镜正前方的视频或者图像，用于人脸识别解锁，以及实现电阻识别和便捷考勤等功能；音频模块采用声卡模块，作用是采集使用者的声音和输出系统提示音等声音信号，用于实现声纹解锁和人机语音交互；成像模块的作用是将图像输出到人眼，通过图像与实景中自然光的部分叠加实现增强现实效果；基于ARM V6低功耗主控板pi zero w是整个系统的控制核心，它负责接收采集到的声音和图像，进行数据处理实现相应的功能并将结果输出给声卡(音频模块)和成像模块；通信模块则提供无线通信连接，实现本机与其他设备(例如实验设备)的无线通信。
系统的软件体系由功能实现、通信部分和UI显示部分构成。程序框架使用python2.7编写；使用opencv 3.2.0实现图像处理与电阻识别；使用tensorflow 0.11.0实现离线物体识别；使用mipg-streamer对外传输视频流；使用pyaudio、sox、mplayer和arecord实现音频流的输入输出；使用raspistill和raspivid控制OV5647摄像头拍照与录像；使用requests库向云发送Post包以处理AI任务；使用snowboy实现语音唤醒，使用socket本地通信方法将数据传输至前端显示。
实施例二：
在实施例一的基础上，本实施例基于上述用于教学的智能眼镜提供其控制方法，所述控制方法包括授权认证方法、仪器数据共享方法、电阻识别方法、芯片查询方法。
所述授权认证方法，包括采集用户的人脸图像信息和声纹信息，分别与人脸图像数据库、声纹数据库进行匹配，并根据匹配结果判断是否授权当前用户登录。
更具体的，如图4流程图所示，所述授权认证方法包括：采集当前用户的人脸图像信息和声纹信息，将所述人脸图像信息以及所述声纹信息分别与人脸图像数据库、声纹数据库进行匹配，当所述人脸图像信息或所述声纹信息中任意一项匹配成功，则判定当前用户为合法用户，授权当前用户登录所述智能眼镜，否则登录失败。
授权认证软件设计流程如图4所示，用户在启用智能眼镜的时候，会开启两种验证方式，分别为人脸识别和声纹识别，考虑到实际中用户会采用各种姿态带上眼镜，解锁方式多样化可以极大的方便用户的使用，所以只要通过其中任意一种验证方式都可以正常使用智能眼镜。
通过所述授权认证方法还可以引申出便捷考勤功能，即记录当前用户登录时间以及下线时间，即可作为当前用户的考勤依据。
所述仪器数据共享方法，包括与实验仪器进行通信连接，将所述实验仪器输出的测试数据通过所述成像模块进行显示。
更具体的，如图5所示，所述仪器数据共享方法包括：所述智能眼镜与实验仪器通过蓝牙通信连接，当所述实验仪器发出测试数据时，所述智能眼镜接收所述测试数据并通过所述成像模块进行显示。
对于带有蓝牙功能的电子实验仪器，用户先将电子实验仪器与智能眼镜相连，在检测到蓝牙传输数据后，智能眼镜上会显示相应的测量数据，例如波形图。这种直观的显示方式简化了很多需要转头看显示屏的仪器(例如示波器)操作步骤。
所述电阻识别方法，包括采集电阻的图像信息，提取电阻图像信息中所述电阻的色环信息，根据所述色环信息计算出所述电阻的阻值并通过所述成像模块显示；
更具体的，如图6所示，所述电阻识别方法包括：
所述音频模块采集唤醒电阻识别功能的语音指令，所述主控模块发出控制信号到所述图像采集模块，所述图像采集模块采集电阻的图像信息；
读取所述电阻的图像信息的像素阵列，然后将所述图像信息二值化，获得所述电阻的轮廓坐标集合，将所述轮廓坐标集合对应到所述电阻图像信息的像素阵列中以去除所述电阻图像信息的背景；
识别所述电阻的长向，并按所述电阻的长向截取一个长方形色带，所述长方形色带则对应所述电阻的色环信息，对色带进行识别以确定所述电阻阻值的读取方向，计算所述电阻的阻值并发送到所述成像模块进行显示。
所述芯片查询方法，包括采集芯片的型号信息，向查询网站发送查询请求，并将查询结果反馈到所述成像模块进行显示。
更具体的，如图7所示，所述芯片查询方法包括：
音频模块采集到唤醒芯片查询功能的语音指令后，主控模块激活芯片查询功能，音频模块采集芯片的型号音频信息，主控模块根据所述型号音频信息识别所述芯片的型号，发送查询请求(POST包)到芯片查询网站(www.alldatasheet.com)查询芯片手册PDF，接收返回的芯片数据后，截取所述芯片数据(芯片手册PDF)中首页的芯片引脚图并发送到所述成像模块进行显示。
芯片查询功能设计具体实现如图7所示，根据语音识别结果判断用户所说的芯片型号，然后通过联网查询该芯片型号，需要强调的是，智能眼镜的芯片查询是通过发送post包到www.alldatasheet.com，进而获得对应芯片手册的PDF文件来实现。
优选的，所述控制方法还包括视野共享方法，所述视野共享方法包括生成所述智能眼镜自身的视频流地址并发出，或接收另一所述智能眼镜发出的视频流地址并播放，以达到不同智能眼镜共享同一个视野的目的。
具体的，视野共享软件设计流程如图8所示，第二用户通过访问第一用户生成的视频流地址来查看第一用户的视野，进而通过语音等传输方式提供各类直播教学。
优选的，所述控制方法还包括课程录制方法，所述课程录制方法包括接收并计算课表时间，到达预设的课程时间后开启所述图像采集模块进行视频录制，结束课程时间后关闭所述图像采集模块。
课程录制软件设计流程如图9所示，在有教学检查等需要课堂录像的时候，可以提前将课表时间录入智能眼镜中，在达到指定时间后，智能眼镜会自动开启和关闭视频的录制。
智能眼镜的功能设计中，需要做系统测试和误差分析的有三大部分，分别为电阻识别、仪器数据共享和芯片查询。电阻识别的好坏、仪器数据共享中蓝牙方式的响应速度都直接影响了相应功能的使用，需要进行系统测试来进一步讨论设备的鲁棒性。
根据实际的使用环境分别做了多次测试，测试结果显示：电阻识别在常用环境光下有较高的识别率，平均识别率在85％以上；仪器数据共享所需消耗的时间满足用户的日常使用标准，蓝牙传输时间控制在0.82s以内；芯片查询对常用芯片的查询准确率能控制在75％以上。
下面以电阻识别测试及仪器数据共享测试进行说明：
1.电阻识别测试：
如图10(a)与图10(b)所示为电阻识别测试过程示意图。本实施例挑选了10000000Ω、3600Ω、100000Ω、1000Ω、470Ω共五种阻值的电阻分别组合进行系统测试，对于每种电阻，分别将其放置在室内、室外以及钨丝灯三种经常接触的光线下进行5、10、20次实验，讨论其不同情况下的识别率。
本次测试结果最差的结果是使用3600Ω在室外进行5次测试，识别率为60％，但扩大识别次数，识别率达到90％。不难发现，在识别1000Ω的电阻时，识别率皆为100％，而其余4种阻值的电阻没有比较明显的识别规律，整体的识别有一定的随机性，但普遍能够达到较高的识别率，而在室内和钨丝灯下的识别结果整体比室外好，这主要是由于室外光线较复杂而导致的，考虑到使用智能眼镜的主要场景是室内，而在室内和钨丝灯下的识别结果较好，整体来看，智能眼镜该功能的测试结果符合实际使用的需要。
2.仪器数据共享测试：
如图11(a)与图11(b)所示为仪器数据共享测试的传输延时实验场景图片。使用蓝牙万用表来测试仪器互联时的传输延时，分别用万用表测试目标的电压、电流和电阻，由于传输延时非常短，传统的人工测试方式难以达到精度要求，因此本次测试采用视频录制的方式，在视频内放置一个计量时间的设备，然后一帧一帧的播放视频来读取蓝牙数据的传输延迟，测试方案的设计实现如图11(a)与图11(b)所示，两张图的时间差即为蓝牙数据的传输延时，从测试图中观察得到的传输延时为0.68s，符合设备实际使用的需要，进一步说明仪器互联实现实验数据共享的功能实现是合理的。
本发明提供的一种用于教学的智能眼镜及其控制方法，实现了可穿戴性与第一人称视角体验的结合，能将电子图像与实景图像较好地叠加显示，加上音频模块的语音交互功能，起到较好的教学辅助功能，例如用户身份验证授权登录、与实验仪器互联共享实验数据、电阻识别自动计算阻值、芯片查询、不同用户之间视野共享以呈现教学场景、课程自动录制以记录教学场景等功能，具有良好的教学场景适用性。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
