基于AR眼镜的脑控系统
技术领域
本发明主要涉及到脑机接口技术领域，特指一种基于AR眼镜的脑控系统。
背景技术
我国正面临着日益严重的老龄化问题和数量庞大的残疾人群，脑机接口技术的研究和应用有望为老年人和残障人士等有运动方面障碍的群体提供有力的辅助运动手段。
目前主流的脑机接口技术主要针对三种脑电信号(EEG信号)：运动感知节律信号、稳态视觉诱发电位信号(SSVEP信号)、P300信号。相对应的脑机接口也包括三种：运动想象型脑机接口、SSVEP脑机接口和P300脑机接口。相对其他两者，P300型脑机接口识别准确率较高，在实验中可提供的选项数较多，实际信息传输率也较高。
但是传统大多数的P300脑机接口存在以下不足：
1、大多数的P300脑机接口往往只能对于事先给定的选项做出选择，选项无法动态变化，且一般使用电脑显示器作为被试对象诱发P300信号的平台，不具备可移动性，实用价值较低。
2、目前大多数的P300脑机接口都未结合目标识别和增强现实技术，用户需要时刻盯着显示屏，且只能对于事先给定的几个选项进行选择，无法直接对于现实场景中的目标动态进行选择，且使用笨重的电脑显示屏作为P300信号诱发界面，不具备便携性。
3、传统的异步P300脑控系统往往采用被试对象的眼电信号作为异步开关。被试对象在使用异步开关时需要不断眨眼，准确率较低且对于被试对象很费力，用户体验较差。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种结构更简单、操作更加简便、准确率高的基于AR眼镜的脑控系统。
为解决上述技术问题，本发明采用以下技术方案：
一种基于AR眼镜的脑控系统，其包括：
AR眼镜，用于显示刺激界面；
计算机，用于目标识别；
脑电信号分析处理模块，用于采集处理脑电信号；
所述AR眼镜、计算机及脑电信号分析处理模块工作在一个局域网里，所述计算机起到服务端的功能，所述AR眼镜和脑电信号分析处理模块起到用户端的功能。
作为本发明的进一步改进：所述计算机目标识别的结果作为整个脑控系统的异步开关；如果当前视野里识别到的目标和前几帧识别的目标差别较小，即小于一个设定的阈值，则进入P300刺激叠加阶段开启脑控系统；否则自动关闭脑控系统。
作为本发明的进一步改进：所述服务端在工作时会同时开启两条独立的线程用于分别和脑电采集的客户端电脑、AR眼镜通讯。
作为本发明的进一步改进：在整个系统中通过TCP/IP协议传递目标识别的图像皆放在子线程里面进行。
作为本发明的进一步改进：所述AR眼镜、计算机及脑电信号分析处理模块传递的所有数据在传完后都会再传一段很小的空白数据包，以保证前面传递的数据都已被正确接收。
作为本发明的进一步改进：如果未收到这个空白数据包则认定数据丢失，进程暂停，重新传输这个丢失的数据包直到完全正确接收。
作为本发明的进一步改进：所述AR眼镜、计算机及脑电信号分析处理模块每过一段时间会让运行最快的设备子线程暂停一段时间以等待其余两者。
作为本发明的进一步改进：在利用脑电极记录脑电信号时把电极设置在被试对象的顶区附近。
与现有技术相比，本发明的优点在于：本发明的基于AR眼镜的脑控系统，为结合增强现实技术和机器视觉目标识别技术的新型P300型脑机接口，并实现了直接使用增强现实眼镜(AR眼镜)显示YOLOV3目标识别结果，并将识别结果作为P300脑机接口选项，真正实现了在现实场景中直接动态异步选择目标的功能。
附图说明
图1是本发明的基于AR眼镜的脑控系统结构示意图。
图2是本发明在具体应用实例中的脑机接口刺激界面。
图3是本发明在具体应用实例中Car子界面示意图。
图4是本发明在具体应用实例中六十四导国际10-20脑电极分布规范。
图5是本发明在具体应用实例中脑机接口流程控制详图。
具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
如图1所示，本发明采用多线程的方式将目标识别、增强现实技术和P300 脑电信号采集处理分类结合在一起，提出一种基于AR眼镜的脑控系统，该脑控系统包括：
AR眼镜，用于显示刺激界面；
计算机，用于目标识别；
脑电信号分析处理模块，用于采集处理脑电信号；
所述AR眼镜、计算机及脑电信号分析处理模块工作在一个局域网里，所述计算机起到服务端的功能，所述AR眼镜和脑电信号分析处理模块起到用户端的功能。本发明采用目标识别的结果作为整个脑控系统的异步开关。如果当前视野里识别到的目标和前几帧识别的目标差别较小，即小于一个设定的阈值，则进入P300刺激叠加阶段开启脑控系统；否则自动关闭脑控系统。在调用异步开关时，被试对象只需要看或者不看目标即可自动开启或关闭异步开关。
在具体应用实例中，为了提高机器视觉在目标识别时的工作效率、防止系统延迟卡顿，服务端在工作时会同时开启两条独立的线程用于分别和脑电采集的客户端电脑、AR眼镜通讯。所有有可能存在延迟和丢数据的操作，如在整个系统中通过TCP/IP协议传递目标识别的图像皆放在子线程里面进行。
在具体应用实例中，为了防止传递的数据丢包，在本发明的上述方案中传递的所有数据在传完后都会再传一段很小的空白数据包，以保证前面传递的数据都已被正确接收；如果未收到这个空白数据包则认定数据丢失，进程暂停，重新传输这个丢失的数据包直到完全正确接收。
在具体应用实例中，由于因为所述AR眼镜、计算机及脑电信号分析处理模块的处理能力和运算速度不同，为了防止线程运行速度不同步而造成的卡顿延迟现象，在本发明的上述方案中每过一段时间会让运行最快的设备子线程暂停一段时间以等待其余两者。即，具体方案是每隔一段时间检测一下三个线程的运行速度，让最快的线程暂时挂起等待最慢的线程执行完成。
在具体应用实例中，在利用脑电极记录脑电信号时把电极设置在被试对象的顶区附近，以最大限度的采集P300信号。同时，由于P300信号是一种较低频率的信号，为了防止设备的工频干扰，需要设置50HZ的工频滤波。
在本发明的技术方案中，P300信号是一种主要产生于大脑顶叶附近的高级认知信号，和被试对象的认知过程有着密切关系。但是考虑到采集过多通道的信号会造成输入分类器的信号维度过高，训练过于困难，而且采集位于非顶叶附近的脑电信号对于分类意义不大，因此本发明中采集5个位于顶叶的脑电信号通道，2个参考电极通道和一个位于头部前端的GND接地通道。结合图4的国际10-20脑电图分布规范，在本发明中GND为接地端，FC3、FC4、CP3、CP4 和CZ作为信号采集通道，TP10和TP9作为参考电极。为了保证脑控准确率，在离线训练P300模型时，训练3个Run，每个Run训练5个任务，每个任务的trial 数是4。在线测试时，3个Run，每个Run测试3个任务，每个任务的trial数为3。
在一个具体应用实例中，AR眼镜可以选用EPSON BT-350AR眼镜，计算机采用一台工作在UBUNTU18.04.01下的DELL G3笔记本电脑，YOLOV3机器视觉算法以其识别准确率较高且识别速度快，实时性好的特点被选用作为目标识别算法。识别速率为每秒5.8-6.2帧，如采用更高配置的电脑识别帧率会有较大提高。考虑到视频帧率达到7帧每秒左右人就不会有明显的卡顿感觉，因此识别速率为每秒5.8-6.2帧已经能够完成任务。
其中YOLOV3目标识别算法是YOLO这种机器视觉目标检测算法的第三个版本，其本质上是一种使用了权值共享的非全连接深度神经网络。其相对目前大多数主流的机器视觉目标检测算法最大的不同是采用了logistic regression的思想来处理输入的图片矩阵，直接对于输入的图片判定哪些地方可能存在目标，以及目标的类别，判别完之后进行非极大值抑制，删除不满足的目标。下面的式子(1)是logistic regression的表达式。目前主流的大多数目标检测算法对于给定的图片先用一组给定大小的窗口在图片上以一定的步长滑动，每滑动一次检测一次窗口里面是否有物体，有则记录，无则跳过。在窗口走完整个图片之后，对于标记了有物体的窗口内的部分按照softmax根据目标库打分，确定窗口内的物体的种类。最后消除重复的窗口和重复的物体类别。下面的式子 (2)是softmax的表达式。
YOLOV3相对于目前大多数的目标识别算法具有如下的优点：
1)识别小物体的准确率相对较高
2)识别速度很快
3)背景物体检测误差较低
在本发明中，由于脑控系统对于目标检测的实时性要求很高，对于目标检测的准确率相对可以较低，正是基于此采用YOLOV3作为目标检测算法。
脑机接口流程控制采用一台工作在Win10系统下的神州超级战神笔记本电脑。BCI2000因为使用简单、性能稳定，广泛应用于脑电信号的采集和处理，因此本发明采用BCI2000对应的BCPY2000接口进行脑电信号相关处理。本发明采用EPSON BT-350眼镜作为整个系统诱发P300信号的刺激界面，整个系统对应的刺激界面如图2所示。左上方的Task后面的Car对应的当前的任务，在实验过程中，被试对象需要提前盯着Car这个目标看。如果是其他任务目标也以此类推。Result后面的Car是经过整个系统处理分类之后得出来的结果，即整个脑控系统根据采集到的用户的P300脑电信号分类判断出来用户所选择的目标是Car。如果是其他结果以此类推。最下面的图片是YOLOV3目标识别的图像，其中被矩形框框出来的是当前被识别出来的目标。这些目标将直接作为脑控系统的选项，用户可以直接根据Task显示的结果在这些选项中进行选择。根据选择结果的不同，脑控系统可以有进入子界面和不进入子界面直接显示目前用户选择结果两种可能的选择。针对于目前用户选择的Car选项，其有对应的子界面如图3所示。其中包含“前进”，“后退”，“左转”，“右转”，“刹车”几个子选项，用户可以根据具体情况在这几个子选项中进行选择。选择的结果将以 TCP/IP协议形式发送给对应的外置设备。
如图5所示，是对于脑机接口流程控制的一个详细叙述。被试对象的脑电信号通过脑电采集模块采集、滤波、放大后会被传递给脑电信号分析处理模块。在脑电信号分析处理模块中，会根据脑电信号的特征进行模式识别从而判断出被试对象目前“所想的目标选项”，这个“所想的目标选项”作为分类结果返回给脑控系统主界面。脑控系统主界面相当于整个脑机接口流程控制的核心，在此会将目前被试对象需要关注的目标，所有待选选项和分类结果等显示出来。主界面会定时自动将目前的系统状态变量和系统参数变量返回给脑电信号采集模块以控制脑电信号采集模块需要采集的信号的种类、频率等。这个脑控系统主界面也是和图1中的AR眼镜进行通讯的模块。
本发明所使用的SWLDA分类器就是用在图5的脑电信号分析处理模块中，对于输入的脑电信号进行分类处理。SWLDA在脑电信号的分类应用中本质上是一种二分类的分类器，其目的在于根据输入脑电信号区分出此时间段对应的刺激是目标还是非目标，如下式子(3)所示。根据输入的信号和信号对应的标签寻找一个分类投影的超平面，即式子(3)中的w参数，最大限度的区分在超平面上投影后的输入信号，使得同类信号类间距离尽可能小，不同类类间距离尽可能大。
wx-b＝0(3)
在找到了最佳的投影超平面以后，需要根据下面的式子(4)对于输入的脑电信号x进行投影。在实际中，往往需要把几个trial的结果累加起来计算总的得分，再根据冒泡原理把得分最高的那一个信号判定为结果。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
