音视频教学设备、智能教学系统
技术领域
本发明涉及教学设备技术领域，尤其涉及一种用于智慧黑板或触控一体机的音视频教学设备。
背景技术
目前智慧黑板或触控一体机在教学领域中广泛使用，成为普教、职教、高教各种教室的标配设备。不论是智慧黑板还是触控一体机本身都集成了音频扩声功能，但除此之外基本上没有其他的音频处理功能。但音视频教学现在在学校中广泛使用，尤其是在教室里，音频的使用是教学活动的刚需，基本上可以说任何的教学活动都离不开音频。目前智慧黑板或触控一体机在音频处理方面的缺失，需要外加相应的音频处理设备，现在学校对于智慧教室的功能要求，如异地同上一节课(远程互动教学)、空中课堂等功能要求必须要增加相应的音频处理设备，导致教室内尤其是讲台内(上)的设备越来越多，每增加一个功能就需要增加相应的设备，而且绝大部分设备是放置在讲台中，讲台面充斥着各种音频设备，而且内部连线复杂，安装复杂，使用起来也很麻烦，大大降低了系统的可靠性，讲台桌面设备太多也给老师带来很大的使用复杂度，导致易用性较低。
目前智慧黑板或触控一体机音频处理非常简单，只有单一的扩放音功能，智慧黑板或触控一体机触控一体机内部集成功放和扬声器(和家里电视机类似)，可以将特定的音频文件播放出来，但没有其它的音频功能。这对于教学应用来说就不够用了，教学活动首先需要本地扩音功能，即将老师上课的声音本地实时扩音放大，让教室里每个学生都能听清楚，但同时不能出现啸叫，过去为了实现这一功能，都需要在教室里配置移频功放用于教室本地扩音，移频功放一般体积较大，连线也较多，属于第一代多媒体教室的产品。目前的智慧黑板或触控一体机不具备本地扩音功能，当然也不能解决本地扩音啸叫问题，老师上课还是需要依赖于第一代独立的本地扩音设备。
随着合作办学和教学资源均等化的要求，学校对于远程互动教学(异地同上一节课、空中课堂等)的要求越来越多，而远程互动教学必须要解决一个音频问题就是回声消除问题，回声消除是远程音视频会议中的一个技术，本身较为复杂，如果要在每个教室里搭建远程音视频会议，需要额外配置回声消除音频处理设备，成本较高、连线复杂，也不太现实。教育领域需要一个低成本、方便易用的解决方案，尤其是在SARS和新冠状肺炎等突发事件的出现后，这类需求更为迫切。
目前智慧黑板和触控一体机被大量使用于智慧教室中，但大多应用在播放显示，触控、存储等视频方面，涉及到音频的应用，仅仅用于视频文件播放的扩声，而教学活动中最重要的音频方面，如本地扩音，啸叫消除以及现在智慧教室重要异地同上一节课即远程互动教学涉及到的音频处理(AEC，回声消除)功能则目前所有的智慧黑板或触控一体机都无能为力，都需要外加音频处理设备才能实现，而远程互动涉及到音频处理连线也很复杂，涉及到参考音频、混合音频、回声消除后音频、MIC、音箱等等连线，都不能接错，另外还涉及不同设备间的兼容和参数调试，对于老师日常教学来说过于复杂；由于音频本身就很敏感，容易受到干扰，这些功能集中在智慧黑板中实现，会出现各个设备兼容性问题，或者连线太多造成的连接不好等问题。
智慧黑板或触控一体机本身都带有音箱，可以用来做扩音，但本地扩音如果不加处理会产生声回路，最后导致啸叫，在做远程互动时本地会播放远端音频，远端的音频连同本地的音频会一起被麦克风采集回来，如果不做任何处理的话，两个音频会一起进行编码处理送给远端用于播放，这时远端不仅能听到对端的声音，还能听到一秒前自己刚刚说的声音，这就是所谓的回声，这个回声需要消除掉，才不影响双方的正常交流。另外远程互动回声消除和本地扩音啸叫抑制一直采用单纯的音频算法来处理，一般也是独立的音频处理设备用在远程互动或者扩音应用中，这种音频处理都是独立进行的从来没有和视频相结合，因此无法应用于视频处理中。
发明内容
本发明实施例提供一种降低智慧教室的建设成本，缩减智慧教室的设备安装调试时间，可以支持本地扩音上课和远程互动教学的教学活动，节省核心板的处理空间，提高音视频处理效率的音视频教学设备、智能教学系统。
本发明实施例提供一种音视频教学设备，其用于智慧黑板或触控一体机，所述音视频教学设备包括：
核心板，用于对获取的音视频进行处理；
音频板，所述音频板上集成有音频处理模块和音频编译码处理模块，其中，所述音频处理模块包括回声消除单元、啸叫抑制单元以及自动增益控制处理单元，所述音频编译码处理模块包括A/D转换单元、D/A转换单元、滤波单元以及混音处理单元；所述音频板上的音频处理模块通过USB接口连接至所述核心板，所述音频板上的音频编译码处理模块通过第一I2S接口连接至所述核心板、通过第二I2S接口连接至所述音频处理模块；所述音频板分别通过USB接口和第一I2S接口作为两个独立的音频设备同时挂接在核心板上，所述音频板通过第二I2S接口进行音频数据内部交互。
所述核心板用于根据接收的操控指令或获取的音视频的内容，选择性的将经过音视频处理得到的音频数据通过USB接口和第一I2S接口同时传输至所述音频处理模块和/或音频编译码处理模块。
根据本发明一个实施例的音视频教学设备，还包括音视频设备，所述音视频设备包括本地音视频设备、远端音视频设备，所述核心板分别通过第三I2S接口连接本地音视频设备、通过网络连接远端音视频设备，所述远端音视频设备通过RTP协议发送实时数据给所述核心板，所述远端音视频设备通过RTP协议接收来自所述核心板的实时数据。
根据本发明一个实施例的音视频教学设备，所述对获取的音视频进行处理包括：音视频管理、音视频编码解码、音视频存储和视频显示输出、以及音视频的时间戳处理。
根据本发明一个实施例的音视频教学设备，还包括通过外接音频线接入所述音频板的模拟麦克风。
根据本发明一个实施例的音视频教学设备，还包括通过第四I2S接口接入所述音频板的扬声器或外接扩音设备，所述音频板包括音频集成模块，所述音频集成模块用于将由所述扬声器播放的音频在所述第四I2S接口的左右声道分别进行拷贝后输出。
根据本发明一个实施例的音视频教学设备，所述音频板用于接收所述本地音视频设备、远端音视频设备输入的混合音视频经由所述核心板处理后的混合音频，所述混合音频包括本地音频和远端音频，所述回声消除单元用于将混合音频中的远端音频作为参考音进行保存，并将所述混合音频与所述参考音进行比对，删除混合音频中与所述参考音一样的音频后得到的音频数据包经由所述核心板处理后发送至所述远端音视频设备。
根据本发明一个实施例的音视频教学设备，所述音视频设备包括主讲设备和互动设备，所述核心板具有用于对获取的主讲设备和互动设备中的多路音频进行数字混音的ALSA单元，所述ALSA单元还用于同时将所述多路音频同时通过第一I2S接口或USB接口发送至所述音频板，并通过第一I2S接口或USB接口从所述音频板获取经过所述音频板处理过的音频数据。
根据本发明一个实施例的音视频教学设备，所述啸叫抑制单元采用DSP啸叫抑制算法对所述音视频设备经扩音后回采的音频数据进行处理，实现啸叫抑制。
根据本发明一个实施例的音视频教学设备，所述音视频设备包括智能终端、摄像机、PC中的至少一种，所述远端音视频设备包括智能终端、网络摄像机、PC、投影设备中的至少一种。
本发明实施例提供一种智能教学系统，包括所述的音视频教学设备。
本发明实施例提出了一种音视频教学设备、智能教学系统，采用一体化、小型化设计一方面是大大减少了智慧教室讲台内的设备数量，在功能没有减少的情况下，设备做到了极简，将讲台桌面空间留给老师使用，解决了智慧教室讲台设备太多，连线太复杂，稳定性较差，使用不便等问题，节省了移频功放、音频处理器、音箱等多个产品，同时也可以减少这些设备间的连线；解决了智慧黑板或触控一体机在老师教学中本地扩音以及本地扩音产生的啸叫，可以让老师脱离老式的移频功放，仅使用智慧黑板或触控一体机就可以本地扩音上课；声音的稳定性和品质都大大提高；无需各个设备间的配合，整个系统的操控也简单，大大降低系统的使用复杂度；将智慧教室原来需要多个设备才能实现的功能在一个智慧黑板或触控一体机上就能实现，大幅度降低了智慧教室的建设成本，大幅度缩减了智慧教室的设备安装调试时间；便捷的操控也能大大提升用户体验。
本案实施例解决了智慧教室在做远程互动教学中，需要多个设备才能搭建远程音视频会议的问题，只需要一个智慧黑板或触控一体机，不需要额外的音频处理设备就可以；方便将教学活动资源化，可以实现常态化录课功能；在智慧黑板或触控一体机中实现AEC远程互动回声消除功能，可以支持本地扩音上课和远程互动教学的教学活动。
本案实施例在单一音频板上提供两个独立的音频接口I2S和USB，可以作为两个独立的音频设备分别挂接到核心板中，核心板可以根据需要从音视频中提取出音频数据并根据接收的操控指令或获取的音视频的内容选择音频通道，同时对音频板按照两个独立音频设备进行不同的音频处理，如发送或获取完全不同的音频数据等，这两个独立音频接口既互相独立运作也能互相交换数据，既互相关联也互不影响，两个独立的音频设备可以根据需要选择其一或者其二，也可以交换数据，也不会互相影响，节省了核心板的处理空间，大大提高了音视频处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的音视频教学设备的示意图；
图2是本发明实施例提供的音视频教学设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例的一种音视频教学设备，其用于智慧黑板或触控一体机，所述音视频教学设备包括：
核心板10，用于对获取的音视频进行处理；
音频板20，所述音频板20上集成有音频处理模块21和音频编译码处理模块22，其中，所述音频处理模块21通过USB接口连接至所述核心板10，所述音频编译码处理模块22通过第一I2S接口连接至所述核心板10、通过第二I2S接口连接至所述音频处理模块21；所述音频处理模块21包括回声消除单元、啸叫抑制单元以及自动增益控制处理单元，所述音频编译码处理模块22包括A/D转换单元、D/A转换单元、滤波单元以及混音处理单元；所述音频板20可以分别通过USB接口和第一I2S接口作为两个独立的音频设备同时挂接在核心板操作系统上，所述音频板20可以通过第二I2S接口进行音频数据内部交互。
所述核心板10用于根据接收的操控指令或获取的音视频的内容，选择性的将经过音视频处理得到的音频数据通过USB接口和第一I2S接口同时传输至所述音频处理模块21和/或音频编译码处理模块22。
本发明提出的方法是在智慧黑板或触控一体机中将原来的回声消除和啸叫抑制硬件小型化，算法进行优化，同时利用视频辅助音频处理从而在智慧黑板或触控一体机内实现上述这些音视频处理，完成相应的功能。实现模拟的音视频采集、音频通路选择、模拟音频A/D转换成数字信号，以及将数字音频信号D/A转成模拟音频、混音以及音频通路选择等，将麦克风、电脑、IPC等外部音频源和核心处理系统连接在一起。
利用回声消除单元、啸叫抑制单元实现远程回声消除(AEC)和本地扩音啸叫抑制(AFC)，统一集中在音频处理模块21，实现远程互动回声消除和本地啸叫抑制功能。在做远程互动时本地音视频设备30会播放远端音视频设备40输入的音频，远端音视频设备40的音频连同本地的音频会一起被麦克风采集回来，如果不做任何处理的话，两个音频会一起进行编码处理送给远端音视频设备40用于播放，这时远端音视频设备40不仅能听到对端的声音，还能听到数秒前自己刚刚说的声音，这就是所谓的回声，这个回声需要消除掉，才不影响双方的正常交流。正常的情况应该是都只能听到对方的声音，但不会听到自己发送给对方声音。
音频数据通道管理，在教学场景下，尤其是在远程互动(如异地同上一节课)应用场景下，音频数据种类很多，如来自远端的IPC摄像机的音频(不止一个)、要送给远端的音频、本地课件音频、远端课件音频、本地说话的音频、全音频(录课用)等，需要系统通过不同的音频路径进行音频数据的传送和处理，同时也需要和视频配合进行音频的处理。本案实施例采用核心板10和音频板20的方案来实现，其中核心板10基于瑞芯微RK3399芯片，主要用于视频处理如视频管理、视频编码解码、视频存储和视频显示输出等，RK3399本身并不对音频做AEC(回声消除)和AFC(啸叫抑制)以及AGC(自动增益控制)等处理，但RK3399也对音频进行通道管理、音频的编码、解码、音频设备的管理等处理，RK3399还对音视频的时间戳进行处理，正是利用RK3399对于视频时间戳的处理来对辅助音频板来对音频处理进行优化。音频板20采用TI C55X DSP进行AEC(回声消除)和AFC(啸叫抑制)以及AGC(自动增益控制)等算法处理，不同于常见的纯软件音频算法，本实施例采用专门的独立DSP进行音频算法处理不会占用系统处理资源，不会对系统其它功能造成影响，在采用DSP的同时还采用音频编译码处理模块22，可以同时进行模拟音频的一些处理，如A/D、D/A转换、滤波、混音等。和使用外部的专门的音频处理设备不同，音频板20可以作为核心板10的一个音频设备挂接到核心板10操作系统上，使得核心板10可以在操作系统的标准ALSA架构下对音频板20进行高层音频处理。
由于C55X本身就是一个DSP，是需要配合音频编译码处理模块22(Audio Codec)使用，音频编译码处理模块22采用TI的AIC3106芯片，C5XX通过USB和核心板10CPU相连，而AIC3106通过第二I2S接口实现同C5XX的I2S相连，同时AIC3106还具备扩展出第一I2S的能力，可以和CPU直接连接，这样在非远程互动时，可以和原来一样，原来的一些功能和应用可以保留，另外AIC3106里面的音频通路比较多，可以让音频输入输出接口都接到AIC3106上再传输到不同的I2S上，共用音频输入输出接口还可以方便的和第三方音频板20混合使用，可以保证非远程互动时和现在对音频的使用一样，对于模拟音频的处理也会方便一些，其次音频逻辑比较灵活，能够很好隔离远程互动和非远程互动的音频，整个音频板20的硬件尺寸非常小(约为8cm*10cm)，可以很方便的放入到智慧黑板或触控一体机中，而且第一I2S接口和USB都是ALSA框架下一个标准音频设备，使用灵活方便，把一个音频板20做成了ALSA框架下两个独立的标准音频设备，可以在ALSA架构下方便的对同一个音频做完全不同的音频处理。为了在智慧黑板或触控一体机内实现AFC本地扩音啸叫抑制和AEC远程互动回声消除功能，主要使用了TI的1颗DSP和1颗音频Codec通过特殊的混合音频处理算法，在8cm*10cm小尺寸上实现全部音频处理功能，在独立运行的同时还可以配合智慧黑板核心板10进行数据传输和管理，既可以控制成本也避免纯软件算法对系统资源的占用。
核心板10用于根据接收的操控指令或获取的音视频的内容，选择性的将经过音视频处理得到的音频传输至所述音频处理模块21和/或音频编译码处理模块22具体是包括，可以根据核心板10接收的操控指令，例如，根据触控板选择本地上课模式时，将经过音视频处理得到的音频传输至所述音频处理模块21，选择远程上课模式或者本地和远程同时上课模式时，则将经过音视频处理得到的音频传输至所述音频处理模块21和或音频编译码处理模块22，两个模块同时工作，处理的数据也可以相互关联和交换，极大的提高了效率。
也可以根据获取的音视频的内容，核心板10选择音频的传输通道，核心板10需要将每个音视频数据进行复原处理，其中视频实时显示出来，音频放在缓存中，需要对缓存的音频数据进行分通道处理，当音频输入路数超过2个，也就是多人同时参加视频互动时，多人的音视频数据一起打包过来，则将经过音视频处理得到的音频传输至所述音频处理模块21和或音频编译码处理模块22，两个模块同时工作，处理的数据也可以相互关联和交换，当只有本地音视频上课时，也可以自动选择只将音频传输给音频编译码处理模块22。
如图2所示，还包括音视频设备，所述音视频设备包括本地音视频设备30、远端音视频设备40，所述核心板10分别通过第三I2S接口连接本地音视频设备30、通过网络连接远端音视频设备40，所述远端音视频设备40通过RTP协议发送实时数据给所述核心板10，所述远端音视频设备40通过RTP协议接收来自所述核心板10的实时数据。远程互动应用有本地音视频设备30、远端音视频设备40(可能有多个本地音视频设备30、以及多个远端音视频设备40，音频在传输过程中需要进行音频编码，音频编码格式可以选用AAC/G.711；远端音视频设备40可以选用网络摄像机IPC。
优选的，所述对获取的音视频进行处理包括：音视频管理、音视频编码解码、音视频存储和视频显示输出、以及音视频的时间戳处理。正是利用RK3399对于视频时间戳的处理来对辅助音频板来对音频处理进行优化。
还包括通过外接音频线接入所述音频板20的模拟麦克风。
进一步的，还包括通过第四I2S接口接入所述音频板20的扬声器或外接扩音设备，所述音频板20包括音频集成模块，所述音频集成模块用于将由所述扬声器播放的音频在所述第四I2S接口的左右声道分别进行拷贝后输出。关于立体声和单声道的问题，由于远程互动一般为单声道(包括老师说话的MIC采集音)，但是课件则可能单声道和立体声都会有。另外教学场景不同于一般的场景，基本要求是每个角落的学生都能听清楚所有内容，不能因为坐在不同音箱旁边而导致某些内容听不清楚，因此对于立体声和单声道的处理是不论系统放的是单声道还是立体声，都在I2S接口的左右声道这块进行拷贝，这样I2S两个声道声音一致，并将同样的声音分别送给多个音箱，确保每个音箱出来的声音都一样。扬声器可以是功放等根据实际需要选用的外部设备。
所述音频板20用于接收所述本地音视频设备30、远端音视频设备40输入的混合音视频经由所述核心板10处理后的混合音频，所述混合音频包括本地音频和远端音频，所述回声消除单元用于将混合音频中的远端音频作为参考音进行保存，并将所述混合音频与所述参考音进行比对，删除混合音频中与所述参考音一样的音频后得到的音频数据包经由所述核心板10处理后发送至所述远端音视频设备40。远端音频是指远程互动对端的音频，包括远端说话声音以及远端课件声音；本地音频是指本地课件音频以及本地说话声音；参考音频设置为远端音频，用于做回声抑制算法的参考音，即MIC采集的声音中需要滤除的声音；送给远端的音频即MIC采集的声音中滤除参考音的其他声音，用于编码后提供给远端音视频设备40使用；混音包括本地和远端的所有音频，用于编码录制存储。回声消除单元在DSP中实现回声消除算法，在远端音频采集后进行相应的音频处理，先将远端音频作为参考音进行实时保存，在麦克风将混合音频(包括本地音频和远端音频)采集回来后，根据刚刚保存的参考音进行对比，发现和参考音一样的音频就需要从混合的音频中去除，剩下的音频再送到编码处理发给远端，这是远端就不会听到刚刚自己说话的声音，而全部是对端的声音。
所述音视频设备包括主讲设备和互动设备，所述核心板10具有用于对获取的主讲设备和互动设备中的多路音频进行数字混音的ALSA单元，所述ALSA单元还用于同时将所述多路音频通过第一I2S接口或USB接口发送至所述音频板20。关于多个音频同时互动播放问题，老师和某个听课教室互动时(新需求要求老师可以同时和两个听课教室互动，增加了一个互动教室)，其他听课教室如何听到参与的互动教室(最多可能增加到4个)的音频处理问题，要求分别拉主讲教室和各个参与互动教室的音频编码进行播放，需要把多个不同音频同时放出来才行。在Linux/Android里面有ALSA，则可以很方便利用ALSA里面的dMIX功能进行数字混音，这样可以同时将多路音频通过一个数字音频接口USB/I2S播放出来，并根据需要通过第一I2S接口或USB接口从所述音频板20获取经过所述音频板20处理过的不同的音频数据。
所述啸叫抑制单元采用DSP啸叫抑制算法对所述音视频设备经扩音后回采的音频数据进行处理，实现啸叫抑制。
所述音视频设备包括智能终端、摄像机、PC中的至少一种，所述远端音视频设备40包括智能终端、网络摄像机、PC、投影设备中的至少一种。
本发明实施例还提供了一种智能教学系统，包括所述的音视频教学设备。该智能教学系统还可以包含其他的一些与智能教学相关的设备，与所述的音视频教学设备结合或分别使用。
本案实施例采用一体化、小型化设计一方面是大大减少了智慧教室讲台内的设备数量，在功能没有减少的情况下，设备做到了极简，将讲台桌面空间留给老师使用，解决了智慧教室讲台设备太多，连线太复杂，稳定性较差，使用不便等问题，节省了移频功放、音频处理器、音箱等多个产品，同时也可以减少这些设备间的连线；解决了智慧黑板或触控一体机在老师教学中本地扩音以及本地扩音产生的啸叫，可以让老师脱离老式的移频功放，仅使用智慧黑板或触控一体机就可以本地扩音上课；声音的稳定性和品质都大大提高；无需各个设备间的配合，整个系统的操控也简单，大大降低系统的使用复杂度；将智慧教室原来需要多个设备才能实现的功能在一个智慧黑板或触控一体机上就能实现，大幅度降低了智慧教室的建设成本，大幅度缩减了智慧教室的设备安装调试时间；便捷的操控也能大大提升用户体验。
本案实施例解决了智慧教室在做远程互动教学中，需要多个设备才能搭建远程音视频会议的问题，只需要一个智慧黑板或触控一体机，不需要额外的音频处理设备就可以；方便将教学活动资源化，可以实现常态化录课功能；在智慧黑板或触控一体机中实现AEC远程互动回声消除功能，可以支持本地扩音上课和远程互动教学的教学活动。
本案实施例在单一音频板20上提供两个独立的音频接口I2S和USB，可以作为两个独立的音频设备分别挂接到核心板10中，核心板10可以根据需要从音视频中提取出音频数据并根据接收的操控指令或获取的音视频的内容选择音频通道，同时对音频板20按照两个独立音频设备进行不同的音频处理，如发送或获取完全不同的音频数据等，这两个独立音频接口既互相独立运作也能互相交换数据，既互相关联也互不影响，两个独立的音频设备可以根据需要选择其一或者其二，也可以交换数据，也不会互相影响，节省了核心板10的处理空间，大大提高了音视频处理效率。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
