欢迎光临小豌豆知识网!
当前位置:首页 > 电学技术 > 电通讯技术> 媒体流的处理方法及装置、系统独创技术26956字

媒体流的处理方法及装置、系统

2021-03-19 23:36:05

媒体流的处理方法及装置、系统

  技术领域

  本发明涉及视频会议领域,具体而言,涉及一种媒体流的处理方法及装置、系统。

  背景技术

  视频会议系统依赖于专业的视频会议设备,设备间的通信要求遵循严格的协议体系。

  随着视频会议系统在工业生产、城市安防以及日产生活的广泛应用,会要求接入各种其他类型的终端,比如,监控,手机,可视对讲以及IP话机等,已达到业务调度、远程管理、信息交流、技术培训等等目标。即需要让不同协议和不同类型的会议终端接入视频会议系统。

  针对相关技术中,接入视频会议系统的会议终端存在局限性的问题,目前尚未存在有效的解决方案。

  发明内容

  本发明实施例提供了一种媒体流的处理方法及装置、系统,以至少解决相关技术中接入视频会议系统的会议终端存在局限性的问题。

  根据本发明的一个实施例,提供了一种媒体流的处理方法,包括:

  根据第一协议在视频会议系统中增加第一会议终端,其中,所述第一会议终端包括:一个或者多个非视频会议终端;将所述第一会议终端接入所述视频会议系统;在所述第一会议终端接入所述视频会议系统的情况下,将所述视频会议系统发出的第一媒体流转换为具备所述第一会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述第一会议终端;和/或,将所述第一会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统。

  根据本发明的另一个实施例,提供了一种媒体流的处理装置,包括:终端增加模块,用于根据第一协议在视频会议系统中增加第一会议终端,其中,所述第一会议终端包括:一个或者多个非视频会议终端;终端加入模块,用于将所述第一会议终端接入所述视频会议系统;转化模块,用于在所述第一会议终端接入所述视频会议系统的情况下,将所述视频会议系统发出的第一媒体流转换为具备所述第一会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述第一会议终端;和/或,将所述第一会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统。

  根据本发明的又一个实施例,还提供了一种媒体流的处理系统,其特征在于,包括:视频会议系统、会议网关系统、会议终端,所述会议终端包括:非视频会议终端和视频会议终端,所述视频会议终端通过媒体流协议接入所述视频会议系统,所述非视频会议终端通过所述会议网关系统接入所述视频会议系统,所述会议网关系统包括:协议模块、集群互联模块、媒体模块,所述协议模块,用于提供所述非视频会议终端和所述视频会议终端的终端协议;所述媒体模块,用于处理音频和/或视频格式的媒体流;所述集群互联模块,用于将待处理的媒体流分配至一个或多个网关。

  通过本发明,由于在所述第一会议终端接入所述视频会议系统的情况下,将所述视频会议系统发出的第一媒体流转换为具备所述第一会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述第一会议终端,以及将所述第一会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统,实现了第一会议终端与视频会议系统之间的媒体流转化。因此,可以解决相关技术中接入视频会议系统的会议终端存在局限性的问题,达到并发支持多种类型协议的非视频会议终端接入的效果。

  附图说明

  此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

  图1是本发明实施例的一种媒体流的处理方法的所适用的系统结构框图;

  图2是根据本发明实施例的媒体流的处理方法的流程图;

  图3是根据本发明实施例的媒体流的处理装置的结构框图;

  图4是根据本发明实施例的媒体流的处理系统的结构示意图;

  图5是根据本发明可选实施例的媒体流的处理系统中的实现流程图。

  具体实施方式

  下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。

  需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。

  实施例1

  图1是本发明实施例的一种媒体流的处理方法的所适用的系统结构框图。其中,包括:视频会议系统、会议网关集群。还包括视频会议终端1、视频会议终端2……视频会议终端N以及终端1、终端2、终端3、终端4、终端5、终端6等。视频会议系统只能接入H.323(视频会议标准)协议的视频会议终端1至N,而非视频会议终端即终端1至终端6需要通过所述会议网关集群接入系统中。而在会议网关集群中包括一个或者多个网关。

  在本实施例中提供了一种运行于上述系统架构的媒体流的处理方法,图2是根据本发明实施例的媒体流的处理方法的流程图,如图2所示,该流程包括如下步骤:

  步骤S202,根据第一协议在视频会议系统中增加第一会议终端,其中,所述第一会议终端包括:一个或者多个非视频会议终端;

  步骤S204,将所述第一会议终端接入所述视频会议系统;

  步骤S206,在所述第一会议终端接入所述视频会议系统的情况下,将所述视频会议系统发出的第一媒体流转换为具备所述第一会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述第一会议终端;和/或,将所述第一会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统。

  具体实施时,对于待接入的不同类型协议的非视频会议终端,通过网关将所述视频会议系统发出的第一媒体流转换为具备非视频会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述非视频会议终端。此外,通过网关还能够将所述非视频会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统。

  通过上述步骤,由于在所述第一会议终端接入所述视频会议系统的情况下,将所述视频会议系统发出的第一媒体流转换为具备所述第一会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述第一会议终端,以及将所述第一会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统,实现了第一会议终端与视频会议系统之间的媒体流转化。因此,可以解决相关技术中接入视频会议系统的会议终端存在局限性的问题,达到并发支持多种类型协议的非视频会议终端接入的效果。

  作为本实施例中的优选,所述在所述第一会议终端接入所述视频会议系统的情况下,将所述视频会议系统发出的第一媒体流转换为具备所述第一会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述第一会议终端第一会议终端第一会议终端包括:在接收到所述视频会议系统的媒体流的情况下,将所述媒体流分配至当前状态为空闲的第一网关;将所述视频会议系统的媒体流的格式进行适配并发送至所述第一会议终端。即将接受的视频会议系统的第一媒体流分配至当前状态为空闲的第一网关,通过第一网关对所述视频会议系统的第一媒体流的格式进行适配后转换成第二媒体流格式发送至第一会议终端。

  作为本实施例中的优选,所述将所述第一会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统包括:在接收到所述第一会议终端的媒体流的情况下,将所述媒体流分配至当前状态为空闲的第二网关;将所述第一会议终端媒体流的格式进行适配并发送至所述视频会议系统。即将接受的视频会议系统的第三媒体流分配至当前状态为空闲的第二网关,通过第二网关对所述视频会议系统的第三媒体流的格式进行适配后转换成第四媒体流格式发送至第一会议终端。

  作为本实施例中的优选,所述在所述第一会议终端接入所述视频会议系统的情况下,将所述视频会议系统发出的第一媒体流转换为具备所述第一会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述第一会议终端包括:在所述第一会议终端接入所述视频会议系统的第一会议的情况下,将所述第一会议中的媒体流的视频和音频经过适配转换为所述第一会议终端可识别的视频格式和音频格式;将所述第一会议终端可识别的视频格式和音频格式发送至所述第一会议终端。其中第一媒体流是在所述第一会议终端接入所述视频会议系统的第一会议的情况下获得的视频格式和音频格式,第二媒体流是所述第一会议终端可识别的视频格式和音频格式。

  作为本实施例中的优选,所述将所述第一会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统包括:在所述第一会议终端接入所述视频会议系统的情况下,根据所述第一协议向所述第一会议终端发送所述媒体流获取请求,用以获取所述视频会议系统可识别的视频格式和音频格式;将所述第一会议终端的媒体流中的视频和音频经过适配转换为所述视频会议系统可识别的视频格式和音频格式;将所述视频会议系统可识别的视频格式和音频格式发送至所述视频会议系统。其中第三媒体流是所述第一会议终端的可识别的视频格式和音频格式,第四媒体流是所述视频会议系统可识别的视频格式和音频格式。

  作为本实施例中的优选,所述根据第一协议在视频会议系统中增加第一会议终端包括:确定所述第一协议对应的视频会议终端列表;在所述视频会议终端列表注册到所述视频会议系统的情况下,在所述视频会议系统中增加所述第一会议终端。根据第一协议确定可接入的第一会议终端的视频会议终端列表,并且在所述视频会议终端列表已经注册到所述视频会议系统的前提下,将所述第一会议终端增加至视频会议系统。

  通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。

  实施例2

  在本实施例中还提供了一种媒体流的处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。

  图3是根据本发明实施例的媒体流的处理装置的结构框图,如图3所示,该装置包括

  终端增加模块20,用于根据第一协议在视频会议系统中增加第一会议终端,其中,所述第一会议终端包括:一个或者多个非视频会议终端;

  终端加入模块22,用于将所述第一会议终端接入所述视频会议系统;

  转化模块24,用于在所述第一会议终端接入所述视频会议系统的情况下,将所述视频会议系统发出的第一媒体流转换为具备所述第一会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述第一会议终端;和/或,将所述第一会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统。

  所述装置在具体实施时对于待接入的不同类型协议的非视频会议终端,通过网关将所述视频会议系统发出的第一媒体流转换为具备非视频会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述非视频会议终端。此外,通过网关还能够将所述非视频会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统。

  通过上述模块,由于在所述第一会议终端接入所述视频会议系统的情况下,将所述视频会议系统发出的第一媒体流转换为具备所述第一会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述第一会议终端,以及将所述第一会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统,实现了第一会议终端与视频会议系统之间的媒体流转化。因此,可以解决相关技术中接入视频会议系统的会议终端存在局限性的问题,达到并发支持多种类型协议的非视频会议终端接入的效果。

  需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。

  为了更好的理解上述媒体流的处理方法流程,以下结合优选实施例对上述技术方案进行解释说明,但不用于限定本发明实施例的技术方案。

  本发明优选实施例够同时支持多种类型协议的非视频会议终端接入,并且支持各类音频、视频格式的适配。

  如图4所示,是本申请实施例中的媒体流的处理系统的结构示意图。

  在所述媒体流的处理系统中包括:视频会议系统、会议网关系统400、会议终端,所述会议终端包括:非视频会议终端和视频会议终端,所述视频会议终端通过媒体流协议接入所述视频会议系统,所述非视频会议终端通过所述会议网关系统接入所述视频会议系统,所述会议网关系统400包括:协议模块401、集群互联模块405、媒体模块402,所述协议模块,用于提供所述非视频会议终端和所述视频会议终端的终端协议;所述媒体模块,用于处理音频和/或视频格式的媒体流;所述集群互联模块,用于将待处理的媒体流分配至一个或多个网关。

  在所述协议模块401,包含各种非视频会议终端的相关协议。在所述媒体模块402,包含媒体传输和媒体处理。其中媒体处理包含:各种视频格式,音频格式以及GPU资源调用等功能。此外,还包括了视频会议模块404,基于323协议用于接入视频会议系统以及会议相关服务。还包括集群互联模块405,用于多网关集群互联互通等功能。

  在所述协议模块401,具有终端接入单元和一个可扩展协议包单元。其中,可扩展协议包单元:包含各类协议以及可扩展协议单元,可以支持增加新的协议,用于支持新协议终端。具体而言在所述协议模块401可以支持GB28181协议终端,SIP协议终端,RTSP协议终端,RTMP协议终端,ONVIF协议终端,WEBRTC协议终端等或者SDK终端在本申请中并不进行具体限定。

  具体地,所述媒体模块402,采用GPU结合CPU同时工作模式,能够支持45路1080P30帧视频和200路音频的并发处理。

  所述媒体模块402,能够支持各类音频、视频格式的适配。其中,视频格式包括但不限于H.263、H.264、H.265、VP8以及VP9。其中,所述音频格式包括但不限G.711A、G.711U、G.719、G.722、G.723、G.728、G.729、AAC以及OPUS。

  作为本实施例中的优选,所述集群互联模块405,还用于在每个所述网关之间通过网络传输协议连接;在多个所述网关中选举产生一个主节点网关和多个从节点网关,其中,所述主节点网关用于调度媒体流并分配至空闲的所述从节点网关,所述从节点网关,用于处理所述媒体流。

  具体地,在所述集群互联模块405中的网关集群选举过程如下:网关之间通过网络(TCP协议)相互连接。网关之间通过raft算法进行选举。产生1个Master,其余网关成为Slave。Master网关负责资源调度功能。Slave网关负责音视频的媒体处理模块。通过所述集群互联模块405,支持多个网关之间负载均衡,以及平滑扩容非视频会议终端的接入数量。

  通过所述集群互联模块405用于实现网关集群资源调度。网关会将收到的音视频码流进行适配。会将视频会议系统的会议音视频流,转换成加入该会议的非视频会议终端能够识别的音视频流格式;会将加入该会议的非视频会议终端音视频流,转换成视频会议系统能够识别的音视频格式。通过资源调度将音视频流适配,并分配到某台空闲的Slave网关上。

  其中,网关集群资源调度步骤如下:Master网关收到视频会议系统发送的会议音视频码流。Master网关将该会议音视频码流分配到某台空闲的Slave网关上。Slave网关将上述音视频码流进行适配,并发送给对应的非视频会议终端。Master网关收到非视频会议终端的音视频码流。Master网关将上述非视频会议终端的音视频码流分配到另一台空闲的Slave网关上。另一台的空闲的Slave网关将上述音视频码流进行适配,并发送给视频会议系统。

  基于上述系统,本申请通过协议模块401中对应的协议单元,实现接入相对应的非视频会议终端到所述视频会议系统中。通过协议模块401中可扩展协议单元,实现接入新协议终端到所述视频会议系统中。通过所述媒体模块402中的视频处理单元,实现将视频会议系统中的会议视频流转换成加入该会议的非视频会议终端能够识别的视频格式,并且将加入该会议的非视频会议终端中的视频流转换成能视频会议系统够识别的视频格式。通过所述媒体模块402中的音频处理单元,实现将加入该会议的非视频会议终端的音频流转换成视频会议系统能够识别的音频格式;将视频会议系的会议音频流转换成对应的非视频会议终端能够识别的音频格式。

  通过集群互联模块405,实现将多个网关组成网关集群;通过Raft算法选举,实现产生1个Master网关和N个Slave网关。

  如图5所示,是本申请实施例中的媒体流的处理流程的示意图,包括如下步骤:

  步骤S500,网关根据协议模块中的相对应的协议单元,添加非视频会议终端。

  步骤S501,是否有新终端要增加?若否则进入步骤步骤S502,若是则继续添加。

  步骤S502,网关将添加后非视频会议终端列表上传至视频会议系统。

  可依照H323协议将非视频会议终端列表注册到视频会议系统。此时,网关接收视频会议系统发出的从所述非视频会议终端列表中选择对应的终端,然后在网关接收视频会议系统发出的从所述选择的非视频会议终端加入会议的请求,网关回复视频会议系统同意该终端加入会议的请求。

  步骤S503,网关接收视频会议系统发出的从所述非视频会议终端列表中选择对应的终端。

  步骤S504,网关检查终端当前状态,如若异常则进入步骤S505,如果无异常则进入步骤S506。

  步骤S505,网关拒绝请求并结束。

  步骤S506,网关回复视频会议系统同意该终端加入会议的请求。

  步骤S507,网关接收视频会议系统发出的对所述选择的非视频会议终端的视频和音频的请求。请求中包含了视频会议系统能够识别的音频和视频格式。

  步骤S508,网关根据所述非视频会议终端的协议,向该终端发起请求视频和音频;如该终端支持语音对讲或者可视对讲功能,则一并打开。

  步骤S509,网关接收将所述非视频会议终端的视频和音频,并且网关将所述非视频会议终端的视频和音频进行媒体适配;转换成视频会议系统能够识别的音频和视频格式。

  步骤S510,网关将所述非视频会议终端适配后的音频和视频发送给视频会议系统。

  步骤S511,网关接收视频会议系统发送给所述终端的会议的音频和视频;网关将该会议音频和视频进行媒体适配;转换成所述非视频会议终端能够识别的音频和视频格式。

  步骤S512,网关发送视频会议系统适配后的音频和视频码流给所述非视频会议终端。

  本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

  可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:

  S1,根据第一协议在视频会议系统中增加第一会议终端,其中,所述第一会议终端包括:一个或者多个非视频会议终端;

  S2,将所述第一会议终端接入所述视频会议系统;

  S3,在所述第一会议终端接入所述视频会议系统的情况下,将所述视频会议系统发出的第一媒体流转换为具备所述第一会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述第一会议终端;和/或,将所述第一会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统。

  可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

  本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

  可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。

  可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:

  S1,根据第一协议在视频会议系统中增加第一会议终端,其中,所述第一会议终端包括:一个或者多个非视频会议终端;

  S2,将所述第一会议终端接入所述视频会议系统;

  S3,在所述第一会议终端接入所述视频会议系统的情况下,将所述视频会议系统发出的第一媒体流转换为具备所述第一会议终端可识别的格式的第二媒体流,并将所述第二媒体流发送给所述第一会议终端;和/或,将所述第一会议终端发出的第三媒体流转化为具备所述视频会议系统可识别的格式的第四媒体流,并将所述第四媒体流发送给所述视频会议系统。

  可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。

  显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。

  以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

《媒体流的处理方法及装置、系统.doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档

文档为doc格式(或pdf格式)