欢迎光临小豌豆知识网!
当前位置:首页 > 电学技术 > 电通讯技术> 一种基于多音视频流合成VR的系统独创技术5908字

一种基于多音视频流合成VR的系统

2021-01-31 18:23:45

一种基于多音视频流合成VR的系统

  技术领域

  本发明涉及音视频处理相关技术领域,尤其是指一种基于多音视频流合成VR的系统。

  背景技术

  目前大多数VR视频都是单个视频源里单个视频画面,对应着单个音频。随着后面5G的普及,VR的应用方式也会呈现多样式。如何把多个视频流和多个音频流封装成单个VR视频流和多个音频流的系统,还未有相应的解决办法。

  发明内容

  本发明是为了克服现有技术中存在上述的不足,提供了一种解决多音视频流合成VR单视频流多音频流的基于多音视频流合成VR的系统。

  为了实现上述目的,本发明采用以下技术方案:

  一种基于多音视频流合成VR的系统,包括设备发送端、收录服务器、合成服务器、流媒体服务器、控制台服务器和VR观看端;所述的设备发送端将流数据推送到收录服务器,流数据由视频流和音频流组成;所述的收录服务器接收流数据并缓存,流数据等待合成服务器进一步处理;所述的合成服务器从收录服务器拉取需要合成VR视频流的多条流数据,最终把单个视频流和多个音频流的封装起来,并送给流媒体服务器;所述的流媒体服务器存储最终合成后的流数据;所述的VR观看端观看设备播放合成后的流数据;所述的控制台服务器分别与收录服务器、合成服务器和流媒体服务器连接。

  通过上述系统的设计,实现了多个视频流和多个音频流封装成单个VR视频流和多个音频流。

  作为优选,所述合成服务器的操作方法如下:

  (1)从收录服务器拉取需要合成VR视频流的多条流数据;

  (2)对每条流数据进行解封装,将每条流数据解封装为音频包和视频包;

  (3)对每条流数据的音频包进行解码成PCM,将PCM重新编码成音频包;

  (4)对每条流数据的视频包进行解码成对应的颜色空间,然后将该颜色空间转换成统一的颜色空间;

  (5)把转换后统一的颜色空间按控制台服务器设置的合成模板合成VR的颜色空间;

  (6)将合成VR的颜色空间进行编码成一个视频包;

  (7)将一个视频包和重新编码后的多个音频包进行封装,封装成单个视频流多个音频流的流数据,并送给流媒体服务器。

  作为优选,所述的控制台服务器设置收录服务器缓存流数据的时间。

  作为优选,所述的控制台服务器设置合成服务器中支持的封装格式、编解码类型以及合成模板样式,所述的合成模板主要规定颜色空间的数量、位置、形状。

  作为优选,所述的控制台服务器设置流媒体服务器的播放方式、清晰度选项、支持的封装格式、存储时间及空间。

  本发明的有益效果是:实现了多个视频流和多个音频流封装成单个VR视频流和多个音频流。

  附图说明

  图1是本发明的系统框图;

  图2是本发明合成服务器的方法流程图;

  图3是合成模板的合成效果图。

  具体实施方式

  下面结合附图和具体实施方式对本发明做进一步的描述。

  如图1所述的实施例中,一种基于多音视频流合成VR的系统,包括设备发送端、收录服务器、合成服务器、流媒体服务器、控制台服务器和VR观看端;

  设备发送端将流数据推送到收录服务器,流数据由视频流和音频流组成;可以是手机、平板、电视、电脑等设备;

  收录服务器接收流数据并缓存(缓存时间由控制台服务器设置规定),流数据等待合成服务器进一步处理;

  合成服务器从收录服务器拉取需要合成VR视频流的多条流数据,最终把单个视频流和多个音频流的封装起来,并送给流媒体服务器;

  如图2所示,合成服务器的操作方法如下:

  (1)从收录服务器拉取需要合成VR视频流的多条流数据(流数据的数量范围为2至6);

  (2)对每条流数据进行解封装,将每条流数据解封装为音频包和视频包;

  (3)对每条流数据的音频包进行解码成PCM,将PCM重新编码成音频包;

  (4)对每条流数据的视频包进行解码成对应的颜色空间,然后将该颜色空间转换成统一的颜色空间(常见统一的颜色空间yuv、rgb);

  (5)把转换后统一的颜色空间按控制台服务器设置的合成模板合成VR的颜色空间;

  (6)将合成VR的颜色空间进行编码成一个视频包;

  (7)将一个视频包和重新编码后的多个音频包进行封装(支持多音频的封装容器),封装成单个视频流多个音频流的流数据,并送给流媒体服务器。

  流媒体服务器存储最终合成后的流数据;播放方式:支持点播、直播、组播等主流方式;清晰度:支持标清、高清、4K、8K等;封装格式:支持多音频流的封装格式,如hls、mp4等;

  VR观看端观看设备播放合成后的流数据;支持手机、平板、电脑、电视、机顶盒等可观看设备播放;

  控制台服务器分别与收录服务器、合成服务器和流媒体服务器连接;控制台服务器设置收录服务器缓存流数据的时间;控制台服务器设置合成服务器中支持的封装格式、编解码类型以及合成模板样式,合成模板主要规定颜色空间的数量、位置、形状,如图3所示为4个颜色空间按合成模板合成效果;控制台服务器设置流媒体服务器的播放方式、清晰度选项、支持的封装格式、存储时间及空间。

《一种基于多音视频流合成VR的系统.doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档

文档为doc格式(或pdf格式)