一种基于嵌入式平台的综合显示系统图形处理方法
技术领域
本发明属于计算机图形处理领域，尤其是一种基于嵌入式平台的综合显示系统图形处理方法。
背景技术
综合显示系统是军用作战指挥控制系统、综合导航等武器装备的重要组成部分，能够全面、准确、实时显示作战数据，展示可视化的战场态势信息，为操作人员及时把握战场动态，合理进行攻防部署，规范战略战术行动提供有力支撑。随着图形图像处理技术,软件技术和计算机技术的飞速发展，国外先进武器已配备了功能强大、显示图形复杂、大屏幕高分辨率、高集成度的综合显示系统取代老式机械仪表和CRT显示器。图形处理单元是综合显示系统的核心组成部分，其功能包括视频编解码、视频共享互示、图形融合叠加等以满足高速数据处理显示的需求。图像分辨率越高其携带的有效数据量越大，图形处理速度越快就越能够尽早获得重要战场信息。尤其是舰艇雷达综合显示终端，雷达图像在采集、传输、坐标转化过程结束后，图形处理单元需要对各种信息进行融合并与电子地图叠加。电子地图与雷达图像融合之后，不仅可以把来自雷达的大量图像进行数据共享，而且可以实时生成，通过绘制船舶综合航行的态势图把数据显示出来。而这些都需要强大的图形处理能力作为保障。军用武器装备的部分综合显示系统是基于AMD公司的图形处理芯片实现的，但是对其芯片内部结构并不知晓，显然不符合关键元器件自主可控的要求。国产化图形处理芯片虽然能够实现高分辨率图形显示功能，但是其性能仍无法满足视频编解码、图形实时融合叠加等复杂计算任务的需求，并且在功耗敏感应用方面具有一定的局限性。目前比较成熟的嵌入式方案是基于DSP+FPGA组合架构，DSP作为图形处理计算核心负责执行复杂图形算法，FPGA作为协处理器负责底层算法逻辑处理。但是，DSP在处理分辨率高于1080p的视频图像时就已经遭遇到瓶颈，在FPGA中实现视频处理算法的复杂度高且开发周期较长。另外，DSP+FPGA架构会降低整个综合显示系统系统集成度，不利于系统升级维护。
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于嵌入式平台的综合显示系统图形处理方法，能够实现网络视频传输、多通道视频实时融合叠加和视频动态分辨率自适应。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于嵌入式平台的综合显示系统图形处理方法，包括使用RTSP的H.264实时流媒体传输方案实现网络视频传输的方法，使用综合显示系统图形处理单元视频输处理模块实现多通道视频实时融合叠加的方法，使用底层驱动程序和硬件实现视频动态分辨率自适应的方法。
而且，所述RTSP的H.264实时流媒体传输方案、综合显示系统图形处理单元视频输处理模块和底层驱动程序是基于ARM和硬件视频编解码核实现的。
而且，所述RTSP的H.264实时流媒体传输方案通过Live555开发框架实现，其中Live555开发框架包括UsageEnvironment模块、BasicUsageEnvironment模块、GroupSock模块和LiveMedia模块；其中UsageEnvironment模块包括UsageEnvironment类、TaskScheduler类和HashTable类，BasicTaskScheduler类是TaskScheduler类的一个子类；GroupSock模块包括RTSPServer类；LiveMedia模块包括ServerMediaSession类、MediaSubsession类、FramedSource类。
而且，所述RTSP的H.264实时流媒体传输方案实现网络视频传输包括以下步骤：
步骤1、将TaskScheduler类设置为任务调度中心，创建BasicTaskScheduler类对象，将UsageEnviroment模块设置为运行环境，创建BasicUsageEnviroment模块对象；
步骤2、创建RTSPServer类对象；
步骤3、通过setUPSocket函数调用setStreamSocket函数创建一个Socket连接，同时监听该端口；
步骤4、把接连处理函数句柄和套接字句柄传递给任务调度中心进行关联；
步骤5、调用select函数进行阻塞等待客户端的连接；
步骤6、创建ServerMediaSession类对象，同时创一个MediaSubsession子会话负责将FramedSource类中获取的采集编码后数据源进行H.264压缩视频格式的RTP封包；
步骤7、将ServerMediaSession类对象添加到RTSPServer类对象中；
步骤8、进入主循环doEventLoop函数。
而且，所述综合显示系统图形处理单元视频输处理模块包括VPSS模块、管理模块、VO模块、VENC模块、SVP模块、VI模块、VDEC模块和AVS模块，其中VPSS模块分别连接管理模块、VO模块、VENC模块、SVP模块、VI模块、VDEC模块和AVS模块。
而且，所述使用综合显示系统图形处理单元视频输处理模块实现多通道视频实时融合叠加包括以下步骤：
步骤1、VO模块主动从内存相应位置读取视频和图形数据，并通过相应的显示设备输出视频和图形；
步骤2、高清视频层的通道具有缩放能力，VI模块或经VDEC解码器解压后的源图像经由VPSS模块进行缩放处理后，输出到VO模块的某一通道显示；
步骤3、判断输出给VO模块通道的图像的大小，若超过VO模块的通道区域大小，则VO模块将会对图像进行缩放，否则保持不变；
步骤4、VPSS模块输出的通道、VENC模块和SVP智能处理模块连接，对视频进行实时编码与智能算法处理。
而且，使用底层驱动程序和硬件实现视频动态分辨率自适应包括以下步骤：
步骤1、底层驱动捕获到GPIO中断后上报ARM处理器固件程序；
步骤2、在中断时间内，ARM处理器固件程序通过I2C接口读取视频输出信息；
步骤3、根据读取到的行有效信号、场有效信号和像素时钟信号计算出输入视频图像的分辨率和帧率；
步骤4、根据视频图像参数对输入通道进行配置。
本发明的优点和积极效果是：
本发明通过HDMI输入接口采集4K原始视频，进行H.264编码后将码流封装为RTSP协议推送到网络上，同时使用VLC播放器接收网络视频流，能够获取到正确的视频流编码算法和分辨率信息，测得编解码系统延时不大于100ms。接收3路4K网络视频流并进行解码，解码后的视频通过融合算法处理并叠加在背景视频上显示。图像处理引擎对采集到的图像进行预处理、格式转换、画质增强以及融合叠加等运算；硬件编解码器对视频图像进行编码，再基于RTSP协议进行推送，以降低视频数据的网络传输带宽，在3840ⅹ2160分辨率30Hz帧率下能够实现低于10Mbps的传输码率。
附图说明
图1是本发明硬件结构图；
图2是本发明软件架构层次图；
图3是Live555整体代码框架图；
图4是本发明RTSP服务器流程图；
图5是本发明综合显示系统图形处理单元视频输处理模块的连接框图。
具体实施方式
以下结合附图对本发明做进一步详述。
一种基于嵌入式平台的综合显示系统图形处理方法，包括使用RTSP的H.264实时流媒体传输方案实现网络视频传输的方法，使用综合显示系统图形处理单元视频输处理模块实现多通道视频实时融合叠加的方法，使用底层驱动程序和硬件实现视频动态分辨率自适应的方法。
所述RTSP的H.264实时流媒体传输方案、综合显示系统图形处理单元视频输处理模块和底层驱动程序是基于海思Hi3559AV100芯片实现的。海思Hi3559AV100芯片具备双核ARM Cortex A73@1.8GHz，双核ARM Cortex A53@1.2GHz处理单元；具备硬件视频编解码核，对于H.264编码支持最大分辨率为8192x8640，对于H.265编码支持最大分辨率为16384x8640，H264/H.265视频解码最高支持到7680x4320@30fps或3840x2160@120fps。由于海思Hi3559AV100芯片不支持HDMI视频输入，因此采用龙讯LT6911UXC协议转换芯片进行信号转换，所述龙讯LT6911UXC协议转换芯片最大可支持4K@60fps视频输入，能够将HDMI视频信号输入转换为MIPI信号输出。如图1所示，视频信号通过两种方式输入：一种是HDMI信号输入到龙讯LT6911UXC协议转换芯片，龙讯LT6911UXC协议转换芯片输出MIPI信号作为海思Hi3559AV100芯片的MIPI视频信号输入；另一种是H.264/H.265压缩格式视频基于RTSP协议封装成视频流通过网络传输，海思Hi3559AV100芯片接收到视频流后进行协议解析并解码，提取出原始视频数据。
如图2所示为综合显示系统图形处理单元软件架构，整个系统功能层次分为硬件层、操作系统层、操作系统适配层、驱动层、媒体软件处理平台和应用层。其中，操作系统采用Ubuntu操作系统，关键代码由标准C++编程语言实现，应用程序编译使用海思Hi3559AV100芯片专用的GCC编译器；操作系统适配层包括对海思Hi3559AV100芯片的配置、经裁剪后的设备树和设备驱动程序；多媒体软件处理平台是针对海思处理器中的硬件编解码核、图形处理单元以及视频接口等模块的二次开发工具；应用层调用媒体软件处理平台提供的接口函数，针对综合显示系统应用需求实现视频编解码和实时融合叠加功能。
所述使用RTSP的H.264实时流媒体传输方案实现网络视频传输中RTSP提供了一个可扩展框架，能够受控或按需传输实时数据，该实时数据包括现场数据与存储的数据。RTSP协议能够控制多个数据发送会话，能够同时推送和接收多路网络视频流，同时以灵活的方式根据底层以太网传输协议选将H.264或H.265压缩格式视频封装为RTSP流，实现多物理通道视频传输。RTSP的H.264实时流媒体传输方案通过Live555开发框架实现，能够方便地应用于嵌入式系统中。其中Live555实现了RTSP对包括单播、组播、广播的各种播放方式的支持，实现了对各种音视频格式的流化、接收、封装的支持，包括H.264、DV、AC3、MP4V-ES、MPV、T140多种音视频编码。
如图3所示，所述Live555开发框架包括UsageEnvironment模块、BasicUsageEnvironment模块、GroupSock模块和LiveMedia模块；其中UsageEnvironment模块包括UsageEnvironment类、TaskScheduler类和HashTable类；GroupSock模块包括RTSPServer类；LiveMedia模块包括ServerMediaSession类、MediaSubsession类、FramedSource类。UsageEnvironment类用于输入输出操作和错误信息的处理；TaskScheduler类用于事件的任务调度，包括异步事件的处理以及回调函数的注册，TaskScheduler类通过DelayQueue函数实现事件的延时调度，以控制好数据包的发送速率。BasicUsageEnvironment类是UsageEnvironment类的一个具体体现，实现了具体的输入输出操作以及任务调度的处理操作；BasicTaskScheduler类是TaskScheduler类的一个子类，负责基本用户任务调度；GroupSock模块封装了一系列的网络接口，包括网络地址类、数据包的发送类。LiveMedia模块实现了RTPSink、FileSink消费资源的类，同时也实现了RTP、RTCP、RTSP客户端和RTSP服务器的各种处理操作，另外还实现了针对于各种音视编码格式的资源扩展。视频传输主要通过任务调度机制和RTSP服务机制两个部分实现流媒体服务器功能。其中任务调度机制主要通过TaskScheduler类实现，完成网络套接字任务、延时任务和触发事件三种任务的循环调度，从而构成了系统运行框架。而RTSP服务机制通过工程的liveMedia目录下的类库实现，通过把RTSP协议加入到运行框架中，实现了流媒体服务器。
如图4所示，所述RTSP的H.264实时流媒体传输方案实现网络视频传输包括以下步骤：
步骤1、将TaskScheduler类设置为任务调度中心，创建BasicTaskScheduler类对象，将UsageEnviroment模块设置为运行环境，创建BasicUsageEnviroment模块对象；
步骤2、然后创建RTSPServer类对象；
步骤3、通过setUPSocket函数调用setStreamSocket函数创建一个Socket连接，同时监听该端口；
步骤4、把接连处理函数句柄和套接字句柄传递给任务调度中心进行关联；
步骤5、调用select函数进行阻塞等待客户端的连接；
步骤6、创建ServerMediaSession类对象，同时创一个MediaSubsession子会话负责将FramedSource类中获取的采集编码后数据源进行H.264压缩视频格式的RTP封包；
步骤7、将ServerMediaSession类对象添加到RTSPServer类对象中；
步骤8、进入主循环doEventLoop函数。
所述多通道视频实时融合叠加是将多路视频信号叠加融合形成一路视频信号输出到一个显示设备进行显示。海思Hi3559AV100芯片能够最多支持4路4K超高清视频进行融合叠加，其中一路视频在输出视频中作为背景，缩放至显示器支持的尺寸，另外3路视频作为前景叠加在背景之上以小窗口的方式显示,实现画中画效果，前景与背景的视频可择源和切换，前景视频的叠加位置、尺寸、优先级等显示参数能够任意调节且视频叠加效果的控制可实时进行，并且海思Hi3559AV100芯片最高能够支持4K分辨率60帧视频输出。一个视频层上可显示多个视频，每一个视频显示区域称为一个通道，通道归属于视频层管理，视频被限制通道内，通道被限制在视频层内。超清和高清显示设备软件上支持多个通道同时输出显示，按照优先级顺序对输出图像进行叠加，当各个通道的画面有重叠区域时，优先级高的图像显示在上层，如果各个通道优先级一致，则通道号越大的默认优先级越高。同时，应用OSD区域叠加技术在不同的网络视频窗口上叠加通道号标记便于区分不同显示通道。
如图5所示，所述综合显示系统图形处理单元视频输处理模块包括VPSS模块、管理模块、VO模块、VENC模块、SVP模块、VI模块、VDEC模块和AVS模块，其中VPSS模块分别连接管理模块、VO模块、VENC模块、SVP模块、VI模块、VDEC模块和AVS模块。使用综合显示系统图形处理单元视频输处理模块实现多通道视频实时融合叠加包括以下步骤：
步骤1、VO模块主动从内存相应位置读取视频和图形数据，并通过相应的显示设备输出视频和图形；
步骤2、高清视频层的通道具有缩放能力，VI模块或经VDEC解码器解压后的源图像经由VPSS模块进行缩放处理后，输出到VO模块的某一通道显示；
步骤3、判断输出给VO模块通道的图像的大小，若超过VO模块的通道区域大小，则VO模块将会对图像进行缩放，否则保持不变；
步骤4、VPSS模块输出的通道、VENC模块和SVP智能处理模块连接，实现视频实时编码与智能算法处理。
所述，海思Hi3559AV100芯片采用MIPI视频输入通道。MIPI Rx是一种支持多种差分视频输入接口的采集单元，通过电压差分信号接收原始视频数据，将接收到的串行差分信号转化为DC时序后传递给海思Hi3559AV100芯片的视频采集模块。MIPI接口使用CSI-2协议中的短包进行同步。MIPI Rx支持MIPI D-PHY和LVDS串行视频输入信号，同时兼容DC视频接口，支持多种速度和分辨率的数据传输需求，支持多种外部输入设备。视频转换芯片的中断引脚与海思Hi3559AV100芯片的GPIO引脚相连，外部输入分辨率发生变化时，会触发转换芯片中断。由于MIPI传输速率有最低限制，使用4条Lane传输低分辨率视频会存在不稳定的问题，因此需要对转换芯片固件和海思Hi3559AV100芯片固件程序做出了调整。当像素时钟小于80M时只使用Lane0单条Lane；像素时钟大于等于80M小于150M时使用Lane0和Lane1两条Lane；大于等于150M时使用4条Lane或8条Lane。在外部HDMI输入视频分辨率不断变化的情况下，图形处理单元能够快速检测到分辨率变化并进行输入输出自适应调整，整个过程全部自主完成无需外部配置，且视频信号输出稳定。
使用底层驱动程序和硬件实现视频动态分辨率自适应包括以下步骤：
步骤1、底层驱动捕获到GPIO中断后上报ARM处理器固件程序；
步骤2、在中断时间内，ARM处理器固件程序通过I2C接口读取视频输出信息；
步骤3、根据读取到的行有效信号、场有效信号和像素时钟信号计算出输入视频图像的分辨率和帧率；
步骤4、根据视频图像参数对输入通道进行配置。
通过上述一种基于嵌入式平台的综合显示系统图形处理方法进行仿真测试，得到测试结果为：本发明设计的图形处理单元通过HDMI输入接口采集4K原始视频，进行H.264编码后将码流封装为RTSP协议推送到网络上。使用VLC播放器接收网络视频流，能够获取到正确的视频流编码算法、分辨率信息，同时测得编解码系统延时不大于100ms。同时接收3路4K网络视频流并进行解码，解码后的视频通过融合算法处理并叠加在背景视频上显示。图像处理引擎对采集到的图像进行预处理、格式转换、画质增强和融合叠加运算；硬件编解码核对原始图像进行编码和推送，以降低视频数据的网络传输带宽，在3840ⅹ2160分辨率30Hz帧率下可实现低于10Mbps的传输码率。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
