一种航吊安全作业智能视觉监警系统

一种航吊安全作业智能视觉监警系统

　　技术领域

　　本发明属于安全生产管理领域，涉及智能监测设备，尤其是一种航吊安全作业智能视觉 监警系统。

　　背景技术

　　近年来，随着国家基建行业的高速发展，全国的基建行业成井喷式发展，但还有一个随 之而来的痛点至今为止，没有得到有效的解决。行吊的安全事故据统计，超过90％源自人员 的违规操作，包括三个方面：1、未经正式培训的人员擅自操作；2、危险区域未能及时清场 (因为行吊是运动的，它的危险区域也是动态的，平时安全的地方在运行时可能就会变成危 险区域)；3、现场人员的防护措施不到位，比如未带安全帽，大量事故都是撞到头部。安全 问题是基建行业的最大痛点。航吊安全作业智能视觉监警系统可以为新基建保驾护航。

　　经过检索，未发现与本发明申请内容相同的已公开专利技术。

　　发明内容

　　本发明的目的在于克服现有技术的不足之处，提供一种航吊安全作业智能视觉监警系统， 主要基于计算机视觉的姿态监测和基于加速度传感器的姿态监测，系统效率较高，速度快、 准确率高。

　　本发明解决其技术问题是采取以下技术方案实现的：

　　一种航吊安全作业智能视觉监警系统，其特征在于：包括图像采集模块、视频分析系统、 视频数据服务器以及视频显示模块，多个图像采集模块分别通过有线或无线网络连接服务器， 服务期内部署有多个视频分析系统、视频数据服务器，视频数据服务器连接视频显示模块；

　　图像采集模块包括摄像头或高拍仪、分配器、视频技术模块以及网络视频服务器，多个 摄像头或高拍仪分别连接分配器，分配器的输出端分别连接视频技术模块以及网络视频服务 器，视频技术模块以及网络视频服务器的信号输出线路连接服务器；摄像头或高拍仪用于获 取现场照片及视频，视频技术模块采用图像/视频增强模块对采集进来的图像/视频进行信号 去噪和增强，网络服务器用于图像及视频的网络传输，分配器用于多个采集模块与视频技术 模块以及网络服务器的信号分配传输。

　　而且，服务器内还安装有内部管理系统以及公共服务平台。

　　而且，视频分析系统包括目标检测模块、人脸识别模块以及关键点检测模块，具体为：

　　目标检测模块：用来识别和定位人体，为之后的进一步分析提供依据；

　　人脸识别模块:对视频中的行人人脸进行逐一提取、识别和比对，实现操作人员资质审 查；

　　关键点检测模块:用于对特征信息进行定位，为之后的识别提供位置信息。

　　而且，视频数据服务器包括视频检索模块、应用安全模块、分布式数据库以及分布式文 件系统，具体为：

　　视频检索模块：根据关键信息进行相关视频检索和回放。

　　应用安全模块：提供数据加密功能，确保数据的安全性；

　　分布式数据库：是多服务器架构的数据库基础，为分布式计算提供数据支撑；

　　分布式文件系统：是多服务器架构的文件系统基础，为分布式计算提供数据管理。

　　而且，系统的运行平台包括采集模块、运算中心、数据中心、演示中心以及Web服务器， 采集模块通信分别连接演示中心以及数据中心，演示中心以及数据中心分别通信连接运算中 心，运算中心、数据中心、演示中心均部署在服务器内；

　　服务器：部署自动监控与管理系统以及网络通信模块；

　　演示中心：包括用户界面、分屏显示模块、图像/视频增强模块；

　　数据中心：用于高清视频的采集存储和管理，包括视频检索模块、应用安全模块、分布 式数据库以及分布式文件系统；

　　运算中心：智能视频分析模块，包括目标检测模块、人脸识别模块、关键点检测模块。

　　一种航吊安全作业智能视觉监警系统的工作方法，其特征在于：在固定场景下的安全监 警步骤：

　　(1)通过图像采集模块获取的照片及视频提取前景特征；

　　(2)运算中心计算前景图像中物体的位置、方向、周长、宽高比、面积与所围面积的比、 离心率等几何特征，目标检测模块通过提取的几何特征参数形成特征向量反应人体姿态；

　　(3)根据算法要求，采用不同的姿态作为样本，提取其中的特征作为数据集，以此作为 数据源参考，关键点检测模块以及人脸识别模块对人员进行识别；

　　关键点检测模块实现对人体的行为识别功能，包括航吊区域闯入、工作人员跌到、工作 人员聚集、安全防护检测，达到行为识别功能；

　　人脸识别模块通过人脸深度学习，能够精准的实现人脸对比，实现航吊安全作业智能视 觉监警系统的资质审查功能，通过建立人脸库，能够识别黑名单和白名单，设定AOI监警区 域，实现危险区域闯入报警。

　　而且，所述算法步骤为：

　　(1)视频分析系统将一张彩色图像作为输入，然后产生关于对于图像中的每一个个体的 联系关键点的2D定位作为输出；

　　首先，一个前向网络同时用来预测身体部位定位的一个2D置信度图S的集合以及一个部 位密切关系的2D向量域L，其编码了各个部位之间的关联度，集合S＝(S1,S2,...,Sj)有J个 置信度图，每个部位一个，其中S∈Rw×h,j∈{1...J}，集合L＝{L1,L2,...,LC}有C个向量 域，每一个一个肢体，其中LC∈Rw×h×2,c∈{1...C}，每一张图片在定位Lc处编码一个2D 向量，最后，置信度字典和关联域通过贪婪推理进行解析从而输出图像中所有个体的2D关键 点；

　　对于多个个体姿势评估，属于同一个个体的身体部位被连接起来，不同方向用不同颜色 编码，在域中的每一个像素，一个2D向量编码了肢体的位置和方向；

　　(2)整体架构，将整张图片作为两个分支CNN的输入并且联合对于身体部位检测的预测 置信图以及部位关系的部位联合域，解析步骤执行一组双边匹配，以关联身体部位候选，最 后将它们组合成图像中全部个体的全身姿势，

　　构架同时预测检测置信度字典以及编码部位到部位联系的关联域，这个关联域网络被划 分为两个分支：顶部分支，预测了置信度字典；底部分支，预测关联域；每一个分支都是一 个重复预测架构，通过依次重复步骤来调整预测结果，在每个阶段中都加入监督。

　　而且，所述两个分支多步骤CNN的架构方法，第一个分支中的每一个阶段预测置信字典， 第二个分支的每一个阶段预测PAFs，在每个阶段之后，两个分支的预测结果加上图片特征将 传递给下一个阶段；

　　图像首先通过一个卷积网络分析，产生一个集合的特征字典F，这个字典被作为每一个 分支第一个阶段的输入，在第一个阶段中，这个网络产生了一个集合的检测置信度图S1＝ρ1(F)以及一个部位关联域集合L1＝φ1(F)，其中ρ1以及是在第一个阶段的CNNs推理，在每一个随后的阶段中，来自前一阶段的每一个分支的预测结合原始图像特征F，被结合起来使用来产生确认预测，

　　

　　

　　其中ρt以及φt是在步骤t中CNNs的推理。

　　为了引导网络迭代地在第一个分支中预测身体部位的置信度图以及在第二个分支中预测 PAFs，在每一个阶段的末尾加入了两个损失函数，每一个分支各有一个损失函数，在预测评 估和真实图和域之间使用一个L2Loss，这里，在空间上分配损失函数的比重以解决有些数据 集不能完全给所有个体打上标签的问题，特别地，在第t个阶段，在两个分支中的损失函数 为：

　　

　　

　　其中是真实的部位置信度图，是真实的部位联系向量域，W是一个二进制编码，当 在图像的位置p处缺少标注时，W(p)＝0。该编码用来避免惩罚在训练过程中的正确的积极预 测，每一个阶段的中间监督通过定期补充梯度的方式而被用来解决梯度消失问题，整体的目 标如下：

　　

　　对每一个身体部位检测联合的置信度衡量，给定一个集合的身体部位检测结果，怎样在 不知道个体数量的情况下去整合它们从而构成各个个体整个身体的姿势，需要一个对于每一 对身体部位检测联合的置信度衡量，也就是它们属于同一个个体，保存了肢体支持域的位置 信息，并且保存了方向信息，对于每一个肢体的部位联系是一个2D向量域，对于区域内的每 一个像素，其属于某一个特定肢体，一个2D向量编码了肢体中从一个部位到另一个部位的方 向，每一个类型的肢体都有对应的联系域来联系其关联的两个部位。

　　为了在训练过程中评估公式(5)中的fL，定义真实部位联合向量域，对于图片中 的点p有：

　　

　　其中，是肢体的单位向量，肢体上的点集合定义为那些线段 在距离阈值内的点，那些点p定义为：

　　

　　其中，肢体宽度σl是像素级上的距离，肢体长度并且vprep是正交 于v的向量，

　　真实部位联合域平均了图片中所有个体的联合域：

　　

　　其中nc(p)是所有k个个体中在点p不为0的向量的数量，

　　在测试时，通过计算对应PAF的沿着部位坐标的线段的线积分来测量候选部位检测之间 的联系，测量了预测PAF和通过联系检测的身体部位构成的候选肢体间的一致性，对于两个 候选部位位置和从预测部位联系域中取样，Lc沿着线段去衡量它们间联系的置信度：

　　

　　其中p(u)是在两个身体部位和间插入的位置：

　　

　　实际上，通过抽样和求和等间距的u的值来近似积分；

　　在检测置信图上运用非极大值抑制来获得对于候选部位位置的离散集合，对于每一个部 位，多个候选位置定义了一个可能肢体的大集合，使用在PAF上的线积分运算来给每一个候 选肢体打分，由公式(10)定义，找到最理想的解析存在的问题对应于一个K维度匹配问题，

　　形式上，我们获得了对于多个体的一个身体部位检测候选集合Dj，其中Nj是候选部位j的数量，并且是对于候选 身体部位j的第m-th个检测的坐标，这些候选的身体部位检测仍然需要同同一个体的其它 部位相联系，定义一个变量来表示两个候选检测和是否能够连接，同时 我们的目标是去找到最优的可能连接分配，

　　如果对于第c个肢体考虑一个单一部位对j1和j2，找到最佳的联系从而转换成最大化权 重二分图匹配问题，在这个图匹配问题中，图的结点是身体部位候选检测和而边是 在成对的候选检测中的所有可能的连接，此外，每一条边通过公式(10)分配权重，在二分 图中的一个匹配是一个没有两条边共享一个结点的边选择的子集，目标是去寻找一个匹配使 得对于所有选择的边有最大权重：

　　

　　

　　

　　其中Ec是从肢体类型c中进行匹配的总权重，Zc是肢体类型c中的子集Z，Emn是通过公式(10)定义的在身体部位和之间的联系，公式(13)和公式(14)规定了两条边 不能共享一个结点，从而没有两个属于同一种类型的肢体共享一个部位。

　　而且，寻找多个体整体身体姿势，加入了两个松弛去做优化，首先，我们选择一个最小 限度的边数量去获得一个个体姿势生成树概要而不是使用全图，其次，我们进一步分解匹配 问题为一个集合的二分图匹配子问题并且独立地在相邻树决定匹配问题，

　　加入这两个松弛之后，优化简单分解为：

　　

　　独立地使用公式(12)-(14)对于每一个肢体类别获得肢体联系候选，有了全部的候选 肢体连接，将共享同个候选检测部位的连接综合起来形成对于多个体的全身姿势检测。

　　本发明的优点和积极效果是：

　　1、智能性：依托智能的深度学习人工智能边缘计算，基于传统网络视频监控系统采用先 进、成熟的音视频编码技术和网络传输技术；视频编码采用先进的H.264标准，压缩比高、 图像质量好、容错能力强、网络适应性强。

　　2、稳定性：系统软件设计采用C/S架构，稳定性好，监控前端采用嵌入式设计，采用专用芯片，结构紧凑、功耗低、稳定性高，能够适应各种恶劣环境。

　　3、简单性：紧密结合用户不同业务的应用需求，系统操作流程明晰、高效，软件操作界 面简洁、友好，易于使用。

　　4、定制性：中科蓝海拥有一支多年从事智能视频技术研发、建设的专业技术人才队伍， 系统各个功能采用模块化设计，可按照实际需求“量身定制”，充分满足用户个性化需求。, 为团队提供最佳支持。

　　5、本系统具有6大功能，第一：操作员资质审查，人脸识别操作人员的资质。第二：跟随监警，这套系统装在行吊上，跟随行吊运动。第三：安全防护检测，检测人员在进入工作区时防护工作是否到位，比如是否佩戴安全帽，是否穿戴工作服等等；第四：工作人员跌倒检测、工作人员聚集、操作人员求救。第五：航吊区域闯入。第六：防范于未然。

　　6、本系统属于用于安全生产的新基建产品，如果能够每个行吊配一套，不但能有效帮助 生产单位提高安全生产管理效能，还能联网到当地的大数据局，赋能地方政府相关部门掌控 当地的航吊的安全运营大数据。

　　附图说明

　　图1为本发明系统结构示意图；

　　图2为本发明系统运行平台；

　　图3为两个分支多步骤CNN的架构示意图；

　　图4为置信图示意图；

　　图5为简单肢体动作示意图；

　　图6为匹配图(a)标上部位检测结果的原图(b)K分割图(c)三种构造(d)一个二分图集合。

　　具体实施方式

　　下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不 是限定性的，不能以此限定本发明的保护范围。

　　一种航吊安全作业智能视觉监警系统，包括图像采集模块、视频分析系统、视频数据服 务器以及视频显示，多个图像采集模块分别通过有线或无线网络连接服务器，服务期内部署 有多个视频分析系统、视频数据服务器，视频数据服务器连接视频显示模块；

　　服务器内还安装有内部管理系统以及公共服务平台；

　　图像采集模块包括摄像头或高拍仪、分配器、视频技术模块以及网络视频服务器，多个 摄像头或高拍仪分别连接分配器，分配器的输出端分别连接视频技术模块以及网络视频服务 器，视频技术模块以及网络视频服务器的信号输出线路连接服务器；摄像头或高拍仪用于获 取现场照片及视频，视频技术模块采用图像/视频增强模块对采集进来的图像/视频进行信号 去噪和增强，网络服务器用于图像及视频的网络传输，分配器用于多个采集模块与视频技术 模块以及网络服务器的信号分配传输。

　　视频分析系统包括目标检测模块、人脸识别模块以及关键点检测模块，具体为：

　　目标检测模块：用来识别和定位人体，为之后的进一步分析提供依据；

　　人脸识别模块:对视频中的行人人脸进行逐一提取、识别和比对，实现操作人员资质审 查；

　　关键点检测模块:用于对特征信息进行定位，为之后的识别提供位置信息。

　　视频数据服务器包括视频检索模块、应用安全模块、分布式数据库以及分布式文件系统， 具体为：

　　视频检索模块：根据关键信息进行相关视频检索和回放。

　　应用安全模块：提供数据加密功能，确保数据的安全性；

　　分布式数据库：是多服务器架构的数据库基础，为分布式计算提供数据支撑；

　　分布式文件系统：是多服务器架构的文件系统基础，为分布式计算提供数据管理。

　　本系统包括以下几大功能：

　　第一：资质审查。人脸识别操作人员的资质。

　　第二：跟随监警。这套系统装在行吊上，跟随航吊运动，当发现危险区域有人就自动进 行语音警报，避免人工现场监督不到位的情况，这在航吊运动过程中很容易发生。

　　第三：穿戴检查。检测人员在进入工作区时防护工作是否到位，比如是否佩戴安全帽， 是否穿戴工作服等等；

　　第四：工作人员跌倒检测、工作人员聚集、操作人员求救；

　　第五：航吊区域闯入；

　　第六：防范于未然，一次真正的事故之前可能已经出现了一百次违规操作却没被发现和 纠正，本系统能够在未发生事故的情况下，真正做到防范于未然。

　　本系统的工作方法，在固定场景下的安全监警步骤：

　　首先，通过图像采集模块获取的照片及视频提取前景特征；

　　然后，运算中心计算前景图像中物体的位置、方向、周长、宽高比、面积与所围面积的 比、离心率等几何特征，目标检测模块通过提取的几何特征参数形成特征向量反应人体姿态；

　　最后，根据算法要求，采用不同的姿态作为样本，提取其中的特征作为数据集，以此作 为数据源参考，从而达到对人员的行为识别，整个数据都依靠技算机的强大计算能力和数据 建模的合理性；

　　关键点检测模块可实现对人体的行为识别功能，主要功能有航吊操作人员审查、航吊区 域闯入、工作人员跌到、工作人员聚集、安全防护检测(即安全帽防护服)等，达到行为识 别功能。

　　人脸识别模块通过人脸深度学习，能够精准的实现人脸对比，实现航吊安全作业智能视 觉监警系统的资质审查功能，通过建立人脸库，可识别黑名单和白名单，还可以设定AOI监 警区域，灵活多变，可实现危险区域闯入报警，实现航吊操作人员审查功能。

　　本系统的算法是基于Realtime Multi-Person 2D Pose Estimation usingPartAffifinity Fields， 具体步骤为：

　　视频分析系统将一张彩色图像作为输入，然后产生关于对于图像中的每一个个体的联系 关键点的2D定位作为输出。首先，一个前向网络同时用来预测身体部位定位的一个2D置信 度图S的集合以及一个部位密切关系的2D向量域L，其编码了各个部位之间的关联度，集合 S＝(S1,S2,...,Sj)有J个置信度图，每个部位一个，其中S∈Rw×h,j∈{1...J}，集合 L＝{L1,L2,...,LC}有C个向量域，每一个一个肢体，其中LC∈Rw×h×2,c∈{1...C}，每一 张图片在定位Lc处编码一个2D向量，最后，置信度字典和关联域通过贪婪推理进行解析从 而输出图像中所有个体的2D关键点。

　　对于多个个体姿势评估，属于同一个个体的身体部位被连接起来，不同方向用不同颜色 编码，在域中的每一个像素，一个2D向量编码了肢体的位置和方向；

　　而后整体架构，将整张图片作为两个分支CNN的输入并且联合对于身体部位检测的预测 置信图以及部位关系的部位联合域，解析步骤执行一组双边匹配，以关联身体部位候选，最 后将它们组合成图像中全部个体的全身姿势。

　　整体构架完成，同时预测检测置信度字典以及编码部位到部位联系的关联域。这个网络 被划分为两个分支：顶部分支，用米黄色标注，预测了置信度字典，而底部分支，用蓝色标 注，预测关联域。每一个分支都是一个重复预测架构，跟随着Wei等人提出的方法，即通过 依次重复步骤来调整预测结果，t∈{1,...,T}，在每个阶段中都加入了监督；

　　参见图3所示，两个分支多步骤CNN的架构，第一个分支中的每一个阶段预测置信字典， 第二个分支的每一个阶段预测PAFs。在每个阶段之后，两个分支的预测结果加上图片特征将 传递给下一个阶段；

　　图像首先通过一个卷积网络分析(采用VGG-19的前面10层进行初始化以及微调)，产生 一个集合的特征字典F，这个字典被作为每一个分支第一个阶段的输入。在第一个阶段中， 这个网络产生了一个集合的检测置信度图S1＝ρ1(F)以及一个部位关联域集合L1＝φ1(F)，其 中ρ1以及是在第一个阶段的CNNs推理。在每一个随后的阶段中，来自前一阶段的每一个 分支的预测结合原始图像特征F，被结合起来使用来产生确认预测，

　　

　　

　　其中ρt以及φt是在步骤t中CNNs的推理。

　　图4展示了贯穿几个步骤的置信图以及关联域的进行设计。为了引导网络迭代地在第一 个分支中预测身体部位的置信度图以及在第二个分支中预测PAFs，我们在每一个阶段的末尾 加入了两个损失函数，每一个分支各有一个损失函数。我们在预测评估和真实图和域之间使 用一个L2Loss。这里，我们在空间上分配损失函数的比重以解决有些数据集不能完全给所有 个体打上标签的问题。特别地，在第t个阶段，在两个分支中的损失函数为：

　　

　　

　　其中是真实的部位置信度图，是真实的部位联系向量域，W是一个二进制编码，当 在图像的位置p处缺少标注时，W(p)＝0。该编码用来避免惩罚在训练过程中的正确的积极预 测。每一个阶段的中间监督通过定期补充梯度的方式而被用来解决梯度消失问题。整体的目 标如下：

　　

　　对每一个身体部位检测联合的置信度衡量。给定一个集合的身体部位检测结果，怎样在 不知道个体数量的情况下去整合它们从而构成各个个体整个身体的姿势。需要一个对于每一 对身体部位检测联合的置信度衡量，也就是它们属于同一个个体。一种可能的方案是通过检 测一个额外的在肢体上的每对部位的中点，并且检查其在候选部位检测之间的发生率。然而， 但个体拥挤到一块，这些中点有可能表达了错误的联系，这些错误联系会因为两个表达局限 性而增加：(1)它只对每一个肢体的位置编码，而不对方向编码；(2)它将一个肢体的支持 域缩小到一个简单的点。为了解决这些局限性，提出一种新颖的特征表达，保存了肢体支持 域的位置信息，并且保存了方向信息，对于每一个肢体的部位联系是一个2D向量域，对于区 域内的每一个像素，其属于某一个特定肢体，一个2D向量编码了肢体中从一个部位到另一个 部位的方向。每一个类型的肢体都有对应的联系域来联系其关联的两个部位。

　　如图5所示的简单肢体，让和表示个体k的肢体c的部位j1和j2的真是坐标，如果一个点p落在肢体上，则的值是一个从j1指向j2的单位向量；对于其它点，向量的值为0。

　　为了在训练过程中评估公式5中的fL，我们定义真实部位联合向量域，对于图片 中的点p有：

　　

　　其中，是肢体的单位向量。肢体上的点集合定义为那些线段 在距离阈值内的点，也即是说，那些点p可以定义为：

　　

　　其中，肢体宽度σl是像素级上的距离，肢体长度并且vprep是正交 于v的向量。

　　真实部位联合域平均了图片中所有个体的联合域：

　　

　　其中nc(p)是所有k个个体中在点p不为0的向量的数量(也即是，不同个体肢体重叠的 平均像素)。

　　在测试时，我们通过计算对应PAF的沿着部位坐标的线段的线积分来测量候选部位 检测之间的联系。也就是，我们测量了预测PAF和通过联系检测的身体部位构成的候选肢体 间的一致性。特别地，对于两个候选部位位置和我们从预测部位联系域中取样，Lc沿 着线段去衡量它们间联系的置信度：

　　

　　其中p(u)是在两个身体部位和间插入的位置：

　　

　　实际上，我们通过抽样和求和等间距的u的值来近似积分。

　　在检测置信图上运用非极大值抑制来获得对于候选部位位置的离散集合。对于每一个部 位，我们可能有多个候选位置，因为在图像中有多个个体或者错误定位(如图6b所示)。这 些候选部位定义了一个可能肢体的大集合。我们使用在PAF上的线积分运算来给每一个候选 肢体打分，由公式10定义。找到最理想的解析存在的问题对应于一个K维度匹配问题，这是 一个NP难问题(如图6c所示)。在这篇文章中，我们提出了一种贪婪松弛策略其始终可以产 生高质量的匹配。我们推测其原因是，成对的联系分数能够潜在地编码全局信息，因为PAF 网络有着大的接收域。

　　形式上，我们获得了对于多个体的一个身体部位检测候选集合Dj，其中Nj是候选部位j的数量，并且是对于候选 身体部位j的第m-th个检测的坐标。这些候选的身体部位检测仍然需要同同一个体的其它 部位相联系，换句话说，我们需要去找到成对的部位检测，它们事实上就是在同一个肢体上的。我们定义一个变量来表示两个候选检测和是否能够连接，同时我们 的目标是去找到最优的可能连接分配，

　　如果我们对于第c个肢体考虑一个单一部位对j1和j2(例如，颈部和右肩)，找到最佳的 联系从而转换成最大化权重二分图匹配问题。这种情形如图6b所示。在这个图匹配问题中， 图的结点是身体部位候选检测和而边是在成对的候选检测中的所有可能的连接。此 外，每一条边通过公式10分配权重——the part affinity aggregate。在二分图中的一个 匹配是一个没有两条边共享一个结点的边选择的子集。我们的目标是去寻找一个匹配使得对 于所有选择的边有最大权重：

　　

　　

　　

　　其中Ec是从肢体类型c中进行匹配的总权重，Zc是肢体类型c中的子集Z，Emn是通过公式10定义的在身体部位和之间的联系。公式13和公式14规定了两条边不能共享一个结点，即是说，没有两个属于同一种类型的肢体(例如左前臂)共享一个部位。我们能够使用匈牙利算法去获得最佳匹配。

　　就寻找多个体整体身体姿势来说，需要在K维度匹配问题中测定ZZ。这个问题是NP难 问题并且有许多松弛(relaxations)存在。在我们的工作中，我们加入了两个松弛去做优化， 特别是对于我们的维度。首先，我们选择一个最小限度的边数量去获得一个个体姿势生成树 概要而不是使用全图，如图6c所示。其次，我们进一步分解匹配问题为一个集合的二分图匹 配子问题并且独立地在相邻树决定匹配问题，如图6d所示。我们在3.1部分将展示详细的比 对结果，其证明了最小贪婪推理近似于全局处理而计算开销只有全局处理的一小部分。其原 因在于临近树结点的联系明确地通过PAFs建模，但是其内部，不相邻的树结点由CNN明确建 模。这个属性的出现是因为CNN是基于一个大接收域进行训练的，并且来源于不相邻树结点 的PAFs也会受已预测的PAF影响。

　　加入这两个松弛之后，优化可以简单分解为：

　　

　　我们因此可以独立地使用公式12-14对于每一个肢体类别获得肢体联系候选。有了全部 的候选肢体连接，我们就可以将共享同个候选检测部位的连接综合起来形成对于多个体的全 身姿势检测。我们在三个结构上的优化策略比在整个连接图上的优化快了几个数量级。

　　系统运行平台包括采集模块、运算中心、数据中心、演示中心以及Web服务器，采集模 块通信分别连接演示中心以及数据中心，演示中心以及数据中心分别通信连接运算中心，运 算中心、数据中心、演示中心均部署在服务器内；

　　服务器：部署自动监控与管理系统以及网络通信模块；

　　演示中心：包括用户界面、分屏显示模块、图像/视频增强模块；

　　数据中心：用于高清视频的采集存储和管理，包括视频检索模块、应用安全模块、分布 式数据库以及分布式文件系统；

　　运算中心：智能视频分析模块，包括目标检测模块、人脸识别模块、关键点检测模块。

　　系统工作参数

　　1)硬件环境：高性能GPU处理器的工业级服务器

　　2)软件环境：基于Ubuntu系统的B/S架构的软件系统

　　系统基本功能

　　1)行为识别功能：系统可实现对人体的行为识别功能，主要功能有航吊操作人员审查(即 人脸对比)、航吊区域闯入、工作人员跌到、工作人员聚集、安全防护检测(即安全帽防护服) 等。

　　2)检索和查询功能：系统可实现目标检索和相关查询功能，主要包括通过人脸照片进行 检索，视频帧进行检索等功能。

　　3)数据存储功能：系统可实现至少1个月原始数据的存储，人脸图像的存储、关键帧 的存储等功能。

　　4)界面操作和显示功能：系统界面美观合理，便于操作，且有展示软件，能够直观体现 出计算机人工智能算法视频分析的过程。

　　尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不 脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本 发明的范围不局限于实施例和附图所公开的内容。