一种基于数字孪生技术的智慧养老监测与预警系统
技术领域
本发明涉及智慧养老领域，特别是涉及一种基于数字孪生技术的社区养老监测与预警系统。
背景技术
截至2018年底，我国大陆总人口13.9亿人，比上年末增加530万人，其中60岁及以上老年人口共约2.49亿人，老年人口比重由2017年底的17.3％增至17.9％，预计到2050年将达到4.8亿人，占全球老年人口的四分之一。另外由于子女学习、工作、结婚等原因而离家，空巢家庭基本成为或已成为老人家庭的主要形式。专家预测，不久的将来我国老年人家庭的空巢率将达到90％左右，容易出现认知症障碍的老年人走失，独居老人出现跌倒、疾病突发的风险，及老年人集中活动场所的安全隐患。“空巢老人”随着年龄的增长，生理功能逐渐衰退，对他人帮助的依赖性越来越高，安全健康监测等成为刚性需求，对智慧社区的建设与管理也越来越高。
我国养老方式主要是居家与机构养老，立足社区的居家养老将是未来主要方向。目前老年人安全与健康相关的产品主要分为穿戴式与非接触式。穿戴式需要接触人体，存在性能风险与安全隐患，老人容易产生技术恐惧；频繁充电、佩戴的问题，会改变老人原有生活习惯；而非接触式属于被动监控，不改变老年人生活习惯，无需充电、操作、佩戴等，可远距离健康监测。但非接触式的传感器为了能够更全面获取用户数据，大多使用深度摄像头或彩色摄像头，缺点是采集了用户的肖像、身体等隐私数据，容易泄露用户隐私，影响此类产品的推广应用。
数字孪生是指在整个生命周期中，通过软件定义，在数字虚体空间中所构建的虚拟事物的数字模型，形成了与物理实体空间中的现实事物所对应的在形、态、行为和质地上都相像的虚实精确映射关系。数字孪生系统起源于智能制造领域，在建筑工程、智慧城市、航空设计等领域中发挥了积极作用；最近几年来，随着人工智能与传感器技术的发展，数字孪生在理论层面和应用层面都取得了快速发展，引起了国内外学者和企业的广泛关注。然而，经过检索相关专利和论文发现，在复杂多样的社区管理和智能养老领域，数字孪生系统很少有成功的落地实施案例，原因在于有的对养老真实需求把握不准，有的三维模型没有实时跟踪和反应老人物理模型状态，有的无法针对老人跌倒状态进行报警和预警，有的不支持局域网、远程和手持设备等平台和环境。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于数字孪生技术的社区养老监测与预警系统，针对社区和居家养老物理环境场所，对老年人的跌倒、久坐不动、久蹲、扶墙等动作和活动轨迹进行可视化展示，对老年人异常高危状态进行报警和预警，实现对养老场景虚实映射和深层次的信息物理融合，从而在保护老人个人隐私且不改变老人生活习惯的基础上提升社区和居家的精细化管理水平。
本发明提供一种基于数字孪生技术的智慧养老监测与预警系统，所述系统包括物理空间单元、数据采集与识别单元、数据分析单元、虚拟空间单元及风险预警单元，
所述物理空间单元包含多个分布式的物理场景，每个物理场景均由场景数据、人体行为数据及个体生理健康数据组成，所述物理场景的数据通过工控网络、局域网或无线网络传输到数据分析单元；
所述数据采集与识别单元包括数据监测模块、人脸识别模块及人体行为识别模块，
所述数据监测模块用于实时监测个体生理健康数据，
所述人脸识别模块用于识别人脸，确定用户身份信息，
所述人体行为识别模块用于获取人体行为数据，并识别出人体行为与状态，
所述数据分析单元用于对场景数据、人体行为数据及个体生理健康数据进行分析；
所述虚拟空间单元由三维可视化引擎在人物数字模型和场景数字模型的驱动下，利用数据分析单元产生的各种数据结果，对物理场景进行可视化展示，在云端实时展示场景内老年人的物理模型状态；
所述风险预警单元根据老年人的物理模型状态，利用深度学习算法，对老年人的风险状态进行判定或者预测，并向终端发送报警信息或者预警信息。
于本发明的一实施例中，所述场景数据为实际测得的老年人的活动场所的尺寸数据，所述人体行为数据由智能感应设备监控人体活动所采集到的数据，包括人体姿态数据和人体活动轨迹数据，所述个体生理健康数据包括来自于社区的健康档案、相关疾病和患病史及日常的健康监测数据。
于本发明的一实施例中，所述智能感应设备包括普通彩色摄像头、深度摄像头、激光摄像头、雷达、红外探测设备。
于本发明的一实施例中，所述物理场景的数据通过工控网络、局域网或无线网络传输到数据采集与识别单元，支持Zigbee、Bluetooth、LAN、WI-FI、NB-IoT、4G、5G多种传输协议。
于本发明的一实施例中，所述场景数字模型根据场景数据，由3D建模软件构建出数字环境模型，通过结合现有的数字组件，实现一个完整实时的可视化的沉浸式环境。
于本发明的一实施例中，所述人物数字模型包括人物关节模型和人物身份模型，所述人物关节模型根据深度学习算法识别出人体的18个关键节点，利用3D建模软件塑造虚拟人物关节模型，18个关键节点可根据人体活动范围任意活动，实现真实人体的关键节点与虚拟人物节点的精准映射；所述人物身份识别模块以人体的面部特征、衣着、姿态来识别人物的身份。
于本发明的一实施例中，所述风险预警单元适配于声光报警终端装置、电视墙、个人电脑、手持设备、微信小程序、短信等多种平台和环境。
于本发明的一实施例中，所述风险预警单元包括监测模块和预测模块，所述监测模块用于对老年人的实时行为进行监督，出现危险动作时向终端发送报警信息；预测模块对老年人的实时行为进行预测，针对老年人的风险状态发出预警信息。
如上所述，本发明具有以下有益效果：
1.本发明充分利用物理模型、传感器、历史数据、人工智能算法，集成多物理量、多尺度、多概率、实时的仿真过程，从而实现虚拟空间中各层线路、各传感器的有机整合，使得现实空间中的老年人行为状态信息都能够有效地反馈在虚拟数字空间中，完成完整的实时映射过程。
2.本发明采用分布式的拓扑结构，传感器分布在社区内老年人活动的关键场所，利用4G/5G或WIFI无线网络实时传输采集的数据，数据经过智能算法处理后，在云端实时展示社区内老年人的活动状态，出现风险实时报警与风险预警。
附图说明
图1显示为本发明公开的系统结构图。
图2显示为本发明公开的人体关节节点数据示意图。
图3显示为本发明公开的相似三角形法视觉定位示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种基于数字孪生技术的智慧养老监测与预警系统，所述系统包括物理空间单元、数据采集与识别单元、数据分析单元、虚拟空间单元及风险预警单元，
所述物理空间单元包含多个分布式的物理场景，每个物理场景均由场景数据、人体行为数据及个体生理健康数据组成，所述物理场景的数据通过工控网络、局域网或无线网络传输到数据分析单元；
所述数据采集与识别单元包括数据监测模块、人脸识别模块及人体行为识别模块，
所述数据监测模块用于实时监测个体生理健康数据，
所述人脸识别模块用于识别人脸，确定用户身份信息，
所述人体行为识别模块用于获取人体行为数据，并识别出人体行为与状态，
所述数据分析单元用于对场景数据、人体行为数据及个体生理健康数据进行分析，将物理场景中的数据转换为虚拟空间单元可识别和使用的数据，
所述虚拟空间单元由三维可视化引擎在人物数字模型和场景数字模型的驱动下，对数据分析单元产生的各种数据结果进行可视化展示，在云端实时展示场景内老年人的物理模型状态；
具体的，所述虚拟空间单元在实时获取物理数据的驱动下，对虚拟空间三维轻量化模型进行渲染，从而生成与物理空间中桌子、椅子、床等家具，以及老年人的实时位置、位姿、速度、状态信息相一致的虚拟养老环境模型。
所述风险预警单元根据老年人的物理模型状态，利用深度学习算法，对老年人的风险状态进行判定或者预测，并向终端发送报警信息或者预警信息；
具体的，通过分析虚拟养老环境模型中老年人的跌倒、久坐不动、久蹲等动作和其活动轨迹，对异常高危状态进行预警和报警。
本实施例中，所述虚拟空间单元是基于物理实体，构建一个数字替身，实现基于数据的社区内老年人安全与健康监测。
基于以上实施例，所述场景数据为实际测得的老年人的活动场所的尺寸数据，具体的，场所包括老年人的居所、社区为老服务综合体、养老机构等老年人集中活动的场所。
所述人体行为数据由智能感应设备监控人体活动所采集到的数据，包括人体姿态数据和人体活动轨迹数据，可利用终端执行的深度学习算法检测人体姿态，
具体的，根据人体姿态数据，利用人体部位数据库，至下而上得到关键节点位置后即可获得骨架，进而识别人体姿态；其中，每个关节点包括(x,y,score)三个信息，x和y即为图像中的坐标信息，取值范围为(0，image.size(图像尺寸))，而score则表示预测评分，归一化处理后取值范围(0，1)，越接近1值表示预测的越准确，其关节点的还原度就越高，同时姿态的还原度也就越高。将18个关键节点用特定的顺序连接后，形成一幅人体骨骼图，请参阅图2。本算法具有不因为画面中出现的人物数量多，而增加算法的耗时的优点。
具体验证过程：
通过5个不同场景的人体站立位置的测量，通过利用相似三角形法利用图像坐标计算的现实坐标点与实际场景中的物理坐标对比，5个场景的误差平均为4.8％。
在人体骨骼图的验证过程中，本文选择人体最基本的三种姿态，立、坐、卧，同时在桌椅遮挡0％，30％，50％的三种条件下，通过5个不同场景，10个不同测试人验证测试。所判断的准率由18个关键节点的坐标偏差平均求得(被遮挡的关键节点不纳入计算)，具体验证数据如表一所示，表一为人体骨骼图的验证结果：
表一
综上验证结果及养老社区实际运行情况，报警阈值可根据试运行过程中自学习算法智能调整，试运行期间，老年人行为与姿态风险漏报率0％，误报率4.3％，达到预期用途。
所述个体生理健康数据包括来自于社区的健康档案、相关疾病和患病史及日常的健康监测数据；
具体的，健康档案包括身高、体重、体脂等，日常的健康监测数据包括体温、血压、血糖、血氧等，患病史如三高疾病、脑卒中、认知症障碍等，通过在血压计、血糖仪、血氧仪等测量仪内嵌入传感器，获取日常的健康监测数据。
基于以上实施例，所述智能感应设备包括普通彩色摄像头、深度摄像头、激光摄像头、雷达、红外探测设备；
具体的，请参阅图3，摄像头采用相似三角形法进行视觉定位，使虚拟场景呈现出的老年人的活动行为与现实场景一致，通过已知量摄像机的安装高度，实地测量的图像坐标中心对应的世界坐标点与摄像机在x和y轴上的距离，镜头中心点的图像坐标，测量像素点的图像坐标，实际像素的长度，实际像素的宽度与摄像头焦距。
通过相似三角的边长公式：
AB/A’B’＝BC/B’C’＝AC/A’C’
其中ABC为摄像机的图像坐标的三点、A’B’C’为现实坐标的三点。
通过5个不同场景的人体站立位置的测量，通过利用相似三角形法计算图像坐标计算的现实坐标点与实际场景中的物理坐标对比，5个场景的误差平均为4.8％。
基于以上实施例，所述物理场景通过工控网络、局域网或无线网络传输到数据采集与识别单元，支持Zigbee、Bluetooth、LAN、WI-FI、NB-IoT、4G、5G多种传输协议。
基于以上实施例，所述场景数字模型根据场景数据，由3D建模软件构建出数字环境模型，通过结合现有的数字组件，实现一个完整实时的可视化的沉浸式环境，包含可复用的围墙、道路、家具、门、窗、路灯等数字组件。
基于以上实施例，所述人物数字模型包括人物关节模型和人物身份模型，所述人物关节模型根据深度学习算法识别出人体的18个关键节点，利用3D建模软件塑造虚拟人物关节模型，18个关键节点可根据人体活动范围任意活动，实现真实人体的关键节点与虚拟人物节点的精准映射；
所述人物身份识别模块以人体的面部特征、衣着、姿态来识别人物的身份，根据人物的行走速度、姿态、步幅、步频等，识别人物身份，重点识别老年人身份。
所述人物数字模型系统的优势是既按真实数据完成现实的虚拟映射，同时又规避了隐私的风险，相对传统摄像头监测，该数字孪生系统不上传视频数据，不存储用户的肖像、衣着等敏感数据，仅是通过人体姿态与行为的特征数据进行分析与识别。
基于以上实施例，所述风险预警单元适配于声光报警终端装置、电视墙、个人电脑、手持设备、微信小程序、短信等多种平台和环境；
基于以上实施例，所述风险预警单元包括监测模块和预测模块，所述监测模块用于对老年人的实时行为进行监督，出现危险动作时向终端发送报警信息；预测模块对老年人的实时行为进行预测，针对老年人的风险状态发出预警信息。
本实施例中，所述风险预警单元采用一种模板匹配的支持向量机(SVM)方法，分析和模拟老年人可预见的行为和姿态风险。
支持向量机(Support Vector Machine，简称SVM)，是一个二类分类模式，基本模式被定义为最大的线性分类特征空间的间隔，策略是使间隔尽量变大，转化为求解一个凸二次规划问题。
支持向量机方法的关键是分类器，监测模块中运用到风险判断分类器，风险判断分类器采用监督学习的方式，通过不同身高、体重、行走姿态，模拟老年人可预见的行为和姿态风险，将该行为数据标注为“特殊数据”，如：将老年人的跌倒、久蹲、扶墙等基本动作、出现异常情况的应激动作及人体关键节点，颈部、胯部、膝盖、肩肘关节等异常角度标记为“风险姿态”。同时采集患有特殊疾病的老年人的数据进行训练，如患有风湿关节疾病老人的上肢与下肢的活动数据，中风康复患者的行走数据，颈椎肩周疾病患者的活动数据等。
模型训练完成后，对采集到的人体行为数据进行风险分析和判断，首先，在采集人体18个关节数据时设定一个时间窗口，以5秒内数据为判断基准，5秒内图像数据平均为70帧左右，通过降噪处理，提取有效数据50帧左右，和分类器中的“特殊数据”进行比对，判断实时姿态数据是否被定义过，如果该姿态被定义过，则输出相应结果和准确率，如果准确率大于系统设置的预警阀值，则给终端发送报警信息，否则显示当前姿态未被定义；
具体的，预警阀值设定指的是：数字孪生系统中设置初始的预警阀值，比如设置真实环境中老人不同状态“立”“坐”“卧”等状态的预警阀值为95％，当实际算法识别的准确率大于95％，则系统自动启动后续的报警和预警流程，否则不启动。
预测模块中运用到风险预测分类器，风险预测分类器与风险判断分类器的训练方法类似，根据老年人风险出现前的一些特征进行训练，实现风险预测分类器，通过特征值比对，实现老年人风险状态的预警，此处不再赘述。
综上所述，本发明在复杂多样的社区居家管理和智能养老领域，对老年人实时跟踪并建立反应老年人物理模型状态，在不泄露隐私的状态下，实现对老年人的行为追踪和意外预防。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
