一种基于智联网的分布式数据管理系统
技术领域
本发明涉及智联网技术领域，特别涉及一种基于智联网的分布式数据管理系统。
背景技术
为了保证系统的稳定性和数据安全性，大多公司采取分布式服务器的运作方式，其中，分布式资源共享服务器是指程序和数据可以不唯一一个服务器，而是分散到多个服务器分开存储，通过网络上分散分布的地理信息数据和受其影响的数据库作为研究对象的一种理论计算模型服务器形式。其中分布式有利于任务在整个计算机系统上进行分配与优化，克服了传统集中式系统会导致中心主机资源紧张与相应瓶颈的缺陷。
区块链本质上是一个共享数据库，存储于其中的数据或信息，具有“不可伪造”“全程留痕”“可以追溯”“公开透明”“集体维护”等特征，其本质上是一个去中心化的数据库，但是区块链需要存储较多的数据时，现有区块链中的分布式实现是在公网上利用部署星际文件系统(简称IPFS)进行实现，影响了个人访问的效率。
虽然中国专利申请(公开号为CN110868466A)公开了一种用于分布式存储网络的存储方法、系统及设备，能够有效解决当前去中心化分布式存储系统缺乏用户管理、内容管理和服务质量保证等问题，但是该技术方案并未解决提高用户访问效率的问题。
发明内容
为解决上述现有技术中影响个人访问效率的不足，本发明提供的一种基于智联网的分布式数据管理系统，提高了个人访问效率。
本发明提供的一种基于智联网的分布式数据管理系统，包括个人服务器和终端设备，所述个人服务器接收存储所述终端设备上传的第一数据及通过所述终端设备利用用户私钥从商用服务器获取的第二数据，并向所述终端设备返回数据CID；所述终端设备收到所述数据CID后调用用户公钥对其加密，向区块链节点发送包含加密CID的数据信息。
进一步地，若个人服务器的peer节点公网可访问时，生成可访问公网地址ip:port列表及节点ID，所述ip:port为个人服务器的peer节点ip:port；所述个人服务器接收存储所述第一数据或所述第二数据时，所述个人服务器的peer节点存储数据，并将所存储的数据备份至从路由表中随机选取的若干节点中。
进一步地，若个人服务器的peer节点公网不可访问时，通过连接中继节点并生成可访问公网地址ip:port列表及节点ID，所述ip:port为中继节点ip:port；所述中继节点包括可公网访问的个人服务器的peer节点和/或商用服务器的peer节点。
进一步地，当所述个人服务器接收存储所述第一数据或所述第二数据及向所述个人服务器获取数据，所述ip:port列表中某个ip:port请求无响应或响应错误时，切换至另一个ip:port。
进一步地，所述个人服务器的peer节点和所述商用服务器的peer节点均主动连接商用服务器的bootstrap节点加入分布式网络，用以公网可访问的所述个人服务器peer的节点和所述商用服务器的peer节点提供数据存储和/或数据获取。
进一步地，所述bootstrap节点为公网必可访问节点，所述bootstrap节点用于为peer节点提供autonat服务，peer节点通过libp2p协议与所述bootstrap节点相连接。
进一步地，所述数据管理系统还包括云服务器，所述云服务器用于备份经过授权的数据；所述云服务器包括大云存储服务器和若干小云存储服务器，所述大云存储服务器和所述小云存储服务器通过API接口互通。
进一步地，所述个人服务器接收存储所述第一数据和/或所述第二数据后，对所述第一数据和/或所述第二数据进行计算形成汇总数据，再向所述终端设备返回汇总数据CID。
进一步地，所述个人服务器接收存储终端设备利用用户私钥从若干商用服务器获取的第二数据后，所述商用服务器定期删除或清理所述第二数据。
进一步地，各所述个人服务器之间通过libp2p协议相连接，单个所述个人服务器计算汇总形成数据后，不同的所述个人服务器之间利用公钥和私钥订阅或发布数据进行备份。
与现有技术相比，本发明提供的一种基于智联网的分布式数据管理系统，将终端设备产生的数据和商用服务器的数据均存储至个人服务器，个人服务器向终端设备返回数据CID，终端设备调用用户公钥对数据CID进行加密并向区块链节点发送包含加密CID的数据信息，不仅改善了个人服务器网络不稳定的情况，还有效地利用个人服务器运用到分布式数据管理系统中，真正让服务器下沉到用户身边，从而提高用户的访问效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于智联网的分布式数据管理系统的架构示意图；
图2为本发明提供的个人服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
图1为本发明提供的基于智联网的分布式数据管理系统的架构示意图,如图1所示，本发明提供的一种基于智联网的分布式数据管理系统，包括个人服务器和终端设备，所述个人服务器接收存储所述终端设备上传的第一数据及通过所述终端设备利用用户私钥从若干商用服务器获取的第二数据，并向所述终端设备返回数据CID；所述终端设备收到所述数据CID后调用用户公钥对其加密，向区块链节点发送包含加密CID的数据信息。
具体实施时，个人服务器可以是智能音响、智能机器人、智能电视或电脑PC服务器等与相对距离较近的智能家居家电设备，终端设备可以是智能音响、手机、平板或笔记本电脑等移动终端；
如图1、图2所示，个人服务器接收并存储终端设备上传的第一数据以及通过终端设备利用用户私钥从商用服务器获取的第二数据，个人服务器将第一数据和第二数据整合汇总计算形成汇总数据并向终端设备返回汇总数据CID，较佳地，汇总数据可以是第一数据和/或第二数据；终端设备收到汇总数据CID后调用用户公钥对汇总数据CID进行加密，并向区块链节点发送包含加密CID的数据信息，较佳地，本实施例中对汇总数据CID加密的算法采用国密算法；用户在访问获取数据时，从物理距离贴近用户的个人服务器访问获取数据相较于从商用服务器访问获取数据，提高了用户个人访问的效率。
较佳地，第一数据可以是终端设备本身产生的数据，例如，手机、平板的APP或小程序产生的数据，第一数据包括但不限于个人生活习惯数据及健康数据等；第二数据可以是已存储于商用服务器并打包发送至区块链的数据，商用服务器可以包括多个，例如，第二数据可以是用户在医院、保险机构或政务部门产生的数据，包括但不限于此；
从商用服务器获取第二数据时，用户通过终端设备利用自身的私钥对已打包发送至区块链的第二数据进行解密，获取第二数据并存储至个人服务器中；个人服务器对第一数据和第二数据整理汇总或建立对应模型形成汇总数据，再向终端设备返回汇总数据CID，终端设备调用用户公钥对汇总数据CID进行加密，并向区块链节点发送包括加密CID的数据信息，以便所形成的数据进行分享时确认数据安全隐私，在访问获取数据时还能提高个人访问效率。
由于第一数据和第二数据在没有形成汇总数据之前是独立存在且碎片化的，存在数据孤岛，个人服务器在对第一数据和第二数据进行汇总以后形成汇总数据，用户可以对汇总数据进行参考，或对汇总数据进行整合和加工，或对汇总数据进行不同等级的划分并设置权限，以便在其他商业机构需求数据时，进行不同等级的授权；汇总数据可以在包括但不限于生活或工作等方面为用户提供数据支持；
例如，以个人健康数据为例，用户通过终端设备对自己的饮食数据和睡眠数据进行录入，即通过终端设备上传第一数据，同时结合用户在医院的体检和就医情况，即从商用服务器获取第二数据，接着，个人服务器对饮食数据、睡眠数据及体检和就医的数据进行汇总，以便全面完善地得出个人健康报告，为用户以后的健康生活提供依据，即个人服务器对第一数据和第二数据进行整理计算形成汇总数据。优选地，如图1所示，个人服务器接收存储终端设备利用用户私钥从商用服务器获取的第二数据后，商用服务器周期性删除或清理所述第二数据，例如，在个人服务器接收第二数据后，有些属于个人数据本身的可以与商业服务器所在的商业机构进行约定协商，商用服务器每季度、每半年或每年删除清理已存储至个人服务器的第二数据；若存储于商用服务器的第二数据无法删除，例如政务部门的数据，无法删除的第二数据则需要用户私钥或经过授权才能获取。
优选地，如图1所示，数据管理系统还包括云服务器，云服务器包括大云存储服务器和若干小云存储服务器，大云存储服务器和小云存储服务器通过API接口互通；云服务器可以是公共存储服务器，用户选择性的将数据授权备份至云服务器，较佳地，授权备份的数据可以是非个人信息数据或非敏感数据，以便对数据存储增加保障。
如图1所示，商用服务器的节点包括bootstrap节点和peer节点，个人服务器的节点均为peer节点，bootstrap节点为公网必可访问节点，peer节点网络状况未知，bootstrap节点可以为peer节点提供autonat服务，peer节点通过autonat服务判断自身网络环境是否公网可访问；
bootstrap节点通过libp2p协议与peer节点相连接，个人服务器的peer节点和商用服务器的peer节点均主动连接bootstrap节点加入分布式网络中，用以公网可访问的个人服务器的peer节点和商用服务器的peer节点提供数据存储和/或数据获取。
具体地，分布式网络可以是星际文件系统(InterPlanetary File System，简称IPFS)或分布式文件系统(In-consensus File System，简称ICFS)，分布式网络运用在个人服务器、商用服务器或云服务器上，本实施例中分布式网络为ICFS，ICFS是基于IPFS改进优化后的分布式网络，改进优化主要在于将国密算法运用到IPFS上，ICFS不仅支持账户管理，安全性和可控性也相对较高；个人服务器的节点或商用服务器的节点之间互相连接，分布式网络中多个节点互相连接而成属于现有技术，在此不再赘述。
当个人服务器的peer节点公网可访问时可直接对外提供存储服务，并生成可访问公网地址ip:port列表及节点ID，此时，ip:port为个人服务器的peer节点ip:port，个人服务器接收存储第一数据或第二数据时，个人服务器的peer节点存储数据，并将所存储的数据备份至从路由表中随机选取的若干节点中。
当个人服务器的peer节点公网不可访问时，通过连接中继节点并生成可访问公网地址ip:port列表及节点ID，此时，ip:port为中继节点ip:port，具体地，中继节点包括可公网访问的个人服务器peer节点和/或商用服务器peer节点。优选地，当个人服务器接收存储数据或终端设备向个人服务器获取数据时，ip:port列表中某个ip:port请求无响应或响应错误时，切换至另一个ip:port，从而解决了个人服务器网络不稳定的问题，有效地利用个人服务器运用到分布式数据管理系统，真正让服务器下沉到用户身边，提高用户访问效率。
优选地，如图1、图2所示，个人服务器设有多个，各个人服务器之间通过libp2p协议相连接，单个个人服务器接收存储数据后，不同的个人服务器之间利用公钥和私钥订阅或发布数据进行备份。具体地，个人服务器之间可以共享存储数据，多个个人服务器之间进行约定是否进行相互备份存储数据，多个个人服务器可以是用户本身的个人服务器，也可以是和所信任的个人服务器之间进行共享，例如，用户与朋友之间的数据或个人服务器的存储空间进行共享，其中一个个人服务器的存储空间为1T，设定其中200GB的存储空间用于数据共享；这样使得多个个人服务器的节点越来越多，以便形成更加稳定的个人服务器网络系统。
本发明提供的一种基于智联网的分布式数据管理系统，在实际存储数据时，如图1、图2所示，终端设备的APP上产生的第一数据并上传至个人服务器，终端设备利用用户私钥从商用服务器获取的第二数据存储至个人服务器，个人服务器对第一数据和第二数据整合计算形成汇总数据并向终端设备返回汇总数据CID，终端设备收到汇总数据CID后调用用户公钥对其加密并向区块链节点发送包含加密CID的数据信息。
商用服务器的bootstrap节点为公网必可访问节点，个人服务器的节点均为peer节点，bootstrap节点可以为peer节点提供autonat服务，peer节点通过autonat服务判断自身网络环境是否公网可访问；
当个人服务器的节点公网可访问时，个人服务器的节点均为peer节点，个人服务器的peer节点存储数据，并将所存储的数据备份至从路由表中随机选取的若干节点中。
当个人服务器的peer节点公网不可访问时，通过连接中继节点并生成可访问公网地址ip:port列表及节点ID，此时，ip:port为中继节点ip:port，具体地，中继节点包括可公网访问的个人服务器peer节点和/或商用服务器peer节点。
当个人服务器接收存储数据或终端设备向个人服务器获取数据时，ip:port列表中某个ip:port请求无响应或响应错误时，切换至另一个ip:port，从而解决了个人服务器网络不稳定的问题，有效地利用个人服务器运用到分布式数据管理系统，真正让服务器下沉到用户身边，提高用户访问效率。
与现有技术相比，本发明提供的一种基于智联网的分布式数据管理系统，将终端设备产生的数据和商用服务器的数据均存储至个人服务器，个人服务器向终端设备返回数据CID，终端设备调用用户公钥对数据CID进行加密并向区块链节点发送包含加密CID的数据信息，不仅改善了个人服务器网络不稳定的情况，还有效地利用个人服务器运用到分布式数据管理系统中，真正让服务器下沉到用户身边，从而提高用户的访问效率。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
