一种数据监控集成系统
技术领域
本发明涉及软件管理系统技术领域，具体是一种数据监控集成系统。
背景技术
目前部分互联网业务中存在需要监控数据库中某些表、某个字短的修改变化情况，例如：监控商品库存、数据阀值等。传统的做法主要为轮询、程序中IF判断，对于数据变化过程记录手段单一，而且影响系统稳定，占用系统的资源，并且获取数据较慢，查询较慢。
发明内容
本发明的目的在于提供一种数据监控集成系统，以解决做法主要为轮询、程序中IF判断，对于数据变化过程记录手段单一，而且影响系统稳定，占用系统的资源，并且获取数据较慢，查询较慢的问题。
为实现上述目的，本发明提供如下技术方案：一种数据监控集成系统，包括集成开源组件,管理后台，监控组件，所述集成开源组件包括一级集成开源组件与二级集成开源组件；
所述一级集成开源组件，可作为从数据库，开启备份功能，然后获取接受二进制文件，并使用流读取，对文件进行分析，再获取数据的变化情况，将其数据注入到指定文件；
所述二级集成开源组件，指定读取用于所述一级集成开源组件输出的的文件，并且通过配置设置文件的名称；
文件的名称在索引下使用所述管理后台对于索引数据进行搜索，并使用内置的接口对于查询进行组合，同时对此接口进行封装，在封装过程中可封装成不同的业务接口；
所述监控组件，用于监控在对内置的接口内置的接口不同的业务接口，并同步对某表或者某字段进行监控。
作为本发明一种数据监控集成系统再进一步的方案：还包括推送数据模块，所述推送数据模块与所述监控组件相互关联，用于以短信或数据的方式推送达标的数据信息。
作为本发明一种数据监控集成系统再进一步的方案：所述一级集成开源组件包括多组数据流模块，并每组数据流模块单独对应数据流分析模块与储存模块；
多组数据流模块之间互不干扰，分别对接接收二进制文件，并将接收的二进制文件输送至相对应的数据流分析模块；
数据流分析模块，用于对数据流进行分析；
储存模块与数据流分析模块藕连，用于储存分析后的数据。
作为本发明一种数据监控集成系统再进一步的方案：所述数据流分析模块可用代码分析、批量分析、逐条分析中的任一一种。
作为本发明一种数据监控集成系统再进一步的方案：代码分析，通过数据流分析模块根据数据的代码来进行分析，每个数据文件都有对应格式的数据代码，通过代码分析可将不同代码的数据分类；
批量分析，基于代码分析之上，可将数据记性批量分析；
逐条分析，基于代码分析之上，将每一条数据进行代码形式分子。
作为本发明一种数据监控集成系统再进一步的方案：所述监控组件包括更改数据模块、数据预警模块；
所述更改数据模块，用于对监控出现问题的数据进行更改；
所述数据预警模块，可及时的发出预警信号。
作为本发明一种数据监控集成系统再进一步的方案：所述监控组件监控某表或者某字段分为多个独立运营的引擎，每个引擎可对数据进行多元化和可视化的实时监控。
与现有技术相比，本发明的有益效果是：
该种数据监控集成系统，该发明解决数据库数据监控过程，使用流式读取，可以减少资源占用和不稳定的情况，并且使用及时分析，可以快速获取数据和降低数据耦合度，集成成熟组件，完成数据快速查询，解决传统数据库大数据查询慢的问题。
附图说明
图1为实施例一种数据监控集成系统的流程示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行说明、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，
请参阅图1，本发明实施例中，一种数据监控集成系统，其特征在于，包括集成开源组件,管理后台，监控组件，集成开源组件包括一级集成开源组件与二级集成开源组件。
其中，一级集成开源组件用canal表示，二级集成开源组件用elasticsearch。
一级集成开源组件，可作为从数据库，开启备份功能，然后获取接受二进制文件，并使用流读取，对文件进行分析，再获取数据的变化情况，将其数据注入到指定文件。
流读取可用字节流、字符流进行读取，字节流为：FileInputStream，FileOutputStream，字符流为：FileReader,FileWriter(用法与字节流基本相同，不写)
其、指定要读的文件目录及名称File file＝new File("文件路径")；创建文件读入流对象：FileInputStream fis＝new FileInputStream(file)；定义结束标志,可用字节数组读取int i＝0；while((i＝fis.read())！＝-1){//i就是从文件中读取的字节，读完后返回-1。
在进行二进制文件二进制文件时，可用search。
二级集成开源组件，指定读取用于一级集成开源组件输出的的文件，并且通过配置设置文件的名称。
其中，一级集成开源组件输出的的文件设置的名称可为：search，并且文件可在elasticsearch索引下使用管理后台对于索引数据进行搜索。
文件的名称在索引下使用管理后台对于索引数据进行搜索，并使用内置的接口对于查询进行组合，同时对此接口进行封装，在封装过程中可封装成不同的业务接口。
监控组件，用于监控在对内置的接口内置的接口不同的业务接口，并同步对某表或者某字段进行监控。
还包括推送数据模块，推送数据模块与监控组件相互关联，用于以短信或数据的方式推送达标的数据信息。
在本实施例中，集成开源组件canal,将自己伪装为从数据库，开启备份功能，然后去获取接受二进制文件binlog，使用流读取，对文件进行分析，获取数据的变化情况，然后将其数据注入到指定文件。
集成开源组件elasticsearch，然后指定读取用于上面输出的的文件，并且通过配置好项目的名称，如search项目则在elasticsearch索引下使用管理后台对于索引数据进行搜索，使用内置的接口对于查询进行组合，同时对此接口进行封装，如查询user则会安装组件要求做好，提供给后台，在此过程中封装成不同的业务接口，可以达到对于某表或者某字段的监控，了解数据的更改次数和每次更改的变量，并增加阀值预警和关注，对于某个数据达到标准量后可以进行推送和短信告知，提醒对应人员处理。完成主要业务中人员操作轨迹和数据画像，精准到毫秒和每次操作，对外提供数据分析的基本数据。
解决数据库数据监控过程，使用流式读取，可以减少资源占用和不稳定的情况，并且使用及时分析，可以快速获取数据和降低数据耦合度，集成成熟组件，完成数据快速查询，解决传统数据库大数据查询慢的问题。
实施例2，
结合实施例1，并与实施例1不同之处在于：一级集成开源组件包括多组数据流模块，并每组数据流模块单独对应数据流分析模块与储存模块；
多组数据流模块之间互不干扰，分别对接接收二进制文件，并将接收的二进制文件输送至相对应的数据流分析模块；
数据流分析模块，用于对数据流进行分析；储存模块与数据流分析模块藕连，用于储存分析后的数据。
数据流分析模块可用代码分析、批量分析、逐条分析中的任一一种。
其中，数据流分析模块，采用FileSystem对象的open方法来打开读取的文件代码，在终端一个namenode，并保存有相应数据块的一个副本时，该节点就会从本地datanode读取数据，DistributedFileSystem类返回一个FSDataInputStream对象(一个支持文件定位的输入流)给客户端并读取数据分析。
代码分析，通过数据流分析模块根据数据的代码来进行分析，每个数据文件都有对应格式的数据代码，通过代码分析可将不同代码的数据分类；
批量分析，基于代码分析之上，可将数据记性批量分析；
逐条分析，基于代码分析之上，将每一条数据进行代码形式分子。
批量批量分析，终端多个namenode，并保存有相应数据块的多个副本时，该节点就会从本地datanode读取数据，DistributedFileSystem类返回一个FSDataInputStream对象(一个支持文件定位的输入流)给客户端并读取数据分析。
逐条分析，采用FileSystem对象的open方法来打开读取的文件代码，在终端一个namenode，并保存有相应数据块的一个副本时，该节点就会从本地datanode读取数据，DistributedFileSystem类返回一个FSDataInputStream对象(一个支持文件定位的输入流)给客户端并读取数据分析，在通过DistributedFileSystem返回一个FSDataInputStream对象了，在进行同上分析。
实施例3、结合实施例1与实施例2，并与实施例1不同之处在于：监控组件包括更改数据模块、数据预警模块；更改数据模块，用于对监控出现问题的数据进行更改；数据预警模块，可及时的发出预警信号。
监控组件监控某表或者某字段分为多个独立运营的引擎，每个引擎可对数据进行多元化和可视化的实时监控。
综上，该种数据监控集成系统，该发明解决数据库数据监控过程，使用流式读取，可以减少资源占用和不稳定的情况，并且使用及时分析，可以快速获取数据和降低数据耦合度，集成成熟组件，完成数据快速查询，解决传统数据库大数据查询慢的问题。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明专利。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
