一种应用于离散制造业生产过程的数据采集和编目方法、系统、终端设备及存储介质
技术领域
本发明涉及数据采集及处理领域，尤其涉及一种应用于离散制造业生产过程的数据采集和编目方法、系统、终端设备及存储介质。
背景技术
零件喷漆过程作为离散制造业生产过程中重要的加工手段，有着防腐、装饰的作用。热表厂每年零件喷漆超过170万件，因加工手段老旧自动化程度低，导致质量波动、人工职业健康、特种工艺质量记录繁琐数据失真、过程数据深度挖掘与利用不足等问题突显。迫切需要通过自动化、信息化改造，采用机器取代人工进行物流输送与喷涂，实现喷涂过程的节拍化生产，生产数据的实时采集与反馈，喷涂单元内的无人化生产。解决质量波动、职业健康、数据利用等问题。
发明内容
本发明的目的在于，针对上述问题，提出一种应用于离散制造业生产过程的数据采集和编目方法。
本发明的第一方面，提供一种应用于离散制造业生产过程的数据采集和编目方法，所述数据采集和编目方法包括如下步骤：
数据采集接入，利用多种数据采集方法对生产过程的各类制造设备进行数据采集，通过屏蔽不同底层技术细节的总线通道将采集的数据统一封装；
数据分类并处理，将采集的数据分类为结构化数据、半结构化数据和非结构化数据，并分别进行数据处理；
数据清洗过滤，对分类后的数据进行数据清洗、数据转换、数据去重和数据编目；
数据信息录入，将清洗过滤后的接入数据的数据相关内容信息进行录入及补齐；
构建数据模型，将接入数据以及该数据的相关内容信息构建为符合离散制造业生产统一标准的数据模型；
数据按需存储，根据离散制造业的业务逻辑需要对数据进行分布存储。
进一步的，一种应用于离散制造业生产过程的数据采集和编目方法，数据采集接入步骤中，所述的对生产过程的各类制造设备进行数据采集，包括对如下不同设备以及该设备对应的采集手段的数据采集执行过程：
HMI生产设备：通过在生产设备的主控器和HMI之间并一根电缆线，利用监控主控器和HMI的数据流获取生产数据；
接口化的生产设备：通过生产设备通信接口获取生产数据；
含条码的生产设备和产品：利用条形码扫描设备输入相关生产数据；
可移动/调用的产品以及恶劣环境下的设备：采用RFID技术，通过RFID阅读器及传输线采集对应产品或设备的生产数据。
进一步的，一种应用于离散制造业生产过程的数据采集和编目方法，数据采集接入步骤中，所述的将采集的数据统一封装，通过整合SOAP信息交换协议、WSDL描述语言、REST架构、JMS消息服务以及RMI远程方法调用技术的总线通道，来实现屏蔽不同技术的底层技术细节，封装成统一接口，实现采集数据的统一封装。
进一步的，一种应用于离散制造业生产过程的数据采集和编目方法，所述的结构化数据的数据处理过程为：将数据从SqlServer、MySQL数据库采集到Oracle数据库，其中，数据库的信息配置在系统数据库中，执行采集任务时，通过实体方式拿到数据库中保存的数据采集配置信息，然后通过模板替换技术生成ETL工具的可执行文件，通过ETL工具引擎执行完成采集任务，将数据存放到Oracle等分布式关系型数据库中。
进一步的，一种应用于离散制造业生产过程的数据采集和编目方法，所述的半结构化数据的数据处理过程为：通过其自描述解析得到相应的可存储到二维表的数据，其中，所述的非结构化数据包括常见的文本、图片、文档、报表、图像和音频/视频，即没有特定格式的文件。
进一步的，一种应用于离散制造业生产过程的数据采集和编目方法，所述的非结构化数据的数据处理过程为：利用FTP文件采集方法获取文件的FTP路径、目录、FTP账号密码；其中，FTP文件采集方法还包括采集规则的配置过程具体包括：是否增量、是否包含子目录、文件名过滤和子目录名过滤。
进一步的，一种应用于离散制造业生产过程的数据采集和编目方法，所述的数据清洗过滤步骤中，通过数据清洗、数据转换、数据去重和数据编目的方式，将接入数据中包含的残缺数据、错误数据、重复数据在内的脏数据、废数据进行过滤；其中，数据编目是比对制造业信息资源元数据标准提取信息资源相关特征信息，来进行资源编目、资源注册、资源发布、资源查询、资源维护的步骤执行。
进一步的，一种应用于离散制造业生产过程的数据采集和编目方法，所述的数据编目中进行的步骤执行包括：
资源编目：根据制造业信息资源元数据标准提取信息资源相关特征信息，形成制造业信息资源元数据库；政务部门向目录中心申请制造业信息资源标识符前段码，制定后段编码方案，并对本部门的制造业信息资源标识码自动或人工赋码；对制造业信息资源元数据中的分类信息进行赋值；
资源注册：在目录中心注册制造业信息资源核心元数据，提供目录中心地址注册功能；下级目录中心到上级目录中心登记目录中心的名称和统一资源定位符（URL），并进行更新和维护。
资源发布：发布目录内容，即制造业信息资源核心元数据；发布目录中心地址信息，包括目录中心的名称和统一资源定位符（URL）；
资源查询：为应用系统提供标准的调用接口，支持制造业信息资源核心元数据的查询；供人机交互方式的目录内容的查询功能，包括：提供制造业信息资源核心元数据的查询检索功能；提供多种查询功能；提供人机交互方式的目录中心地址信息查询功能；
资源维护：用于目录中心维护目录内容和目录中心地址信息库，目录内容库的建立、更新、备份与恢复、入库与出库；目录中心地址信息库的建立、更新、备份与恢复、入库与出库。
进一步的，一种应用于离散制造业生产过程的数据采集和编目方法，所述的数据相关内容信息包括接入数据的数据定义、数据结构、数据标识、数据编码、数据编目、负责人、来源、转换关系、目标、质量等级、依赖关系、安全权限。
进一步的，一种应用于离散制造业生产过程的数据采集和编目方法，所述的符合离散制造业生产统一标准的数据模型包括：生产任务数据模型、生产工艺数据模型、在制品数据模型、制造资源数据模型，制造资源数据模型又包括：人员数据模型、设备数据模型、工装工具数据模型、物料数据模型。
本发明的第二方面，提供一种应用于离散制造业生产过程的数据采集和编目系统，所述数据采集和编目系统包括：
数据采集接入模块，利用多种数据采集方法对生产过程的各类制造设备进行数据采集，通过屏蔽不同底层技术细节的总线通道将采集的数据统一封装；
数据分类及处理模块，将采集的数据分类为结构化数据、半结构化数据和非结构化数据，并分别进行数据处理；
数据清洗过滤模块，对分类后的数据进行数据清洗、数据转换、数据去重和数据编目；
数据信息录入，将清洗过滤后的接入数据的数据相关内容信息进行录入及补齐；
数据模型构建模块，将接入数据以及该数据的相关内容信息构建为符合离散制造业生产统一标准的数据模型；
数据存储模块，根据离散制造业的业务逻辑需要对数据进行分布存储。
本发明的第三方面，提供一种应用于离散制造业生产过程的数据采集和编目的终端设备，所述终端设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任一所述的应用于离散制造业生产过程的数据采集和编目的方法。
本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，该指令被处理器执行时实现如上述任一所述的应用于离散制造业生产过程的数据采集和编目的方法。
本发明旨在针对离散制造的生产过程完成在本行业的多来源多类型数据的采集、编目、管理、模型化和存储功能功能，达到了以下的效果：
1. 针对不同类型的生产设备及数据来源，屏蔽不同技术的底层技术细节，封装成统一数据接入接口；
2. 按照制造业信息资源元数据标准提取信息资源相关特征进行信息编目及管理；
3. 接入数据的数据定义、数据结构、数据标识、数据编码、数据编目、负责人、来源、转换关系、目标、质量等级、依赖关系、安全权限等相关内容进行管理，最终形成符合离散制造业生产特征的统一标准的数据模型；
4. 利用系统提供的Paas资源的弹性扩展和动态伸缩机制，实现对大数据的灵活存储。
附图说明
图1为应用于离散制造业生产过程的数据采集和编目方法的原理步骤流程图；
图2为实施例中数据编目的具体原理步骤流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
如图1所示，在本实施例中，一种应用于离散制造业生产过程的数据采集和编目方法，包含以下步骤：
步骤1，数据接入，针对各类制造设备采取不同的数据采集方式。且通过总线通道整合了SOAP、WSDL、REST、JMS、RMI等技术，屏蔽不同技术的底层技术细节，封装成统一接口。
对于有HMI的生产设备，在生产设备的主控器和HMI之间并一根电缆线，通过监控主控器和HMI的数据流获取生产数据；对于带通信接口的生产设备，通过生产设备通信接口获取生产数据；对于含条码（一维或二维）的生产设备或产品数据，可以利用条形码扫描枪输入相关信息；对于移动的物体（如仓库）或条件恶劣的环境（如电镀线）可以采用RFID技术。获取数据后，通过总线通道整合了SOAP、WSDL、REST、JMS、RMI等技术，屏蔽不同技术的底层技术细节，封装成统一接口。
步骤2，数据处理，主要包括结构化数据处理、半结构化数据处理、非结构化数据处理三部分。
数据处理主要包括结构化数据处理、半结构化数据处理、非结构化数据处理三部分。对于结构化的数据，支持将数据从SqlServer、MySQL数据库采集到Oracle数据库。数据库的信息配置在系统数据库中，执行采集任务时，通过实体方式拿到数据库中保存的数据采集配置信息，然后通过模板替换技术生成ETL工具的可执行文件，通过ETL工具引擎执行完成采集任务，将数据存放到Oracle等分布式关系型数据库中；半结构化数据外形上和非结构化数据类似，但是它存在用来分隔语义元素的自描述结构。它虽然不能直接用二维表形式存放，但是可以通过它的自描述来解析出相应的可存储到二维表的数据；非结构化数据一般是指常见的文本、图片、文档、报表、图像、音频/视频等这些没有特定格式，不方便用数据库二维逻辑表来存储的数据。非结构化数据采集提供ftp文件采集方式。ftp文件采集提供ftp路径、目录、ftp账号密码这些基本信息配置以及采集规则的配置。采集规则包括是否增量、是否包含子目录、文件名过滤、子目录名过滤等。
步骤3，数据清洗过滤，主要包括接入的数据通过清洗、转换、去重和编目。将接入数据中包含的残缺数据、错误数据、重复数据在内的脏数据、废数据进行过滤，之后再比对制造业信息资源元数据标准提取信息资源相关特征进行数据编目，如图2所示。
清洗过滤，主要包括接入的数据通过清洗、转换、去重和编目，将接入数据中包含的残缺数据、错误数据、重复数据在内的脏数据、废数据进行过滤；其中数据编目包括了资源编目、资源注册、资源发布、资源查询、资源维护等五个步骤：
1)资源编目：根据制造业信息资源元数据标准提取信息资源相关特征信息，形成制造业信息资源元数据库；政务部门向目录中心申请制造业信息资源标识符前段码，制定后段编码方案，并对本部门的制造业信息资源标识码自动或人工赋码；对制造业信息资源元数据中的分类信息进行赋值；
2)资源注册：在目录中心注册制造业信息资源核心元数据。提供目录中心地址注册功能；下级目录中心到上级目录中心登记目录中心的名称和统一资源定位符（URL），并进行更新和维护。
3)资源发布：发布目录内容，即制造业信息资源核心元数据；发布目录中心地址信息，包括目录中心的名称和统一资源定位符（URL）；
4)资源查询：为应用系统提供标准的调用接口，支持制造业信息资源核心元数据的查询；供人机交互方式的目录内容的查询功能，包括：提供制造业信息资源核心元数据的查询检索功能；提供多种查询功能；提供人机交互方式的目录中心地址信息查询功能；
5)资源维护：用于目录中心维护目录内容和目录中心地址信息库。目录内容库的建立、更新、备份与恢复、入库与出库；目录中心地址信息库的建立、更新、备份与恢复、入库与出库。
步骤4，数据管理，主要包括对接入数据的数据定义、数据结构、数据标识、数据编码、数据编目、负责人、来源、转换关系、目标、质量等级、依赖关系、安全权限等相关内容进行管理；
步骤5，形成符合离散制造业生产统一标准的数据模型，模型包括：生产任务数据模型、生产工艺数据模型、在制品数据模型、制造资源数据模型，制造资源数据模型又包括：人员数据模型、设备数据模型、工装工具数据模型、物料数据模型；
步骤6，数据按照业务逻辑需要进行存储。利用系统提供的Paas资源的弹性扩展和动态伸缩机制，实现对大数据的灵活存储，对于数据在采集中出现的错误，由于在采集主流程中已经保存到了数据库表。操作员首先查看错误数据的原因，例如字段长度超出限制、字段类型有误等。对错误进行修复后手动开始一个错误数据重新采集的流程。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
