工业大数据信息系统架构

发布时间:2018-12-5信息来源:热度:

1.工业大数据信息系统架构概述

       当各个信息系统都独立运行时,这些业务系统间没有任何形式的直接交互,这些系统中的数据也无法互相访问,于是形成了“信息孤岛”。因此统一架构是至关重要的,只有构建统一的信息系统架构(Information System Architecture)才能实现各应用系统及数据的用户访问和互操作。

基于工业大数据业务战略的信息系统架构是一个体系结构,它反映制造企业的信息系统的各个组成部分之间的关系,以及信息系统与相关业务、信息系统与相关技术之间的关系。信息系统架构包括应用架构和数据架构,其中应用架构描述了支持企业运作所需应用系统的蓝图,包含应用层次、功能、实现方式和建设标准等,它主要研究应用系统间的交互关系、应用与核心业务的对应关系,是业务架构和技术架构之间的桥梁;而其中的数据架构则是对复杂组织体的主要数据类型及来源、逻辑数据资产、物理数据资产以及数据管理资源的结构及交互的描述。

2.工业大数据应用架构

       应用架构(Application Architecture)的主要目标是为企业业务发展和业务战略的实现提供有力的架构支持和保障;提供对业务架构的应用支持;描述应用系统的实现方式;描述应用系统间的交互方式以及应用系统与业务的对应关系。

2.1工业大数据应用架构规划原则

       应用架构的规划原则主要包括业务前瞻性、应用企业化、系统平台化、系统整合化和适度松耦合。

1) 业务前瞻性

能够适应企业未来业务发展的要求,保证应用架构对于企业战略和业务架构

的支持能力,应用架构需要具备前瞻性,并保证灵活性和可扩展性。应用架构在覆盖现有业务的基础上,能够满足未来业务发展的可扩展性,并考虑现有的资源配置,保证架构的落地。

2) 应用企业化

通过应用架构的设计,解决多功能、多系统或边界不清晰的问题,推动企业

进行集中的应用建设。并全面考虑业务需求,增强对外服务相关的组件设计,提升对外服务能力。

3) 系统平台化

将相似的业务逻辑抽象出来,形成公共的服务组件,采用平台化策略,形成

基础组件平台,并且针对业务功能的差异进行个性化的配置和开发,从而实现系统的灵活性和扩展性,从而支持快速开发。

4) 系统整合化

将相同的业务组件抽象出来,统一建设,在此基础上考虑差异化需求,实现

公共组件和技术组件的整合。

5) 适度松耦合

减少组件间的相互依赖,提高系统的隔离能力,同时参考最佳实践合理划分

应用架构的各个层次,提高组件的内聚性。

2.2工业大数据应用架构模型

       为支持智能化生产、网络协同、个性化定制、远程服务等基于工业大数据业

务战略的创新模式,需要通过一系列的应用系统来构建应用架构,从而使应用架构成为业务架构与技术架构的桥梁。

       工业大数据应用架构应遵守上述原则进行规划,它包含两部分内容:一是对应于工业大数据架构中的企业纵向层的三个层次(即CPS系统层、企业管理信息系统层、互联平台系统层)的各应用系统;一是基于大数据技术的应用系统。如下图所示:

1)  对应企业纵向层的应用系统

(1)    CPS层

CPS作为一套综合技术体系,构建了一个能够联通物理空间与信息空间,驱

动数据在其中自动流动,实现对资源优化配置的智能系统。与CPS相关的系统在运行过程中,通过数据自动流动对物理空间中的物理实体逐渐“赋能”。其主要涉及集散控制系统(DCS)、可编程逻辑控制系统(PLC)、现场控制系统(FCS)等。

(2)    管理信息系统层

管理信息系统根据企业不同职能具体又可以划分为生产相关系统、管理相关

系统和决策相关系统三个层次。

       生产相关系统涉及企业产品设计研发、生产、销售、客户服务全生命周期的信息化系统,主要包括产品设计仿真(CAD/CAM/CAPP)、生产执行系统(MES)、企业资源计划系统(ERP)、供应链管理系统(SCM)、客户关系管理系统(CRM)、产品生命周期管理(PLM)等。这些信息系统是企业智能制造的核心,形成了企业内部价值链,定位了产品全生命周期的各信息管理环节,是企业竞争优势体现的关键。

       管理相关系统是企业制度管理系统、财务管理系统等的总和,是对企业内部管理的信息系统,包括办公OA系统、人力资源管理系统、财务管理系统等。通过系统去管人、财;利用系统协调和交互活动,来提高人员的工作效率、管控财务风险等。

       决策相关系统是通过调用数据、模型和知识等进行决策的高级信息管理系统,为决策者提供分析问题、建立模型、模拟决策过程、方案环境、战略层次等服务,帮助决策者提高决策水平和质量,如企业战略管理系统(SEM)、决策支持系统(DDS)、商务智能(BI)等。 

(3)    互联网+层

以互联网平台为依托,通过用户定制、网络协同、远程服务等系统的实施,

实现互联网+应用,以支持基于工业大数据业务战略的创新模式。

2)  基于大数据技术的系统功能

(1)数据采集

制造企业每天每时每刻都在源源不断地产生数据,既有如设备状态数据、传感器数据、操作记录数据、维护记录数据、质量反馈数据、文档类数据、日志类数据等;也有如ERP、MPS、MES、CRM、SCM等系统中的数据。有些采集到的数据可能会有很多噪音,还有很多没用的数据以及非稳态信号,这些都需要通过数据采集系统进行清洗及预处理。

(2)数据存储

不同的数据源,有不同的存储要求。对完全结构化数据源,数据更适合存在

关系型数据库中。对半结构化数据,数据可存储在No SQL数据库中。因此大数据存储系统能够适应对各种结构化、半结构化、非结构化数据进行高效管理的需求。

(3)数据处理

       数据处理应包括各种数据计算、建模等工具,用这些工具对存储系统中的数据进行加工处理,是进行进一步数据分析的基础。

(4)数据分析

通过数据处理系统中的工具产生大数据的初步计算处理结果,将被送到分析

系统中。这些初步结果可被用于做进一步的数据分析和挖掘。由于数据挖掘任务不同,任务分析类型也不同,其中比较经典的有:关联分析、基于决策树或神经网络的分类分析、聚类分析、序列分析、预测模型分析等。

(5)应用展现

应用展现系统包括高级分析工具,如统计分析、可视化展示等,提供分析结

果展示,生成各种报表可供查询。

3.工业大数据数据架构

       数据架构(Data Architecture)定义了信息架构中所涉及的实体对象的数据表示、数据存储、数据分析的方式及过程,以及数据交换机制、数据接口等内容,是数据存储、访问、整合和分析的基础,它既包含了数据的静态架构,如数据模型、数据、DBMS 及其相关软件、硬件和网络基础设施等;又包含了数据的动态架构,如数据整理、清洗、转换和传输,数据集成,信息访问服务等。

3.1工业大数据数据架构规划原则和过程

       数据架构规划时应当在深入分析数据架构现状的基础上,结合企业需求,借鉴行业先进实践,根据企业的实际情况裁剪数据架构内容模型、配置数据治理机制,进行目标数据架构的规划。规划原则包括:

       灵活性原则:数据架构要充分考虑灵活性,满足企业内不同的业务需求,并适应业务的变更;

高效性原则:保证数据校验、加载、迁移、加工的高效性,支持数据服务的快速生成;

可扩展性原则:数据架构需要考虑未来的可扩展性,减少需求变更对数据架构的冲击。

数据架构规划过程的本质是设计过程,设计存在根据具体场景进行调整、适应和妥协的情况;在数据架构规划过程中进行适应、妥协时,需要依据数据架构原则决策。

在进行目标数据架构规划之前,深入进行现状分析是非常重要的,通过现状分析可以摸清企业数据架构和数据资源“家底”,发现存在的问题,并籍此明确未来的改进方向。

目标数据架构是企业未来的数据架构蓝图,是企业信息化改造的方向;目标数据架构将帮助企业获得更优质的数据资源,并从数据资源中挖掘更大的商业价值。目标数据架构规划的要点在于:

1)遵照企业业务战略,统一进行数据架构规划,建立企业范围内共同遵守、执行的标准和规范;

2)结合数据架构内容模型,以及现有数据架构存在的问题,制定改进的方向,在目标数据架构规划中予以优化;

3)建立数据架构治理机制,落实监管,提升数据架构各个层次的管控及协作能力,使优化不断持续进行。

数据架构规划可以按照不同的数据分类、不同的数据架构目标分阶段、分步骤,循序渐进的展开。一般来说,可以把数据架构规划过程分为这样几个阶段:

1)数据资源规划阶段:配合业务架构过程,结合数据架构内容进行初步梳理,结合企业发展战略和未来需求,拟定数据架构优化设计,指导未来IT建设;

2)规范主数据管理阶段:在数据资源规划的成果基础上,聚焦于标准化企业主数据,统一规划、平滑过渡、分步实施,建立企业主数据标准,实现主数据的一致性、完整性、相关性和精确性。主数据管理可以增强IT结构的灵活性,构建覆盖整个企业范围内的数据管理基础和相应规范,并且更灵活地适应企业业务需求的扩展和变化;

3)数据集成或信息集成阶段:在企业主数据已经标准化的基础上,对企业信息系统不断的、持续的进行改造和优化,使信息系统从功能、粒度、响应速度等方面、更符合业务架构快速发展的要求;信息系统的物理模型进一步规范,符合企业级模型的要求;并通过数据集成和信息集成的规范、方法和工具,解决企业内的信息孤岛现象,使相关的多元信息有机融合并优化使用。集成的核心是以数据资源作为大系统,在规范的指导下,采取技术手段进行整合,实现资源共享;

4)大数据阶段:在数据资源整合的基础上,充分利用数据的核心资产价值,应用数据仓库、数据挖掘和分析、数据可视化分析、大数据等技术,发挥信息化对业务的引领作用,增强企业的竞争力和领导层的决策能力,为客户提供个性化服务。

       由于数据架构规划一般要伴随业务架构规划展开;并且是在企业信息化发展的特定阶段和合适的时机,才能释放巨大的效力。所以根据企业的实际情况,选择具体的阶段和步骤,有侧重点的开展工作,能够取得较好的效果。

3.2工业大数据数据架构模型

       理想的数据架构应该既能解决一般数据架构中存在的各种主要问题、满足企业现有业务的各种需求,又能准确反映企业未来的业务发展战略。

数据架构具有全局性、基础性特征,因此它对于统一企业核心业务概念、规范数据模型、在数据层面达成统一认知能够起到重要的作用,这将为充分利用和挖掘数据价值打好基础。数据架构能够指导企业进行数据存储、访问、整合和分析;其内容需要既包含数据的静态架构,如数据模型、数据、DBMS及其相关软件、硬件和网络基础设施等,又包含数据的动态架构,如数据整理、清洗、转换和传输,数据集成,信息访问服务等。因此数据架构的内容要包含数据定义、数据管理、数据使用、数据治理四个方面。数据架构内容模型如下图所示:

数据定义是数据架构中的基础内容,描述了业务对象及其关系、模型、特性、约束、分析规则等;数据管理描述了数据架构规划中对于数据管理、数据维护方面的内容;数据使用包含数据在企业范围内、外使用的情况,对于大多数应用系统来说,它们一方面是数据服务的提供者,一方面又是数据服务的使用者;数据治理包括为了规范数据标准、提高数据质量和保证数据安全而建立的标准、规范、流程、工具和评价考核体系等。

具体到工业大数据应用系统,其数据架构的目标是构建覆盖工业全流程、全环节和产品全生命周期的数据链;是组织视角下,工业大数据相关的基础设施、存储、计算、管理、应用等分层和组件化描述,为业务需求分析、系统功能设计、技术框架研发、服务模式创新及价值实现的过程提供指导。在工业大数据业务战略背景下,制造企业的数据将会呈现爆炸式增长态势。制造企业为了实现智能化生产、个性化定制、网络协同、远程服务等业务创新和业务转型,需要充分利用企业内外信息管理系统的业务运营数据、工业现场数据和互联网数据,以多源、异构数据的融合集成为基础,通过对这些数据的管理、使用,开发创新应用,实现业务优化和创新。

4.工业大数据信息系统架构的实现

       根据前述关于应用架构、数据架构及其相关的描述和分析,这里给出工业大数据信息系统架构模型,如下图所示,图中展现了工业大数据架构模型在实际应用当中涉及到的主要环节,包括数据源、数据收集与集成、数据处理与数据管理、典型应用场景四个层次。

       数据源包括:第一类来自企业生产经营相关的业务数据,主要是企业信息系统累计的大量产品生产研发数据、客户信息数据、生产数据、物流供应数据、企业管理数据及环境数据;第二类设备物联数据,指工业生产设备物联网运行模式下,传感器实时产生收集的涵盖设备运行参数、工况状态参数、运行环境参数等评估生产设备运行状态、产品运行状态的数据;第三类外部数据,指与工业生产活动相关的互联网上产业链相关企业外部互联网来源数据。

数据收集与集成层主要实现工业各环节数据的收集与集成,打通现有信息系统的数据连接,包括企业资源计划(ERP)、制造执行系统(MES)、供应链管理(SCM)、产品生命周期管理(PLM)、客户关系管理(CRM)等管理信息系统;过程控制系统等的CPS系统以及基于互联网+的相关系统等。

       数据处理和数据管理层是工业大数据信息系统的核心环节,其关键目标是实现工业大数据面向生产过程智能化、产品智能化、新业态新模式智能化、管理智能化以及服务智能化等领域的数据处理和数据管理。通过数据建模、数据处理、数据分析,实现数据结果和3D 工业场景的可视化,对数据质量、能力成熟度、数据资产管理、数据开放共享和交易等进行数据管理。

       应用场景层主要是基于数据处理和数据管理结果,生成可视化描述、控制、决策等不同应用,从而实现智能化设计、智能化生产、网络化协同制造、智能化服务和个性化定制等典型的智能制造模式,并将结果以规范化数据形式存储下来,最终构成从生产物联设备层级到控制系统层级、车间生产管理层级、企业经营层级、产业链上企业协同运营管理的持续优化闭环。