[發明專利]一種工業大數據處理系統及方法

有效

• 申請號: 201811334481.4
• 申請日: 2018-11-09
• 公開（公告）號: CN109669975B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 成都數之聯科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 成都帝鵬知識產權代理事務所(普通合伙) 51265
• 代理人: 黎照西

本發明公開一種工業大數據處理系統及方法，包括ETL服務集群、數據源和用戶端，所述用戶端和數據源分別連接至ETL服務集群；所述ETL服務集群包括管理服務器和分布式并列的多個執行服務器，每個執行服務器連接至相同或不同的數據源，所有執行服務器均連接至管理服務器。本發明采用分布式、高可用的方式部署工業數據處理的整個過程，以確保系統的健壯性、數據的安全性和一致性；能夠快速提升工業數據處理分析速度和精度，能夠實現大量數據查詢分析。

技術領域

本發明屬于工業數據處理技術領域，特別是涉及一種工業大數據處理系統及方法。

背景技術

數據是現代企業的重要資源，是企業運用科學管理、決策分析的基礎。目前，大多數企業花費大量的資金和時間來構建聯機事務處理系統，用來記錄事務處理的各種相關數據。據統計，數據量每2～3年就會成倍增長，這些數據蘊含著巨大的商業價值，而企業所利用的通常只占在總數據量的2％～4％，仍沒有最大化地利用已存在的數據資源。因此，企業如何通過各種技術手段把數據轉換為信息和知識，已經成為提高其核心競爭力的主要瓶頸。

由于工廠生產工業過程比較復雜，且入庫時間不能反映業務增量，無法進行業務分區轉換。面對海量和復雜的工業數據，常用的數據處理方統計分析速度慢，難以進行大量數據查詢分析。

發明內容

為了解決上述問題，本發明提出了一種工業大數據處理系統及方法，工業數據處理的整個過程采用分布式、高可用的方式進行部署，以確保系統的健壯性、數據的安全性和一致性；能夠快速提升工業數據處理分析速度和精度，能夠實現大量數據查詢分析。

為達到上述目的，本發明采用的技術方案是：一種工業大數據處理系統，包括ETL服務集群、數據源和用戶端，所述用戶端和數據源分別連接至ETL服務集群；所述ETL服務集群包括管理服務器和分布式并列的多個執行服務器，每個執行服務器連接至相同或不同的數據源，所有執行服務器均連接至管理服務器；

所述管理服務器包括后臺的控制節點和內嵌的Web服務器，提供ETL執行程序的狀態管理、分發管理和結果管理；

所述執行服務器是執行ETL程序的容器，接收管理服務器分發的任務，接收外部數據源執行ETL程序，反饋結果至管理服務器；反饋結果中包含該任務執行中的日志操作記錄以及性能監控，所述性能監控包括提供執行任務過程中的任務結果和執行日志。

進一步的是，所述管理服務器包括元數據庫、DAO模塊、業務數據庫和數據倉庫；所述管理服務器包括控制管理單元；所述元數據庫、業務數據庫和數據倉庫均連接至DAO模塊，所述DAO模塊通過控制管理單元連接至WEB操作界面；

所述元數據庫，連接數據源，記錄執行服務器執行任務的情況，作為抽取工作的核心，儲存數據抽取工作所需信息的全部數據；

所述DAO模塊，用于指定訪問的數據庫和數據表；

所述業務數據庫，連接數據源，獲取外部業務系統數據，儲存數據整合所需的全部數據；

所述數據倉庫，將獲取的數據源數據經過清洗和轉換后，按照主題載入到根據業務邏輯和數據關聯低度主題化構成的主題數據表中；

所述控制管理單元，通過WEB操作界面控制執行服務器執行ETL程序的狀態管理、分發管理和結果管理。

進一步的是，所述元數據庫數據包括生產履歷數據、不良檢測數據、特征值數據和測量數據。