[發明專利]一種工業大數據處理系統及方法

有效

• 申請號: 201811334481.4
• 申請日: 2018-11-09
• 公開（公告）號: CN109669975B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 成都數之聯科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 成都帝鵬知識產權代理事務所(普通合伙) 51265
• 代理人: 黎照西

1.一種工業大數據處理系統，其特征在于，包括ETL服務集群、數據源和用戶端，所述用戶端和數據源分別連接至ETL服務集群；所述ETL服務集群包括管理服務器和分布式并列的多個執行服務器，每個執行服務器連接至相同或不同的數據源，所有執行服務器均連接至管理服務器；

所述管理服務器包括后臺的控制節點和內嵌的Web服務器，提供ETL執行程序的狀態管理、分發管理和結果管理；

所述執行服務器是執行ETL程序的容器，接收管理服務器分發的任務，接收外部數據源執行ETL程序，反饋結果至管理服務器；反饋結果中包含該任務執行中的日志操作記錄以及性能監控，所述性能監控包括提供執行任務過程中的任務結果和執行日志；

所述管理服務器包括元數據庫、DAO模塊、業務數據庫和數據倉庫；所述管理服務器還包括控制管理單元；所述元數據庫、業務數據庫和數據倉庫均連接至DAO模塊，所述DAO模塊通過控制管理單元連接至WEB操作界面；

所述元數據庫，連接數據源，記錄執行服務器執行任務的情況，作為抽取工作的核心，儲存數據抽取工作所需信息的全部數據；

所述DAO模塊，用于指定訪問的數據庫和數據表；

所述業務數據庫，連接數據源，獲取外部業務系統數據，儲存數據整合所需的全部數據；

所述數據倉庫，將獲取的數據源數據經過清洗和轉換后，按照主題載入到根據業務邏輯和數據關聯低度主題化構成的主題數據表中；

所述控制管理單元，通過WEB操作界面控制執行服務器執行ETL程序的狀態管理、分發管理和結果管理。

2.根據權利要求1所述的一種工業大數據處理系統，其特征在于，所述元數據庫數據包括生產履歷數據、不良檢測數據、特征值數據和測量數據。

3.根據權利要求2所述的一種工業大數據處理系統，其特征在于，所述數據倉庫中包括實現增量的數據導入功能模塊，以時間增量和字段增量導入數據；當數據增量進入到ODS層實現業務處理邏輯，整合完成后將篩選完成的數據導入數據事實表。

4.根據權利要求3所述的一種工業大數據處理系統，其特征在于，所述數據倉庫是主題化的隨時間逐漸增長的數據集合體，包括貼源層、ODS層、數據倉庫層、數據集市層和數據應用層；

所述貼源層：存儲由元數據庫和業務數據庫中選定的表中的數據，包含抽取時間在內的時間戳；

所述ODS層：是數據到數據倉庫層之前的過度存儲空間，進行數據清洗和數據轉換操作，完成業務邏輯篩選；

所述數據倉庫層：數據進行了輕量的主題化，并按照時間戳將字段進行了分區處理；

所述數據集市層：數據進行了高度的主題化，根據維度的不同圍繞事實表形成大小不同的星型結構；

所述數據應用層：提供報表數據和數據分析所需的數據，包括定制化的數據需求。

5.根據權利要求4所述的一種工業大數據處理系統，其特征在于，所述數據集市層包括不良率主題數據、停留時間主題數據、版型相關主題數據和特征值數據。

6.根據權利要求5所述的一種工業大數據處理系統，其特征在于，所述數據集市層的星型結構包括一個事實表和連接至事實表的多個支持維表；所述事實表描述數據集市中最密集的數據，根據主題的不同設置有不同的事實表。

7.根據權利要求6所述的一種工業大數據處理系統，其特征在于，在所述數據倉庫儲存中對數據進行壓縮處理，采用snappy格式作為數據的壓縮格式進行保存。