[發明專利]基于工業云邊服務的數倉系統

有效

• 申請號: 202011279546.7
• 申請日: 2020-11-16
• 公開（公告）號: CN112380295B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 高明明;高響;李強;韓錦;潘正頤;侯大為
• 申請（專利權）人: 常州微億智造科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/27;G06F16/25;G06F16/23
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 張勵

本發明提供了一種基于工業云邊服務的數倉系統，包括數據采集模塊、中間件模塊、數據分層模塊、離線數倉模塊和實時數倉模塊，其中，所述數據采集模塊用于采集工業數據，所述中間件模塊用于接收所述工業數據并將其傳輸至所述數據分層模塊，所述數據分層模塊用于對接收到的所述工業數據進行處理，并將處理后的所述工業數據分別持久化到所述離線數倉模塊和所述實時數倉模塊中，此外，所述離線數倉模塊映射所述實時數倉模塊中的數據。本發明能夠實現離線數倉與實時數倉相結合，并能夠通過同一種數據鏈路實現離線數倉和實時數倉，從而能夠保證數據的一致性，并能夠減少資源占用，便于后期維護。

技術領域

本發明涉及工業數倉技術領域，具體涉及一種基于工業云邊服務的數倉系統。

背景技術

隨著工業智能制造發展迅速，工業企業開始了數字化轉型與工業4.0的融合，其中，工業設備數據和工業系統數據生產形成的離線數倉或實時數倉往往是工業企業大數據生產系統中不可缺少的一環。但是，目前工業企業的離線數倉和實時數倉是分別運行的，兩者之間的結合并不緊密，并且對于同樣的需求需要用兩套代碼任務實現離線數倉和實時數倉，然后啟動多套代碼任務意味著相同邏輯需要計算多次，不僅占用較多的資源，而且也將大大增加后期維護難度。

發明內容

本發明旨在至少在一定程度上解決上述技術中的技術問題之一。為此，本發明的目的在于提出一種基于工業云邊服務的數倉系統，能夠實現離線數倉與實時數倉相結合，并能夠通過同一種數據鏈路實現離線數倉和實時數倉，從而能夠保證數據的一致性，并能夠減少資源占用，便于后期維護。

為達到上述目的，本發明實施例提出了一種基于工業云邊服務的數倉系統，包括數據采集模塊、中間件模塊、數據分層模塊、離線數倉模塊和實時數倉模塊，其中，所述數據采集模塊用于采集工業數據，所述中間件模塊用于接收所述工業數據并將其傳輸至所述數據分層模塊，所述數據分層模塊用于對接收到的所述工業數據進行處理，并將處理后的所述工業數據分別持久化到所述離線數倉模塊和所述實時數倉模塊中，此外，所述離線數倉模塊映射所述實時數倉模塊中的數據。

根據本發明實施例提出的基于工業云邊服務的數倉系統，通過數據采集模塊采集工業數據，并通過中間件模塊接收工業數據并將其傳輸至數據分層模塊，然后通過數據分層模塊對接收到的工業數據進行處理，并將處理后的工業數據分別持久化到離線數倉模塊和實時數倉模塊中，此外，離線數倉模塊還可映射實時數倉模塊中的數據，由此，能夠實現離線數倉與實時數倉相結合，并能夠通過同一種數據鏈路實現離線數倉和實時數倉，從而能夠保證數據的一致性，并能夠減少資源占用，便于后期維護。

另外，根據本發明上述實施例提出的基于工業云邊服務的數倉系統還可以具有如下附加的技術特征：

根據本發明的一個實施例，所述工業數據包括工業業務數據和工業設備數據，并且所述工業設備數據存儲于RabbitMQ集群。

根據本發明的一個實施例，所述數據采集模塊包括：Flume-Decode-Interceptor攔截器，所述Flume-Decode-Interceptor攔截器用于解密所述工業業務數據以采集所述工業業務數據；Flume-RabbitMQ-Plugin插件，所述Flume-RabbitMQ-Plugin插件用于對所述工業設備數據RabbitMQ集群進行采集。

根據本發明的一個實施例，所述Flume-Decode-Interceptor攔截器定義實現Interceptor接口，所述Flume-RabbitMQ-Plugin插件定義實現Configurable接口和EventDrivenSource接口。

根據本發明的一個實施例，所述中間件模塊為消息中間件Kafka。

根據本發明的一個實施例，所述數據分層模塊包括數據原始層、數據明細層、數據聚合層和數據集市層，其中，所述數據原始層、所述數據明細層和所述數據聚合層分別連接到所述離線數倉模塊，所述數據集市層連接到所述實時數倉模塊。