[發明專利]基于工業云邊服務的數倉系統

有效

• 申請號: 202011279546.7
• 申請日: 2020-11-16
• 公開（公告）號: CN112380295B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 高明明;高響;李強;韓錦;潘正頤;侯大為
• 申請（專利權）人: 常州微億智造科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/27;G06F16/25;G06F16/23
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 張勵

1.一種基于工業云邊服務的數倉系統，其特征在于，包括數據采集模塊、中間件模塊、數據分層模塊、離線數倉模塊和實時數倉模塊，其中，所述數據采集模塊用于采集工業數據，所述中間件模塊用于接收所述工業數據并將其傳輸至所述數據分層模塊，所述數據分層模塊用于對接收到的所述工業數據進行處理，并將處理后的所述工業數據分別持久化到所述離線數倉模塊和所述實時數倉模塊中，此外，所述離線數倉模塊映射所述實時數倉模塊中的數據，其中，

所述工業數據包括工業業務數據和工業設備數據，并且所述工業設備數據存儲于RabbitMQ集群，所述數據采集模塊包括Flume-Decode-Interceptor攔截器和Flume-RabbitMQ-Plugin插件，所述Flume-Decode-Interceptor攔截器用于解密所述工業業務數據以采集所述工業業務數據，所述Flume-RabbitMQ-Plugin插件用于對所述工業設備數據RabbitMQ集群進行采集，其中，

所述Flume-Decode-Interceptor攔截器定義實現Interceptor接口，所述Flume-RabbitMQ-Plugin插件定義實現Configurable接口和EventDrivenSource接口，具體地，

所述Flume-Decode-Interceptor攔截器實現對工業業務系統的HTTP消息數據進行采集，即實現對工業業務系統的HTTP消息數據加解密功能，因此，在開發Flume-Decode-Interceptor攔截器時，自定義Flume-Decode-Interceptor攔截器實現Interceptor接口，并且在initialize方法中讀取非對稱加密私鑰，還在intercept單條event處理方法中通過讀取的非對稱加密私鑰對工業業務系統的HTTP消息數據進行解密并序列化為JSON，然后在intercept批量event處理方法中循環調用intercept單條event處理方法，最后將Flume-Decode-Interceptor攔截器打包放入Flume根目錄的lib文件夾下，以在啟動Flume任務時，通過Flume-Decode-Interceptor攔截器對工業業務系統的HTTP消息數據進行采集；

所述Flume-RabbitMQ-Plugin插件實現RabbitMQSource功能，而RabbitMQSource繼承了AbstractSource抽象類實現Configurable接口和EventDrivenSource接口，因此，在開發Flume-RabbitMQ-Plugin插件時，自定義Flume-RabbitMQ-Plugin插件實現Configurable接口和EventDrivenSource接口，并且在configure方法中初始化RabbitMQ集群連接，還在start方法中使用多線程消費RabbitMQ集群數據，最后將Flume-RabbitMQ-Plugin插件打包放入Flume根目錄的lib文件夾下，以在啟動Flume任務時，通過Flume-RabbitMQ-Plugin插件對工業設備數據進行采集。

2.根據權利要求1所述的基于工業云邊服務的數倉系統，其特征在于，所述中間件模塊為消息中間件Kafka。

3.根據權利要求2所述的基于工業云邊服務的數倉系統，其特征在于，所述數據分層模塊包括數據原始層、數據明細層、數據聚合層和數據集市層，其中，所述數據原始層、所述數據明細層和所述數據聚合層分別連接到所述離線數倉模塊，所述數據集市層連接到所述實時數倉模塊。

4.根據權利要求3所述的基于工業云邊服務的數倉系統，其特征在于，所述數據分層模塊對接收到的所述工業數據進行處理，具體包括：

采用Flink Sql創建流表消費接收到的所述工業數據；

根據不同分層邏輯將消費處理后的所述工業數據依次寫入所述數據原始層、所述數據明細層、所述數據聚合層和所述數據集市層，其中，

在所述數據原始層、所述數據明細層和所述數據聚合層中的數據寫下一分層時，所述數據原始層、所述數據明細層和所述數據聚合層中的數據將持久化到所述離線數倉模塊，所述數據集市層中的數據將持久化到所述實時數倉模塊。