[發明專利]一種工業高頻大數據實時處理系統與方法

在審

• 申請號: 202110249619.6
• 申請日: 2021-03-08
• 公開（公告）號: CN112966020A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 徐少鋒
• 申請（專利權）人: 徐少鋒
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/2455;G06N20/00;G06Q50/04
• 代理公司: 上海中外企專利代理事務所(特殊普通合伙) 31387
• 代理人: 孫益青

1.一種工業高頻大數據實時處理系統，其特征在于，包含歷史表構建模塊、緩沖表構建模塊、歷史數據處理模塊、實時數據處理模塊、數據查詢統計模塊；

所述歷史表構建處理模塊用于構建、存儲歷史表；

所述緩沖表構建處理模塊用于構建、存儲緩沖表；

所述歷史數據處理模塊用于消費來自傳感器寫入Kafka的數據，并寫入所述歷史表中；

所述實時數據處理模塊用于實時消費來自傳感器實時寫入Kafka的數據，并寫入所述緩沖表中；

所述數據查詢統計模塊用于對所述歷史表進行查詢、統計、分析，還用于對所述緩沖表進行查詢、分析。

2.如權利要求1所述的一種工業高頻大數據實時處理系統，其特征在于，所述歷史表為ClickHouse歷史表，所述ClickHouse歷史表內存儲有ClickHouse庫全量數據信息；

所述緩沖表為ClickHouse緩沖表，所述ClickHouse緩沖表內存儲有ClickHouse庫分鐘級數據信息。

3.如權利要求2所述的一種工業高頻大數據實時處理系統，其特征在于，所述分鐘級數據信息為分鐘級流式數據。

4.如權利要求1-3任一項所述的一種工業高頻大數據實時處理系統，其特征在于，所述歷史數據處理模塊為JAVA歷史數據微服務程序模塊，所述JAVA歷史數據微服務程序模塊多線程消費來自傳感器寫入Kafka的數據，并批量寫入所述歷史表中；

所述實時數據處理模塊為JAVA實時數據微服務程序模塊，所述JAVA實時數據微服務程序模塊實時多線程消費來自傳感器寫入Kafka的數據，并批量寫入所述緩沖表中；

所述數據查詢統計模塊為JAVA程序模塊，所述JAVA程序模塊還用于根據所述歷史表生成為機器學習、深度學習的模型訓練及預測的參考數據；

所述JAVA程序模塊還用于對緩沖表中的未超時數據進行實時分析，該JAVA程序模塊根據配置，同時截取相同時間窗口的多個數據項截面，進行實時分析，時間窗口是可配置的。

5.如權利要求4所述的一種工業高頻大數據實時處理系統，其特征在于，所述JAVA歷史數據微服務程序模塊批量寫入所述歷史表數據的速度為200萬條每秒或200M每秒；

所述JAVA實時數據微服務程序模塊批量寫入所述緩沖表數據的速度為200萬條每秒或200M每秒；

所述JAVA程序模塊根據配置的時間窗口及數據選項截取單個或多個數據項相同時間段的數據截面進行分析。

6.一種工業高頻大數據實時處理方法，其特征在于，包含以下步驟：

步驟1：歷史表構建處理模塊構建歷史表并將歷史表存儲在歷史表構建處理模塊內；

緩沖表構建處理模塊構建緩沖表并將緩沖表存儲在緩沖表構建處理模塊內；

步驟2：歷史數據處理模塊消費來自傳感器寫入Kafka的數據，并寫入歷史表中；

實時數據處理模塊實時消費來自傳感器實時寫入Kafka的數據，并寫入緩沖表中；

步驟3：數據查詢統計模塊對歷史表進行查詢、統計、分析，對緩沖表進行查詢、分析。

7.如權利要求6所述的一種工業高頻大數據實時處理方法，其特征在于，所述歷史表為ClickHouse歷史表，所述ClickHouse歷史表內存儲有ClickHouse庫全量數據信息；

所述緩沖表為ClickHouse緩沖表，所述ClickHouse緩沖表內存儲有ClickHouse庫分鐘級數據信息。

8.如權利要求7所述的一種工業高頻大數據實時處理系統，其特征在于，所述分鐘級數據信息為分鐘級流式數據。