[發(fā)明專利]一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)與方法

在審

• 申請?zhí)枺?/td>: 202110249619.6
• 申請日: 2021-03-08
• 公開（公告）號: CN112966020A
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計）人: 徐少鋒
• 申請（專利權(quán)）人: 徐少鋒
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/2455;G06N20/00;G06Q50/04
• 代理公司: 上海中外企專利代理事務(wù)所(特殊普通合伙) 31387
• 代理人: 孫益青

1.一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)，其特征在于，包含歷史表構(gòu)建模塊、緩沖表構(gòu)建模塊、歷史數(shù)據(jù)處理模塊、實時數(shù)據(jù)處理模塊、數(shù)據(jù)查詢統(tǒng)計模塊；

所述歷史表構(gòu)建處理模塊用于構(gòu)建、存儲歷史表；

所述緩沖表構(gòu)建處理模塊用于構(gòu)建、存儲緩沖表；

所述歷史數(shù)據(jù)處理模塊用于消費來自傳感器寫入Kafka的數(shù)據(jù)，并寫入所述歷史表中；

所述實時數(shù)據(jù)處理模塊用于實時消費來自傳感器實時寫入Kafka的數(shù)據(jù)，并寫入所述緩沖表中；

所述數(shù)據(jù)查詢統(tǒng)計模塊用于對所述歷史表進(jìn)行查詢、統(tǒng)計、分析，還用于對所述緩沖表進(jìn)行查詢、分析。

2.如權(quán)利要求1所述的一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)，其特征在于，所述歷史表為ClickHouse歷史表，所述ClickHouse歷史表內(nèi)存儲有ClickHouse庫全量數(shù)據(jù)信息；

所述緩沖表為ClickHouse緩沖表，所述ClickHouse緩沖表內(nèi)存儲有ClickHouse庫分鐘級數(shù)據(jù)信息。

3.如權(quán)利要求2所述的一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)，其特征在于，所述分鐘級數(shù)據(jù)信息為分鐘級流式數(shù)據(jù)。

4.如權(quán)利要求1-3任一項所述的一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)，其特征在于，所述歷史數(shù)據(jù)處理模塊為JAVA歷史數(shù)據(jù)微服務(wù)程序模塊，所述JAVA歷史數(shù)據(jù)微服務(wù)程序模塊多線程消費來自傳感器寫入Kafka的數(shù)據(jù)，并批量寫入所述歷史表中；

所述實時數(shù)據(jù)處理模塊為JAVA實時數(shù)據(jù)微服務(wù)程序模塊，所述JAVA實時數(shù)據(jù)微服務(wù)程序模塊實時多線程消費來自傳感器寫入Kafka的數(shù)據(jù)，并批量寫入所述緩沖表中；

所述數(shù)據(jù)查詢統(tǒng)計模塊為JAVA程序模塊，所述JAVA程序模塊還用于根據(jù)所述歷史表生成為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的模型訓(xùn)練及預(yù)測的參考數(shù)據(jù)；

所述JAVA程序模塊還用于對緩沖表中的未超時數(shù)據(jù)進(jìn)行實時分析，該JAVA程序模塊根據(jù)配置，同時截取相同時間窗口的多個數(shù)據(jù)項截面，進(jìn)行實時分析，時間窗口是可配置的。

5.如權(quán)利要求4所述的一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)，其特征在于，所述JAVA歷史數(shù)據(jù)微服務(wù)程序模塊批量寫入所述歷史表數(shù)據(jù)的速度為200萬條每秒或200M每秒；

所述JAVA實時數(shù)據(jù)微服務(wù)程序模塊批量寫入所述緩沖表數(shù)據(jù)的速度為200萬條每秒或200M每秒；

所述JAVA程序模塊根據(jù)配置的時間窗口及數(shù)據(jù)選項截取單個或多個數(shù)據(jù)項相同時間段的數(shù)據(jù)截面進(jìn)行分析。

6.一種工業(yè)高頻大數(shù)據(jù)實時處理方法，其特征在于，包含以下步驟：

步驟1：歷史表構(gòu)建處理模塊構(gòu)建歷史表并將歷史表存儲在歷史表構(gòu)建處理模塊內(nèi)；

緩沖表構(gòu)建處理模塊構(gòu)建緩沖表并將緩沖表存儲在緩沖表構(gòu)建處理模塊內(nèi)；

步驟2：歷史數(shù)據(jù)處理模塊消費來自傳感器寫入Kafka的數(shù)據(jù)，并寫入歷史表中；

實時數(shù)據(jù)處理模塊實時消費來自傳感器實時寫入Kafka的數(shù)據(jù)，并寫入緩沖表中；

步驟3：數(shù)據(jù)查詢統(tǒng)計模塊對歷史表進(jìn)行查詢、統(tǒng)計、分析，對緩沖表進(jìn)行查詢、分析。

7.如權(quán)利要求6所述的一種工業(yè)高頻大數(shù)據(jù)實時處理方法，其特征在于，所述歷史表為ClickHouse歷史表，所述ClickHouse歷史表內(nèi)存儲有ClickHouse庫全量數(shù)據(jù)信息；

所述緩沖表為ClickHouse緩沖表，所述ClickHouse緩沖表內(nèi)存儲有ClickHouse庫分鐘級數(shù)據(jù)信息。

8.如權(quán)利要求7所述的一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)，其特征在于，所述分鐘級數(shù)據(jù)信息為分鐘級流式數(shù)據(jù)。