[發(fā)明專利]一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)與方法

在審

• 申請?zhí)枺?/td>: 202110249619.6
• 申請日: 2021-03-08
• 公開（公告）號: CN112966020A
• 公開（公告）日: 2021-06-15
• 發(fā)明（設計）人: 徐少鋒
• 申請（專利權(quán)）人: 徐少鋒
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/2455;G06N20/00;G06Q50/04
• 代理公司: 上海中外企專利代理事務所(特殊普通合伙) 31387
• 代理人: 孫益青

本發(fā)明公開了一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)及方法，系統(tǒng)包含歷史表構(gòu)建模塊、緩沖表構(gòu)建模塊、歷史數(shù)據(jù)處理模塊、實時數(shù)據(jù)處理模塊、數(shù)據(jù)查詢統(tǒng)計模塊；歷史表構(gòu)建處理模塊用于構(gòu)建、存儲歷史表；緩沖表構(gòu)建處理模塊用于構(gòu)建、存儲緩沖表；歷史數(shù)據(jù)處理模塊用于消費來自傳感器寫入Kafka的數(shù)據(jù)，并寫入歷史表中；實時數(shù)據(jù)處理模塊用于實時消費來自傳感器實時寫入Kafka的數(shù)據(jù)，并寫入緩沖表中；數(shù)據(jù)查詢統(tǒng)計模塊用于對歷史表進行查詢、統(tǒng)計、分析，還用于對緩沖表進行查詢、分析；方法包含步驟1?步驟3；能夠徹底解決工業(yè)高頻海量實時數(shù)據(jù)的實時寫入與實時查詢分析的需求，單臺服務器就解決了整條產(chǎn)線的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及高頻大數(shù)據(jù)處理系統(tǒng)領(lǐng)域，具體涉及一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)與方法。

背景技術(shù)

傳統(tǒng)的hadoop系列大數(shù)據(jù)處理技術(shù)無法滿足工業(yè)需要，首先數(shù)據(jù)寫入就無法滿足，工業(yè)有大量高頻海量數(shù)據(jù)，如4毫秒、10毫秒、16毫秒等等，需要實時存儲，單條產(chǎn)線，高頻海量數(shù)據(jù)項設計要求在1萬以上，秒寫入量要達到百萬以上，乃至更高，分布式的hadoop大數(shù)據(jù)系統(tǒng)，單節(jié)點每秒寫入幾萬數(shù)據(jù)就開始出問題了，各種報錯；

工業(yè)需要大量的數(shù)據(jù)分析，大量的模型需要在線獲取矩陣數(shù)據(jù)，進行模型訓練，分布式的hadoop大數(shù)據(jù)系統(tǒng)，單節(jié)點數(shù)據(jù)查詢速度每秒也只有幾十萬，單個模型實時訓練的數(shù)據(jù)都遠超幾十萬，因此也無法滿足工業(yè)百萬裝備的數(shù)據(jù)實時獲取需要。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是現(xiàn)有的系統(tǒng)中在單節(jié)點每秒寫入幾萬數(shù)據(jù)就開始出問題了，各種報錯，無法滿足工業(yè)百萬裝備的數(shù)據(jù)實時獲取需要，本發(fā)明提供一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)，能夠徹底解決工業(yè)高頻海量實時數(shù)據(jù)的實時寫入與實時查詢分析的需求，單臺服務器就解決了整條產(chǎn)線的問題，以4毫秒數(shù)據(jù)為例，1萬個產(chǎn)線數(shù)據(jù)項，如果全是4毫秒級的，1秒總共有250萬的數(shù)據(jù)需要寫入，實測1秒左右即可寫入ClickHouse數(shù)據(jù)庫表，實際產(chǎn)線數(shù)據(jù)4毫秒、10毫秒、16毫秒數(shù)據(jù)都有，每秒低于200萬，因此寫入在1秒內(nèi)完成，傳統(tǒng)的hadoop系列大數(shù)據(jù)平臺，20臺同樣的服務器，都不能保證在一秒內(nèi)寫入200萬數(shù)據(jù)，無法保障工業(yè)高頻海量數(shù)據(jù)寫入需要，用以解決現(xiàn)有技術(shù)導致的缺陷。

Java(計算機編程語言),是一門面向?qū)ο缶幊陶Z言，不僅吸收了C++語言的各種優(yōu)點，還摒棄了C++里難以理解的多繼承、指針等概念，因此Java語言具有功能強大和簡單易用兩個特征。

ClickHouse是一個用于聯(lián)機分析(OLAP)的列式數(shù)據(jù)庫管理系統(tǒng)(DBMS)。

Kafka是由Apache軟件基金會開發(fā)的一個開源流處理平臺，由Scala和Java編寫,Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者在網(wǎng)站中的所有動作流數(shù)據(jù)。

本發(fā)明還提供一種工業(yè)高頻大數(shù)據(jù)實時處理方法。

為解決上述技術(shù)問題本發(fā)明提供以下的技術(shù)方案：

第一方面，一種工業(yè)高頻大數(shù)據(jù)實時處理系統(tǒng)，其中，包含歷史表構(gòu)建模塊、緩沖表構(gòu)建模塊、歷史數(shù)據(jù)處理模塊、實時數(shù)據(jù)處理模塊、數(shù)據(jù)查詢統(tǒng)計模塊；

所述歷史表構(gòu)建處理模塊用于構(gòu)建、存儲歷史表；

所述緩沖表構(gòu)建處理模塊用于構(gòu)建、存儲緩沖表；

所述歷史數(shù)據(jù)處理模塊用于消費來自傳感器寫入Kafka的數(shù)據(jù)，并寫入所述歷史表中；

所述實時數(shù)據(jù)處理模塊用于實時消費來自傳感器實時寫入Kafka的數(shù)據(jù)，并寫入所述緩沖表中；

所述數(shù)據(jù)查詢統(tǒng)計模塊用于對所述歷史表進行查詢、統(tǒng)計、分析，還用于對所述緩沖表進行查詢、分析。