[發(fā)明專利]基于storm面向用戶個性化預警機制大數(shù)據(jù)計算方法

在審

• 申請?zhí)枺?/td>: 201710108940.6
• 申請日: 2017-02-27
• 公開（公告）號: CN106951464A
• 公開（公告）日: 2017-07-14
• 發(fā)明（設計）人: 張啟亮;王飛;朱曉委;張毅;邵世龍
• 申請（專利權）人: 江蘇徐工信息技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/30
• 代理公司: 徐州市三聯(lián)專利事務所32220
• 代理人: 周愛芳

技術領域

本發(fā)明涉及一種基于storm面向用戶個性化預警機制大數(shù)據(jù)計算方法，屬于數(shù)據(jù)處理技術領域。

背景技術

隨著互聯(lián)網(wǎng)技術的發(fā)展，云服務器、云存儲等技術的日新月異，大數(shù)據(jù)時代的來臨，為了更好、更快的挖掘出有價值的信息，給客戶更好的用戶體驗，傳統(tǒng)的批量計算模型已經(jīng)無法滿足這些需求，分布式處理、集群、流式處理等大數(shù)據(jù)技術隨之誕生。Storm作為目前最火的流式處理框架之一，可應用到各行各業(yè)的大數(shù)據(jù)處理平臺中。工程機械行業(yè)中，隨著傳感器技術、數(shù)據(jù)采集技術的發(fā)展，終端設備可以采集的工況數(shù)據(jù)越來越多，數(shù)據(jù)量也隨著劇增，如何從中提取出有用的數(shù)據(jù)，更快速的分析出有用的信息展現(xiàn)給用戶，是目前亟待解決的問題。

目前，工程機械行業(yè)中工況預警技術，一般采用如圖1所示的數(shù)據(jù)處理流程，服務器網(wǎng)關負責從終端設備獲取原始數(shù)據(jù)；解析模塊從網(wǎng)關解析出工況數(shù)據(jù)；報警模塊對解析模塊獲取的數(shù)據(jù)進行加工處理；關系型數(shù)據(jù)庫對報警數(shù)據(jù)進行數(shù)據(jù)存儲，供前臺界面獲取顯示。這種技術能解決傳統(tǒng)的數(shù)據(jù)處理和數(shù)據(jù)存儲問題，但當存在海量數(shù)據(jù)需要處理時，計算機性能和數(shù)據(jù)存儲上都會遇到瓶頸，只能通過提高服務器配置，購買昂貴的硬件設施等方式來解燃眉之急，然而也只能暫時解決問題，無法從根本上解決問題；而且報警方式相對固定，無法根據(jù)用戶的需求，隨時讓用戶更改報警方案，用戶體驗度較差。

發(fā)明內(nèi)容

針對上述現(xiàn)有技術存在的問題，本發(fā)明提供一種基于storm面向用戶個性化預警機制大數(shù)據(jù)計算方法，可從根本上解決傳統(tǒng)解決方案存在的弊端，更靈活更實用。

為了實現(xiàn)上述目的，本發(fā)明采用的一種基于storm面向用戶個性化預警機制大數(shù)據(jù)計算方法，包括數(shù)據(jù)預處理模塊、數(shù)據(jù)解析模塊、數(shù)據(jù)存儲模塊和報警處理模塊；數(shù)據(jù)預處理模塊包括服務器網(wǎng)關和kafka消息隊列，kafka消息隊列負責服務網(wǎng)關數(shù)據(jù)與解析數(shù)據(jù)的橋梁，服務器網(wǎng)關從獲取終端發(fā)來的原始數(shù)據(jù)存入kafka的topic中，作為數(shù)據(jù)解析模塊處理的生產(chǎn)者；數(shù)據(jù)解析模塊為storm解析模塊，負責從kafka的topic中讀取數(shù)據(jù)，并對topic中的原始數(shù)據(jù)根據(jù)協(xié)議定義進行解析；其中，storm的數(shù)據(jù)處理機制是流式處理，對數(shù)據(jù)進行逐條解析；數(shù)據(jù)存儲模塊包括數(shù)據(jù)緩存模塊、緩存數(shù)據(jù)庫更新模塊和歷史報警存儲模塊；報警處理模塊為storm報警模塊，一方面，從數(shù)據(jù)緩存模塊中獲取用戶自定義報警方案，另一方面，根據(jù)這些報警方案分析出報警邏輯，并且分析出報警結果；基于storm面向用戶個性化預警機制大數(shù)據(jù)計算方法的具體步驟是：

步驟一、用戶通過界面按照自身設備設置報警邏輯，設置成功后，系統(tǒng)將會按照約定的數(shù)據(jù)結構存儲報警邏輯的參數(shù)和閾值；

步驟二、數(shù)據(jù)緩存模塊定時的從數(shù)據(jù)庫中讀取步驟一中存儲的數(shù)據(jù)結構，并用于下一步storm報警模塊；其中，定時的時間可由用戶自己設定；

步驟三、storm報警模塊結合從數(shù)據(jù)緩存模塊讀取報警所需的參數(shù)和閾值與服務器網(wǎng)關從終端讀取發(fā)來的實時數(shù)據(jù)進行邏輯判斷；

步驟四、經(jīng)過步驟三的判斷確定這條數(shù)據(jù)是否為報警數(shù)據(jù)，如果是報警數(shù)據(jù)，將進一步判斷redis中是否已經(jīng)存在設備的報警歷史，如果存在則更新redis中的相應記錄，如果不存在則向redis中插入一條報警記錄；如果不是報警數(shù)據(jù)，同樣要判斷redis中的報警歷史，如果存在,表示報警已經(jīng)解除，則從redis中刪除這條記錄。

所述緩存數(shù)據(jù)庫更新模塊采用緩存技術redis與界面進行實時交互。

所述歷史報警存儲模塊采用hadoop的hdfs技術進行分布式存儲。