[發(fā)明專利]一種Spark平臺中事件處理方法和裝置

在審

• 申請?zhí)枺?/td>: 201811288881.6
• 申請日: 2018-10-31
• 公開（公告）號: CN109471741A
• 公開（公告）日: 2019-03-15
• 發(fā)明（設(shè)計）人: 韓東亮;龔紅祥
• 申請（專利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 蘇勝

本發(fā)明提供了一種Spark平臺中事件處理方法和裝置，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，該方法包括：從消息隊列中提取事件實體；將事件實體處理為結(jié)構(gòu)化數(shù)據(jù)；將處理為結(jié)構(gòu)化數(shù)據(jù)的事件實體發(fā)送至關(guān)聯(lián)引擎；關(guān)聯(lián)引擎將接收到的事件實體寫入對應(yīng)的事件類中，并根據(jù)關(guān)聯(lián)規(guī)則對各事件類中的事件實體進行關(guān)聯(lián)計算，輸出復(fù)雜事件。本發(fā)明緩解了現(xiàn)有的實時計算框架Spark Steaming無法對數(shù)據(jù)流進行關(guān)聯(lián)分析以從數(shù)據(jù)流中推斷出新數(shù)據(jù)的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理的技術(shù)領(lǐng)域，尤其是涉及一種Spark平臺中事件處理方法和裝置。

背景技術(shù)

實時計算框架Spark Steaming是Spark API(Application ProgrammingInterface，應(yīng)用程序編程接口)的一個擴展。實時計算框架Spark Steaming 不能像流式處理框架Storm一樣事件來一條處理一條。實時計算框架Spark Streaming將流式計算分解成一系列短小的批處理作業(yè)，處理的引擎是Spark Core。Spark Core將實時計算框架SparkStreaming的輸入數(shù)據(jù)按照批尺寸batch size生成一個個離散數(shù)據(jù)流(DStream，Discretized Stream)。

但是，在現(xiàn)有技術(shù)中，實時計算框架Spark Steaming無法從離散數(shù)據(jù)流DStream中獲得更多有價值的事件。獲得更多有價值的事件是指找到離散數(shù)據(jù)流DStream中事件之間的關(guān)系，進而根據(jù)該關(guān)系推斷新的數(shù)據(jù)。

隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)處理不僅僅是對數(shù)據(jù)進行簡單的分析、存儲等操作，從大量的數(shù)據(jù)流中提取更多有價值的數(shù)據(jù)顯得尤為重要。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種Spark平臺中事件處理方法和裝置，以緩解了現(xiàn)有的實時計算框架Spark Steaming無法對數(shù)據(jù)流進行關(guān)聯(lián)分析以從數(shù)據(jù)流中推斷出新數(shù)據(jù)的技術(shù)問題。

第一方面，本發(fā)明實施例提供了一種Spark平臺中事件處理方法，應(yīng)用于SparkStreaming節(jié)點，所述Spark Streaming節(jié)點中集成有關(guān)聯(lián)引擎，包括：從消息隊列中提取事件實體；將所述事件實體處理為結(jié)構(gòu)化數(shù)據(jù)；將處理為結(jié)構(gòu)化數(shù)據(jù)的事件實體發(fā)送至所述關(guān)聯(lián)引擎；所述關(guān)聯(lián)引擎將接收到的事件實體寫入對應(yīng)的事件類中，并根據(jù)關(guān)聯(lián)規(guī)則對各事件類中的事件實體進行關(guān)聯(lián)計算，輸出復(fù)雜事件。

進一步地，所述關(guān)聯(lián)引擎將接收到的事件實體寫入對應(yīng)的事件類中包括：在各事件類中查找與所述接收到的事件實體相對應(yīng)的事件類；若查找到所述相對應(yīng)的事件類，則將所述接收到的事件實體寫入對應(yīng)的事件類中；若未查找到所述相對應(yīng)的事件類，則創(chuàng)建新的事件類，并將所述接收到的事件實體寫入所述新的事件類中。

進一步地，將所述處理為結(jié)構(gòu)化數(shù)據(jù)的事件實體發(fā)送至所述關(guān)聯(lián)引擎時，該方法還包括：所述關(guān)聯(lián)引擎按照第一預(yù)設(shè)規(guī)則對所述接收到的事件實體進行過濾，將過濾后的事件實體寫入所述對應(yīng)的事件類。

進一步地，該方法還包括：所述關(guān)聯(lián)引擎將過濾后事件實體送入事件窗口。

進一步地，所述關(guān)聯(lián)引擎根據(jù)關(guān)聯(lián)規(guī)則對各事件類中的事件實體進行關(guān)聯(lián)計算，輸出復(fù)雜事件包括：所述關(guān)聯(lián)引擎根據(jù)第二預(yù)設(shè)規(guī)則觸發(fā)監(jiān)聽事件；所述監(jiān)聽事件為針對觸發(fā)時刻對應(yīng)的事件窗口中包含的事件實體根據(jù)關(guān)聯(lián)規(guī)則進行關(guān)聯(lián)計算，輸出復(fù)雜事件。

第二方面，本發(fā)明實施例提供了一種Spark平臺中事件處理裝置，設(shè)置于SparkStreaming節(jié)點，包括提取單元、數(shù)據(jù)轉(zhuǎn)化單元、發(fā)送單元和關(guān)聯(lián)引擎，其中：所述提取單元，用于從消息隊列中提取事件實體；所述數(shù)據(jù)轉(zhuǎn)化單元，用于將所述事件實體處理為結(jié)構(gòu)化數(shù)據(jù)；所述發(fā)送單元，用于將處理為結(jié)構(gòu)化數(shù)據(jù)的事件實體發(fā)送至所述關(guān)聯(lián)引擎；所述關(guān)聯(lián)引擎，用于將接收到的事件實體寫入對應(yīng)的事件類中，并根據(jù)關(guān)聯(lián)規(guī)則對各事件類中的事件實體進行關(guān)聯(lián)計算，輸出復(fù)雜事件。