[發明專利]一種基于流式計算引擎的實時數據處理方法及裝置

在審

• 申請號: 201510089780.6
• 申請日: 2015-02-27
• 公開（公告）號: CN104615777A
• 公開（公告）日: 2015-05-13
• 發明（設計）人: 徐正禮;魏金雷;趙明超;臧勇真;牛碩
• 申請（專利權）人: 浪潮集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

技術領域

本發明涉及計算機技術領域，特別涉及一種基于流式計算引擎的實時數據處理方法及裝置。

背景技術

隨著互聯網的迅速發展，企業日常運營的數據已經達到了TB級別。其中，數據來源囊括了互聯網裝置可以捕獲的任何類型的數據，例如，網站、社交媒體、交易型商業數據以及其它商業環境中創建的數據等。數據量的增長，使得實時處理成為當前需要面對的首要挑戰。

目前，可以采用數據集群的處理方式，其中，數據處理主要以MapReduce(編程模型)為主，通過調用MAP函數和Reduce函數對數據進行處理。然而，MapReduce對數據進行處理時的實時性較差。因此，急需提出一種能夠對大數據量進行實時處理的方法。

發明內容

有鑒于此，本發明提供一種基于流式計算引擎的實時數據處理方法及裝置，以解決現有技術方案進行數據處理時實時性較差的問題。

本發明提供了一種基于流式計算引擎的實時數據處理方法，包括：

創建Storm的消息隊列；

將數據存入數據庫中，并備份至所述Storm的消息隊列；

Storm中的Spout實時監聽所述消息隊列，在監聽到有數據被存入所述Storm的消息隊列時，拉取所述Storm的消息隊列中當前被存入的數據，并將拉取的數據發送給Storm中的Bolt；

Bolt根據預先獲取的邏輯規則，對所述拉取的數據進行邏輯處理，以將邏輯處理后的數據更新到所述數據庫中。

優選地，在所述創建Storm的消息隊列之后，進一步包括：

根據預先設定的類型，指定所述消息隊列中的標簽；

根據指定的標簽區分所述消息隊列中不同類型的數據。

優選地，在所述將拉取的數據發送給Storm中的Bolt之后，進一步包括：

Spout根據預先設置的過濾規則對所述拉取的數據進行過濾。

優選地，進一步包括：

創建sqoop定時任務，在每隔所述sqoop定時任務設定的時間段時向數據源抽取數據；

由sqoop定時任務執行所述的將數據存入數據庫中，并備份至所述Storm的消息隊列。

優選地，進一步包括：

Spout確定所述Bolt是否成功對所述拉取的數據進行邏輯處理，在確定結果為Bolt成功對所述拉取的數據進行邏輯處理時，Spout將所述拉取的數據從所述Storm的消息隊列中移除；在所述Bolt未成功對所述拉取的數據進行邏輯處理時，分析未成功的原因，在分析結果為所述拉取的數據為臟數據時，Spout將所述拉取的數據從所述Storm的消息隊列中移除，在分析結果為數據處理超時時，Spout將所述拉取的數據重新發送給Bolt。

本發明還提供了一種基于流式計算引擎的實時數據處理裝置，包括：

創建單元，用于創建Storm的消息隊列；

數據備份單元，用于將數據存入數據庫中，并備份至所述Storm的消息隊列；

Spout單元，位于Storm中，用于實時監聽所述消息隊列，在監聽到有數據被存入所述Storm的消息隊列時，拉取所述Storm的消息隊列中當前被存入的數據，并將拉取的數據發送給Storm中的Bolt單元；

Bolt單元，位于Storm中，用于根據預先獲取的邏輯規則，對所述拉取的數據進行邏輯處理，以將邏輯處理后的數據更新到所述數據庫中。

優選地，進一步包括：

指定區分單元，用于根據預先設定的類型，指定所述消息隊列中的標簽；根據指定的標簽區分所述消息隊列中不同類型的數據。

優選地，Spout單元，用于根據預先設置的過濾規則對所述拉取的數據進行過濾。

優選地，

所述創建單元，用于創建sqoop定時任務；

進一步包括：sqoop定時任務，用于在每隔所述sqoop定時任務設定的時間段時向數據源抽取數據；由sqoop定時任務執行所述的將數據存入數據庫中，并備份至所述Storm的消息隊列。

優選地，