[發明專利]一種基于流式計算引擎的實時數據處理方法及裝置

在審

• 申請號: 201510089780.6
• 申請日: 2015-02-27
• 公開（公告）號: CN104615777A
• 公開（公告）日: 2015-05-13
• 發明（設計）人: 徐正禮;魏金雷;趙明超;臧勇真;牛碩
• 申請（專利權）人: 浪潮集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

1.一種基于流式計算引擎的實時數據處理方法，其特征在于，包括：

創建Storm的消息隊列；

將數據存入數據庫中，并備份至所述Storm的消息隊列；

Storm中的Spout實時監聽所述消息隊列，在監聽到有數據被存入所述Storm的消息隊列時，拉取所述Storm的消息隊列中當前被存入的數據，并將拉取的數據發送給Storm中的Bolt；

Bolt根據預先獲取的邏輯規則，對所述拉取的數據進行邏輯處理，以將邏輯處理后的數據更新到所述數據庫中。

2.根據權利要求1所述的方法，其特征在于，在所述創建Storm的消息隊列之后，進一步包括：

根據預先設定的類型，指定所述消息隊列中的標簽；

根據指定的標簽區分所述消息隊列中不同類型的數據。

3.根據權利要求1所述的方法，其特征在于，在所述將拉取的數據發送給Storm中的Bolt之后，進一步包括：

Spout根據預先設置的過濾規則對所述拉取的數據進行過濾。

4.根據權利要求1所述的方法，其特征在于，進一步包括：

創建sqoop定時任務，在每隔所述sqoop定時任務設定的時間段時向數據源抽取數據；

由sqoop定時任務執行所述的將數據存入數據庫中，并備份至所述Storm的消息隊列。

5.根據權利要求1至4中任一所述的方法，其特征在于，進一步包括：

Spout確定所述Bolt是否成功對所述拉取的數據進行邏輯處理，在確定結果為Bolt成功對所述拉取的數據進行邏輯處理時，Spout將所述拉取的數據從所述Storm的消息隊列中移除；在所述Bolt未成功對所述拉取的數據進行邏輯處理時，分析未成功的原因，在分析結果為所述拉取的數據為臟數據時，Spout將所述拉取的數據從所述Storm的消息隊列中移除，在分析結果為數據處理超時時，Spout將所述拉取的數據重新發送給Bolt。

6.一種基于流式計算引擎的實時數據處理裝置，其特征在于，包括：

創建單元，用于創建Storm的消息隊列；

數據備份單元，用于將數據存入數據庫中，并備份至所述Storm的消息隊列；

Spout單元，位于Storm中，用于實時監聽所述消息隊列，在監聽到有數據被存入所述Storm的消息隊列時，拉取所述Storm的消息隊列中當前被存入的數據，并將拉取的數據發送給Storm中的Bolt單元；

Bolt單元，位于Storm中，用于根據預先獲取的邏輯規則，對所述拉取的數據進行邏輯處理，以將邏輯處理后的數據更新到所述數據庫中。

7.根據權利要求6所述的裝置，其特征在于，進一步包括：

指定區分單元，用于根據預先設定的類型，指定所述消息隊列中的標簽；根據指定的標簽區分所述消息隊列中不同類型的數據。

8.根據權利要求6所述的裝置，其特征在于，Spout單元，用于根據預先設置的過濾規則對所述拉取的數據進行過濾。

9.根據權利要求6所述的裝置，其特征在于，

所述創建單元，用于創建sqoop定時任務；

進一步包括：sqoop定時任務，用于在每隔所述sqoop定時任務設定的時間段時向數據源抽取數據；由sqoop定時任務執行所述的將數據存入數據庫中，并備份至所述Storm的消息隊列。

10.根據權利要求6至9中任一所述的裝置，其特征在于，

Spout單元，用于確定所述Bolt單元是否成功對所述拉取的數據進行邏輯處理，在確定結果為Bolt單元成功對所述拉取的數據進行邏輯處理時，Spout將所述拉取的數據從所述Storm的消息隊列中移除；在所述Bolt單元未成功對所述拉取的數據進行邏輯處理時，分析未成功的原因，在分析結果為所述拉取的數據為臟數據時，Spout單元將所述拉取的數據從所述Storm的消息隊列中移除，在分析結果為數據處理超時時，Spout單元將所述拉取的數據重新發送給Bolt單元。