[發明專利]數據消費方法及裝置

在審

• 申請號: 202011592829.7
• 申請日: 2020-12-29
• 公開（公告）號: CN112799799A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 張普;李翔遠
• 申請（專利權）人: 杭州涂鴉信息技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 廣東君龍律師事務所 44470
• 代理人: 丁建春

本申請公開了一種數據消費方法及裝置。其中，該數據消費方法包括：計算引擎獲取多個子任務；基于多個子任務向協調服務模塊發起主任務選舉，以使協調服務模塊從多個子任務中選舉出主任務；計算引擎基于主任務制定的分配方案，從消息隊列為每一個子任務獲取分配方案指定的消息，使每一個子任務對指定的消息進行運算處理。本申請可以解決子任務拉取到與子任務所在區域不同的環境區域的數據，導致跨區流量的消耗的問題。

技術領域

本申請涉及數據處理技術領域，特別是涉及一種數據消費方法及裝置。

背景技術

當前，隨著技術的發展，數據量日益增加，“大數據”技術已經滲透到各行各業。目前，許多設備都會收集大量數據，并希望對數據及時處理從而挖掘其中的價值。例如智能手機、傳感器、物聯網設備、社交網絡和在線事務系統產生的數據都需要不斷的收集，通過實時的對數據進行分析，從而實現快速響應。如今通過Spark、Storm或Flink等計算引擎對由任務劃分成的一系列短小的子任務進行分布式處理，以提高數據實時分析處理的能力。

但是計算引擎在提取消息隊列內的數據時，默認按照固定的hash取余的方式確認當前子任務應該拉取的數據，可能會導致當前子任務拉取了與子任務所在區域不同的環境區域的數據，導致跨區流量的消耗。

發明內容

本申請提供一種數據消費方法及裝置，可以解決子任務拉取到與子任務所在區域不同的環境區域的數據，導致跨區流量的消耗的問題。

為解決上述問題，本申請提供一種數據消費方法，該方法包括：

計算引擎獲取多個子任務；

基于多個子任務向協調服務模塊發起主任務選舉，以使協調服務模塊從多個子任務中選舉出主任務；

計算引擎基于主任務制定的分配方案，從消息隊列為每一個子任務獲取分配方案指定的消息，使每一個子任務對指定的消息進行運算處理。

其中，基于多個子任務向協調服務模塊發起主任務選舉，包括：

向協調服務模塊告知每個子任務的特征和所在區域；

方法還包括：主任務基于從協調服務模塊獲取的多個子任務的特征和所在區域以及消息隊列中消息的分布情況，確定每一個子任務所消費的消息，以得到分配方案。

其中，全部子任務所在區域與其指定的消息所在區域相同。

其中，基于多個子任務向協調服務模塊發起主任務選舉，包括：

向協調服務模塊發送每一個子任務的注冊請求，以告知每一個子任務所屬的任務信息，使得協調服務模塊確認獲取到任務的所有子任務的注冊請求時，從所有子任務中選舉出主任務。

為解決上述問題，本申請提供一種數據消費方法，該方法包括：

響應于計算引擎基于多個子任務向協調服務模塊發起的主任務選舉，協調服務模塊從多個子任務中選舉出主任務；

與計算引擎交互，以使主任務制定出分配方案，其中，分配方案為每一個子任務指定消息隊列中的消息。

其中，響應于計算引擎基于多個子任務向協調服務模塊發起的主任務選舉，包括：

從計算引擎獲取每一個子任務的注冊請求，以獲取到每一個子任務所屬的任務的信息；

協調服務模塊確認獲取到任務的所有子任務的注冊請求時，從任務的所有子任務中選舉出主任務。

其中，該方法還包括：

從計算引擎獲取到分配方案，以使計算引擎上的每一個子任務能夠從協調服務模塊監聽到分配方案，并從消息隊列中獲取分配方案為每一個子任務指定的消息。