[發明專利]Spark-Streaming中間數據分區方法、裝置、計算機設備和存儲介質

有效

• 申請號: 201910438036.0
• 申請日: 2019-05-24
• 公開（公告）號: CN110263059B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 唐卓;付仲明;陳岑;陳建國;李肯立;李克勤;廖湘科
• 申請（專利權）人: 湖南大學
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 黃晶晶;黃曉慶

本申請涉及一種Spark?Streaming中間數據分區方法、裝置、計算機設備和存儲介質。一個實施例中的方法包括：獲取Spark?Streaming map任務輸出的中間數據中的多個元素，基于蓄水池抽樣算法，對多個元素進行抽樣處理，得到抽樣處理后的元素集群；通過時間序列預測方法對元素集群中元素對應的頻率權重進行更新，對更新后的元素集群中各元素按照預設元素順序進行排序；基于排序后的元素集群，通過動態規劃方法求解數據分區對應的邊界元素；根據邊界元素對更新后的元素集群中的元素進行分區，以使分區處理后最大分區內的各個元素對應的頻率權重之和最小。

技術領域

本發明涉及數據處理領域，特別是涉及一種Spark-Streaming中間數據分區方法、裝置、計算機設備和存儲介質。

背景技術

隨著信息技術的發展，網絡信息資源快速增長，對數據流進行實時處理具有重要意義。MapReduce是一種處理大規模數據的標準編程模型，Apache Spark是MapReduce框架的一種開源實現，Spark-Streaming是建立在Spark上的實時計算框架，它擴展了Spark處理大規模流式數據的能力。Spark-Streaming將數據流切分成連續的微批次數據，然后將切分后的微批次數據當作一系列的批作業進行處理。

以一個典型的Spark批作業處理為例，map任務讀取數據，根據用戶自定義的map函數對讀取的數據進行處理，得到中間數據，將中間數據進行分區處理并且輸出至本地節點。中間數據以key/value元組的形式存在，中間數據被range分區器分區，reduce任務獲取特定的分區數據進行處理。

當分配到每個分區的元組數量不同時，分區內的數據量也不相同，這樣會造成處理這些分區的reduce任務負載的不均衡。而reduce階段的完成時間由并行的reduce任務中最慢的任務決定，因此，當某個reduce任務負載超重時，將執行較長時間，從而導致作業執行時間延長，作業執行效率低。也即傳統的中間數據分區方法存在作業執行效率低的問題。

發明內容

基于此，有必要針對上述問題，提供一種可以提高作業執行效率的Spark-Streaming中間數據分區方法、裝置、計算機設備和存儲介質。

一種Spark-Streaming中間數據分區方法，包括：

獲取Spark-Streaming map任務輸出的中間數據中的多個元素；

基于蓄水池抽樣算法，對所述多個元素進行抽樣處理，得到抽樣處理后的元素集群；

通過時間序列預測方法對所述元素集群中元素對應的頻率權重進行更新，對更新后的元素集群中各元素按照預設元素順序進行排序；

基于排序后的元素集群，通過動態規劃方法求解數據分區對應的邊界元素；

根據所述邊界元素對所述更新后的元素集群中的元素進行分區，以使分區處理后最大分區內的各個元素對應的頻率權重之和最小。

在一個實施例中，所述基于蓄水池抽樣算法，對所述多個元素進行抽樣處理，得到抽樣處理后的元素集群，包括：

從單個所述map任務對應的元素中選取前K個元素，根據所述K個元素得到樣本數組；

基于累計分布函數對未被選取的元素進行處理，以確定跳過m個元素，將第K+m+1個元素替換所述樣本數組中的任意一個元素；

遍歷各個map任務對應的所有元素，得到抽樣處理后的元素集群。

在一個實施例中，所述基于累計分布函數對未被選取的元素進行處理，以確定跳過m個元素，包括：

通過累計分布函數，對未被選取的元素基于概率計算公式計算跳過不同個元素對應的概率；

基于所述跳過不同個元素對應的概率，根據約束公式計算最小的整數m。