[發明專利]一種面向Spark Streaming平臺的數據接收通道動態分配方法

有效

• 申請號: 201711247686.4
• 申請日: 2017-12-01
• 公開（公告）號: CN108037998B
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 梁毅;丁振興;李碩;丁治明
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

1.一種面向Spark Streaming平臺的數據接收通道動態分配方法，其特征在于：包括以下步驟：

(1)初始化

Spark Streaming應用啟動后，利用平臺既有組件收集當前Spark Streaming應用對應的數據源編號inputstream，令Spark Streaming應用當前分配的數據接收通道集合C，C＝{c₁，c₂，…c_n}，利用平臺既有數據接收通道管理組件收集應用數據接收通道集合C信息；

(2)數據接收通道接收能力評估

2.1)令當前時刻為i，應用的數據接收通道緩存區空間使用量集合E_i表示為其中，n表示應用當前分配的數據接收通道總數，表示應用分配的第j個數據接收通道在i時刻的緩存區空間使用量；

2.2)對于每一個數據接收通道c_j，c_j∈C，利用公式(1)計算其接收能力，其中，e_t表示數據緩存區空間總量，

2.3)綜合當前應用已分配的所有數據接收通道的接收能力，利用公式(2)計算當前時刻i應用的數據接收能力，

2.4)若ε_i＞Ulimit或ε_i＜Llimit，則執行步驟(3)；否則，執行步驟(6)；

(3)基于馬爾可夫鏈模型的流式數據到達速率變化狀態預測

3.1)令當前時刻為i，流式數據到達速率歷史記錄集R表示為R＝{r_i-1，r_i-2，r_i-3…r_i-m}，

3.2)定義數據到達速率變化的狀態空間K，K＝{k₁，k₂，k₃}，其中，k₁為增強狀態、k₂為持平狀態，k₃為減弱狀態，對于任一r_l∈R，若r_l-1＜r_l，則l時刻數據到達速率變化狀態為k₁；若r_l-1＝r_l，則l時刻數據到達速率變化狀態為k₂；若r_l-1＞r_l，則l時刻數據到達速率變化狀態為k₃，

3.3)狀態轉移概率計算，

3.3.1)令i時刻流式數據到達速率變化狀態歷史記錄集PS_i表示為PS_i＝{s_i-1，s_i-2…，s_i-m}，對于任一s_j∈PS_i，依據步驟3.2)中的方法計算其值；

3.3.2)計算狀態轉移判定因子，狀態轉移判定因子表示相鄰時刻點間，SparkStreaming應用數據到達速率變化狀態的轉移，令為k時刻應用數據到達速率變化狀態轉移判定因子，其中，s_k∈PS_i，j，l∈{1，2，3}，的計算方法為，若s_k＝k_j且s_k+1＝k_l，則否則，

3.3.3)統計狀態轉移計數表示在PS_i中，滿足起始狀態為k_j且下一時刻的目標狀態為k_l的狀態轉移總數，統計方法如公式(3)，

3.3.4)根據公式(4)計算狀態轉移概率；

3.4)根據步驟3.3)得到的狀態轉移概率構建狀態轉移矩陣Pⁱ；

3.5)依據步驟3.2)計算當前時刻i的數據到達速率變化狀態s_i，若s_i＝k_l，k_l∈K，則遍歷狀態轉移矩陣Pⁱ中起始狀態為k_l的相應行，選擇其中取值最大的狀態轉移概率設置i+1時刻的數據到達速率變化狀態s_i+1＝k_d，

(4)數據接收通道動態分配決策

4.1)令θ為通道動態分配決策因子，若ε_i＞Ulimit且s_i+1＝k₃，轉至步驟4.2)；若ε_i＜Llimit且s_i+1＝k₁，轉至步驟4.3)；其余情況轉至步驟(6)，

4.2)設置θ←-1，表示回收一個數據接收通道，

4.3)設置θ←1，表示追增一個數據接收通道，

(5)數據接收通道組件回收與追增

5.1)判斷動態分配決策因子，若θ＝-1，則轉至步驟5.2)；若θ＝1，則轉至步驟5.3)；

5.2)數據接收通道組件回收；

5.2.1)在Spark Streaming應用當前分配的數據接收通道集合C中隨機選取一個數據接收通道c_j；

5.2.2)在數據接收通道管理組件中，撤銷該數據接收通道的注冊信息，并將該接收通道從應用當前分配的數據接收通道集合C中刪除；

5.2.3)停止該數據接收通道的數據接收功能；

5.3)數據接收通道組件追增；

5.3.1)將新追增的數據接收通道對應的數據源編號設置為inputstream，并將該數據接收通道加入應用當前分配的數據接收通道集合C中；

5.3.2)向Spark Streaming既有的資源管理器申請數據接收通道運行資源；用于新增數據接收通道的啟動；

5.3.3)在分配的運行資源所在的節點上啟動新增數據接收通道組件；

5.3.4)啟動新增數據接收通道的數據接收功能；

(6)回溯：一個動態分配周期結束后，判斷應用程序是否結束，是則轉至步驟(7)，否則轉至步驟(2)；

(7)結束：終止對數據接收通道動態分配功能。

2.根據權利要求1所述的一種面向Spark Streaming平臺的數據接收通道動態分配方法，其特征在于，基本參數設置如下：數據塊生成周期T_{blockinterval}，批處理周期T_{batchinterval}，應用數據接收能力的上限閾值Ulimit，應用數據接收能力的下限閾值Llimit，Ulimit一般取值在0.8-1之間，Llimit一般取值在0.5-0.7之間，T_{batchinterval}取值在1-2s之間，T_{blockinterval}取值在0.1-0.2s之間。