[發明專利]數據處理方法和裝置

有效

• 申請號: 202010849131.2
• 申請日: 2020-08-21
• 公開（公告）號: CN111966495B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 李雷孝;鄧丹;王慧;王洪彬;李杰;王永生
• 申請（專利權）人: 內蒙古工業大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/00
• 代理公司: 西安匯恩知識產權代理事務所(普通合伙) 61244
• 代理人: 張偉花

1.一種數據處理方法，其特征在于，包括：

獲取分布式系統的基于粒子群優化實現負載均衡的數據分發算法，即獲取初始化粒子群參數，依據所述初始化粒子群參數對預設計算式進行優化，初始化粒子群參數包括：最大迭代次數、粒子種群規模、粒子維度、慣性權重、第一加速系數、第二加速系數和粒子速度，得到所述基于粒子群優化實現負載均衡的數據分發算法；

具體為，在一個具有m個數據文件的數據集和n個節點的分布式集群中，設具體的比較算法為C(i,j)，其中i和j是數據集中的兩個數據文件，全比較計算能夠被形式化地描述為：

M_i,j＝{C(i,j)|ij,i＝1,2,…,m-1,j＝2,3,…,m} (1)

其中M_i,j是比較運算C(i,j)的計算結果，全部的M_i,j組成了全比較計算的最終結果；

假設數據集中有m個數據文件，每個數據文件的大小為s_i，i＝1,2,…,m，那么數據文件的大小相同或近似相同的形式化描述如下：

在進行兩兩數據文件的比較運算時，兩個數據文件的大小之和與比較運算的計算量將成正比，令c_ij表示比較任務C(i,j)的計算量，則c_ij與數據文件i和數據文件j有如下關系：

s_i+s_j∝c_ij ij,i＝1,2,…,m-1,j＝2,3,…,m (3)

根據公式(2)可知所有的c_ij的數值將相同或近似相同，假設為節點p上分配K個比較任務，每個任務的計算量為i和j為分發到節點p上數據文件的編號，節點p上的任務量大小p_c為：

令t_count為全比較計算中的總任務個數，一個比較任務與兩個不同的數據文件有關，當數據集中有m個數據文件時，t_count為：

使用x_kp來表示是否將比較任務k分配到節點p上，x_kp的取值使用0和1來表示；

x_kp＝0 or 1 k＝1,2,…,t_count,p＝1,2,…,n (6)

用c_k表示第k個任務的大小，那么公式(4)中節點p上的任務量大小p_c能夠被重新定義為：

在具有n個計算節點的分布式系統中，用c_k表示任務k的大小，全比較計算的節點平均計算量c_avg為：

由公式(7)、公式(8)可以得出節點p的計算量相對于c_avg的偏離程度fp；

f_p＝|p_c-c_avg| (9)

其中|·|是求絕對值函數，那么分布式系統的負載均衡能夠被描述為：

令w_p表示分發到節點p上的文件的總大小；

假設分發到節點p上的文件數為m'(m'≤m)，w_p中文件i的大小為r_i，則有：

令up(p＝1,2,…,n)為節點p的存儲空間上限，分發到節點p上的文件大小總和不能超過up；

w_p≤u_p (12)

以公式(10)作為求解目標，得到全比較計算在分布式系統中的負載均衡求解模型如下；

根據公式(13)進行全比較任務在分布式系統中的調度將使得各個計算節點之間實現負載均衡，并且能夠保證每個比較任務所需的數據文件具有數據本地性；

獲取所述分布式系統的基于粒子群優化實現最優化存儲的數據分發算法；

依據所述基于粒子群優化實現最優化存儲的數據分發算法和所述負載均衡的粒子最佳位置，對所述分布式系統中各節點所需的存儲空間進行優化，具體是依據所述基于粒子群優化實現負載均衡的數據分發算法，計算所述分布式系統中負載均衡的粒子最佳位置；

依據所述基于粒子群優化實現最優化存儲的數據分發算法和所述負載均衡的粒子最佳位置，對所述分布式系統中各節點所需的存儲空間進行優化包括：

依據所述負載均衡的粒子最佳位置、節點個數、文件大小列表、任務列表和節點計算量進行初始化，得到初始化后的粒子群參數；

依據所述初始化后的粒子群參數進行迭代尋優，當滿足位置更新規則時，對粒子位置進行更新；

將每一次迭代所得到的最優位置所對應的適應度進行記錄，通過對迭代記錄進行編碼，得到所述分布式系統中各節點所需的存儲空間的優化方案。