[發明專利]基于鍵值分布的跨數據中心大數據處理

有效

• 申請號: 201610100798.6
• 申請日: 2016-02-24
• 公開（公告）號: CN105589752B
• 公開（公告）日: 2019-10-15
• 發明（設計）人: 張江濤;王軒;黃荷姣
• 申請（專利權）人: 哈爾濱工業大學深圳研究生院
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙) 44248
• 代理人: 孫偉

1.一種基于鍵值分布的跨數據中心大數據處理系統，其特征在于，所述系統包括HigherJobTracker模塊、CopyerManager模塊、Copyer模塊、JobTracker模塊、TaskTracker模塊和ResourceManager模塊；其中，所述ResourceManager模塊，用于收集數據中心DC相關信息以及鍵值key的分布信息；所述系統的工作流程為：

工作首先被提交到所述HigherJobTracker模塊，如果發現工作需要多個DC的數據作為輸入，則HigherJobTracker模塊要求相關DC的JobTracker模塊來對每個DC的數據進行抽樣；在一小部分數據被映射(map)后，所述HigherJobTracker模塊就能對每個DC的輸出進行估算，從而得到近似的key分布，并估算每個歸約器(Reducer)分配到的數據量；reducer的配置被估計以便和它需要處理的數據量相稱，以免有的歸約reduce任務拖延過長而增加整個作業(job)的時延；這個結果被送到ResourceManager模塊；本地數據的map操作將會繼續；同時，調用遺傳算法GA，利用ResourceManager模塊中存儲的信息，GA算法為每個reducer尋找目標DC；得到reducer部署方案后，HigherJobTracker模塊開始讓CopyerManager模塊將map輸出拷貝到目標DC，其中，具體的拷貝工作由每個目標DC內的Copyer模塊完成。

2.根據權利要求1所述的系統，其特征在于：所述HigherJobTracker模塊、CopyerManager模塊和ResourceManager模塊都與DC網絡相對應；所述Copyer模塊與每個DC相對應。

3.根據權利要求1所述的系統，其特征在于：所述GA算法為TLGGA算法，所述TLGGA算法對問題進行編碼后，應用交叉、變異算子到已編碼的個體，進行局部優化以及更新初始種群C，直到停止條件滿足，然后對結果進行解碼，得到問題的解；其中，所述停止條件為獲取問題的解。

4.根據權利要求3所述的系統，其特征在于：初始種群C的生成具體為：LPC、LNC和LDT各被調用n次，以產生3n個初始可行解構成初始種群C；其中，LPC為最少電力成本虛擬機VM部署算法，LNC為最少節點成本VM部署算法，LDT為最少數據傳輸成本VM部署算法。

5.根據權利要求4所述的系統，其特征在于：在交叉和變異之后，所述初始種群的數量仍然保持在至少3n，以便算法能夠較快收斂。

6.根據權利要求4所述的系統，其特征在于：所述最少電力成本VM部署算法為：按照電價對存儲初始輸入數據的K個候選DC進行排序，對還沒有部署的VM按照它們的容量進行排序；以更大的概率選擇具有更便宜的價格DC和更大的VM；利用MFFD算法將這個VM指配到這個DC；重復這個過程直到所有VM被指配；將解決方案編碼記為X；

其中，所述MFFD算法為：將所有沒有被部署的VM按照容量進行排序，然后將最大的VM指配到具有最小剩余容量的物理機PM；如果這個PM能夠容納這個VM，則將這個VM指配到這個PM，否則嘗試下一個被激活的PM，直到VM被指配成功或者需要開啟一個新的PM；重復這個過程直到這個DC上的所有VM被指配。

7.根據權利要求3所述的系統，其特征在于：所述局部優化同時優化節點成本和電力成本，采用MFFD算法；所述MFFD算法為：將所有沒有被部署的VM按照容量進行排序，然后將最大的VM指配到具有最小剩余容量的PM；如果這個PM能夠容納這個VM，則將這個VM指配到這個PM，否則嘗試下一個被激活的PM，直到VM被指配成功或者需要開啟一個新的PM；重復這個過程直到這個DC上的所有VM被指配。