[發明專利]一種跨多數據中心的數據分布式處理加速方法及其系統

有效

• 申請號: 202110175768.2
• 申請日: 2021-02-08
• 公開（公告）號: CN112532464B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 郭得科;陳亦婷;袁昊;鄭龍;羅來龍
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

本發明提出了一種跨多數據中心的數據分布式處理加速方法。本方法中每個站點只要獲得所需的輸入數據就能夠執行對應的計算任務。每個站點的輸入數據加載、map計算、shuffle傳遞和reduce計算過程都不需要等待其他的站點的前一個過程都完成對應的操作。同時，本發明提供了精確的計算時間估計，并使得本發明方法適應動態的廣域網帶寬來提升SDTP的實用性，能夠極大地減少作業的響應時間。本發明還提出了一種跨多數據中心的數據分布式處理加速系統，對應于上述方法，能夠充分的使用跨區域分布站點的網絡和計算資源，從而有效地分析跨區域分布的數據而不必等待前一階段的瓶頸站點完成對應的數據傳輸或計算任務。

技術領域

本發明涉及數據分析領域，具體公開了一種跨多數據中心的數據分布式處理加速方法及其系統。

背景技術

谷歌，亞馬遜和阿里巴巴等云提供商已經在全球部署了數據中心，以提供即時服務。這些服務在全球范圍內生成大量數據，包括交易數據，用戶日志和性能日志等。挖掘這些地理分布的數據（也稱為廣域分析）對于商業建議，匿名檢測，性能升級和系統維護等至關重要。通常實施諸如Map-Reduce的分布式計算框架來挖掘此類海量數據集。這種計算方式的主要挑戰是地理分布站點之間硬件資源的異構性，主要包括計算，上行鏈路帶寬和下行鏈路帶寬。最大的在線服務提供商的計算能力可能比普通在線服務提供商大兩個數量級。此外，在Amazon EC2站點之間的WAN帶寬中，站點之間的帶寬比站點內的帶寬小15倍，而且不同站點之間的廣域網帶寬達到12倍的差距。。地理分布站點之間的數據量的異構性也很高，數據量的異構性會嚴重影響廣域網數據分析的執行。作業響應時間是分析地理分布數據的關鍵指標，該指標主要由作業在每個階段的瓶頸站點的完成時間決定。但是，硬件資源的異構性和地理分布站點之間數據量的多樣性嚴重影響了作業完成時間。因此，優化此度量標準具有挑戰性，因為必須考慮多個因素，包括站點之間的WAN鏈路帶寬，WAN鏈路的成本，每個站點中的計算資源和數據分布等。

Iridium 考慮到WAN的異構性，旨在通過優化reduce任務來最小化跨區域分析作業的響應時間。Flutter是考慮到WAN鏈路的異構性和WAN帶寬成本，提出了一種新的任務調度算法，用于減少大數據處理作業的響應時間和網絡成本。Tetrium 在設計了map和reduce的任務放置策略時共同考慮了計算和網絡資源的異構性。 Yugong提出了一種新穎的數據和作業放置策略以最小化跨DC帶寬的使用并減少查詢等待時間。Liu等人主動匯總map任務的輸出數據，并避免在shuffle階段重復進行數據傳輸，以減少作業響應時間。以上方法通過各種方式減少作業響應時間，然而這些方法中大量的WAN鏈路和計算資源在作業執行期間卻任然處于空閑狀態。此外，這些方法都忽略了可用WAN帶寬的動態特性以及并行度的影響。