[發明專利]一種基于BCube（n;b）數據中心的數據存取方法

有效

• 申請號: 201810875166.6
• 申請日: 2018-08-03
• 公開（公告）號: CN108536555B
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 郭得科;夏俊旭;唐國明
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F11/14
• 分類號: G06F11/14;H04L12/703;H04L12/707;H04L12/709;H04L29/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 馬驍;于潔

本發明公開了一種基于BCube（）數據中心的數據存取方法，應用于多副本系統中，包括：確定至少一組第一節點，各組內的各所述第一節點之間在各位上的數字均不相同；根據第二節點和各所述第一節點確定所述第二節點與各所述第一節點之間的傳輸路徑；將所述第二節點存儲的數據分別通過各所述傳輸路徑并行傳輸至各所述第一節點。通過上述方法，能夠實現數據的并行傳輸，節省了數據傳輸的時間也提高了數據傳輸的效率。

技術領域

本發明涉及數據中心的數據傳輸領域，特別是指一種基于BCube（）數據中心的數據存取方法。

背景技術

近年來，全球的數據正在以爆炸的形式增長。根據國際數據公司IDC的統計，從2010年到2020年，全球的數據體量將增加50倍，預計到達40ZB。同時，數據存儲的需求正在以每年50%到62%的速度增長。這種增長對數據中心存儲的可靠性提出了更高的要求。以Facebook部署的Hadoop機群為例，整個機群有3000個節點，涉及45PB的數據，平均每天有22個節點失效，而且單日最高失效節點數超過100。如何確保數據的可靠性成為了數據中心的首要問題。

BCube數據中心是微軟研究人員提出的一種新的以服務器為中心的拓撲結構，通過小型交換機和服務器來遞歸地構建大規模數據中心網絡，可以用于數據的存儲，在GuoC, Lu G, Li D等人在2009年39（4）的Acm Sigcomm Computer Communication Review所發表的文獻《 BCube:a high performance, server-centric network architecture formodular data centers[J]》中，詳細的介紹了BCube數據中心的結構及原理。

為了提升數據存儲的可靠性，目前主要通過兩種機制來實現。

一種機制是副本機制，該方法通過對原文件進行復制來增加冗余度。將數據復制成多份并分散地存儲在數據中心的不同位置。當一份文件損壞時，其副本可以被傳回本地來代替原文件，從而保證數據存儲的可靠性。例如，在HDFS（Hadoop DistributedFilesystem，Hadoop分布式文件系統）、Ceph、Swift等存儲系統中，一份文件包含3個副本。理論上，只要有一個副本或者原文件存在時，數據就是可恢復的。這種方法雖然簡單，但是副本會造成大量的冗余，導致大量存儲空間的浪費。

另一種機制是糾刪碼機制，可以通過對數據的計算等處理來減少數據存儲的冗余，其中比較有代表性的是Reed-Solomon(RS)編碼。在RS（k，m）中，數據被劃分成k個部分，然后經過處理產生m個冗余部分。只要在這k+m個數據塊中存在k個數據塊，那么數據就可以被恢復。相比于副本系統，糾刪碼機制有效地減少了數據存儲的成本。例如，如果想要容忍2個失敗，對于大小為D bytes的數據來說，副本的方法需要3D bytes的存儲空間，而RS（4，2）編碼只需要1.5D bytes。然而，RS編碼的缺點是在修復過程中對流量的消耗較大。在數據中心中，由于磁盤等原因造成C bytes的數據損壞時，RS（k，m）需要k×C bytes的流量來修復，而副本的方法只需要C bytes。

目前，副本系統和糾刪碼系統所存在的最大問題之一是傳輸效率的問題。對于一個需要R副本的多副本系統來說，存儲一份文件需要R次的傳輸。如果傳輸一個副本所需的時間為t，那么完成所有副本的傳輸需要R×t的時間。類似的，當文件需要更新時，仍需R×t的時間來完成。而對于糾刪碼系統，在一個（k，m）糾刪碼系統中，如果想要存儲一份文件，需要k+m次的傳輸。如果數據塊較大，會浪費大量的時間，而且寫入這k+m個數據塊也是一筆巨大的時間開銷。

發明內容

有鑒于此，本發明的目的在于提出一種基于BCube（）數據中心的數據存取方法。