[發明專利]一種面向數據中心存儲故障的數據恢復調優方法

在審

• 申請號: 202010623169.8
• 申請日: 2020-06-30
• 公開（公告）號: CN111796973A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 李鑫;李慧杰;胡峰;陳兵;秦小麟
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F9/48
• 代理公司: 蘇州三英知識產權代理有限公司 32412
• 代理人: 朱如松

1.一種面向數據中心存儲故障的數據恢復調優方法，其特征在于，包括如下步驟：

步驟1、依據系統參數，依托Hadoop將系統所要完成的任務分為J組復制任務流其中，取上限值，d_i表示第i組復制任務流中的復制任務數據量，所述系統參數至少包括數據中心的數據節點的數量N、系統的可用帶寬M、數據塊的容量K和待恢復的數據塊數量R；

步驟2、獲取復制因子G，其中取下限值，根據系統參數初步判斷復制因子的最優范圍；

步驟3、執行復制因子G的調優策略，包括：

(3-1)定義v表示迭代次數，初始化v＝1；將各數據節點按網絡距離升序排列，形成待選擇目標數據節點隊列Q；

(3-2)針對數據副本，將復制任務分為n個優先級，組成優先級隊列r；

(3-3)從高優先級復制任務中選擇容量I的復制任務，I滿足：

SUM_I≥AVG，

SUM_I表示待復制任務隊列I中所有復制任務的數據容量；

將I中的復制任務流從優先級隊列中刪除；

(3-4)將I的復制任務根據網絡距離擇優放置在目標數據節點，目標數據節點與失效節點的距離最優；

將優先級隊列中的其他任務根據網絡距離重新排序。

2.根據權利要求1所述的面向數據中心存儲故障的數據恢復調優方法，其特征在于，步驟1中所述系統參數還包括心跳周期W，獲取單位心跳間隔內恢復數據的上限C，滿足C≤max{(N*G*K)，(N*M)}。

3.根據權利要求1所述的面向數據中心存儲故障的數據恢復調優方法，其特征在于，步驟1中系統參數還包括獲取數據恢復時間T，滿足

4.根據權利要求1所述的面向數據中心存儲故障的數據恢復調優方法，其特征在于，所述步驟(3-2)中，將復制任務分為五個優先級，組成優先級隊列r：

優先級1：保存需要立刻進行復制的數據塊；這個數據塊只有一個副本或者沒有活躍的副本，僅有的一個副本所在的DataNode處在正在退役狀態

優先級2：保存副本數量極低的數據塊，當實際的副本數量與期望副本的比例小于1∶3時，將副本數量極低的數據塊加入這個隊列；

優先級3：保存副本數量低于期望值的數據塊，要求該數據塊的副本數不滿足優先級2隊列中的比例；

優先級4：數據塊的副本數量滿足要求，但是副本分布性不足；

優先級5：保存已經損壞的數據塊，該數據塊對應的所有副本為損壞的。

5.根據權利要求1所述的面向數據中心存儲故障的數據恢復調優方法，其特征在于，所述步驟3還包括(3-5)：統計正常運行的MapReduce作業執行時間y；統計存在節點失效時MapReduce作業的執行時間x；比較x與y，以判斷MapRedcue作業的執行效率，判斷條件為：y*99％≥x，若不滿足，則令G＝G-1，返回步驟(3-2)。

6.根據權利要求5所述的面向數據中心存儲故障的數據恢復調優方法，其特征在于，所述步驟3還包括(3-6)：統計當前節點對應日志中數據副本總的恢復時間p，則當前所有v輪迭代中恢復時間最短值h，其執行前提為比較x與y時滿足y*99％≥x。

7.根據權利要求1所述的面向數據中心存儲故障的數據恢復調優方法，其特征在于，所述步驟(3-1)中數據節點排序時：

將各數據節點按網絡距離升序排列，形成待選擇目標數據節點隊列Q，初始情況下，Q具有N個待復制數據副本；以數據節點間的線纜的段數代表節點之間的網絡距離。

8.根據權利要求5所述的面向數據中心存儲故障的數據恢復調優方法，其特征在于，所述步驟(3-5)中，節點的選擇方法為：進行v輪迭代，每輪迭代選出一組復制任務流和一個目標物理節點，并將選出的復制任務流復制在選中的目標節點上。

9.根據權利要求8所述的面向數據中心存儲故障的數據恢復調優方法，其特征在于，所述步驟(3-5)中，每輪迭代包括步驟：

分別選出待復制優先級隊列r和目標數據節點隊列Q的隊首元素，并將待復制優先級隊列r的高優先級復制任務部署在目標數據節點隊列Q隊首的物理機上；

從最佳復制因子值范圍的上限開始，逐次統計數據副本總的恢復時間，在滿足y*99％≥x的范圍內，統計每次數據恢復的時間和其復制因子。