[發明專利]結合主從備份和糾刪碼的內存計算系統高可用優化方法

有效

• 申請號: 201510217307.1
• 申請日: 2015-04-30
• 公開（公告）號: CN104866430B
• 公開（公告）日: 2017-12-15
• 發明（設計）人: 陳海波;張恒;董明凱;臧斌宇;管海兵
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F12/02
• 分類號: G06F12/02;G06F11/14
• 代理公司: 上海漢聲知識產權代理有限公司31236
• 代理人: 郭國中

1.一種結合主從備份和糾刪碼的內存計算系統高可用優化方法，其特征在于，包括如下步驟：

步驟1：將分布式系統分為多個組，每個組包括M個主節點和N個從節點，且M和N均大于零；M個主節點的B區和N個從節點的D區具有相同的內存空間，其中，N個從節點上的D區內存數據能夠由M個主節點B區上同內存地址的內存數據根據不同編碼公式得到；任意從節點C區均包含M個主節點A區的有效數據；

-每個所述主節點上的內存包括：A區和B區，所述A區用于保存元數據，所述B區用于保存值數據，其中，元數據包括鍵到值數據地址的索引和內存分配信息，值數據包括所在主節點上所有鍵對應的值數據；

-每個所述從節點上的內存包括：C區和D區；所述C區用于保存備份元數據，所述D區用于保存值數據編碼；

步驟2：引入糾刪碼的更新操作保護值數據；

步驟3：當一主節點發生宕機后，任一從節點構成恢復節點代替該主節點處理用戶請求，并利用在線恢復協議恢復丟失數據；

所述步驟2包括：

步驟2.1：根據用戶的寫請求，主節點為所述寫請求中的待寫入的值數據分配內存地址；

步驟2.2：主節點計算得到所述待寫入的值數據與所分配內存地址上原內存數據的差值，將所述寫請求中的待寫入的值數據替換為所得差值并轉發給從節點；

步驟2.3：當寫請求對應的寫操作為同步寫操作時，從節點使用緩存區將所述寫請求緩存，并回復主節點，相應的更新操作需等到主節點收到所有從節點回復后繼續進行；

步驟2.4：主節點執行索引修改與值數據修改；

步驟2.5：當寫請求對應的寫操作為同步寫操作時，主節點發送確認信息至從節點，同時從節點需等到主節點確認信息后繼續執行；

步驟2.6：從節點執行糾刪碼和元數據更新操作；

異步更新操作僅含上述步驟2.1、2.2、2.4、2.6；

所述步驟3包括：

步驟3.1：恢復節點接收用戶請求后，根據備份元數據得到待恢復內存地址，開始恢復內存數據，或在服務空閑時主動開始恢復內存數據；

步驟3.2：恢復節點根據主節點崩潰數量設定恢復所涉及到的主節點、從節點，并發送恢復請求至所有所述涉及到的主節點；

步驟3.3：接收到恢復請求的主節點向所有所述涉及到的從節點發送恢復所需數據，所述涉及到的從節點收到恢復所需數據后：

-若該待恢復內存地址不存在相應的糾刪碼拷貝，則為該恢復請求生成糾刪碼拷貝，將收到的恢復所需數據按恢復公式操作在該糾刪碼拷貝上；

-若該待恢復內存地址存在相應的糾刪碼拷貝，則直接更新該糾刪碼拷貝；

-若在對恢復所需數據的接收已開始但尚沒有接收完畢的過程中收到主節點的更新請求，且該糾刪碼拷貝正等待該主節點的恢復所需數據，則待恢復內存地址相應的原糾刪碼和糾刪碼拷貝都需要執行更新操作；

步驟3.4：從節點接收到所有主節點的恢復所需數據，且進行過恢復操作后，將恢復結果返回給恢復節點；

步驟3.5：恢復節點對收到的恢復結果做出計算，并恢復出原始值數據，繼續處理用戶請求。