[發明專利]一種分布式文件系統中的條帶化卷擴展數據遷移方法

有效

• 申請號: 201410768279.8
• 申請日: 2014-12-04
• 公開（公告）號: CN104572842B
• 公開（公告）日: 2018-12-28
• 發明（設計）人: 周航軍;周航飛;楊海峰;張偉;劉鋒
• 申請（專利權）人: 長沙數析信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F3/06
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 崔自京

一種分布式文件系統中的條帶化卷擴展數據遷移方法，包括計算擴展卷RI和計算RI內的新卷位置；通過該計算方法可以迭代計算出原有子卷條帶數據在卷擴展后的新存儲位置，一次性將數據直接遷移到目標子卷，極大地降低了數據遷移開銷，并且遷移后的條帶數據在所有子卷上均勻分布，從而保證了了文件系統的實時處理能力和并發操作性能，增大了IOPS和傳輸吞帶寬。

技術領域

本發明涉及擴展數據遷移方法技術領域，尤其是一種分布式文件系統中的條帶化卷擴展數據遷移方法。

背景技術

在分布式文件系統中，為提高并行存儲的IOPS和傳輸帶寬，可以采用條帶化卷保存文件和讀寫數據。一個條帶化卷包含若干條帶化子卷。文件按照預設的條帶大小被等分為各個數據塊，這些條帶數據按一定序列規則依次存放在條帶化子卷中。因此，單個子卷里存儲的不是完整的文件，而是文件的部分條帶數據。當存儲文件規模增大超出了現有卷容量時，需要對條帶化卷進行擴展，增加子卷數量，擴大卷存儲空間。為了提高擴展后的條帶化卷的并發讀寫性能，需要從原有子卷向新子卷進行數據遷移操作。條帶化子卷間的數據遷移目標是：1)使數據條帶均勻分布在各子卷上，各卷條帶數基本相等；2)盡量減少數據遷移次數，降低遷移開銷。本專利提出一種新的分布式文件系統條帶化卷擴展數據遷移技術，不論進行多大規模的子卷擴展，都能以最小的條帶移動次數實現擴展操作，極大地降低了數據遷移開銷，并時條帶數據能在所有子卷上均勻分布，從而提高了文件系統的實時處理能力和并發操作性能，有效地增大了IOPS和傳輸吞吐量。

發明內容

針對上述問題，本發明旨在提供一種分布式文件系統中的條帶化卷擴展數據遷移方法。

為實現該技術目的，本發明采用以下技術方案：一種分布式文件系統中的條帶化卷擴展數據遷移方法，包括計算擴展卷RI和計算RI內的新卷位置；

其中在擴展卷RI計算中：計算N個擴展子卷的RI_i，其中i＝(2,3,…,N)，具體步驟如下；

步驟一，從第1子卷擴展為2個子卷時，RI₂＝2；

步驟二，若擴展為N-1子卷時，第N-1卷的RI_N-1＝k，則擴展至第N子卷為：

即：RI_N＝小于等于N的全部質數的冪的乘積，其中每個質數的冪方小于等于N；例如：RI₅＝2²×3×5＝60，RI₆＝2²×3×5＝60；

在計算RI內的新卷位置中：計算RI內的新卷位置，具體步驟如下；

步驟一，在內存中預先建立大小為RI_N的映射表，可針對不同N建立多張表；

步驟二，迭代計算：

(1)，對1至RI_N個條帶數據進行N次擴展迭代，在表中生成各個新子卷位置；

(2)，迭代公式：

假設條帶化卷擴展為n個子卷，可將n個子卷看成n列，卷內每個數據塊按行排列，每個子卷每行為一個數據塊；對于任意數據塊a，若其在條帶化卷內的位置坐標為(x_n,a，y_n,a),x_n,a為a所在子卷數，y_n,a為a所在子卷內行數，則可以通過下列公式迭代求解(x_n,a，y_n,a)，

或者

其中，q為y_n-1,a除以n的整數部分；