[發(fā)明專利]數(shù)據(jù)讀寫方法、裝置、設(shè)備及計算機可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910572489.2
• 申請日: 2019-06-27
• 公開（公告）號: CN110308875B
• 公開（公告）日: 2023-07-14
• 發(fā)明（設(shè)計）人: 鄭炎亭;吳大立
• 申請（專利權(quán)）人: 深信服科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市世紀恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

本發(fā)明公開了一種數(shù)據(jù)讀寫方法，該方法包括：獲取分布式存儲系統(tǒng)當(dāng)前的各物理節(jié)點包含的硬盤數(shù)量；獲取上層應(yīng)用在預(yù)設(shè)時長內(nèi)下發(fā)的數(shù)據(jù)讀寫請求所請求讀寫的單位數(shù)據(jù)流的大小；根據(jù)所述硬盤數(shù)量調(diào)整與所述上層應(yīng)用對應(yīng)的條帶寬度；根據(jù)所述單位數(shù)據(jù)流的大小調(diào)整與所述上層應(yīng)用對應(yīng)的條帶深度；根據(jù)調(diào)整后的所述條帶寬度和所述條帶深度執(zhí)行對所述各物理節(jié)點的數(shù)據(jù)讀寫操作。本發(fā)明還公開了一種數(shù)據(jù)讀寫裝置、設(shè)備和一種計算機可讀存儲介質(zhì)。本發(fā)明能夠?qū)崿F(xiàn)條帶深度和條帶寬度的自適應(yīng)調(diào)整，從而提高分布式存儲系統(tǒng)的讀寫性能。

技術(shù)領(lǐng)域

本發(fā)明涉及存儲技術(shù)領(lǐng)域，尤其涉及數(shù)據(jù)讀寫方法、裝置、設(shè)備及計算機可讀存儲介質(zhì)。

背景技術(shù)

在目前的分布式存儲系統(tǒng)中，條帶化技術(shù)被廣泛應(yīng)用，所謂條帶化技術(shù)，就是將一塊連續(xù)的數(shù)據(jù)分成很多小部分并把他們分別存儲到不同磁盤上去，這樣能使多個進程同時訪問數(shù)據(jù)的多個不同部分而不會造成磁盤沖突，而且在需要對這種數(shù)據(jù)進行順序訪問的時候可以獲得最大程度上的I/O(Input/Output，磁盤的輸入和輸出)并行能力，從而獲得非常好的性能。

在條帶化技術(shù)中包含兩個重要的參數(shù)：條帶深度和條帶寬度。條帶深度即條帶的大小，也叫條帶大小，指的是寫在每塊磁盤上的條帶數(shù)據(jù)塊的大小；條帶寬度指的是同時可以并發(fā)讀或?qū)懙臈l帶數(shù)量，這個數(shù)量等于RAID(Redundant?Arrays?of?IndependentDrives，磁盤陣列)中的物理硬盤數(shù)量，例如一個經(jīng)過條帶化的，具有4塊物理硬盤的陣列的條帶寬度就是4。

現(xiàn)有的分布式存儲系統(tǒng)均是采用固定的條帶深度和條帶寬度，這種方式的缺陷在于：無法自適應(yīng)主機的物理配置變化，以及上層應(yīng)用下發(fā)的IO請求變化，導(dǎo)致分布式存儲系統(tǒng)無法達到最佳的讀寫性能。

發(fā)明內(nèi)容

本發(fā)明實施例的主要目的在于提出一種數(shù)據(jù)讀寫方法、裝置、設(shè)備及計算機可讀存儲介質(zhì)，旨在實現(xiàn)條帶深度和條帶寬度的自適應(yīng)調(diào)整，從而提高分布式存儲系統(tǒng)的讀寫性能。

為實現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)讀寫方法，所述數(shù)據(jù)讀寫方法包括如下步驟：

獲取分布式存儲系統(tǒng)當(dāng)前的各物理節(jié)點包含的硬盤數(shù)量；

獲取上層應(yīng)用在預(yù)設(shè)時長內(nèi)下發(fā)的數(shù)據(jù)讀寫請求所請求讀寫的單位數(shù)據(jù)流的大小；

根據(jù)所述硬盤數(shù)量調(diào)整與所述上層應(yīng)用對應(yīng)的條帶寬度；

根據(jù)所述單位數(shù)據(jù)流的大小調(diào)整與所述上層應(yīng)用對應(yīng)的條帶深度；

根據(jù)調(diào)整后的所述條帶寬度和所述條帶深度執(zhí)行對所述各物理節(jié)點的數(shù)據(jù)讀寫操作。

優(yōu)選地，所述根據(jù)所述硬盤數(shù)量調(diào)整與所述上層應(yīng)用對應(yīng)的條帶寬度的步驟包括：

獲取所述上層應(yīng)用的IO策略；

若所述上層應(yīng)用的IO策略為IO本地化策略，則獲取包含硬盤數(shù)量最少的物理節(jié)點的硬盤數(shù)，并將獲取到的所述硬盤數(shù)作為目標硬盤數(shù)；

將與所述上層應(yīng)用對應(yīng)的條帶寬度調(diào)整為小于或等于所述目標硬盤數(shù)。

優(yōu)選地，所述根據(jù)所述單位數(shù)據(jù)流的大小調(diào)整與所述上層應(yīng)用對應(yīng)的條帶深度的步驟包括：

獲取在所述預(yù)設(shè)時長內(nèi)出現(xiàn)頻次最高的單位數(shù)據(jù)流的大小；

確定所述出現(xiàn)頻次最高的單位數(shù)據(jù)流的大小所處的預(yù)設(shè)區(qū)間；

查詢單位數(shù)據(jù)流的大小區(qū)間與條帶深度之間的預(yù)設(shè)映射關(guān)系，得到與所述預(yù)設(shè)區(qū)間對應(yīng)的條帶深度，并將與所述預(yù)設(shè)區(qū)間對應(yīng)的條帶深度作為目標條帶深度；

將與所述上層應(yīng)用對應(yīng)的條帶深度調(diào)整為所述目標條帶深度。

優(yōu)選地，所述數(shù)據(jù)讀寫方法還包括：