[發明專利]數據讀寫方法、裝置、設備及計算機可讀存儲介質

有效

• 申請號: 201910572489.2
• 申請日: 2019-06-27
• 公開（公告）號: CN110308875B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 鄭炎亭;吳大立
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種數據讀寫方法，其特征在于，所述數據讀寫方法包括如下步驟：

獲取分布式存儲系統當前的各物理節點包含的硬盤數量；

獲取上層應用在預設時長內下發的數據讀寫請求所請求讀寫的單位數據流的大小；

根據所述硬盤數量調整與所述上層應用對應的條帶寬度；

根據所述單位數據流的大小調整與所述上層應用對應的條帶深度；

根據調整后的所述條帶寬度和所述條帶深度執行對所述各物理節點的數據讀寫操作；

所述根據所述硬盤數量調整與所述上層應用對應的條帶寬度的步驟包括：

當所述上層應用當前的IO策略為IO本地化策略時，獲取包含硬盤數量最少的物理節點的硬盤數，并將獲取到的所述硬盤數作為目標硬盤數；

檢測與IO請求對應的待讀寫的數據是否為多副本數據；

若是，則所述條帶寬度調整為小于或等于所述目標硬盤數除以相應的副本數；

所述根據所述單位數據流的大小調整與所述上層應用對應的條帶深度的步驟包括：

將所述預設時長分為若干個時間段，分別為各時間段設置對應的權重值；

將各時間段內下發的單位數據流的大小乘以對應的權重值后進行求和，得到一個單位數據流的大小的參考值；

根據所述參考值調整與所述上層應用對應的條帶深度。

2.如權利要求1所述的數據讀寫方法，其特征在于，所述根據所述硬盤數量調整與所述上層應用對應的條帶寬度的步驟包括：

獲取所述上層應用的IO策略；

若所述上層應用的IO策略為IO本地化策略，則獲取包含硬盤數量最少的物理節點的硬盤數，并將獲取到的所述硬盤數作為目標硬盤數；

將與所述上層應用對應的條帶寬度調整為小于或等于所述目標硬盤數。

3.如權利要求1所述的數據讀寫方法，其特征在于，所述根據所述單位數據流的大小調整與所述上層應用對應的條帶深度的步驟包括：

獲取在所述預設時長內出現頻次最高的單位數據流的大小；

確定所述出現頻次最高的單位數據流的大小所處的預設區間；

查詢單位數據流的大小區間與條帶深度之間的預設映射關系，得到與所述預設區間對應的條帶深度，并將與所述預設區間對應的條帶深度作為目標條帶深度；

將與所述上層應用對應的條帶深度調整為所述目標條帶深度。

4.如權利要求1至3中任一項所述的數據讀寫方法，其特征在于，所述數據讀寫方法還包括：

若檢測到創建文件分片組的指令，則獲取調整后的所述條帶寬度和所述條帶深度；

根據調整后的所述條帶寬度和所述條帶深度創建文件分片組。

5.如權利要求4所述的數據讀寫方法，其特征在于，所述數據讀寫方法還包括：

檢測所述分布式存儲系統是否滿足預設的空閑條件；

若所述分布式存儲系統滿足預設的空閑條件，則獲取不符合調整后的所述條帶寬度和所述條帶深度的文件分片；

將獲取到的所述文件分片按照預設的業務類型進行歸類；

根據調整后的所述條帶寬度和所述條帶深度，將同一分類下的所述文件分片重新寫入至所述分布式存儲系統各物理節點的硬盤中。