[發明專利]一種寫操作控制方法、系統、裝置及計算機可讀存儲介質

有效

• 申請號: 201810022648.7
• 申請日: 2018-01-10
• 公開（公告）號: CN108255429B
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 孟祥瑞
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種寫操作控制方法、系統、裝置及計算機存儲介質，應用于分布式存儲系統，包括：在接收到寫請求時，調用寫線程將待寫入數據按照條帶方式分割成原始數據塊，并根據條帶對應的數據對象服務OSD信息將原始數據塊發送到OSD節點上下盤；調用后臺線程根據待寫入數據生成校驗數據塊，并發送校驗數據塊到對應的OSD節點上下盤。本申請中每次寫數據時，調用寫線程只把待寫入數據下盤，然后調用后臺線程異步計算出校驗數據塊，再單獨下盤。后臺線程不工作在業務下盤的IO路徑上，減少了業務IO路徑的下盤數據量，這樣就降低了業務每次寫數據的時延，使得分布式存儲系統能提供更高的性能，支撐更多路數的視頻流業務，滿足客戶需求。

技術領域

本發明涉及分布式文件系統領域，特別是涉及一種寫操作控制方法、系統、裝置及計算機可讀存儲介質。

背景技術

分布式存儲系統中，通常采用EC(Erasure Code，糾刪碼)技術來實現數據的冗余可靠性，這種機制保障了在不超過冗余個數的硬盤出現故障時，數據是可恢復的。具體地，Client端每次寫數據時，通過EC技術計算出原始數據塊對應的校驗數據塊，然后同時把原始數據塊和校驗數據塊一起發送至OSD(Object-based Storage，數據對象服務)端下盤。校驗數據塊的下盤占用了業務下盤的IO(Input/Output，輸入/輸出)路徑，使得業務IO路徑的下盤數據量較多，從而導致寫請求的時延較長，業務的吞吐量性能較低，難以支持成百上千路的視頻流寫入，可能出現業務阻塞的問題。

因此如何提供一種解決上述技術問題的方案是本領域技術人員目前需要解決的問題。

發明內容

本發明的目的是提供一種寫操作控制方法、系統、裝置及計算機可讀存儲介質，每次寫數據時，調用寫線程只把待寫入數據下盤，然后調用后臺線程異步計算出校驗數據塊，再單獨下盤。后臺線程不工作在業務下盤的IO路徑上，減少了業務IO路徑的下盤數據量，降低了業務每次寫數據的時延，使得分布式存儲系統能提供更高的性能，支撐更多路數的視頻流業務，滿足客戶需求。

為解決上述技術問題，本發明提供了一種寫操作控制方法，應用于分布式存儲系統，包括：

在接收到寫請求時，調用寫線程將待寫入數據按照條帶方式分割成原始數據塊，并根據所述條帶對應的數據對象服務OSD信息將所述原始數據塊發送到所述OSD節點上下盤；

調用后臺線程根據所述待寫入數據生成校驗數據塊，并發送所述校驗數據塊到對應的OSD節點上下盤。

優選地，所述根據所述待寫入數據生成校驗數據塊的過程具體為：

判斷所述待寫入數據是否是首次寫；

如果是首次寫，則根據當前所述待寫入數據直接生成校驗數據塊；

如果是修改寫，則判斷所述修改寫是否是整條帶覆蓋寫，當是所述整條帶覆蓋寫時，根據當前所述待寫入數據直接生成校驗數據塊，當不是所述整條帶覆蓋寫時，合并所述待寫入數據和原有數據，根據合并后的數據生成校驗數據塊。

優選地，所述將所述原始數據塊發送到所述OSD節點上下盤之后，該方法還包括：

發送用于指示寫入成功的返回結果至上層業務。

優選地，所述發送所述校驗數據塊到對應的OSD節點上下盤之后，該方法還包括：

釋放緩存中保存的所述待寫入的數據。

為解決上述技術問題，本發明還提供了一種寫操作控制系統，應用于分布式存儲系統，包括：

第一發送模塊，用于在接收到寫請求時，調用寫線程將待寫入數據按照條帶方式分割成原始數據塊，并根據所述條帶對應的數據對象服務OSD信息將所述原始數據塊發送到所述OSD節點上下盤；