[發明專利]數據處理方法、裝置、數據節點及存儲介質

有效

• 申請號: 202010758439.6
• 申請日: 2020-07-31
• 公開（公告）號: CN111857602B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 張偉益
• 申請（專利權）人: 重慶紫光華山智安科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 李莎

本發明涉及分布式存儲技術領域，提供了一種數據處理方法、裝置、數據節點及存儲介質，所述方法包括：接收客戶端發送的寫數據請求，其中，寫數據請求中攜帶有待寫地址，待寫地址用于表征待寫數據應寫入的第一目標存儲塊及在第一目標存儲塊中第一目標存儲單元；依據待寫地址確定待寫數據要寫入的目標快照，其中，目標快照與第一目標存儲塊對應，目標快照包括存儲區，存儲區與第一目標存儲塊中的存儲單元對應；將待寫數據寫入存儲區中的第一目標存儲區，其中，第一目標存儲區與第一目標存儲單元對應；向客戶端返回寫入成功的響應消息。本發明通過避免向存儲塊寫入待寫數據時產生的讀寫懲罰，從而提升了分布式存儲系統的寫性能。

技術領域

本發明涉及分布式存儲技術領域，具體而言，涉及一種數據處理方法、裝置、數據節點及存儲介質。

背景技術

為了提高分布式存儲系統數據的可靠性，目前主流的分布式存儲系統已經可以很好的支持塊存儲副本，通過存儲數據的副本，在原數據被損壞時，可以繼續使用副本數據，從而不影響存儲系統的業務。

但是在安防領域，由于視頻數據量巨大，傳統副本模式的塊存儲無法解決磁盤利用率低的問題，因此采用基于糾刪碼編碼對數據進行存儲，為了保證在糾刪碼編碼模式下分布式存儲系統數據的可靠性，通常給指定的存儲空間創建快照，在該存儲空間中的數據被損壞時，通過其快照將該存儲空間中的數據回滾至快照時的正常狀態。

向存在有寫時拷貝COW(Copy on first write，COW)快照的分布式存儲系統中存儲數據時，被寫的原數據塊首先要拷貝到指定的位置，然后再將要存儲的數據寫入至該原數據塊，因此一次寫數據操作需要進行一次讀操作(即讀原數據塊)和兩個寫操作(將原數據塊寫入指定的位置、將要存儲的數據寫入至原數據塊)才能完成，故而存在嚴重的讀寫懲罰，導致分布式存儲系統的寫性能的下降。

發明內容

本發明的目的在于提供了一種數據處理方法、裝置、數據節點及存儲介質，其通過為存儲塊創建對應的快照，將要寫入存儲塊的待寫數據暫存至存儲塊對應的快照中，避免了向存儲塊寫入待寫數據時產生的讀寫懲罰，從而提升了分布式存儲系統的寫性能。

為了實現上述目的，本發明實施例采用的技術方案如下：

第一方面，本發明提供一種數據處理方法，應用于分布式存儲系統中的數據節點，數據節點包括多個存儲塊，每一存儲塊包括多個存儲單元，分布式存儲系統還包括客戶端，數據節點與客戶端通信連接，所述方法包括：接收客戶端發送的寫數據請求，其中，寫數據請求中攜帶有待寫地址，待寫地址用于表征待寫數據應寫入的第一目標存儲塊及在第一目標存儲塊中第一目標存儲單元；依據待寫地址確定待寫數據要寫入的目標快照，其中，目標快照與第一目標存儲塊對應，目標快照包括存儲區，存儲區與第一目標存儲塊中的存儲單元對應；將待寫數據寫入存儲區中的第一目標存儲區，其中，第一目標存儲區與第一目標存儲單元對應；向客戶端返回寫入成功的響應消息。

第二方面，本發明提供一種數據處理裝置，應用于分布式存儲系統中的數據節點，數據節點包括多個存儲塊，每一存儲塊包括多個存儲單元，分布式存儲系統還包括客戶端，數據節點與客戶端通信連接，所述裝置包括：接收模塊，用于接收客戶端發送的寫數據請求，其中，寫數據請求中攜帶有待寫地址，待寫地址用于表征待寫數據應寫入的第一目標存儲塊及在第一目標存儲塊中第一目標存儲單元；處理模塊，用于依據待寫地址確定待寫數據要寫入的目標快照，其中，目標快照與第一目標存儲塊對應，目標快照包括存儲區，存儲區與第一目標存儲塊中的存儲單元對應；將待寫數據寫入存儲區中的第一目標存儲區，其中，第一目標存儲區與第一目標存儲單元對應；返回模塊，用于向客戶端返回寫入成功的響應消息。

第三方面，本發明提供一種數據節點，所述數據節點包括：一個或多個處理器；存儲器，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器實現如上述的數據處理方法。

第四方面，本發明提供一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述的數據處理方法。