[發明專利]一種數據處理方法、裝置及相關組件

有效

• 申請號: 202010701050.8
• 申請日: 2020-07-17
• 公開（公告）號: CN111880731B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 劉文國
• 申請（專利權）人: 北京浪潮數據技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/174
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉志紅

本申請公開了一種數據處理方法，應用于實時壓縮存儲系統，包括：當獲取到更新數據，確定與更新數據對應的目標數據塊；計算目標數據塊的無效信息；判斷實時壓縮存儲系統是否滿足垃圾回收條件；若是，釋放目標數據塊中的無效數據，將目標數據塊中的數據分為冷數據和熱數據，根據無效信息將冷數據和熱數據分別存儲到各自對應的空閑數據塊。本申請能夠保證每一數據塊中的冷數據只需要遷移一次，無需浪費實時壓縮存儲系統過多的資源，提高實時壓縮存儲系統的性能。本申請還公開了一種數據處理裝置、電子設備及計算機可讀存儲介質，具有以上有益效果。

技術領域

本申請涉及存儲服務器領域，特別涉及一種數據處理方法、裝置及相關組件。

背景技術

數據的指數級增長對存儲容量的要求越來越高，目前，通常有兩種途徑來應對存儲容量的增長，一種是擴展存儲容量，但這會帶來成本的增加；另一種是對數據進行壓縮，減少存儲容量的消耗，以達到節省成本的目的。實時壓縮存儲系統在數據寫入存儲設備之前對數據進行壓縮，不僅減少了存儲空間的占用，更能進一步減少對存儲設備(比如磁盤)的訪問，從而提高存儲系統的性能。

當前的實時壓縮存儲系統，將數據壓縮后，以數據塊為單位順序寫入存儲空間，由于數據的更新，數據塊中產生了無效數據，當實時壓縮存儲系統的空間不足時，該實時壓縮存儲系統需要執行垃圾回收算法，將無效數據占據的空間釋放，成為空閑空間，以便繼續存儲新到來的數據。在執行垃圾回收算法的過程中，數據塊中的冷數據會隨著數據塊中有效數據的合并被多次遷移，浪費實時壓縮存儲系統的資源，從而導致實時壓縮存儲系統的性能下降。

因此，如何提供一種解決上述技術問題的方案是本領域技術人員目前需要解決的問題。

發明內容

本申請的目的是提供一種數據處理方法、裝置、電子設備及計算機可讀存儲介質，能夠保證每一數據塊中的冷數據只需要遷移一次，無需浪費實時壓縮存儲系統過多的資源，提高實時壓縮存儲系統的性能。

為解決上述技術問題，本申請提供了一種數據處理方法，應用于實時壓縮存儲系統，包括：

當獲取到更新數據，確定與所述更新數據對應的目標數據塊；

計算所述目標數據塊的無效信息；

判斷所述實時壓縮存儲系統是否滿足垃圾回收條件；

若是，釋放所述目標數據塊中的無效數據，將所述目標數據塊中的有效數據分為冷數據和熱數據，根據所述無效信息將所述冷數據和所述熱數據分別存儲到各自對應的空閑數據塊。

優選的，所述確定與所述更新數據對應的目標數據塊之后，該數據處理方法還包括：

標記所述目標數據塊中與所述更新數據對應的無效數據，并記錄所述無效數據的長度。

優選的，所述無效信息為所述無效數據的長度與所述目標數據塊的長度的比值。

優選的，所述根據所述無效信息將所述冷數據和所述熱數據分別存儲到各自對應的空閑數據塊的過程具體包括：

按所述比值從大到小的順序確定目標數據塊的處理順序；

根據所述處理順序，依次將各個所述目標數據塊中的所述冷數據和所述熱數據分別存儲到各自對應的空閑數據塊。

優選的，所述判斷所述實時壓縮存儲系統是否滿足垃圾回收條件的過程具體為：

判斷所述實時壓縮存儲系統的空閑空間是否小于預設值；

若是，判定所述實時壓縮存儲系統滿足垃圾回收條件；

若否，判定所述實時壓縮存儲系統不滿足垃圾回收條件。

優選的，所述將所述目標數據塊中的有效數據分為冷數據和熱數據的過程具體包括：