[發明專利]數據處理方法及裝置

在審

• 申請號: 202011193950.2
• 申請日: 2020-10-30
• 公開（公告）號: CN112306414A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 占志剛;程威
• 申請（專利權）人: 北京澤石科技有限公司;澤石科技（武漢）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 董文倩

本發明公開了一種數據處理方法及裝置。該方法包括：建立多維函數模型，其中，多維函數模型包括多維指數，多維指數分別對應對數據塊進行篩選的多個條件；確定多維函數模型對應的多維空間，以及多維空間的多個質心；根據多個質心，通過聚類算法對多個數據塊進行聚類，得到與多個質心對應的多個塊簇；選取多維指數滿足多個條件的質心對應的塊簇為目標塊簇。本發明解決了“相關技術中對數據存儲塊的管理方式，存在對數據塊的特征衡量有限，導致數據塊處理的一致性和通用性較差”的技術問題。

技術領域

本發明涉及數據處理領域，具體而言，涉及一種數據處理方法及裝置。

背景技術

NAND Flash塊管理包括干凈塊的使用和臟塊的回收，主要提現在磨損均衡方面，包括動態均衡(垃圾回收等)和靜態均衡，二者的實現可能需要根據需求做相應調整。

干凈塊的使用情形比較簡單，只需考慮塊的磨損度就可以。而臟塊的垃圾回收，經典算法包括Greedy policy，Cost-benefit policy,Cost-Age-Times(CAT)policy等。這些算法衡量的塊特征有限，且大都是靠經驗指導，很難找到全局最優，而且可能并不具有一致性和通用性。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種數據處理方法及裝置，以至少解決“相關技術中對數據存儲塊的管理方式，存在對數據塊的特征衡量有限，導致數據塊處理的一致性和通用性較差”的技術問題。

根據本發明實施例的一個方面，提供了一種數據處理方法，包括：建立多維函數模型，其中，所述多維函數模型包括多維指數，所述多維指數分別對應對數據塊進行篩選的多個條件；確定所述多維函數模型對應的多維空間，以及所述多維空間的多個質心；根據所述多個質心，通過聚類算法對多個數據塊進行聚類，得到與所述多個質心對應的多個塊簇；選取多維指數滿足所述多個條件的質心對應的塊簇為目標塊簇。

可選的，確定所述多維函數模型對應的多維空間，以及所述多維空間的多個質心，包括：根據所述多維函數模型的多維指數的數量，確定所述多個質心的數量，其中，所述質心的數量比所述多維指數的數量多1；確定所述數量的多個質心在所述多維空間中的坐標，其中，所述質心為多個數據塊在所述多維空間中的范圍端點，所述質心在所述多維空間的坐標軸上。

可選的，根據所述多個質心，通過聚類算法對多個數據塊進行聚類，得到與所述多個質心對應的多個塊簇，包括：確定所述多個數據塊在所述多維空間中的坐標；對所述多個數據塊的坐標進行加權處理；根據所述多個數據塊加權后的坐標，計算所述多個數據塊分別與多個質點之間的歐氏距離；以所述歐氏距離的大小為聚類條件，對所述多個數據塊進行聚類；得到與所述多個質心對應的多個塊簇。

可選的，選取多維指數滿足所述多個條件的質心對應的塊簇為目標塊簇，包括：根據多個條件確定滿足所述多個條件的目標多維指數；根據所述目標多維指數，確定坐標與所述目標多維指數對應的目標質心；將所述目標質心對應的塊簇作為所述目標塊簇。

可選的，選取多維指數滿足所述多個條件的質心對應的塊簇為目標塊簇之后，還包括：根據所述目標塊簇中的數據塊的坐標，確定實際質心；根據所述實際質心進行后續數據塊的聚類操作。

可選的，所述條件為滿足數據處理方式的要求的篩選條件；所述數據處理方式包括下列至少之一：對所述多個數據塊進行寫入操作；對所述多個數據塊進行回收操作。

可選的，多個篩選條件包括下列至少之一：數據塊的有效頁數量為0或者有效頁數量小于預設數量；數據塊的磨損度小于預設磨損度；數據塊的熱度為0或者熱度小于預設熱度。