[發明專利]一種數據處理方法及裝置

在審

• 申請號: 201811621057.8
• 申請日: 2018-12-28
• 公開（公告）號: CN109739646A
• 公開（公告）日: 2019-05-10
• 發明（設計）人: 徐越;潘登;鄭鈞元;龍春竹
• 申請（專利權）人: 北京神州綠盟信息安全科技股份有限公司;北京神州綠盟科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

本發明公開了一種數據處理方法及裝置。該方法包括：數據訪問設備獲取所述數據訪問設備的中央處理器CPU在第一周期內處理的至少一個數據單元；所述數據訪問設備確定所述至少一個數據單元中每個數據單元的冷熱數據指標值；所述數據訪問設備將所述至少一個數據單元中冷熱數據指標值最大的T個數據單元作為第一集合；針對所述至少一個數據單元中的第一數據單元，所述數據訪問設備若確定所述第一數據單元在所述第一周期之前的連續N個周期內均位于所述第一集合，且未被存儲在所述CPU緩存中，則將所述第一數據單元存儲到所述CPU緩存中；所述第一數據單元為所述至少一個數據單元中任一數據單元。

技術領域

本發明涉及數據處理領域，尤其涉及一種數據處理方法及裝置。

背景技術

在數據存儲、檢索系統中，有兩種常見數據，其中，熱數據為未來一段時間內，將會被中央處理器(CPU，Central Processing Unit)頻繁處理的數據單元；冷數據為在未來一段時間內，不會被CPU頻繁處理的數據單元，一般數據量較大，如歷史數據等。將熱數據優先放入緩存，無疑會減少數據在緩存的換入換出操作，進而提高CPU處理的性能和效率，需要識別冷熱數據。

因此，如何確定冷熱數據及提高數據處理準確率是一個亟待解決的問題。

發明內容

本申請實施例提供了一種數據處理方法及裝置，解決了現有技術中如何確定冷熱數據及提高數據處理準確率的問題。

本發明實施例提供一種數據處理方法，該方法包括：

數據訪問設備獲取所述數據訪問設備的中央處理器CPU在第一周期內處理的至少一個數據單元；

所述數據訪問設備確定所述至少一個數據單元中每個數據單元的冷熱數據指標值；每個數據單元的冷熱數據指標值為根據該數據單元的屬性信息值確定的；所述屬性信息包括以下一項或多項：數據單元的自回歸移動平均ARMA模型的預測值、數據單元的訪問頻度、數據單元的存儲訪問代價和數據單元所需的緩存空間大小；

所述數據訪問設備將所述至少一個數據單元中冷熱數據指標值最大的T個數據單元作為第一集合；

所述數據訪問設備將所述至少一個數據單元中滿足第一判斷條件的數據單元存儲到所述CPU的緩存中；所述第一判斷條件為數據單元在所述第一周期之前的連續N個周期內均位于所述第一集合，且未被存儲在所述CPU的緩存中，所述N為大于0的整數。

可選的，所述數據訪問設備確定所述至少一個數據單元中每個數據單元的冷熱數據指標值，包括：

針對所述至少一個數據單元中每個數據單元，所述數據訪問設備確定該數據單元的屬性信息值的每一項以及該項對應的權重值；

所述數據訪問設備將該數據單元的屬性信息值的每一項以及該項對應的權重值，代入預設公式的運算結果，作為該數據單元的冷熱數據指標值。

可選的，所述數據訪問設備確定該數據單元的屬性信息值的每一項，包括：

若該數據單元的屬性信息值包括數據單元的存儲訪問代價，則所述數據訪問設備根據該數據單元在所述第一周期內，被訪問的次數及每次被訪問的時長，確定該數據單元的存儲訪問代價。

可選的，所述數據訪問設備確定該數據單元的屬性信息值的每一項，包括：

若該數據單元的屬性信息值包括該數據單元的訪問頻度，則所述數據訪問設備根據該數據單元在所述第一周期內被訪問的次數及所述第一周期的時長，確定該數據單元的所述數據單元的訪問頻度。

可選的，所述數據訪問設備將所述至少一個數據單元中滿足第二判斷條件的數據單元釋放；所述第二判斷條件為數據單元不位于所述第一集合中，且在所述第一周期之前的所述連續N個周期內均不位于所述第一集合中。