[發明專利]一種基于數據熱度的數據清理方法、裝置及存儲介質

在審

• 申請號: 202011448046.1
• 申請日: 2020-12-09
• 公開（公告）號: CN112559504A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 嚴敏
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 蔣杰

本發明提供一種基于數據熱度的數據清理方法、裝置及存儲介質，方法包括：從目標數據平臺中采集數據熱度信息；分別對所述數據熱度信息中多個數據類型進行解析，得到各個數據類型熱度；根據預設熱度權重對各個所述數據類型熱度進行熱度評估，得到數據類型熱度的評估信息；根據預設清理策略和所述評估信息確定待刪除數據類型，并對所述待刪除數據類型對應的數據進行清理處理。本發明能夠對采集的數據熱度信息進行解析得到數據類型熱度，并基于數據熱度評估模型給出數據類型熱度的熱度評估信息，根據評估信息來自動清理數據類型，不需要依賴人工處理，提高了清理效率及準確性。

技術領域

本發明主要涉及數據清理技術領域，具體涉及一種基于數據熱度的數據清理方法、裝置及存儲介質。

背景技術

隨著大數據平臺的發展，大規模的數據倉庫、數據湖等大型數據中心日益普遍，數據中心在持續沉淀數據的同時，也帶來存儲和性能的壓力，保障數據中心的高效運轉，提升數據中心數據價值對數據運營運維提出了新的挑戰，及時清理低價值低熱度數據，是解決上述方法的一種有效手段，但目前數據熱度及價值的評估方法，更多依賴于人工的方式，效率低且復雜度高，也經常存在準確性不高的問題。

發明內容

本發明所要解決的技術問題是針對現有技術的不足，提供一種基于數據熱度的數據清理方法、裝置及存儲介質。

本發明解決上述技術問題的技術方案如下：一種基于數據熱度的數據清理方法，包括如下步驟：

從目標數據平臺中采集數據熱度信息；

分別對所述數據熱度信息中多個數據類型進行解析，得到各個數據類型熱度；

根據預設熱度權重對各個所述數據類型熱度進行熱度評估，得到數據類型熱度的評估信息；

根據預設清理策略和所述評估信息確定待刪除數據類型，并對所述待刪除數據類型對應的數據進行清理處理。

本發明解決上述技術問題的另一技術方案如下：一種基于數據熱度的數據清理裝置，包括：

采集模塊，用于從目標數據平臺中采集數據熱度信息；

解析模塊，用于分別對所述數據熱度信息中多個數據類型進行解析，得到各個數據類型熱度；

評估模塊，用于根據預設熱度權重對各個所述數據類型熱度進行熱度評估，得到數據類型熱度的評估信息；

清理模塊，用于根據預設清理策略和所述評估信息確定待刪除數據類型，并對所述待刪除數據類型對應的數據進行清理處理。

本發明解決上述技術問題的另一技術方案如下：一種基于數據熱度的數據清理裝置，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，當所述處理器執行所述計算機程序時，實現如上所述的基于數據熱度的數據清理方法。

本發明解決上述技術問題的另一技術方案如下：一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，當所述計算機程序被處理器執行時，實現如上所述的基于數據熱度的數據清理方法。

本發明的有益效果是：能夠對采集的數據熱度信息進行解析得到數據類型熱度，并基于數據熱度評估模型給出數據類型熱度的熱度評估信息，根據評估信息來自動清理數據類型，不需要依賴人工處理，提高了清理效率及準確性。

附圖說明

圖1為本發明實施例提供的基于數據熱度的數據清理方法的流程示意圖；

圖2為發明實施例提供的基于數據熱度的數據清理裝置的功能模塊示意圖。

具體實施方式

以下結合附圖對本發明的原理和特征進行描述，所舉實例只用于解釋本發明，并非用于限定本發明的范圍。