[發明專利]一種基于數據熱度的數據清理方法、裝置及存儲介質

在審

• 申請號: 202011448046.1
• 申請日: 2020-12-09
• 公開（公告）號: CN112559504A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 嚴敏
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 蔣杰

1.一種基于數據熱度的數據清理方法，其特征在于，包括如下步驟：

從目標數據平臺中采集數據熱度信息；

分別對所述數據熱度信息中多個數據類型進行解析，得到各個數據類型熱度；

根據預設熱度權重對各個所述數據類型熱度進行熱度評估，得到數據類型熱度的評估信息；

根據預設清理策略和所述評估信息確定待刪除數據類型，并對所述待刪除數據類型對應的數據進行清理處理。

2.根據權利要求1所述的數據清理方法，其特征在于，所述數據熱度信息包括數據庫日志、元數據訪問日志、數據賦權信息和數據關聯信息；

所述分別對所述數據熱度信息中多個數據類型進行解析，得到各個數據類型熱度的過程包括：

通過預設解析數據處理腳本從所述數據庫日志中提取數據訪問操作關聯的表操作語句，并解析所述表操作語句得到表信息，根據所述表信息得到表信息訪問次數，根據所述表信息訪問次數得到數據訪問熱度；

通過預設解析數據處理腳本解析所述元數據訪問日志得到瀏覽模型元數據信息，從所述瀏覽模型元數據信息中得到表元數據訪問次數，根據所述表元數據訪問次數得到元數據結構查詢熱度；

通過預設解析數據處理腳本解析所述數據賦權信息，得到表賦權信息，從所述表賦權信息中得到表賦權訪問次數，根據所述表賦權訪問次數得到數據賦權熱度；

通過預設解析數據處理腳本解析所述數據關聯信息，得到關聯表信息，并通過遞歸方法利用預設關聯腳本從所述關聯表信息中解析得到多個源表以及與各個源表關聯的目標表，直至源表與目標表不存在關聯關系時停止遞歸，并根據多個已關聯的源表和目標表得到關聯熱度。

3.根據權利要求2所述的數據清理方法，其特征在于，所述根據預設熱度權重對各個所述數據類型熱度進行熱度評估，得到評估信息的過程包括：

根據預設熱度權重對各個所述數據類型熱度進行排序，得到熱度排序信息，根據所述熱度排序信息對各個所述數據類型熱度進行評分，將各個數據類型及其對應的數據類型熱度和評分作為評估信息，其中，所述預設熱度權重為數據訪問熱度占比為35％、關聯熱度占比為30％、元數據結構查詢熱度占比為10％、數據賦權熱度占比為10％以及活動占比為15％；其中，活動占比為距離當前預設時間段內各數據類型訪問次數最高的數據類型的附加權重占比。

4.根據權利要求3所述的數據清理方法，其特征在于，所述預設清理策略包括清理項目數n和清理周期；

所述根據預設清理策略和所述評估信息確定待刪除數據類型的過程包括：

在每個清理周期內根據所述清理項目數n和所述評估信息確定評分較低的n個數據類型，作為待刪除數據類型。

5.根據權利要求4所述的數據清理方法，其特征在于，所述進行清理處理之前還包括步驟：

將待清理數據類型導出形成文件，將所述文件進行備份處理。

6.一種基于數據熱度的數據清理裝置，其特征在于，包括：

采集模塊，用于從目標數據平臺中采集數據熱度信息；

解析模塊，用于分別對所述數據熱度信息中多個數據類型進行解析，得到各個數據類型熱度；

評估模塊，用于根據預設熱度權重對各個所述數據類型熱度進行熱度評估，得到數據類型熱度的評估信息；

清理模塊，用于根據預設清理策略和所述評估信息確定待刪除數據類型，并對所述待刪除數據類型對應的數據進行清理處理。