[發(fā)明專利]一種基于數(shù)據(jù)庫(kù)歷史快照的無(wú)效數(shù)據(jù)清理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202211031439.1
• 申請(qǐng)日: 2022-08-26
• 公開(kāi)（公告）號(hào): CN115422175B
• 公開(kāi)（公告）日: 2023-03-31
• 發(fā)明（設(shè)計(jì)）人: 林韶賓;婁帥;鄭紅云;黨中華;張文鳳;司同;龍禹;王佳明;林禹
• 申請(qǐng)（專利權(quán)）人: 北京萬(wàn)里開(kāi)源軟件有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/22;G06F16/242
• 代理公司: 北京冠和權(quán)律師事務(wù)所 11399
• 代理人: 陳姣姣

1.一種基于數(shù)據(jù)庫(kù)歷史快照的無(wú)效數(shù)據(jù)清理方法，其特征在于，包括：采集源數(shù)據(jù)庫(kù)中的全部數(shù)據(jù)庫(kù)歷史快照；對(duì)采集到的全部數(shù)據(jù)庫(kù)歷史快照進(jìn)行數(shù)據(jù)解析，得到第一數(shù)據(jù)表集合；獲取待清理數(shù)據(jù)庫(kù)中的未識(shí)別數(shù)據(jù)，得到第二數(shù)據(jù)表集合，在第二數(shù)據(jù)表集合中按序選擇第二數(shù)據(jù)表，若當(dāng)前選擇的第二數(shù)據(jù)表在第一數(shù)據(jù)表集合中不存在時(shí)，對(duì)當(dāng)前選擇的第二數(shù)據(jù)表進(jìn)行刪除，直至在第二數(shù)據(jù)表集合中的所有第二數(shù)據(jù)表均在第一數(shù)據(jù)表集合中存在時(shí)結(jié)束；

獲取待清理數(shù)據(jù)庫(kù)中的未識(shí)別數(shù)據(jù)，得到第二數(shù)據(jù)表集合，包括：獲取源數(shù)據(jù)庫(kù)中所有被標(biāo)記為未識(shí)別數(shù)據(jù)的數(shù)據(jù)表，建立待清理數(shù)據(jù)庫(kù)；整合待清理數(shù)據(jù)庫(kù)中被標(biāo)記為未識(shí)別數(shù)據(jù)的數(shù)據(jù)表，得到第二數(shù)據(jù)表集合；

獲取源數(shù)據(jù)庫(kù)中所有被標(biāo)記為未識(shí)別數(shù)據(jù)的數(shù)據(jù)表，包括：獲取源數(shù)據(jù)庫(kù)中的所有待識(shí)別數(shù)據(jù)表；分別采集每一待識(shí)別數(shù)據(jù)表預(yù)設(shè)時(shí)間內(nèi)的讀取時(shí)間數(shù)據(jù)和數(shù)據(jù)表讀取對(duì)象數(shù)據(jù)；根據(jù)待識(shí)別數(shù)據(jù)表的讀取時(shí)間數(shù)據(jù)確定對(duì)應(yīng)待識(shí)別數(shù)據(jù)表的活躍度，活躍度的計(jì)算方法為：，其中的H為活躍度，p為預(yù)設(shè)時(shí)間內(nèi)讀取次數(shù)的頻率，h為預(yù)設(shè)時(shí)間，為與預(yù)設(shè)時(shí)間h和預(yù)設(shè)時(shí)間內(nèi)讀取次數(shù)的頻率p對(duì)應(yīng)的預(yù)設(shè)權(quán)重值，其中，預(yù)設(shè)時(shí)間h越短，預(yù)設(shè)時(shí)間內(nèi)讀取次數(shù)的頻率p越高，則/越大；根據(jù)待識(shí)別數(shù)據(jù)表的數(shù)據(jù)表讀取對(duì)象數(shù)據(jù)確定對(duì)應(yīng)待識(shí)別數(shù)據(jù)表的重要度，重要度Z的計(jì)算方式為：/，其中的/為預(yù)設(shè)時(shí)間h內(nèi)第i次讀取時(shí)讀取對(duì)象的重要度，其中，讀取對(duì)象的重要度取決于讀取對(duì)象日常使用頻率，日常使用頻率越高，讀取對(duì)象的重要度越高；根據(jù)每一待識(shí)別數(shù)據(jù)表的活躍度和重要度進(jìn)行數(shù)據(jù)有效值分析，得到每一待識(shí)別數(shù)據(jù)表的數(shù)據(jù)有效值，數(shù)據(jù)有效值的計(jì)算方式為：/，其中的Y為數(shù)據(jù)有效值，/和/分別為活躍度和重要度對(duì)應(yīng)的預(yù)設(shè)權(quán)重值；若當(dāng)前待識(shí)別數(shù)據(jù)表的數(shù)據(jù)有效值小于預(yù)設(shè)數(shù)據(jù)有效值閾值，將當(dāng)前待識(shí)別數(shù)據(jù)表進(jìn)行未識(shí)別數(shù)據(jù)標(biāo)記。

2.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)庫(kù)歷史快照的無(wú)效數(shù)據(jù)清理方法，其特征在于，對(duì)采集到的全部數(shù)據(jù)庫(kù)歷史快照進(jìn)行數(shù)據(jù)解析，得到第一數(shù)據(jù)表集合，包括：對(duì)采集到的全部數(shù)據(jù)庫(kù)歷史快照進(jìn)行數(shù)據(jù)解析，得到每一數(shù)據(jù)庫(kù)歷史快照對(duì)應(yīng)的文件信息以及文件信息對(duì)應(yīng)的路徑信息；根據(jù)文件信息以及文件信息對(duì)應(yīng)的路徑信息生成每一數(shù)據(jù)庫(kù)歷史快照對(duì)應(yīng)的數(shù)據(jù)表；整合所有數(shù)據(jù)庫(kù)歷史快照對(duì)應(yīng)的數(shù)據(jù)表，得到第一數(shù)據(jù)表集合。

3.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)庫(kù)歷史快照的無(wú)效數(shù)據(jù)清理方法，其特征在于，獲取源數(shù)據(jù)庫(kù)中的所有待識(shí)別數(shù)據(jù)表，包括：獲取用戶輸入的標(biāo)識(shí)指令語(yǔ)句，對(duì)標(biāo)識(shí)指令語(yǔ)句進(jìn)行解析得到有效數(shù)據(jù)標(biāo)識(shí)信息；其中，標(biāo)識(shí)指令語(yǔ)句為用戶基于其預(yù)先設(shè)定的有效數(shù)據(jù)標(biāo)識(shí)信息結(jié)合對(duì)應(yīng)的結(jié)構(gòu)化查詢語(yǔ)言SQL命令生成的相應(yīng)SQL語(yǔ)句；在源數(shù)據(jù)庫(kù)的可見(jiàn)數(shù)據(jù)中查詢與有效數(shù)據(jù)標(biāo)識(shí)信息無(wú)法匹配的數(shù)據(jù)表，得到源數(shù)據(jù)庫(kù)中的所有待識(shí)別數(shù)據(jù)表。

4.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)庫(kù)歷史快照的無(wú)效數(shù)據(jù)清理方法，其特征在于，對(duì)當(dāng)前選擇的第二數(shù)據(jù)表進(jìn)行刪除，包括：根據(jù)當(dāng)前選擇的第二數(shù)據(jù)表和對(duì)應(yīng)的待清理數(shù)據(jù)庫(kù)生成第一結(jié)構(gòu)化查詢語(yǔ)言SQL命令；執(zhí)行第一結(jié)構(gòu)化查詢語(yǔ)言SQL命令，對(duì)第二數(shù)據(jù)表集合中當(dāng)前選擇的第二數(shù)據(jù)表進(jìn)行清理。

5.根據(jù)權(quán)利要求4所述的一種基于數(shù)據(jù)庫(kù)歷史快照的無(wú)效數(shù)據(jù)清理方法，其特征在于，還包括：根據(jù)當(dāng)前選擇的第二數(shù)據(jù)表和源數(shù)據(jù)庫(kù)生成第二結(jié)構(gòu)化查詢語(yǔ)言SQL命令；執(zhí)行第二結(jié)構(gòu)化查詢語(yǔ)言SQL命令，對(duì)源數(shù)據(jù)庫(kù)中與當(dāng)前選擇的第二數(shù)據(jù)表對(duì)應(yīng)的表進(jìn)行清理。

6.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)庫(kù)歷史快照的無(wú)效數(shù)據(jù)清理方法，其特征在于，還包括：完成刪除操作后自動(dòng)生成操作日志記錄。

7.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)庫(kù)歷史快照的無(wú)效數(shù)據(jù)清理方法，其特征在于，還包括：清理結(jié)束后，根據(jù)待清理數(shù)據(jù)庫(kù)和第二數(shù)據(jù)表集合生成第三結(jié)構(gòu)化查詢語(yǔ)言SQL命令；執(zhí)行第三結(jié)構(gòu)化查詢語(yǔ)言SQL命令，對(duì)待清理數(shù)據(jù)庫(kù)中全部第二數(shù)據(jù)表進(jìn)行清理。

8.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)庫(kù)歷史快照的無(wú)效數(shù)據(jù)清理方法，其特征在于，還包括：設(shè)置固定清理時(shí)間，每隔固定清理時(shí)間對(duì)源數(shù)據(jù)庫(kù)中的無(wú)效數(shù)據(jù)進(jìn)行一次清理。