[發明專利]數據表清理方法、裝置及服務器

有效

• 申請號: 202110633592.0
• 申請日: 2021-06-07
• 公開（公告）號: CN113268477B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 楊雄威;韋星寧;李奕鍇
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06N3/006
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;劉芳

1.一種數據表清理方法，其特征在于，包括：

獲取預設時間段內數據庫的指標集，其中所述指標集包含所有數據表的元數據特征參數和所述數據庫的關系特征參數，所述關系特征參數包括上游表數量、下游表數量、上游表距今更新天數、下游表歸屬存儲是否生效、存在天數、距今更新天數、表名類別、數據行數、數據表大小、是否存在白名單、歸屬存儲是否生效、日均增長、周均增長、月均增長、日增環比、周增環比以及月增環比中的至少一種，所述元數據特征參數包括用戶名、表名、數據庫名、生成日期、表更新時間、數據表行數、數據表大小中的至少一種；

將所述指標集輸入預設隨機森林模型中，獲得所述數據庫中所有數據表的評估值，其中所述預設隨機森林模型是根據所述數據庫的存儲代碼、數據庫中所有數據表的元數據信息以及每個數據表的評估值進行訓練獲得的；

清理所述數據庫中評估值最小的數據表，獲得清理后的數據庫；

所述預設隨機森林模型的訓練步驟，包括：

獲取數據庫的存儲代碼、數據庫中所有數據表的元數據信息以及每個數據表的評估值，并將所述數據庫的存儲代碼進行解析獲得關系特征信息；

將所述關系特征信息以及所述數據庫中所有數據表的元數據信息進行數據處理，獲得元數據特征參數和關系特征參數，并將所述元數據特征參數和關系特征參數以及所述每個數據表的評估值作為樣本集；

按照預設比例將所述樣本集分為訓練集和驗證集，采用隨機森林算法對所述訓練集進行建模，獲得隨機森林模型，并根據所述驗證集驗證對所述隨機森林模型進行驗證。

2.根據權利要求1所述的方法，其特征在于，在所述獲取預設時間段內數據庫的指標集之后，還包括：

根據獨熱編碼對所述指標集進行預處理，將所述指標集中元數據特征參數和關系特征參數中的離散參數變為連續特征參數。

3.根據權利要求1所述的方法，其特征在于，所述將所述數據庫的存儲代碼進行解析獲得關系特征信息，包括：

根據圖數據庫對所述存儲代碼進行解析，獲得所述數據庫的數據表關系圖譜；

根據所述數據庫中所有數據表的受眾量、更新量級以及更新頻次對所述數據表關系圖譜進行評估，獲得所述數據庫的關系特征信息。

4.一種數據表清理裝置，其特征在于，包括：

獲取模塊，用于獲取預設時間段內數據庫的指標集，其中所述指標集包含所有數據表的元數據特征參數和所述數據庫的關系特征參數，所述關系特征參數包括上游表數量、下游表數量、上游表距今更新天數、下游表歸屬存儲是否生效、存在天數、距今更新天數、表名類別、數據行數、數據表大小、是否存在白名單、歸屬存儲是否生效、日均增長、周均增長、月均增長、日增環比、周增環比以及月增環比中的至少一種，所述元數據特征參數包括用戶名、表名、數據庫名、生成日期、表更新時間、數據表行數、數據表大小中的至少一種；

輸入模塊，用于將所述指標集輸入預設隨機森林模型中，獲得所述數據庫中所有數據表的評估值，其中所述預設隨機森林模型是根據所述數據庫的存儲代碼、數據庫中所有數據表的元數據信息以及每個數據表的評估值進行訓練獲得的，所述預設隨機森林模型的訓練步驟，具體包括：獲取數據庫的存儲代碼、數據庫中所有數據表的元數據信息以及每個數據表的評估值，并將所述數據庫的存儲代碼進行解析獲得關系特征信息；將所述關系特征信息以及所述數據庫中所有數據表的元數據信息進行數據處理，獲得元數據特征參數和關系特征參數，并將所述元數據特征參數和關系特征參數以及所述每個數據表的評估值作為樣本集；按照預設比例將所述樣本集分為訓練集和驗證集，采用隨機森林算法對所述訓練集進行建模，獲得隨機森林模型，并根據所述驗證集驗證對所述隨機森林模型進行驗證；

清理模塊，用于清理所述數據庫中評估值最小的數據表，獲得清理后的數據庫。

5.根據權利要求4所述的裝置，其特征在于，所述數據表清理裝置還包括：

預處理模塊，用于根據獨熱編碼對所述指標集進行預處理，將所述指標集中元數據特征參數和關系特征參數中的離散參數變為連續特征參數。